🗒️SparkSQL|explain语法
2023-7-10
| 2023-7-11
0  |  阅读时长 0 分钟
type
status
date
slug
summary
tags
category
icon
password

Explain

描述

EXPLAIN语句用于为输入语句提供逻辑/物理计划。
默认情况下,此子句仅提供有关物理计划的信息。

句法

参数

  • EXTENDED
    • 生成解析的逻辑计划、分析的逻辑计划、优化的逻辑计划和物理计划。解析的逻辑计划是从查询中提取的未解析的计划。分析的逻辑计划转换将 unresolvedAttributeunresolvedRelation 转换为完全类型化的对象。优化后的逻辑计划通过一组优化规则进行转换,从而产生物理计划。
  • CODEGEN
    • 生成语句的代码(如果有)和物理计划。
  • COST
    • 如果计划节点统计信息可用,则生成逻辑计划和统计信息。
  • FORMATTED
    • 生成两个部分:物理计划大纲和节点详细信息。
  • statement
    • 指定要解释的 SQL 语句。

例子

1)默认的输出
可以看到打印的是最终的屋里计划 Physical Plan
2)使用 Extend
可以看到打印了逻辑计划处理的三个阶段:
Parsed Logical Plan Analyzed Logical Plan Optimized Logical Plan
以及一个最终的物理计划 Physical Plan
这也是 Spark SQL 解析应用的一般流程
3)使用 Formatted
可以看到对物理计划的每个节点都做了进一步的说明
 
  • Spark
  • Spark|执行计划缓存带来的一致性问题SparkSQL内核剖析 第一、二章
    Loading...
    目录