
本文介绍一种基于 sqlglot 高级优化器能力的轻量级方法,无需手动遍历 AST 节点,即可准确提取复杂 SQL(含 CTE、子查询、JOIN、WHERE 子查询等)中所有列名及其所属物理表、数据库和逻辑执行区段(如 CREATE 目标表名或子查询别名)。
本文介绍一种基于 `sqlglot` 高级优化器能力的轻量级方法,无需手动遍历 ast 节点,即可准确提取复杂 sql(含 cte、子查询、join、where 子查询等)中所有列名及其所属物理表、数据库和逻辑执行区段(如 create 目标表名或子查询别名)。
在实际数据治理、血缘分析或 SQL 审计场景中,仅靠正则或简单语法树遍历难以可靠解析嵌套子查询、多层 JOIN 条件或带别名的临时结果集中的列归属关系。传统手动遍历 exp.Column 节点的方式极易遗漏作用域(scope)上下文,导致 table 和 database 字段为空——这正是原始代码的核心痛点。
而 sqlglot.optimizer.qualify_columns 提供了关键能力:自动为每个 Column 补全其绑定的物理表来源(即“限定列名”),配合 traverse_scope 可系统性访问每个作用域(Scope)及其 sources 映射(键为别名,值为真实 Table 对象)。这意味着:
-
c.table是列引用的别名(如TR,P17,MY_TNG_REQUESTS); -
scope.sources.get(c.table)即该别名所指向的真实exp.Table实例; - 从中可安全提取
.name(表名)、.db(数据库名),且天然规避了别名与真实名混淆问题。
以下是完整、健壮的解析函数实现:
from sqlglot.optimizer.qualify_columns import qualify_columns
from sqlglot.optimizer.scope import traverse_scope
from sqlglot import parse, exp
import pandas as pd
def parse_query(sql_query: str, dialect: str = "postgres") -> pd.DataFrame:
"""
解析任意复杂 SQL,返回标准化的列元数据 DataFrame。
返回字段:
- section: 当前作用域的逻辑标识(如 CREATE 目标表名、CTE 名、'SUBQUERY' 等)
- database: 列所属数据库名(若无则为 None)
- table: 列所属物理表名(非别名!)
- columns: 列名(不含表前缀)
"""
df_list = []
for ast in parse(sql_query, read=dialect):
# 关键步骤:启用列限定,使每个 Column 能正确关联到其源表
ast = qualify_columns(ast, schema=None)
# 提取当前语句的逻辑区段名称(如 CREATE TABLE TRD → section='TRD')
if isinstance(ast, exp.Create) and isinstance(ast.this, exp.Table):
section = ast.this.name.upper()
elif isinstance(ast, exp.With):
# CTE 场景:取第一个 CTE 名作为主 section(可根据需求扩展)
cte = ast.expressions[0] if ast.expressions else None
section = cte.alias_or_name.upper() if cte else "CTE"
else:
section = str(ast.key).upper()
physical_columns = []
# 遍历每个作用域(包括主查询、每个子查询、每个 JOIN 的右侧等)
for scope in traverse_scope(ast):
for c in scope.columns:
# 通过别名查真实 Table 对象
source_table = scope.sources.get(c.table)
if isinstance(source_table, exp.Table):
db_name = source_table.db.name if hasattr(source_table.db, 'name') else None
table_name = source_table.name
physical_columns.append((section, db_name, table_name, c.name))
else:
# 无法解析来源(如字面量、窗口函数内列等),留空
physical_columns.append((section, None, None, c.name))
# 去重并构建 DataFrame
df = pd.DataFrame(
physical_columns,
columns=["section", "database", "table", "columns"]
).drop_duplicates()
df_list.append(df)
return pd.concat(df_list, ignore_index=True) if df_list else pd.DataFrame()✅ 优势总结:
-
准确性高:依赖
sqlglot内置作用域分析与列限定逻辑,天然支持子查询 WHERE、ON 条件、COALESCE 内部列、UNION 各分支等复杂场景; -
零别名干扰:直接从
scope.sources获取真实Table对象,彻底避免将TR(别名)误作表名; -
结构清晰:
section字段明确标识列所处的逻辑上下文(如目标表名TRD),便于后续血缘映射或权限校验; -
开箱即用:无需维护
table_registry或手动处理current_section状态,大幅降低出错概率。
⚠️ 注意事项:
-
qualify_columns默认要求 schema 信息才能完全解析跨库引用;若无 schema(如本例),它仍能正确解析显式写出的db.table.col结构,但对未限定的table.col依赖上下文推断——因此建议 SQL 中尽可能使用三段式命名(db.schema.table); - 对于
CREATE VIEW AS (...)或WITH RECURSIVE等高级语法,section提取逻辑可按需扩展(如读取ast.this.alias); - 若需区分“SELECT 投影列”与“WHERE 过滤列”,可在
scope.columns循环中结合c.parent类型进一步过滤(如isinstance(c.parent, exp.Where))。
运行示例 SQL 后,你将获得与预期完全一致的结构化结果,每一行都精确对应一个物理列在 SQL 中的上下文归属,为自动化数据目录构建、敏感字段扫描或动态权限控制提供坚实基础。

















