本文介绍如何将配置定义在独立的 python 文件中，并在另一文件中安全导入该配置，动态提取字段名用于 spark dataframe 的列校验逻辑。

本文介绍如何将配置定义在独立的 python 文件中，并在另一文件中安全导入该配置，动态提取字段名用于 spark dataframe 的列校验逻辑。

在实际数据工程实践中，将配置（如字段列表、资源 ID、版本号等）与业务逻辑分离是提升代码可维护性与可复用性的关键做法。上例中，dict_nova.py 文件以纯 Python 字典形式封装了多组导出配置，其中 "export_nova_rosterlight" 包含了目标校验所需的字段（如 'emailAddress' 和 'deviceName'）。要让 validate_counts() 函数灵活适配不同配置项，不应硬编码字段名，而应通过参数化方式传入配置字典。

第一步：将配置保存为独立模块
将原始字典保存为 config.py（注意文件名需符合 Python 模块命名规范，避免使用连字符）：

# config.py
dict_nova = {
    "export_nova_rosterlight": {
        "metadata_resource_id": "export_nova_rosterlight",
        "metadata_product_version": "1.0",
        "List_Fields": [
            "data_export",
            "userID",
            "deviceName",
            "osVersion",
            "emailAddress",
            "model",
            "serialNumber"
        ]
    },
    "export_nova_export": {
        "metadata_resource_id": "Export_nova_export",
        "metadata_product_version": "1.0",
        "List_Fields": [
            "data_export",
            "userMail",
            "userID",
            "deviceName",
            "emailAddress"
        ]
    }
}

第二步：重构校验函数，支持配置驱动
修改 validate_counts()，使其接收配置字典及目标键名（如 "export_nova_rosterlight"），从中提取所需字段进行校验：

# validator.py
from pyspark.sql import functions as F
from config import dict_nova  # 导入配置模块

def validate_counts(df, config_key="export_nova_rosterlight"):
    """
    根据指定配置项中的字段名，对 DataFrame 执行去重计数校验

    :param df: 输入的 Spark DataFrame
    :param config_key: config.py 中 dict_nova 的键名，决定使用哪组字段
    :return: 'valid' 或 'invalid'
    """
    try:
        config = dict_nova[config_key]
        fields = config.get("List_Fields", [])

        # 动态校验字段是否存在
        missing_fields = [f for f in ["emailAddress", "deviceName"] if f not in fields]
        if missing_fields:
            raise ValueError(f"配置 '{config_key}' 缺少必需字段: {missing_fields}")

        distinct_mail = df.agg(F.countDistinct('emailAddress')).collect()[0][0]
        distinct_device = df.agg(F.countDistinct('deviceName')).collect()[0][0]

        if 10000 <= distinct_mail <= 20000 and 5000 <= distinct_device <= 10000:
            return 'valid'
        else:
            return 'invalid'

    except KeyError:
        raise KeyError(f"配置键 '{config_key}' 未在 dict_nova 中定义")
    except Exception as e:
        raise RuntimeError(f"校验执行失败: {e}")

第三步：调用示例

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

# main.py
from pyspark.sql import SparkSession
from validator import validate_counts

spark = SparkSession.builder.appName("ConfigDrivenValidation").getOrCreate()
df = spark.read.csv("path/to/data.csv", header=True, inferSchema=True)

result = validate_counts(df, config_key="export_nova_rosterlight")
print(f"校验结果: {result}")

✅ 注意事项

• 避免使用 exec() 或 importlib.import_module() 动态执行配置文件——存在安全与可维护性风险；推荐直接 import 模块。
• 配置文件中不应包含副作用代码（如打印、网络请求），仅保留数据定义。
• 生产环境建议增加字段存在性检查与异常处理，防止因配置缺失导致运行时错误。
• 若配置量较大或需热更新，可考虑迁移至 JSON/YAML + importlib.resources 方案，但对静态场景，.py 模块仍是最简洁、类型友好且 IDE 友好的选择。