
AWS Glue 4.0 官方镜像(glue_libs_4.0.0_image_01)目前不包含 awsgluedq 模块,导致 ImportError: No module named 'awsgluedq',官方已确认该问题;推荐降级至 Glue 3.x 镜像以正常使用数据质量评估功能。
aws glue 4.0 官方镜像(glue_libs_4.0.0_image_01)目前不包含 `awsgluedq` 模块,导致 `importerror: no module named 'awsgluedq'`,官方已确认该问题;推荐降级至 glue 3.x 镜像以正常使用数据质量评估功能。
在 AWS Glue 脚本中使用 EvaluateDataQuality 等数据质量(DQ)功能时,需导入 awsgluedq.transforms 模块。虽然 AWS 文档指出 Glue 3.0+ 即支持 Data Quality 功能,但实际镜像实现存在版本脱节:Glue 4.0 的官方 Docker 镜像(如 amazon/aws-glue-libs:glue_libs_4.0.0_image_01-arm64)并未打包 awsgluedq 库——该问题已在 aws-glue-libs GitHub Issue #200 中被正式确认。
✅ 正确解决方案是切换至 Glue 3.x 兼容镜像,例如:
# 推荐使用 Glue 3.0 最新稳定镜像(x86_64 架构) docker run -it \ -v ~/.aws:/home/glue_user/.aws \ -v $WORKSPACE_LOCATION:/home/glue_user/workspace/ \ -e AWS_PROFILE=$PROFILE_NAME \ -e DISABLE_SSL=true \ --rm -p 4040:4040 -p 18080:18080 \ --name glue_spark_submit \ amazon/aws-glue-libs:glue_libs_3.0.0_image_01 \ spark-submit /home/glue_user/workspace/src/$SCRIPT_FILE_NAME
⚠️ 注意事项:
awsgluedq模块仅随 Glue 3.x 运行时一同发布,Glue 4.0+ 目前尚未在aws-glue-libs镜像中提供对应支持(截至 2024 年中);- 若必须使用 Glue 4.0,暂无法通过标准镜像调用
EvaluateDataQuality;可考虑改用 Spark SQL + 自定义规则实现基础 DQ 校验,或等待 AWS 后续镜像更新;- 使用 Glue 3.x 镜像时,请确保脚本兼容性(如
GlueContext、JobAPI 在 3.x 和 4.x 间基本一致,无重大 breaking change);- ARM64 用户请选用
glue_libs_3.0.0_image_01-arm64(如有提供),否则优先选择 x86_64 镜像以保证生态完整性。
总结:这不是代码或配置错误,而是 Glue 4.0 镜像的功能缺失。降级到 glue_libs_3.0.0_image_01 是当前最可靠、零改造成本的解决路径。建议关注 aws-glue-libs GitHub Releases 获取 awsgluedq 支持进展。

















