蒲公英数据开发工程师Skill套件——专为数据开发工程师打造的全链路AI Skill生态系统,涵盖需求分析、架构设计、数据建模、SQL开发、ETL Pipeline、数据质量、数据测试7大核心模块,适用于端到端数据开发、数据仓库建设、ETL与SQL优化、数据质量管理。触发词:数据开发
🌼 蒲公英数据开发工程师Skill套件
功能概述
🌼 蒲公英数据开发工程师Skill套件是一项面向实际任务的技能,主要用于专为数据开发工程师设计的完整AI Skill生态系统,包含7个核心模块,支持端到端数据开发工作流;🎯 核心价值;
核心要点
- 端到端覆盖 :从需求分析到数据测试的完整数据开发生命周期;
- 模块化设计 :7个独立模块,可按需组合使用;
- 智能联动 :模块间自动数据流转,减少重复工作;
使用与执行
企业级标准 :遵循数据工程最佳实践和行业标准;📦 模块概览;需求分析助。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
结果检查与注意事项
从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
🌼 蒲公英数据开发工程师Skill套件
专为数据开发工程师设计的完整AI Skill生态系统,包含7个核心模块,支持端到端数据开发工作流。
🎯 核心价值
- 端到端覆盖:从需求分析到数据测试的完整数据开发生命周期
- 模块化设计:7个独立模块,可按需组合使用
- 智能联动:模块间自动数据流转,减少重复工作
- 企业级标准:遵循数据工程最佳实践和行业标准
📦 模块概览
| 模块 | 入口命令 | 核心功能 | 适用场景 |
|---|---|---|---|
| 需求分析助手 | /requirement-analyst |
业务需求分析、功能规格定义 | 项目启动、需求澄清 |
| 架构设计助手 | /architecture-designer |
数据架构设计、技术选型 | 系统设计、架构评审 |
| 数据建模助手 | /modeling-assistant |
维度建模、dbt开发、血缘分析 | 数仓建设、模型设计 |
| SQL智能开发助手 | /sql-assistant |
SQL生成、审查、执行计划分析 | 查询开发、性能优化 |
| ETL Pipeline开发助手 | /etl-assistant |
ETL代码生成、审查、测试 | 数据管道开发 |
| 数据质量检查助手 | /dq-assistant |
质量规则生成、检查、文档 | 数据质量管理 |
| 测试工程师 | /test-engineer |
单元测试、集成测试、性能测试 | 数据测试保障 |
🚀 快速开始
方式1:端到端工作流(推荐)
# 完整数仓建设工作流 /skill-hub 端到端建设电商数仓 # 快速Pipeline开发 /sql-assistant → /etl-assistant 生成订单数据同步Pipeline # 质量到测试 /dq-assistant → /test-engineer 基于质量规则生成测试用例
方式2:独立模块使用
# 需求分析 /requirement-analyst 分析电商用户行为分析需求 # SQL开发 /sql-assistant 生成用户活跃度分析SQL # ETL开发 /etl-assistant 创建用户行为数据ETL Pipeline
📋 示例快速索引
| 需求场景 | 推荐工作流 | 命令示例 |
|---|---|---|
| 从零建设数仓 | 端到端工作流 | /skill-hub 端到端建设电商数仓 |
| 需求澄清 | 需求分析 | /requirement-analyst 分析需求 |
| 架构选型 | 需求到架构 | /requirement-analyst → /architecture-designer |
| 数据建模 | 架构到建模 | /architecture-designer → /modeling-assistant |
| 生成SQL | 建模到SQL | /modeling-assistant → /sql-assistant |
| 开发Pipeline | SQL到ETL | /sql-assistant → /etl-assistant |
| 质量监控 | ETL到质量 | /etl-assistant → /dq-assistant |
| 生成测试 | 质量到测试 | /dq-assistant → /test-engineer |
| 部署上线 | 测试驱动部署 | /test-engineer 验证并部署 |
| 快速建模开发 | 建模到开发 | /modeling-assistant → /sql-assistant → /etl-assistant |
🔗 上下游联动说明
完整数据流
requirement_package.yaml
↓(业务需求、实体定义)
architecture_package.yaml
↓(分层架构、技术栈)
modeling_package.yaml
↓(事实表、维度表)
sql_package.yaml
↓(DDL、转换SQL)
etl_package.yaml
↓(Pipeline代码)
dq_package.yaml
↓(质量规则)
test_package.yaml
↓(测试通过)
部署上线
快捷联动命令
| 联动 | 命令 | 输出 |
|---|---|---|
| 需求→架构 | /architecture-designer --from-requirement |
architecture_package.yaml |
| 架构→建模 | /model-design --from-architecture |
modeling_package.yaml |
| 建模→SQL | /sql-gen --from-model |
sql_package.yaml |
| 建模→ETL | /etl-template --from-model |
etl_package.yaml |
| SQL→ETL | /etl-template --from-sql |
etl_package.yaml |
| ETL→质量 | /dq-rule-gen --from-etl |
dq_package.yaml |
| 质量→测试 | /unit-test --from-dq |
test_package.yaml |
🔗 智能联动系统
本Skill套件包含智能联动中枢,支持模块间自动数据流转:
需求分析 → 架构设计 → 数据建模 → SQL开发 → ETL开发 → 质量检查 → 数据测试
联动配置
查看详细联动关系:
# 查看Skill依赖关系 cat skill-connections.yaml # 查看完整工作流定义 cat skill-hub.md
📁 项目结构
pugongying-data-skills/ ├── SKILL.md # 本文件(主Skill定义) ├── README.md # 详细文档 ├── skill-connections.yaml # Skill联动配置 ├── skill-hub.md # 联动中枢文档 ├── requirement-analyst/ # 需求分析模块 ├── architecture-designer/ # 架构设计模块 ├── modeling-assistant/ # 数据建模模块 ├── sql-assistant/ # SQL开发模块 ├── etl-assistant/ # ETL开发模块 ├── dq-assistant/ # 数据质量模块 └── test-engineer/ # 数据测试模块
🛠️ 技术特色
1. 标准化输出格式
每个模块输出标准化的YAML包文件,便于模块间数据交换:
| 包文件 | 生成者 | 主要用途 |
|---|---|---|
requirement_package.yaml |
requirement-analyst | 业务需求、数据实体、指标定义 |
architecture_package.yaml |
architecture-designer | 架构决策、分层设计、技术栈 |
modeling_package.yaml |
modeling-assistant | 事实表、维度表、SCD策略 |
sql_package.yaml |
sql-assistant | SQL代码、表结构、优化建议 |
etl_package.yaml |
etl-assistant | Pipeline代码、DAG配置、调度策略 |
dq_package.yaml |
dq-assistant | 质量规则、检查结果、数据字典 |
test_package.yaml |
test-engineer | 测试用例、测试报告、部署决策 |
标准包格式:
{package_name}:
version: "1.0"
metadata:
generated_by: "skill-name"
generated_at: "2024-01-15T10:00:00Z"
upstream_package: "上游包文件名"
content: { ... }
downstream_specs:
- target: "下游skill"
input_file: "{package_name}.yaml"
2. 多Agent协作
- general-purpose Agent:用于生成、编辑、执行任务
- Explore Agent:用于分析、审查、只读操作
- 智能Agent切换,确保安全性和效率
3. 企业级最佳实践
- 数据建模:星型/雪花模型、SCD策略
- SQL开发:性能优化、安全审查
- ETL开发:幂等性、容错处理
- 数据质量:完整性、准确性、一致性检查
📚 学习资源
套件文档
| 文档 | 内容 | 场景 |
|---|---|---|
README.md |
详细功能说明和使用指南 | 了解套件全貌 |
skill-connections.yaml |
Skill联动配置 | 查看模块间关系 |
skill-hub.md |
联动中枢文档 | 了解工作流定义 |
skill-template.md |
Skill开发模板 | 开发新Skill |
Skill驱动数据系统开发探讨.md |
设计理念和技术探讨 | 深入理解设计思想 |
各模块文档
| 模块 | 参考文档 | 示例 |
|---|---|---|
| requirement-analyst | references/requirement-standards.md |
examples/ |
| architecture-designer | references/architecture-standards.md |
examples/ |
| modeling-assistant | references/data-modeling-standards.md |
examples/ |
| sql-assistant | references/sql-standards.md |
examples/ |
| etl-assistant | references/etl-standards.md |
examples/ |
| dq-assistant | references/data-quality-standards.md |
examples/ |
| test-engineer | references/test-standards.md |
examples/ |
🔄 版本管理
版本号规则
- v1.0.0:基础功能发布
- v1.1.0:功能增强和优化
- v2.0.0:重大架构升级
更新日志
查看各模块内的CHANGELOG.md文件获取详细更新记录。
🆘 故障排除
常见问题
Skill未触发
- 确认skill文件在正确的skills目录
- 检查Frontmatter格式是否正确
- 重启Claude Code
模块联动失败
- 检查
skill-connections.yaml配置 - 确认输出包文件格式正确
- 查看模块日志输出
- 检查
性能问题
- 复杂任务建议分步骤执行
- 使用多Agent并行处理
- 优化输入描述,提供更明确的上下文
技术支持
- 查看各模块的故障排除章节
- 参考示例项目学习正确用法
- 在ClawHub社区寻求帮助
🌟 未来规划
近期计划
- 增加更多数据库方言支持
- 优化联动性能
- 增加可视化输出
长期愿景
- 集成更多数据工具(dbt、Airflow、Great Expectations等)
- 支持更多数据架构模式(Data Vault、Lakehouse等)
- 建立数据开发社区和最佳实践库
蒲公英数据开发工程师Skill套件 - 让数据开发更智能、更高效、更可靠。
🌼 像蒲公英种子一样,将数据开发的最佳实践传播到每一个项目
热门AI工具
相关专题
本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。
0
2026.11.12
本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。
0
2026.11.12
本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。
0
2026.11.12
本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。
0
2026.11.06
围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。
0
2026.11.06
详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。
0
2026.11.06
DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。
0
2026.11.05
DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。
0
2026.11.05
本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。
0
2026.11.04
热门下载
相关下载
精品课程
共6课时 | 12.1万人学习
共79课时 | 161.8万人学习
共6课时 | 54.7万人学习
最新文章