负责数据全生命周期工作，包括提取、清洗、分析、可视化与报告。
用户需要: 从源( 数据库、 API、 文件) 提取数据, 清理和转换杂乱的数据集, 分析和找到模式, 将结果可视化, 或自动化重复数据 tas
功能概述
用户需要: 从源( 数据库、 API、 文件) 提取数据, 清理和转换杂乱的数据集, 分析和找到模式, 将结果可视化, 或自动化重复数据 tas是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。
核心要点
- 使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。
- 该技能适合需要稳定复用相关能力的场景，可作为自动化工作流的一部分，也便于后续检查、调整和扩展。
- 从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
使用与执行
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。
结果检查与注意事项
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。
适用场景
用户需执行以下任务之一：从数据源（数据库、API、文件）中提取数据；清洗与转换杂乱的数据集；分析并发现数据中的模式；可视化分析结果；或自动化重复性的数据处理任务。Agent 可端到端地完成整个数据工作流。
快速参考
| 领域 | 文件 | 重点内容 |
|---|---|---|
| 查询与提取 | querying.md |
SQL 生成、API 数据获取、多源整合 |
| 清洗与转换 | cleaning.md |
空值处理、去重、归一化、表连接 |
| 分析与统计 | analysis.md |
探索性数据分析（EDA）、统计检验、业务洞察 |
| 可视化与报告 | visualization.md |
图表绘制、仪表板构建、结果导出 |
| 质量与校验 | quality.md |
数据校验、异常检测、数据漂移监控 |
| 工作流模式 | patterns.md |
常见数据工作流、自动化策略 |
核心操作
查询生成： 用户描述所需数据 → Agent 编写 SQL/查询语句，自动处理表连接、过滤条件与聚合逻辑 → 返回查询结果或解释执行计划。
数据清洗： 加载原始杂乱数据集 → 自动识别问题（空值、重复记录、离群值、格式不一致等） → 应用合适的修复方法 → 完整记录所有转换操作。
探索性分析： 新数据集到达 → 自动生成描述性统计、分布特征、变量间相关性 → 挖掘潜在模式与异常点 → 输出包含关键发现的摘要报告。
可视化： 分析完成后 → 自动选择最适配的图表类型 → 按需导出为指定格式（PNG、SVG 或交互式 HTML） → 直接交付给相关方使用。
周期性报告： 一次性定义报告模板 → Agent 按预设时间调度运行 → 自动更新图表与指标 → 生成含重点摘要的最终报告。
关键规则
- 应用任何转换前必须先预览效果 —— 明确展示将被修改的数据样例
- 对每次数据转换均须完整记录：原始来源、执行操作、决策依据
- 分析前务必校验数据类型与取值范围 —— 输入错误，输出必然错误（Garbage in, garbage out）
- 选用恰当的统计检验方法 —— 使用前必须验证其前提假设是否满足
- 确保输出可复现 —— 显式包含随机种子、依赖版本、时间戳等元信息
- 显式处理缺失值 —— 清晰说明所采用的策略（丢弃、插补、标记等）
- 图表类型须匹配数据性质 —— 分类数据、连续型数据、时间序列数据应分别对应不同图表
用户模式
| 模式 | 关注点 | 触发语句示例 |
|---|---|---|
| Analyst | SQL 编写、数据探索、业务洞察 | “这些数据说明了什么？” |
| Engineer | 数据管道、转换逻辑、数据质量 | “清洗该数据并加载到目标位置” |
| Business | KPI 监控、仪表板、自然语言解读 | “本季度业绩相比上季度如何？” |
| Researcher | 统计严谨性、结果可复现性 | “该差异是否具有统计显著性？” |
| Developer | Schema 设计、API 数据结构、类型定义 | “根据此 JSON 生成类型定义” |
各模式对应的具体工作流请参阅 patterns.md。
首次使用流程
- 确认数据来源（数据库、文件或 API）
- 建立连接或加载本地文件
- 执行初始探索性数据分析（EDA）—— 包括数据维度、字段类型、质量缺陷等
- 按需进行数据清洗与转换
- 依据用户目标开展分析或可视化
热门AI工具
相关专题
Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章，帮助读者完成上线流程。
0
2026.10.28
Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章，帮助读者完成从初始化到日常开发的配置。
0
2026.10.28
Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章，帮助读者理解各文件夹的用途与引用方式。
0
2026.10.28
本专题介绍Gradle插件开发的基本流程，涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法，帮助你理解插件如何组织构建逻辑，减少多个项目之间的重复配置。
0
2026.10.22
本专题介绍Gradle Wrapper的基本作用，涵盖文件组成、生成方法、版本配置和任务调用，帮助你理解项目如何使用指定的Gradle版本，减少不同开发环境带来的构建差异。
0
2026.10.22
本专题整理Golangci-lint常用Linters的用途与配置方法，覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查，帮助项目合理选规则。
0
2026.10.22
本专题介绍Gradle Java项目构建方法，涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查，帮助你理解各阶段的任务关系，逐步完成项目构建。
0
2026.10.22
本专题汇总PHP常见时间戳漏洞，包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等，并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案，帮助开发者快速排查和加固时间相关代码。
0
2026.10.22
本专题聚焦Golangci-lint YAML配置文件，讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置，便于团队统一检查标准。
0
2026.10.22
热门下载
相关下载
精品课程
共6课时 | 12.1万人学习
共79课时 | 161.6万人学习
共6课时 | 54.7万人学习
