CodeBuddy可通过五种方式快速生成标准化Python爬虫框架：一、Craft模式交互式构建含四大模块的骨架；二、Chat模式按技术约束定制代码；三、CLI批量生成多站点适配框架；四、自动补全已有代码为工程化结构；五、基于HTML样本逆向生成鲁棒解析器。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望快速构建一个结构清晰、可扩展的Python爬虫项目，但又不想从零手动编写基础框架代码，则CodeBuddy确实能直接生成符合标准工程规范的爬虫框架代码。以下是实现该目标的多种方式：
一、使用Craft模式交互式构建爬虫框架
Craft模式专为结构化任务设计，它会将爬虫开发流程拆解为可验证的模块步骤，自动生成包含请求层、解析层、存储层和配置层的完整骨架，并附带中文注释说明各模块职责。
1、在VS Code或PyCharm中打开CodeBuddy插件，点击“Craft”按钮启动交互式向导。
2、输入提示词：“生成一个可扩展的Python爬虫框架，支持HTTP请求、HTML/XPath解析、CSV/JSON双格式导出、配置文件驱动、日志记录功能。”
立即学习“Python免费学习笔记（深入）”；
3、等待CodeBuddy逐模块生成代码，包括spider.py、parser.py、storage.py、config.yaml及main.py入口文件。
4、检查生成的spider.py中是否已预置start_requests()、parse_response()和save_item()三个核心钩子方法，这些是后续扩展业务逻辑的关键接入点。
二、通过Chat模式精准提示生成定制化框架
Chat模式适用于对框架有特定技术选型要求的场景，例如指定使用requests+BeautifulSoup而非Scrapy，或强制要求异步支持。CodeBuddy会依据提示词中的技术约束条件生成严格匹配的代码结构。
1、在Chat输入框中发送：“用Python写一个轻量爬虫框架，不依赖Scrapy，仅用requests和lxml；要求分离下载器、解析器、管道三部分；每个类必须有类型提示和docstring；主函数接收URL列表并并发执行。”
2、确认生成代码中Downloader类是否封装了带重试与User-Agent轮换的fetch()方法。
3、核对Parser类是否提供extract_by_xpath()与extract_by_css()两个通用解析接口。
4、验证Pipeline类是否内置to_csv()和to_jsonl()方法，且输出路径由外部参数注入而非硬编码。
三、调用CLI命令行工具批量生成多站点适配框架
当需为多个目标网站（如豆瓣、掘金、阴阳师）分别生成差异化爬虫框架时，CLI工具支持基于模板变量批量产出，避免重复提示，确保各项目结构统一、命名规范、配置隔离。
1、在终端执行：codebuddy generate spider-framework --template=generic --sites="douban,juejin,yys" --output-dir=./spiders
2、观察是否在./spiders/douban/目录下生成spider.py、rules.py（含XPath规则字典）、items.py（定义MovieItem、ArticleItem等数据结构）。
3、检查./spiders/juejin/rules.py中是否已预填针对掘金文章列表页与详情页的两级XPath规则，且字段映射关系明确标注。
4、确认所有子目录下的__init__.py文件均已自动生成，保障Python包结构有效性。
四、利用CodeBuddy自动补全已有代码缺失的框架组件
若已有部分爬虫逻辑（如一段requests抓取代码），但缺乏工程化包装，CodeBuddy可识别上下文并自动补全其余框架文件，保持代码风格与架构一致性。
1、在编辑器中打开一段未封装的爬取代码，选中全部内容后右键选择“Ask CodeBuddy: Wrap as Spider Framework”。
2、确认弹出窗口中显示的推断目标为“Extract into modular spider with config-driven concurrency and error retry policy”。
3、接受建议后，观察是否新增spiders/包目录，其中包含base_spider.py（抽象基类）、concurrent_runner.py（线程池调度器）及settings.py（含CONCURRENT_REQUESTS=5等默认配置）。
4、检查原选中代码是否已被重构为继承BaseSpider的子类，且start_urls与parse方法签名符合框架约定。
五、导入网页结构后由CodeBuddy逆向生成解析框架
当目标网站HTML结构复杂、XPath难以手写时，CodeBuddy支持上传HTML样本或粘贴网页源码片段，自动分析DOM层级并生成带容错机制的解析器框架代码，大幅降低XPath编写门槛。
1、复制目标网页的完整<body>内源码，粘贴至CodeBuddy Chat界面，并附加指令：“根据此HTML结构，生成一个鲁棒的解析器框架，能提取标题、发布时间、正文段落、图片URL四个字段；对缺失字段返回None，不抛异常。”
2、查看生成的robust_parser.py中是否包含safe_xpath()和safe_css()两个封装函数，内部已内置try/except与空值判断。
3、确认字段提取逻辑是否被组织为独立方法（如get_title()、get_pub_date()），且每个方法均接收tree对象作为参数，便于单元测试注入模拟数据。
4、检查是否同步生成了test_robust_parser.py，其中包含针对字段缺失、标签嵌套异常、编码乱码等边界情况的测试用例。
