DeepSeek不联网、不执行代码,仅生成逻辑正确的爬虫脚本;需人工获取URL、选择器、Headers等关键信息并精准输入,再本地安装依赖、验证响应与解析结果,动态页面须改用Playwright并添加显式等待。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

你想用DeepSeek生成一段能真正跑起来的爬虫代码,但发现模型只返回文字、不执行请求、也不保存文件——这是因为DeepSeek本身不联网、不运行代码、不访问网页,它只负责写逻辑正确的Python脚本。
先搞清目标网站结构,再喂给DeepSeek
DeepSeek不会自动打开网页看源码,你必须人工确认关键信息,否则生成的代码大概率解析失败。
第一步:在浏览器中打开目标页,按F12 → 切到Elements面板 → 右键你要抓的数据区域 → 选“Copy selector”或“Copy XPath”。
第二步:切到Network标签 → 刷新页面 → 找到主HTML响应(Status为200)→ 记下Request URL和Headers里的User-Agent值。
第三步:把这两项整理成一句话,例如:“目标页是https://example.com/list,电影标题在class='title'的h3里,评分在span[data-rate]属性中”,这句就是喂给DeepSeek的唯一有效输入。
【不这样做会怎样】如果你只说“爬豆瓣电影Top250”,DeepSeek可能生成一个请求https://movie.douban.com/top250但实际返回403的脚本,因为没带合法headers;也可能用错选择器,导致提取结果为空列表。
用精准Prompt让DeepSeek输出可运行代码
模糊提问会得到模糊答案。DeepSeek对“写个爬虫”这种指令无法判断该用requests还是Playwright,也无法知道你要不要异常处理。
方法一:指定库+加防护
输入:“请用Python 3.9+写requests+BeautifulSoup4脚本,爬https://example.com,提取所有class='item'的div里的h2文本和data-id属性,超时5秒,捕获ConnectionError、Timeout、HTTPError,失败时print错误类型。”
方法二:强制输出干净代码
加一句:“只输出完整.py文件内容,不加任何解释、注释、‘示例’字样,开头不写‘```python’。”
方法三:声明编码方式
统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
如果页面含中文但乱码,就在Prompt里写:“用response.content.decode('utf-8')解析,不用.text。”
这一步操作起来很简单,直接把上面三句话拼在一起发给DeepSeek就行。
本地验证生成的代码是否真能跑通
DeepSeek生成的代码不是成品,只是草稿。必须在你自己的电脑上运行并逐项检查。
① 新建test.py,粘贴DeepSeek输出的全部代码。
② 安装依赖:终端执行pip install requests beautifulsoup4。
③ 运行前检查headers字典里的User-Agent值——把它换成你当前浏览器的真实标识,否则很多网站直接返回403。
④ 首次运行时,在requests.get()后面加一行print(response.status_code, len(response.text)),确认返回200且HTML长度大于1000,否则说明请求被拒或URL写错了。
⑤ 如果提取不到数据,打开response.text[:1000],手动搜索页面里你想要的字段是否存在。不存在,说明目标页是JS渲染的,得换Playwright方案。
动态页面必须换Playwright,不能硬套requests
当目标页内容由JavaScript加载(比如滚动加载、点击展开),requests拿到的是空骨架HTML,BeautifulSoup根本找不到数据。
向DeepSeek提新需求:“生成Playwright同步脚本,访问https://example.com,等待class='content'元素出现后,提取所有p标签文本,启动无头浏览器,关闭自动关闭。”
安装依赖:pip install playwright → 终端执行playwright install chromium。
运行脚本前,确认代码里有page.wait_for_selector('.content')这一行,没有就补上——【缺了这句会立刻报错】,因为Playwright默认不等元素就往下执行,而DOM还没渲染出来。


















