在Cursor中完成Python爬虫项目需全程操作:新建weather-scraper文件夹→创建venv虚拟环境→终端安装requests和bs4→编写main.py调用httpbin测试→设断点调试查看响应与解析→运行输出标题即成功。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

用Cursor完成Python爬虫项目实战,需要从环境配置、代码编写、调试运行到结果验证全程在Cursor中操作,不能依赖外部IDE或命令行手动执行。
创建新项目并初始化虚拟环境
打开Cursor → 点击「File」→「New Folder」→ 命名为weather-scraper → 回车确认。
右下角状态栏点击Python解释器位置 → 选择「Create Environment」→ 选「venv」→ 路径保持默认 → 点击「Create」。
这一步必须在新建文件夹后立刻执行,否则后续安装的包会污染全局环境。【未初始化虚拟环境就写代码,后续pip install的所有库都会装进系统Python】
立即学习“Python免费学习笔记(深入)”;
安装requests和beautifulsoup4依赖
按 Ctrl+Shift+P(Windows/Linux)或 Cmd+Shift+P(Mac)→ 输入「Terminal: Create New Terminal」→ 回车。
终端中输入:pip install requests beautifulsoup4 → 回车等待安装完成。
安装完成后,光标停留在终端内,直接按向上键调出上一条命令,改成pip list | grep -i "request\|soup"快速验证是否安装成功。
编写主爬虫脚本
在资源管理器右键 → 「New File」→ 命名为main.py → 双击打开。
输入以下代码(注意缩进必须为4个空格,Tab键在Cursor中默认是4空格):
图片提示词生成器?不止如此。 马甲系统 —— 把脑海中的画面,翻译成AI能理解的专业表达。 用得越多,它越懂你:首次需要多问几句确认方向,用久了几乎一说就懂。 用得越多,它越快:缓存机制让后续对话越来越省。 RAG进化:成功案例持续入库,越跑越聪明。 输入「新手指南」查看完整功能介绍
import requests<br>from bs4 import BeautifulSoup<br><br>url = "https://httpbin.org/html"<br>res = requests.get(url)<br>res.raise_for_status()<br><br>soup = BeautifulSoup(res.text, "html.parser")<br>title = soup.find("title").get_text()<br>print(f"网页标题:{title}")
这段代码用httpbin做测试源,避免目标网站反爬或网络波动导致首次调试失败。真实项目再换真实URL。
调试并查看响应结构
第一步:把光标停在res = requests.get(url)这一行左侧空白处,点击出现红点,设置断点。
第二步:按 Ctrl+Shift+D(Windows/Linux)或 Cmd+Shift+D(Mac)打开调试面板 → 点击左上角绿色三角形「Run and Debug」→ 选择「Python File」→ 点击「Start Debugging」。
第三步:程序会在断点暂停 → 左侧「VARIABLES」面板展开res → 展开_content或点击「View as HTML」可直观查看原始响应体。
第四步:按 F10 单步跳过 → 再按一次F10 → 此时soup已生成 → 在「DEBUG CONSOLE」中手动输入soup.title回车,确认解析有效。
如果控制台报AttributeError: 'NoneType' object has no attribute 'get_text',说明soup.find("title")返回了None,要检查网页实际HTML结构是否含title标签。
保存并运行最终脚本
按 Ctrl+S(Windows/Linux)或 Cmd+S(Mac)保存main.py。
右键main.py → 选择「Run Python File in Terminal」。
终端输出“网页标题:Herman Melville - Moby-Dick”即表示整个流程跑通。

















