讲师中心 微信公众号
AI工具推荐 视频效率加速

Python URL编码抓取网页

冬辰姑娘_2909

冬辰姑娘_2909

发布时间:2026-01-17 08:22:19

|

489人浏览过

|

来源于php中文网

原创

在利用python采集网页信息时,经常会碰到url中包含编码字符的情况,此时必须先执行解码操作,才能确保请求地址准确无误。下面将逐步讲解整个编码转换与数据抓取的完整流程。

1、 首先通过import语句引入必要的库模块,本例中将调用urllib包下的两个核心子模块,具体如下所示。

2、 其中request模块负责发起网络请求,parse模块则专门用于处理URL的编码与解码任务。

Python URL编码抓取网页

3、 本文以某知名汽车资讯平台为实际案例展开说明。

立即学习“Python免费学习笔记(深入)”;

4、 构建一个字典q,设定其键名为q,对应值为“宝马”。

5、 即将搜索关键词“宝马”作为键q的取值,完成参数初始化配置。

Python URL编码抓取网页

6、 字典定义完成后,需对其中value部分进行URL编码处理。由于目标网站采用GBK字符集,因此必须选用GBK编码方式执行转义。

7、 对字典中q所对应的“宝马”字符串,使用GBK编码标准进行URL编码,从而生成合法可传输的查询参数。

8、 输出编码后的结果,效果如下图所示:

Python URL编码抓取网页

9、 接着需要拼接完整的请求URL。因本次目标为搜索结果页,故额外定义一个整型变量i表示当前页码,便于后续翻页抓取。

page-agent 浏览器控制(CDP)
page-agent 浏览器控制(CDP)

使用 page-agent CLI(CDP)控制浏览器;CLI只能通过 GitHub Release 的 .tgz 安装,npm 官方包暂未发布。

下载

10、 在基础URL模板中,将关键词占位符替换为已编码的res变量,页码位置则由变量i动态填充。

Python URL编码抓取网页

11、 生成最终URL后,先打印输出,并手动复制至浏览器中打开,验证链接是否能正常跳转并展示预期内容,效果参见下图:

Python URL编码抓取网页

Python URL编码抓取网页

12、 确认URL有效后,即可调用request模块发送HTTP请求,并检查返回状态码是否为200,判断连接是否成功。

13、 向构造好的URL地址发起GET请求,接收服务器返回的响应对象。

Python URL编码抓取网页

Python URL编码抓取网页

14、 获取响应内容后,需按网站实际编码格式(此处为GBK)进行解码,再输出原始HTML源码,代码实现如下:

Python URL编码抓取网页

15、 所有代码整合汇总及实际运行效果截图如下:

Python URL编码抓取网页

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1698

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2604

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6024

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5509

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7194

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

10334

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

5279

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

5687

2025.08.07

Linux 新手先学哪些命令
Linux 新手先学哪些命令

Linux新手命令专题汇集终端基础、文件目录操作、文本查看、软件安装和权限管理等入门文章,帮助按实际任务练习常用命令并建立命令行操作习惯。

0

2026.10.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn