讲师中心 微信公众号
AI工具推荐 视频效率加速

怎样利用Python自动化处理JSON数据接口_通过Requests提取嵌套字段

千墨同学_5339

千墨同学_5339

发布时间:2026-05-07 06:20:21

|

444人浏览过

|

来源于php中文网

原创

response.json() 报错主因是服务器返回非合法JSON内容,如HTML错误页、空响应、4xx/5xx状态码未检查、编码异常或BOM头干扰;须先校验status_code==200并用try/except捕获JSONDecodeError。

怎样利用python自动化处理json数据接口_通过requests提取嵌套字段

用 requests.get() 获取 JSON 接口数据时,为什么 response.json() 报错?

常见原因是接口返回非标准 JSON(比如含 BOM 头、HTML 错误页、空响应或 4xx/5xx 状态码却未检查)。直接调用 response.json() 会抛出 JSONDecodeError。

  • 务必先检查 response.status_code == 200,再解析
  • 对可能失败的请求加 try/except 捕获 requests.exceptions.RequestException 和 json.JSONDecodeError
  • 若接口返回带 BOM 的 UTF-8(如 b'\xef\xbb\xbf{...}'),response.json() 仍可正常解析;但若手动读取 response.content 再解码,需用 .decode('utf-8-sig') 去 BOM

提取多层嵌套字段(如 data.items[0].user.profile.name)怎么避免 KeyError 或 IndexError?

硬写 res['data']['items'][0]['user']['profile']['name'] 极易崩。推荐用安全访问模式:

  • 用 dict.get() 链式调用:res.get('data', {}).get('items', [{}])[0].get('user', {}).get('profile', {}).get('name')
  • 更清晰的做法是封装一个安全取值函数,例如:
    def safe_get(obj, *keys, default=None):
        for k in keys:
            if isinstance(obj, dict) and k in obj:
                obj = obj[k]
            elif isinstance(obj, list) and isinstance(k, int) and 0 <= k < len(obj):
                obj = obj[k]
            else:
                return default
        return obj
    然后调用 safe_get(res, 'data', 'items', 0, 'user', 'profile', 'name')
  • 不要依赖固定索引(如 [0])——先确认 len(items) > 0,否则默认值更稳妥

遇到字段类型不一致(比如有时是 str,有时是 None 或 dict)怎么办?

真实接口常有“柔性结构”:同一字段在不同数据里类型不同(如 avatar 可能是 URL 字符串,也可能是 {"small": "...", "large": "..."})。硬类型断言会出问题。

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载
  • 用 isinstance(x, str) 或 isinstance(x, dict) 显式判断分支逻辑
  • 若需统一处理,提前归一化:比如把 avatar 转成字符串(avatar_url = x if isinstance(x, str) else x.get('large', '') if isinstance(x, dict) else '')
  • 别用 or 简写(如 data.get('name') or 'N/A')——若字段值是空字符串或 0,也会被误判为 False

批量请求多个分页接口并合并 JSON 数据,如何控制并发又不被封?

用 requests 同步发几十个请求既慢又容易触发风控。改用 concurrent.futures.ThreadPoolExecutor 是平衡点,但必须限速。

立即学习“Python免费学习笔记(深入)”;

  • 设置线程数 ≤ 3~5(多数公开 API 限制 QPS 在 1~10)
  • 每次请求后加 time.sleep(0.1)(比无延迟稳得多)
  • 用 session = requests.Session() 复用连接,提升吞吐
  • 注意:某些接口要求带 User-Agent 或 Authorization,漏掉会导致 403;headers 必须在每个 session.get() 中传入,不能只设在 session 上(部分服务不识别 session 级 headers)
字段嵌套越深、接口越不稳定,越要放弃“一口气取到底”的写法。宁可多写两行判断,也不要让整个流程因一个空字段中断。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1731

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4404

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1709

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

25837

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3147

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3167

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1183

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

596

2023.08.10

剧云AI短剧创作教程合集
剧云AI短剧创作教程合集

本专题聚焦剧云AI短剧创作,讲解从短剧灵感、梗概、全局大纲到分集、分场和正文的完整流程及节奏设计方法。

0

2026.10.14

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn