讲师中心 微信公众号
AI工具推荐 视频效率加速

Python中如何实现异步DNS解析_通过aiodns提升大规模并发请求效率

雨晨酱_4111

雨晨酱_4111

发布时间:2026-05-25 10:45:19

|

980人浏览过

|

来源于php中文网

原创

aiodns 因底层基于 c-ares 实现纯异步 DNS 查询,不依赖系统 getaddrinfo,故在高并发下更可控稳定;而 asyncio.getaddrinfo 在 Linux 等平台常同步阻塞,易卡住事件循环,导致延迟突增、CPU 升高。

python中如何实现异步dns解析_通过aiodns提升大规模并发请求效率

aiodns 是目前 Python 中最轻量、最直接支持异步 DNS 解析的第三方库,它底层封装了 c-ares,不依赖事件循环的 DNS 实现(比如 asyncio.getaddrinfo 那种走系统调用的方式),因此在高并发、低延迟场景下更可控、更稳定。

为什么不用 asyncio.getaddrinfo 而选 aiodns

虽然 asyncio.getaddrinfo 是标准库函数,但它本质仍是调用操作系统 getaddrinfo() —— 在 Linux 上默认是同步阻塞的(glibc 未启用异步模式时),实际会把事件循环卡住;macOS 和 Windows 表现更不稳定。而 aiodns 绕过系统 resolver,自己用 c-ares 做纯异步 DNS 查询,全程不阻塞。

  • 常见错误现象:asyncio.getaddrinfo 在并发 >100 时 CPU 升高、响应延迟突增,甚至触发 ResourceWarning: unclosed socket
  • 性能差异:1000 次域名解析,aiodns 平均耗时约 120ms(并行),asyncio.getaddrinfo 可能拉长到 800ms+ 且抖动大
  • 兼容性影响:aiodns 需要额外安装 c-ares C 库(Linux/macOS 用包管理器装,Windows 用户建议用预编译 wheel)

安装与基础用法:避开 wheel 缺失和 event loop 冲突

直接 pip install aiodns 在某些环境(尤其是 Windows + Python 3.12+ 或 M1 Mac)可能失败,因为缺少 c-ares 编译环境或 wheel 不匹配。

  • 推荐安装方式:pip install aiodns --only-binary=aiodns(强制用二进制包)
  • 若报 RuntimeError: This event loop is already running,说明你是在 Jupyter 或已启动的 loop 里调用 —— 改用 asyncio.create_task() 提交,不要直接 asyncio.run()
  • Resolver 实例必须绑定到当前运行的 event loop,不能跨 loop 复用;建议每个协程内 new 一个,或作为 session 级单例管理

批量解析时如何控制超时与重试

aiodns 默认无超时,一次失败就抛异常,不适合生产环境的大规模探测。

Python Pep Authoring
Python Pep Authoring

依据官方 python/peps仓库规则起草、审阅、编辑或准备 Python 改进提案(PEP),用于处理 PEP 文本和元数据头部。

下载

立即学习“Python免费学习笔记(深入)”;

  • 必须显式传 timeout=3.0 和 tries=2 参数,否则 DNS 超时可能长达 30 秒(取决于系统配置)
  • 不要依赖 asyncio.wait_for 包裹单个 query 调用 —— 它无法中断 c-ares 底层请求,只会等到底层返回再抛 CancelledError
  • 正确做法:在 Resolver 初始化时设全局 timeout,再用 asyncio.gather(..., return_exceptions=True) 批量收拢结果
  • 示例片段:
    resolver = aiodns.DNSResolver(timeout=2.5, tries=2)
    tasks = [resolver.query(host, 'A') for host in hosts]
    results = await asyncio.gather(*tasks, return_exceptions=True)

记录类型、DNS 服务器与 fallback 切换的实际限制

aiodns 支持 A、AAAA、CNAME、MX、TXT、NS 等主流类型,但不支持 DNSSEC 验证、不支持自定义 EDNS 选项,也无法像 dnspython 那样构造原始查询包。

  • 指定上游 DNS 服务器:用 nameservers=['8.8.8.8', '1.1.1.1'] 初始化 Resolver,但注意它不自动做健康检查 —— 一个服务器挂了,所有请求都会 fallback 到下一个,且无重试间隔控制
  • 真实 fallback 场景(如内网 DNS 不稳定):得自己封装一层,比如先发请求到内网 DNS,asyncio.wait_for 包裹后 catch aiodns.error.DNSError,再切到公网 DNS 重试
  • 反向解析(PTR)可用,但输入必须是合法 IP 字符串(如 '192.168.1.1'),不能是压缩格式或带掩码

真正难处理的不是并发量,而是 DNS 响应的不可预测性:TTL 不一致、缓存污染、运营商劫持、EDNS 截断。用 aiodns 只是把“查得快”这件事做对了,但查回来的结果是否可信、是否要二次验证(比如比对 A/AAAA 记录一致性)、是否需配合 HTTP HEAD 探活——这些得在上层逻辑里补全,而不是指望库自动解决。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1871

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5104

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1809

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

30797

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3647

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3667

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1243

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

616

2023.08.10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

0

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn