讲师中心 微信公众号
AI工具推荐 视频效率加速

如何高效处理 5000+ 用户的并发 HTTP 请求与数据库写入?

小婷同学_3193

小婷同学_3193

发布时间:2026-01-10 15:47:22

|

596人浏览过

|

来源于php中文网

原创

如何高效处理 5000+ 用户的并发 HTTP 请求与数据库写入?

在 node.js 中批量发送数千条 http 请求(如推送消息)并写入数据库,本质是 i/o 密集型任务,应优先使用原生异步机制(如 promise.allsettled + 限流控制),而非 worker threads;后者适用于 cpu 密集型计算,对网络请求无性能增益。

Node.js 的“内置异步 I/O 操作”指其基于 libuv 的非阻塞事件驱动模型:fs.readFile、http.request、axios、pg.query 等底层均通过线程池(有限大小,默认 4)委托系统调用,但上层 API 完全异步、无需手动管理线程——这意味着你发起 5000 个 Axios 请求时,Node.js 并不会创建 5000 个线程,而是复用事件循环和少量底层线程完成并发调度。

你描述的场景(为 5000+ 联系人:① 插入数据库记录;② 发起外部 API 请求)属于典型的 I/O 密集型任务,且高度依赖外部服务响应时间与速率限制。此时 Worker Threads 不仅无法加速,反而会因线程创建/通信开销降低整体吞吐,并增加内存占用与调试复杂度。

Comprehensive Three.js 3D graphics reference
Comprehensive Three.js 3D graphics reference

详细的 Three.js 3D 图形参考,涵盖场景设置、相机、几何体、材质、光照、动画、控制器、加载器、数学工具和调试。

下载

✅ 正确做法:使用可控并发 + 异步原语 + 限流策略
推荐采用 p-limit 库或手写限流器(如问题中提供的 rateLimiter 示例),将并发请求数限制在合理范围(例如 10–25),避免触发目标 API 的熔断、拒绝或 IP 封禁,同时保障数据库连接池不被耗尽:

const PLimit = require('p-limit');
const axios = require('axios');
const db = require('./db'); // 假设为 pg 或 prisma 实例

// 控制最大 15 个并发请求
const limit = PLimit(15);

async function sendMessagesToContacts(contacts) {
  const results = await Promise.allSettled(
    contacts.map(contact =>
      limit(async () => {
        try {
          // 1. 写入数据库(异步)
          await db.messageLogs.create({
            data: { contactId: contact.id, status: 'pending' }
          });

          // 2. 发送 HTTP 请求
          const res = await axios.post('https://api.example.com/send', {
            to: contact.phone,
            message: 'Hello!'
          }, { timeout: 10000 });

          await db.messageLogs.update({
            where: { contactId: contact.id },
            data: { status: 'success', response: JSON.stringify(res.data) }
          });

          return { success: true, contactId: contact.id };
        } catch (err) {
          await db.messageLogs.update({
            where: { contactId: contact.id },
            data: { status: 'failed', error: err.message }
          });
          throw err;
        }
      })
    )
  );

  const fulfilled = results.filter(r => r.status === 'fulfilled').length;
  const rejected = results.filter(r => r.status === 'rejected').length;
  console.log(`完成: ${fulfilled}, 失败: ${rejected}`);
}

// 调用示例
sendMessagesToContacts(all5000Contacts);

⚠️ 关键注意事项:

  • 永远不要无节制并发:Promise.all() 直接发起 5000 个请求极易导致 ECONNRESET、ENOTFOUND 或上游限流失败;必须限流。
  • 数据库事务粒度要细:每个联系人独立写日志,避免长事务阻塞连接池。
  • 错误需单独捕获与记录:使用 Promise.allSettled 而非 Promise.all,确保部分失败不影响整体流程。
  • 超时与重试需显式配置:Axios 的 timeout 和简单指数退避(如 retry-axios)可显著提升稳定性。
  • 监控与日志不可少:记录成功率、P95 响应延迟、失败原因,便于后续优化。

总结:面对 5000+ 用户的批量通知任务,专注优化异步 I/O 编排——用限流控制并发、用连接池管理数据库、用结构化日志追踪状态。Worker Threads 在此场景下是误用;真正的性能瓶颈从来不在 JavaScript 主线程,而在于网络延迟、第三方 API 吞吐与资源配额。

热门AI工具

更多
Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

3498

2023.08.10

js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

3776

2023.06.20

js获取当前时间
js获取当前时间

JS全称JavaScript,是一种具有函数优先的轻量级,解释型或即时编译型的编程语言;它是一种属于网络的高级脚本语言,主要用于Web,常用来为网页添加各式各样的动态功能。js怎么获取当前时间呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1195

2023.07.28

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1538

2023.08.03

js是什么意思
js是什么意思

JS是JavaScript的缩写,它是一种广泛应用于网页开发的脚本语言。JavaScript是一种解释性的、基于对象和事件驱动的编程语言,通常用于为网页增加交互性和动态性。它可以在网页上实现复杂的功能和效果,如表单验证、页面元素操作、动画效果、数据交互等。

9223

2023.08.17

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

820

2023.09.01

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2224

2023.09.04

Js中concat和push的区别
Js中concat和push的区别

Js中concat和push的区别:1、concat用于将两个或多个数组合并成一个新数组,并返回这个新数组,而push用于向数组的末尾添加一个或多个元素,并返回修改后的数组的新长度;2、concat不会修改原始数组,是创建新的数组,而push会修改原数组,将新元素添加到原数组的末尾等等。本专题为大家提供concat和push相关的文章、下载、课程内容,供大家免费下载体验。

1429

2023.09.14

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

20

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebStorm 官方调试文档
WebStorm 官方调试文档

共0课时 | 0人学习

React 教程
React 教程

共58课时 | 11.9万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 6.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn