讲师中心 微信公众号
AI工具推荐 视频效率加速

Laravel ES异步查询借助队列处理海量检索任务

云静大大_4247

云静大大_4247

发布时间:2026-08-13 23:04:01

|

913人浏览过

|

来源于php中文网

原创

必须将海量检索逻辑拆入队列任务异步执行,因Scout的search()同步调用会导致内存爆、超时和阻塞;需改用原生Elasticsearch客户端配合multi_search API,并做好连接池、错误兜底与内存控制。

laravel es异步查询借助队列处理海量检索任务

直接用 Laravel Scout 同步调用 search() 做海量检索,内存爆、超时、阻塞请求是必然结果。必须把检索逻辑拆进队列任务里异步执行,再通过回调或状态轮询获取结果。

为什么不能在控制器里直接调用 search() 处理大量关键词

Scout 的 search() 默认走同步 HTTP 请求(如 Algolia/Elasticsearch),单次响应慢、并发高时连接池打满;更关键的是,如果你循环调用 search() 处理 1000 个关键词,PHP 进程会卡死在 I/O 上,不释放内存,php-fpm worker 很快耗尽。

  • 本地开发时设 SCOUT_QUEUE=false 是为了调试,不是为批量场景准备的
  • 即使开了队列,search() 本身不进队列——只有 model->searchable() 或 Model::search(...)->update() 这类索引操作才触发队列任务
  • 海量检索 ≠ 索引更新,Scout 不提供“批量搜索进队列”的原生能力,得自己封装

如何把 Elasticsearch 检索逻辑塞进 Laravel 队列任务

核心是:别依赖 Scout 的查询接口,改用原生 Elasticsearch 客户端(如 elasticsearch/elasticsearch)发请求,并确保任务类实现 ShouldQueue。

laravel-specialist
laravel-specialist

精通 Laravel 10+,遵循现代 PHP 实践的 Laravel 专家。擅长优雅语法、Eloquent ORM、队列系统及企业级特性...

下载
  • 在任务构造函数中只传必要参数,比如关键词数组、回调 URL、超时阈值,**不要传模型实例或 Eloquent 对象**(序列化大对象易失败)
  • handle() 中用 Client::search() 发起多关键词请求,推荐用 multi_search API 批量合并(比循环调用省连接)
  • 结果处理完后,用 Http::post() 或事件通知下游系统,避免在任务里阻塞等待响应
  • 加 public $tries = 3; 和 public $timeout = 120;,防止 ES 临时抖动导致任务卡死

chunkById + 队列组合处理“查完再搜”的场景

有些需求是:先从数据库捞出一批记录(比如 5 万条用户),再对每条记录的字段去 ES 检索关联内容。这时不能 get()->each(...),而要用 chunkById 控制内存,再把每批交给队列。

  • 主流程用 User::where('status', 'active')->chunkById(500, function ($users) { ... })
  • 闭包内对每批 $users 构造一个 SearchBatchJob,传入 $users->pluck('id')->all() 和字段名
  • Job 内部用 Client::msearch() 一次查多个文档,避免 N 次 round-trip
  • 注意:ES 查询条件里别用 PHP 变量拼接 JSON 字符串,用 Builder 类或数组结构防注入

容易被忽略的连接与错误兜底点

ES 客户端默认不复用连接,高频队列任务下容易触发 Connection refused 或 Too many open files。

  • 初始化 Client 时传 'connectionPool' => \Elasticsearch\ConnectionPool\StaticNoPingConnectionPool::class,并预热连接池
  • 捕获 Elasticsearch\Common\Exceptions\NoNodesAvailableException,记录到 failed_jobs 并告警,别静默重试
  • 队列任务里别用 dd() 或 dump(),日志统一走 Log::channel('es'),方便和 Horizon 关联排查
  • 如果 ES 返回 hits 为空但 status=200,检查 mapping 是否变更、字段是否被 analyzer 处理掉(比如 keyword 字段搜 text 内容)

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

857

2024.04.09

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

835

2024.04.09

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2468

2024.04.09

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3941

2024.04.10

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

5610

2025.08.05

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

3736

2025.08.05

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

7049

2025.08.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

1416

2026.03.04

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

40

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 206人学习

Composer手册
Composer手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn