讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在扣子中创建分流器实现海量长文本分段高效处理

夏涛吖_1621

夏涛吖_1621

发布时间:2026-06-10 16:39:25

|

232人浏览过

|

来源于php中文网

原创

必须用分流器将超2800字符的文本按1800字符切分并保留句子完整性,再通过批处理节点解包数组,否则大模型输入会被静默截断。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在扣子中创建分流器实现海量长文本分段高效处理

你需要把一篇上万字的行业报告喂给大模型做深度分析,但直接提交会触发超长文本截断或生成质量崩塌——这时候必须用分流器把原文切成语义连贯、长度可控的段落,再分发给不同节点并行处理。

确认文本是否真需要分流

打开扣子工作流画布,先拖入一个「开始」节点,在其输出字段中填入待处理文本。如果该文本长度 【超过2800字符】,且后续节点是大模型(如GPT-4、Qwen-Max),就必须加分流器;若只是调用LinkReaderPlugin或代码节点做清洗,可跳过此步。

注意:扣子平台对单次输入到大模型节点的文本长度有硬性限制,超限将静默截断后半部分,不会报错也不会提醒。

添加分流器节点并配置切分逻辑

在画布空白处点击「添加节点」→ 选择「工具」分类 → 找到并添加「分流器」节点(图标为三条平行箭头分叉)。

双击该节点进入配置页:

  • 切分方式选「按字符数」
  • 每段最大长度填 【1800】(留出200字符余量供提示词和系统指令使用)
  • 启用「保留句子完整性」开关——否则可能在句中强行截断,导致后续大模型理解错乱

这一步不能填2000或2500。实测发现,当设为2000时,部分段落末尾会卡在“因此”“然而”等转折连词后,造成语义断裂;1800是兼顾吞吐量与语义安全的临界值。

连接分流器与下游节点

第一步:将「开始」节点的输出字段(如text)拖拽连线至「分流器」节点的输入口。

第二步:从「分流器」节点右侧三个出口分别引出连线:

扣子Coze CLI工具
扣子Coze CLI工具

与 Coze CLI (@coze/cli) 交互——创建/部署 Coze 项目、管理空间和组织、向项目发送消息、生成图像/音频/视频等功能

下载
  1. 「第一段」→ 连接到第一个大模型节点(用于生成摘要)
  2. 「第二段」→ 连接到第二个大模型节点(用于提取数据表格)
  3. 「剩余段落」→ 连接到「批处理节点」(统一交由并行引擎调度)

「剩余段落」出口输出的是一个数组,不是单个字符串。如果你把它直接连给普通大模型节点,会报错“期望字符串,得到列表”。必须接「批处理节点」或「代码节点」来解包。

用代码节点做智能语义补全(可选进阶)

方法一:在分流器后加一个「代码节点」,粘贴以下Python逻辑:

```python
import re
segments = []
for seg in input["segments"]:
  # 去除首尾空格,合并被切断的短句
  cleaned = seg.strip()
  if len(cleaned) < 80 and segments:
    segments[-1] += " " + cleaned
  else:
    segments.append(cleaned)
output["segments"] = segments
```

方法二:改用正则预处理——在「开始」节点后先接一个「代码节点」,用 re.split(r'(? 按中文句末标点切分,再按需合并至1800字内。比纯字符切分更抗干扰,但对无标点长段落(如代码块、表格文字)容易失效。

验证分流效果

点击画布右上角「试运行」,在输入框中粘贴一段3200字的测试文本。

运行后查看「分流器」节点的输出日志:

✅ 正常情况:显示 "segments": ["第1段内容...", "第2段内容...", ...],共2~3个元素,每段长度在1750~1800之间

❌ 异常情况:若只输出1个元素且长度仍为3200,说明「保留句子完整性」开关未开启,或输入文本本身无换行/无标点,需退回上一步改用代码节点预处理。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

相关专题

更多
扣子智能体开发实操指南
扣子智能体开发实操指南

本专题面向开发者与产品同学,完整讲解扣子智能体Bot从零到一的搭建流程,包括Bot创建、提示词编写、插件接入、变量与记忆配置、调试与多渠道发布,帮助你打造属于自己的AI助手。

514

2026.06.05

扣子工作流全功能使用教程
扣子工作流全功能使用教程

本专题系统讲解扣子工作流的搭建逻辑与节点使用,覆盖LLM节点、代码节点、条件分支、循环节点与子工作流等核心能力,配合15个实战案例,帮助你用工作流把复杂业务流程自动化。

414

2026.06.05

扣子知识库零基础入门
扣子知识库零基础入门

本专题围绕扣子知识库与记忆系统,详细讲解知识库创建、文档上传、切片策略、向量召回、问答调优以及变量记忆与数据库的使用方法,帮助你打造高准确率的私有知识问答能力。

507

2026.06.05

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

40

2026.10.16

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

40

2026.10.16

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

20

2026.10.16

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

20

2026.10.16

Revel框架入门与安装配置
Revel框架入门与安装配置

本专题从Revel框架环境搭建讲起,系统介绍命令行工具安装、项目创建、目录结构、配置文件及热代码重载,帮助开发者快速完成首个Go Web应用。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
扣子入门级教程
扣子入门级教程

共0课时 | 281人学习

扣子官方文档
扣子官方文档

共0课时 | 0人学习

扣子官方文档
扣子官方文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn