讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在扣子中利用文本分块(Chunk)策略优化敏感词过滤机制

千伟酱_4054

千伟酱_4054

发布时间:2026-07-03 14:34:59

|

148人浏览过

|

来源于php中文网

原创

必须对超2800字符文本分块处理,依据空行或标题层级切分并标注type标签(如contact_risk、compliance_risk)和实体标签(如#entity:wechat),再绑定对应敏感词过滤策略实现精准拦截或改写。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在扣子中利用文本分块(chunk)策略优化敏感词过滤机制

在扣子平台配置敏感词过滤时,若用户输入“加微信”“稳赚不赔”等违规表述却未被拦截,往往不是词库没上传,而是文本未经合理分块就直接送入语义检测模块——长文本中关键违规片段被上下文稀释,语义向量偏离阈值,导致漏判。

先判断是否需要分块

打开待过滤的原始文本(如客服对话日志、用户提交表单),在扣子工作流中新建一个Code节点,粘贴运行以下代码:

len(user_input.replace(' ', '').replace('\n', ''))

若返回值【大于2800】,必须进入分块流程;小于等于2800则跳过本阶段,直接走敏感词过滤标准链路。

按语义边界切分文本

固定字符切分会让“该产品保本保息,闭眼买都行”被切成两半,前半句触发关键词匹配,后半句落入语义盲区。必须依据文本天然结构下刀。

方法一:识别空行与标题层级

在Code节点中执行:

import re<br>segments = re.split(r'\n\s*\n', user_input.strip())<br>segments = [s.strip() for s in segments if s.strip()]

该正则保留原文段落逻辑,适合政策文件、客服工单等有明确空行分隔的文本。

方法二:精准捕获标题锚点(推荐用于技术文档/合规手册)

在Code节点中执行:

import re<br>title_pattern = r'^\s*(?:\d+\.\d+\.\d+|\d+\.\d+|\d+|[IVXLCDM]+\.\s+|第[一二三四五六七八九十]+[章节]\s*|#{1,3}\s+.+)$'<br>lines = user_input.split('\n')<br>segments = []<br>current = []<br>for line in lines:<br>  if re.match(title_pattern, line.strip()):<br>    if current:<br>      segments.append('\n'.join(current))<br>    current = [line]<br>  else:<br>    current.append(line)<br>if current:<br>  segments.append('\n'.join(current))

这段代码能区分“1.2.3 风控策略”和普通编号列表“① ② ③”,避免把操作步骤误判为标题导致错切。

为每块注入结构化元数据

分块不是终点,是让系统知道“这块该用什么规则查”的起点。没有type标签的块,语义检测模块会降级为纯关键词扫描。

第一步:添加 type 标签

遍历 segments 列表,在每个块首行插入对应标签:

• 含“加微信”“私聊”等短语的块 → 插入【type:contact_risk】

• 含“稳赚不赔”“保本保息”等承诺类表述的块 → 插入【type:compliance_risk】

• 含错误码、报错堆栈的块 → 插入【type:troubleshoot】

【错标会导致路由失效,例如把客服话术块标成compliance_risk,将被误判为高风险阻断】

第二步:标注高频实体

在块末尾追加#entity标签,只写用户真实提问中反复出现的词:

• “微信” → #entity:wechat

• “转账” → #entity:transfer

• “群” → #entity:group_chat

不写泛义词如“社交工具”“资金操作”,这些词在用户输入中极少直接出现。

绑定分块感知型过滤策略

进入Bot编辑页 → 「设置」→「安全与合规」→「响应策略」→「新建策略」,按以下顺序配置:

① 创建策略名称:contact_risk_block

② 触发条件设为:【type:contact_risk】且命中正则\b1[3-9]\d{9}\b 或包含“加我微信”“扫码进群”等关键词

③ 动作设为:高风险 → 阻断发送 + 返回提示语:“根据《互联网用户公众账号信息服务管理规定》,禁止诱导用户私下联系。”

④ 创建策略名称:compliance_risk_rewrite

⑤ 触发条件设为:【type:compliance_risk】且语义分≥0.75

⑥ 动作设为:中风险 → 记录日志 + 替换为rewrite_rules.json中对应输出

⑦ 在rewrite_rules.json中,必须包含如下映射:

{"input": "闭眼买都行", "output": "投资有风险,决策需谨慎。请以官方披露信息为准。"}

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

相关专题

更多
扣子智能体开发实操指南
扣子智能体开发实操指南

本专题面向开发者与产品同学,完整讲解扣子智能体Bot从零到一的搭建流程,包括Bot创建、提示词编写、插件接入、变量与记忆配置、调试与多渠道发布,帮助你打造属于自己的AI助手。

434

2026.06.05

扣子工作流全功能使用教程
扣子工作流全功能使用教程

本专题系统讲解扣子工作流的搭建逻辑与节点使用,覆盖LLM节点、代码节点、条件分支、循环节点与子工作流等核心能力,配合15个实战案例,帮助你用工作流把复杂业务流程自动化。

334

2026.06.05

扣子知识库零基础入门
扣子知识库零基础入门

本专题围绕扣子知识库与记忆系统,详细讲解知识库创建、文档上传、切片策略、向量召回、问答调优以及变量记忆与数据库的使用方法,帮助你打造高准确率的私有知识问答能力。

427

2026.06.05

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

0

2026.09.30

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

0

2026.09.30

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

0

2026.09.30

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

0

2026.09.30

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

0

2026.09.29

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

200

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
扣子入门级教程
扣子入门级教程

共0课时 | 266人学习

扣子官方文档
扣子官方文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn