讲师中心 微信公众号
AI工具推荐 视频效率加速

DeepSeek提示输入长度超出Context Window_对长文本进行语义切片并分批次提问

冬枫酱_3669

冬枫酱_3669

发布时间:2026-01-29 18:38:02

|

914人浏览过

|

来源于php中文网

原创

长文本需按语义切片分批提问:一、依句末标点切分并控制长度;二、滑动窗口重叠切分防信息丢失;三、依文档结构层级划分;四、用语义聚类提升主题一致性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

deepseek提示输入长度超出context window_对长文本进行语义切片并分批次提问

如果您向DeepSeek模型提交的提示词过长,超出其上下文窗口(Context Window)限制,则会导致输入被截断或报错。以下是针对长文本进行语义切片并分批次提问的操作方法:

一、基于句子边界与语义连贯性切分

该方法利用自然语言中的标点符号(如句号、问号、感叹号)识别完整语义单元,确保每个切片包含独立、可理解的语义片段,避免跨句割裂关键逻辑关系。

1、将原始长文本按中文句末标点(。!?)进行分割,保留标点符号不丢失。

2、遍历分割后的句子列表,累计字符数(含空格与标点),当累计长度接近模型最大上下文长度(例如32768 tokens对应约6.5万汉字)的70%时,停止添加新句子。

3、将当前累计的句子组合为一个切片,并从原文中移除已切分部分。

4、对剩余文本重复步骤1–3,直至全部处理完毕。

5、对每个切片末尾添加统一指令前缀:请仅基于本段内容回答问题,不参考其他段落。

二、使用滑动窗口重叠切分

该方法在相邻切片间保留一定比例的重叠内容,防止因关键上下文位于切片边界而造成信息丢失,适用于含复杂指代或长程依赖的文本。

1、设定基础切片长度为模型上下文上限的60%,重叠长度为其20%(例如基础长度19660字符,重叠3932字符)。

2、从文本开头截取第一个切片,记录其起始与结束字节位置。

3、将窗口向后移动(基础长度 – 重叠长度)字节,截取第二个切片,确保与前一切片末尾存在指定重叠区。

4、为每个切片附加唯一编号标识:【段落#1】、【段落#2】等,便于后续结果归并。

5、所有切片统一追加提问模板:请根据【段落#X】内容,提取其中涉及的所有实体名称及对应属性。

实现基于qmt智能交易终端的A股交易数据本地化
实现基于qmt智能交易终端的A股交易数据本地化

基于QMT平台,支持自然语言指令下载并实时监控A股多周期历史行情,含智能错误处理与任务控制。

下载

三、依据文档结构层级切分

该方法优先尊重原文逻辑结构(如标题、小节、列表项),在语义块层面进行划分,适用于技术文档、论文、合同等具有显式层级的长文本。

1、使用正则表达式匹配中文标题格式(如“一、”“1.”“●”“◆”及带括号编号如“(1)”)并记录其位置。

2、将文本按标题节点划分为若干语义块,每个块包含标题及其下属全部段落直至下一标题前。

3、对单个语义块内部再执行字符长度校验:若超过阈值,则在其内部按句子边界进一步细分。

4、为每个最终切片标注结构路径:[一级标题:系统架构][二级标题:数据流设计]。

5、每批次提问中嵌入结构提示:请严格依据标注的结构路径作答,不得跨路径推断。

四、调用轻量级语义聚类辅助切分

该方法借助小型本地化模型(如bge-m3、text2vec-large-chinese)对句子向量做余弦相似度计算,将语义相近句聚合为切片,提升主题一致性。

1、将长文本按句分割后,使用本地部署的embedding模型生成每句向量。

2、以动态阈值(初始设为0.65)对相邻句向量计算余弦相似度,若连续三组相似度均高于阈值,则合并为同一语义单元。

3、当单元内总token数达模型上限85%时,强制终止合并并输出当前单元为一个切片。

4、每个切片头部插入语义摘要标签:【主题:用户权限管理策略】。

5、提问时绑定该标签:围绕【主题:用户权限管理策略】,列出所有角色定义及对应操作范围。

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

相关专题

更多
WorkBuddy核心功能与实操模式
WorkBuddy核心功能与实操模式

深入探索WorkBuddy的强大功能。本专题包含智能问答、文档处理、会议纪要生成、日程管理、任务协作等核心模块的操作指南与最佳实践。通过图文并茂的教程,助您快速上手,最大化发挥WorkBuddy的办公效能。

602

2026.04.09

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

40

2026.10.10

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

20

2026.10.10

Kratos框架Protobuf接口定义与代码生成合集
Kratos框架Protobuf接口定义与代码生成合集

本专题讲解Kratos框架接口定义体系,涵盖proto编写规范、proto add/client/server生成命令、http注解路由、validate校验、OpenAPI文档生成、跨服务proto复用与兼容性设计。

0

2026.10.10

C++虚函数怎么定义和调用
C++虚函数怎么定义和调用

C++虚函数是实现运行时多态的重要机制。本专题从virtual关键字的基本用法入手,介绍基类与派生类之间的函数重写、基类指针调用派生类方法,以及动态绑定的执行过程,帮助初学者掌握虚函数的核心语法。

20

2026.10.10

C++类与对象的封装方法教程
C++类与对象的封装方法教程

C++封装是面向对象编程的核心特性之一,通过类将数据与操作数据的函数组织在一起,并利用访问权限控制外部访问。本专题介绍类的定义、成员变量、成员函数以及public、private和protected的使用方法,帮助初学者掌握封装的基本原理。

20

2026.10.10

C++构造函数定义与调用方法
C++构造函数定义与调用方法

C++构造函数用于初始化类对象,是面向对象编程的重要基础。本专题从构造函数的定义、声明和调用入手,介绍默认构造函数、带参数构造函数、拷贝构造函数及成员初始化列表,帮助初学者掌握对象创建与初始化的基本方法。

20

2026.10.10

Kratos框架零基础入门教程
Kratos框架零基础入门教程

本专题整理Kratos框架入门内容,涵盖Go环境准备、kratos CLI安装升级、new命令创建项目、目录结构分层说明、服务启动与双协议端口、依赖下载报错排查,帮助开发者快速跑通第一个Kratos框架微服务应用。

20

2026.10.10

C++条件判断语句怎么写
C++条件判断语句怎么写

C++条件判断是控制程序执行流程的重要基础。本专题介绍if、if-else、else if和switch等常见分支语句,结合条件表达式、比较运算符与代码示例,帮助初学者掌握不同场景下的判断逻辑。

0

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 20.9万人学习

JavaScript正则表达式基础与实战
JavaScript正则表达式基础与实战

共11课时 | 1.7万人学习

布尔教育正则表达式视频教程
布尔教育正则表达式视频教程

共14课时 | 5.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn