php 8.6拆分中英文混合段落时,可使用intlbreakiterator的句子迭代器,让icu按指定区域规则识别边界,再从partsiterator取出各段文本。这适合建立句子级显示或处理单元,不等于理解句意,也不是按中文词语分词。需要intl扩展,结果受区域规则和icu版本影响。

PHP手册中的IntlBreakIterator::createSentenceInstance定义
按句子边界取得文本和偏移
KEY_LEFT把片段左边界的UTF-8字节偏移作为键,适合与原字符串对应。用于显示时可以trim片段,但不能再拿trim后的长度反推原文位置。
<?php
$text = '这是第一句。This is the second sentence! 还有第三句。';
$iterator = IntlBreakIterator::createSentenceInstance('zh_CN');
if ($iterator === null) throw new RuntimeException('无法创建句子迭代器');
if (!$iterator->setText($text)) throw new RuntimeException('无法设置输入文本');
$parts = $iterator->getPartsIterator(IntlPartsIterator::KEY_LEFT);
foreach ($parts as $byteOffset => $sentence) {
echo json_encode([
'byte_offset' => $byteOffset,
'text' => $sentence,
], JSON_UNESCAPED_UNICODE | JSON_THROW_ON_ERROR), PHP_EOL;
}
PHP手册中的IntlBreakIterator::getPartsIterator定义
区分字节、字符和句子单位
PHP字符串偏移通常以字节为单位,中文和Emoji不一定只占一个字节。KEY_LEFT返回的偏移用于substr提取原文时无需先转成字符数;若要向前端提供UTF-16位置,需要另外进行单位换算,不能直接混用。
使用官方Model Context Protocol PHP SDK将PHP应用程序功能暴露为MCP工具、资源和提示,用于代理工作流。
用业务语料复核边界
英文缩写、小数、引号、换行和连续标点可能产生与手工断句不同的结果。ICU官方说明句子边界依据语言规则分析,并非语义解析;需要特定编辑风格时,应在边界结果之上增加明确规则。大文本可分批处理,但分块处可能影响识别,应保留必要上下文。


















