php 8.6的intl扩展可以用intlbreakiterator按中文词边界遍历文本,再用intlpartsiterator::key_left记录每段起始字节位置。迭代结果包含标点和空白;词边界适合文本分析,不等于业务词典或语义理解结果。

官方文档:Description
先确认输入是有效UTF-8
安装并启用intl;下面额外用PCRE检查UTF-8有效性。记录偏移时保持原字符串不变,切分后再归一化会让位置与原文不一致。
使用官方Model Context Protocol PHP SDK将PHP应用程序功能暴露为MCP工具、资源和提示,用于代理工作流。

官方文档:Parameters
遍历片段和左侧字节偏移
<?php
$text = 'PHP 8.6处理中文,保留原文位置。';
if (preg_match('//u', $text) !== 1) {
throw new InvalidArgumentException('Invalid UTF-8');
}
$it = IntlBreakIterator::createWordInstance('zh_CN');
if ($it === null || !$it->setText($text)) {
throw new RuntimeException('Cannot initialize iterator');
}
foreach ($it->getPartsIterator(IntlPartsIterator::KEY_LEFT) as $left => $part) {
echo json_encode([
'byte_start' => $left,
'byte_length' => strlen($part),
'text' => $part,
], JSON_UNESCAPED_UNICODE | JSON_THROW_ON_ERROR), "\n";
}字节位置不能直接当字符序号
KEY_LEFT返回UTF-8字节偏移,截取原片段可用substr配合strlen得到的字节长度;不要把它交给要求字符索引的接口。需要排除纯标点和空白时,再按业务规则过滤片段,并保留原偏移。不同ICU版本可能调整中文边界,升级后用固定语料核对,而不是承诺切分永远不变。


















