分词策略需匹配模型类型：Transformer类用BPE/SentencePiece，RNN/CNN类可按字/词分但需词典对齐；中文优先用预训练模型配套tokenizer；词表大小建议20k–50k，序列长度取语料95%分位数并向下取2的幂次；必须定义基础特殊标记并mask其loss，生成任务用right-padding；训练前轻量清洗文本、禁用token级打乱、保存tokenizer文件、验证/测试集共用同一tokenizer。

分词策略要匹配模型类型

训练文本生成模型时，分词不是越细越好，也不是统一用空格切分就完事。关键看模型架构：如果是基于Transformer的模型（如GPT、LLaMA），推荐用字节对编码（BPE）或SentencePiece这类子词分词器；如果是RNN或CNN类老式结构，可考虑按字/词粒度分，但需配合词典对齐。中文场景下，直接用jieba分词容易引入歧义切分（比如“南京市长江大桥”），不如用预训练模型配套的tokenizer（如bert-base-chinese自带的WordPiece，或qwen-tokenizer的BPE），能更好泛化未登录词。

词表大小与序列长度需协同调优

词表太小（如5k）会导致大量UNK，尤其在专业领域文本中；太大（如10万+）又会稀释低频词的梯度更新，还拖慢训练速度。实践中，中文通用任务建议选20k–50k之间，再根据语料规模微调：百万级句子用30k较稳，千万级可上40k。序列长度同样不能拍脑袋定——设太长（如2048）显存吃紧、batch size被迫压小；太短（如128）又截断语义连贯性。一个实用技巧是先统计语料长度分布，取95%分位数作为max_length，再向下取最近的2的幂次（比如1987→2048，但若95%是326，就选512更合理）。

Volcengine Digital Human Video Generator

火山引擎数字人视频生成技能。用户上传照片并提供对白或配音文案后，系统自动完成形象创建、TTS配音（性别检测与多音色匹配）及视频合成，并将结果返回。触发词：数字人、视频合成、口播视频、数字人视频。

下载

特殊标记和padding方式影响收敛稳定性

必须显式定义[PAD]、[BOS]、[EOS]、[UNK]四个基础token，并确保它们不参与loss计算（训练时mask掉位置的logits）。padding方式建议用left还是right？生成任务一律用right-padding，否则attention mask会把开头有效内容误判为padding。另外，batch内动态padding比统一pad到max_length更省内存，可用Hugging Face的DataCollatorForSeq2Seq自动处理，不用手写collate_fn。

训练阶段的分词细节常被忽略

• 训练前务必对原始文本做轻量清洗：去掉控制字符（\x00-\x08等）、合并连续空白符，但别删标点——标点是生成连贯性的关键信号
• 避免在分词后做随机打乱（如shuffle tokens），这会破坏语言建模目标；打乱只应在样本级别（即shuffling lines）
• 若用自定义词表，记得保存tokenizer.json或merges.txt，部署时缺它模型根本跑不起来
• 验证集和测试集必须用**同一份tokenizer**做encode，且不重新fit——这点新手常错当成“分别分词”

基本上就这些。分词不是前置流水线，而是模型语义理解的起点，参数设得松或紧，后面每步都在放大误差。