本文解析 llm 生成文本反复循环的核心原因：并非训练不足或模型结构缺陷，而是解码阶段因 tokenizer 不匹配或解码逻辑错误导致 token 序列被误映射，最终输出语义坍缩的重复片段。
本文解析 llm 生成文本反复循环的核心原因：并非训练不足或模型结构缺陷，而是解码阶段因 tokenizer 不匹配或解码逻辑错误导致 token 序列被误映射，最终输出语义坍缩的重复片段。
LLM 输出陷入“无限复读”（如 A', '! re al, we hear me speak... 循环）是训练后常见的表象性故障，但其本质往往不在模型本身，而在于生成链路中的解码环节。本例中，用户使用 tiktoken.get_encoding('gpt2') 对 Shakespeare 文本进行编码，却在解码时调用了自定义函数 decoding() —— 而该函数未严格遵循 GPT-2 tokenizer 的字节对编码（BPE）逆过程，导致 token ID 序列被错误还原为乱序、截断或重复的子字符串。
关键问题在于：tiktoken 的 decode() 是可逆且确定的，而手写解码函数极易忽略 BPE 合并规则、特殊字符处理（如 '、! 前的空格）、以及 <|endoftext|> 等控制符的边界逻辑。例如，GPT-2 tokenizer 将 "!' re" 编码为多个子词单元（如 [31, 223, 45]），若解码函数简单按 ID 查表映射字符，会跳过子词合并步骤，直接拼接出非自然片段，进而使模型在后续预测中持续收到失真输入，触发自强化式重复。
✅ 正确做法是全程使用 tiktoken 提供的官方接口：
# ✅ 正确：使用 tiktoken 原生 decode，保证编码-解码严格可逆
encode = tiktoken.get_encoding("gpt2")
encoded_ids = encode.encode("To be, or not to be")
decoded_text = encode.decode(encoded_ids) # 输出："To be, or not to be"
# 生成后解码必须用同一 encoder 实例
generated_ids = model.generate(context, max_new_tokens=100)[0].tolist()
print(encode.decode(generated_ids)) # 而非调用自定义 decoding()⚠️ 注意事项：
- 不要混用 tokenizer：若训练时用 tiktoken 编码，推理时绝不可替换为字符级编码（如 ord()/chr()）或自制 BPE 实现，除非完全复现 GPT-2 的 vocab.json 和 merges.txt 规则；
-
检查生成起始 token：torch.zeros((1,1), dtype=torch.long) 生成的是 token ID 0，对应 GPT-2 vocab 中的 <|endoftext|> —— 这会导致模型从“文档结束”符号开始预测，行为不可控。应改用实际起始 token，例如：
# ✅ 更合理的起始：用 "A" 或 "<|endoftext|>" 后接空格 start_token = encode.encode("A") # 返回 [123] context = torch.tensor([start_token], dtype=torch.long, device=device) - 验证 tokenizer 行为：对原始数据抽样测试 encode.decode(encode.encode(text)) == text，若不成立，说明预处理阶段已引入失真。
总结：LLM 重复输出是典型的“解码失配”症状，而非模型能力不足。优先排查 tokenizer 的端到端一致性，再考虑增加训练轮次或调整超参。90% 的类似问题可通过统一使用官方 tokenizer 的 encode/decode 方法根治——技术债不在模型深度，而在工具链的严谨性。
