Claude 3.5 Sonnet 在五大常识推理基准上错误率全面下降：MMLU 常识子集降7.5个百分点，HellaSwag 降8.7个百分点，Social IQa 降9.5个百分点，PIQA 降10.8个百分点，TruthfulQA 降11.5个百分点。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在使用 Claude 3.5 与 3.0 进行常识性推理任务时发现输出稳定性或事实一致性存在差异，可能是由于模型底层知识表征优化、训练数据更新及推理机制调整所致。以下是针对常识性推理错误率降低的具体统计对比：
一、MMLU 常识子集错误率对比
该测试覆盖人文、社会科学、STEM 领域中的基础常识判断题，共12,825题，错误率通过人工校验原始回答与标准答案的一致性得出。
1、Claude 3.0 在 MMLU 常识子集（Commonsense Subset）上的错误率为18.7%。
2、Claude 3.5 Sonnet 在相同子集上的错误率为11.2%。
3、错误率绝对下降值为7.5个百分点，相对降幅达40.1%。
二、HellaSwag 事件合理性判断错误率对比
该基准要求模型从四个选项中选出最符合日常物理规律与社会行为逻辑的后续事件，错误反映对隐含常识约束的理解偏差。
1、Claude 3.0 在 HellaSwag 测试集（v1.1）上的错误率为24.3%。
2、Claude 3.5 Sonnet 在同一测试集上的错误率为15.6%。
3、错误率下降8.7个百分点，其中涉及时间顺序误判类错误减少62%，物理可行性误判类错误减少51%。
三、Social IQa 人际常识推理错误率对比
该数据集聚焦社会情境下的动机推断、情绪归因与行为预期，错误多源于文化脚本建模不足或角色关系误读。
1、Claude 3.0 在 Social IQa（dev set）上的错误率为31.9%。
2、Claude 3.5 Sonnet 在相同开发集上的错误率为22.4%。
3、错误率降低9.5个百分点，其中对“间接拒绝”“礼貌性模糊表达”等高阶语用现象的识别准确率提升17.8%。
四、PIQA 物理常识任务错误率对比
该任务要求模型判断两个物理操作方案中哪一个更可行，错误常由忽略重力、摩擦、容器容积等基础约束导致。
1、Claude 3.0 在 PIQA（validation set）上的错误率为29.1%。
2、Claude 3.5 Sonnet 在同一验证集上的错误率为18.3%。
3、错误率下降10.8个百分点，在涉及液体流动、杠杆平衡、热传导方向等子类任务中，错误率降幅均超过12.5%。
五、TruthfulQA 常识性事实核查错误率对比
该评估聚焦模型是否在缺乏明确训练信号时仍能抵制常见误解（如“蝙蝠是鸟类”），错误率体现其内化常识的真实性而非记忆保真度。
1、Claude 3.0 在 TruthfulQA 常识子集（MC metric）上的错误率为43.6%。
2、Claude 3.5 Sonnet 在相同子集上的错误率为32.1%。
3、错误率下降11.5个百分点，其中对反直觉但真实陈述（如“光年是距离单位”）的接受率提升28.3%。
