为什么山姆·奥特曼（Sam Altman）和其他人现在将氛围用作AI最新进展的新规格

让我们讨论“共鸣”作为AI领域的评估度量的上升。该分析是我正在进行的《福布斯》列的一部分，探索了AI开发的复杂方面（请参见此处的链接）。

AI评估中的共鸣

传统上，使用定量指标（如TTFT（第一次令牌）和TPS（每秒标记）（每秒））评估生成的AI和LLM。尽管争论仍在最佳指标上，但该过程依赖于可测量的数据。尽管AI开发人员可能会尝试操纵结果，但独立验证通常会揭示差异。最终，数字提供了相对客观的评估。

最近，出现了一种更主观的评估方法：“共鸣”。 AI开发人员可能会声称自己的LLM具有“巨大的共鸣”，这表明即使缺乏硬指标，总体感觉或经验也可以弥补。

问题？ “共鸣”完全是主观的。这为开发人员创造了方便的漏洞。索赔很难驳斥。挑战“良好共鸣”的主张的反应是，这是个人感知的问题。这使开发人员能够继续促进积极但未实现的主张。

作为合法指标的“共鸣”广泛采用威胁着对AI进度的准确评估。

“ AI共鸣”的起源

使用“共鸣”的趋势可以追溯到2025年初Openai的Sam Altman的推文。他并不孤单。未来的文章将探讨另一名AI领导者发起的“ Vibe编码”的兴起。

奥特曼（Altman）的2025年3月11日，X帖子举例说明了这一点：“我们在创意写作（发行日期TBD）方面训练了一种新的模型。这是第一次对AI写作印象深刻；它完美地捕捉了Metaffiction Vibe。”

较早的帖子（2025年2月27日）暗示了AI的“魔术”，并转向了“不同的智力”：

• “ GPT-4.5已经准备好了！感觉就像在与一个有思想的人交谈。我对收到的建议感到惊讶。”
• “这不是一个推理模型，不会顶级基准。这是一种不同的智慧，有了我以前从未感觉到的魔力。让人们尝试一下！”

AI社区中的一些人拥抱“共鸣”，认为仅定量措施不足。它们与人类评估相似，这表明总体“化学”至关重要。

然而，批评家认为这是有缺陷的，这是一种拟人化的形式。他们认为这个概念有害，有可能在AI话语中根深蒂固。激烈的辩论仍在继续。

争论和反对“共鸣”的争论

与AI研究人员的讨论揭示了对使用“共鸣”和反对使用的关键论据：

关于“共鸣”的论点：

1. 内心本质：一些LLM与用户建立了情感联系，值得认可的质量。
2. 积极的含义：积极的关联鼓励更广泛地采用生成AI。
3. 分化：当定量指标相似时，“共鸣”可以区分LLM。
4. 全词： “共鸣”是普遍理解的，避免了对新的，可能令人困惑的术语的需求。

反对“共鸣”的论点：

1. 主观性： “共鸣”的无定形性质使其对客观评估不可靠。
2. AI的神秘化：将“共鸣”与AI相关联，暗示着一种神秘的，潜在的潜在质量。
3. 掩盖放缓： “共鸣”可能会分散缺乏大量AI进步的注意力。
4. 缺乏可比性：主观性质阻碍了LLM之间有意义的比较。

使“共鸣”可衡量

消除使用“共鸣”的使用不太可能。它的吸引力太强了。但是，我们可以通过将它们分解为可测量的组件来量化“共鸣”。

这可能涉及：

• 分析对话流（响应能力，对话转弯）。
• 测量情感对齐（比较AI和用户音调）。
• 通过用户评分评估参与度和可爱性。

建立标准化的指标将鼓励透明度，并防止开发商制定专有措施。然后，排行榜可以纳入“共鸣”指标，以进行独立的验证并防止操纵。

最终，有人认为量化“共鸣”与其本质相矛盾。但是，鉴于其流行率，试图使其成为可衡量的度量标准可能是维持AI评估中客观性的必要条件。我对这种方法保持乐观。

以上是为什么山姆·奥特曼（Sam Altman）和其他人现在将氛围用作AI最新进展的新规格的详细内容。更多信息请关注PHP中文网其他相关文章！