了解命中率，MRR和MMR指标

介绍

想象一下浏览书店以进行完美阅读。您渴望特定于流派的建议，但希望发现新作者的多样性。检索增强的生成（RAG）系统的功能相似，将信息检索与创意响应生成融为一体。评估其绩效需要指标，例如命中率（衡量成功的建议）和平均相互等级（MRR，考虑建议顺序）。最大边缘相关性（MMR）确保了建议的相关性和多样性。这些指标保证了准确，多样化和引人入胜的建议。

概述

本指南探讨了命中率，MMR及其在评估抹布系统中的作用。您将学会将MMR用于在检索结果中平衡相关性和多样性，计算命中率和MRR评估检索有效性，并使用这些性能指标分析/改善抹布系统。

目录

• 什么是命中率？
• 计算命中率
• 命中率限制
• 平均相互等级（MRR）
• 计算MRR
• 最大边缘相关性（MMR）
• 计算MMR
• MMR示例
• 常见问题

什么是命中率？

命中率通过测量所需项目在顶级建议中出现的频率来评估建议系统性能。在抹布中，它表示成功将相关数据纳入生成的输出的频率。

计算命中率？

命中率是通过将相关项目出现在顶级建议中的查询数量除以查询总数的查询数量来计算的。数学上：

示例：三个查询（Q1，Q2，Q3），带有相应的目标节点（N1，N2，N3）。检索的节点是：

Q1的命中率为1，Q3为0。所以：

命中率限制

命中率的主要限制是无视检索到的节点的位置。考虑两个猎犬：

两者都具有相同的命中率（66.66％），但是Retriever 2始终将正确的节点排名更高（位置1比Q1的位置3）。这凸显了对考虑排名的度量的需求。

平均相互等级（MRR）

平均相互等级（MRR）通过考虑排名列表中的第一个相关项目的等级来评估信息检索系统。在RAG中，它评估了检索组件在寻找相关文档以进行准确响应生成时的性能。

计算MRR？

其中n是查询的数量，而ranki是查询i的第一个相关文档的等级。

例子：

Q1的MRR为1/3。所以：

请注意，尽管命中率达到66.66％，但MRR为44.4％，奖励将相关物品更高的检索员奖励。

最大边缘相关性（MMR）

最大边缘相关性（MMR）重新排列结果以优化相关性和多样性。它可以平衡新颖性和相关性，以确保已检索的项目全面解决查询方面。

计算MMR？

λ（mmr_threshold）控制相关性/多样性权衡。接近1的λ优先考虑相关性；接近0的λ优先考虑多样性。

MMR示例

使用与命中率相同的示例，具有假定的相关性和相似性得分，λ= 0.5：

原始文档中提供了Q1，Q2和Q3的详细MMR计算和重新排列。最终重新排列的节点说明了MMR在相关性和多样性之间达到的平衡。

结论

命中率，MRR和MMR对于评估和改善抹布系统至关重要。命中率和MRR专注于相关信息检索频率和排名，而MMR平衡相关性和多样性。优化这些指标可增强抹布系统的响应质量和用户体验。

常见问题

Q1。什么是命中率？答：这是最高建议中的查询与相关项目与查询总数的比率。

Q2。什么是MMR？答：最大的边际相关性是一种重新排列技术，平衡了检索结果中的相关性和多样性。

Q3。为什么命中率对抹布很重要？答：更高的命中率表明更好地检索相关信息，从而导致更准确的响应。

Q4。为什么MMR对抹布很重要？ A. MMR确保各种各样的相关结果，为查询提供全面的答案。

以上是了解命中率，MRR和MMR指标的详细内容。更多信息请关注PHP中文网其他相关文章！