vs code可在agents窗口用compare models对同一提示词运行2至10个模型尝试,并按需要配置评估模型和合成模型。先准备可用账户与模型;仓库对比使用独立worktree,未提交改动不包含在比较基线中,评估结果也不会自动合并代码。
选同一任务和比较对象
在Agents窗口新建会话并选择Git仓库,或用Quick Chat比较不关联仓库的回答。打开模型选择器,选择Compare Models,添加2至10个可用模型;Auto不参加该比较。
需要自动评估时,运行前配置Judge;需要合成时还要配置Synthesizer。相同模型可使用不同思考强度重复加入,但每次尝试都产生独立用量。

官方示例:VS Code多模型对比的统一提示词与运行入口。
运行前确认隔离和权限
为所有尝试写同一个有边界的任务及验收条件,再选择Run N Attempts。仓库比较基于已提交状态,忽略文件和依赖可能不在新Worktree内。
手动Compare Models仓库尝试使用Allow all,因此Worktree只隔离改动,不隔离对机器和网络的访问。执行不熟悉仓库前,应先核对工具和沙箱边界。

官方示例:多个模型尝试在VS Code并列运行。
检查结果后再合成
查看每次尝试的回答、文件差异及相关测试。Judge评分会提供推荐和依据,但Token统计可能只是下限,不能当作准确费用。
若已配置Judge和Synthesizer,点击Synthesize可创建新的合成会话;它保留原尝试,不直接改动原工作树。仍需单独检查合成结果,再按项目流程集成。

官方示例:VS Code评估模型给出的结果及验证依据。


















