keystone-bench 是什么?临床决策证据基准：检验助手行动是否随证据变化

中文导读

keystone-bench 是开源项目,站内分类为 大模型。简介:临床决策证据基准：检验助手行动是否随证据变化。项目说明中列出的主要功能包括:基于 HealthBench 构建 7,318 个孪生对话，每个只改变一个决定性因素；八种扰动家族：缺失证据、矛盾证据、人口学变化、显著干扰项等；为每个源对话提供决策框架，为每个孪生标注证据状态和可接受/禁止行动。适合评估临床 AI 助手安全性的研究人员、医疗 AI 开发者，以及关注 LLM 在证据变化下行为一致性的工程师。

根据 GitHub 公开数据,该项目的编程语言为 Python,开源协议未注明,创建于 2026-09-07,最近更新于 2026-09-15,目前有 732 个 Star。

项目介绍

Keystone 是一个面向临床聊天助手的决策-证据基准，基于 OpenAI 的 HealthBench 构建。它关注一个现有基准未覆盖的问题：当一条决定性事实被移除、替换或矛盾时，助手的行动是否随之改变，以及评分标准是否仍然有效。

项目为每个 HealthBench 源对话定义决策框架，并生成只改变一个因素的孪生对话，标注证据状态和临床可接受/禁止的行动。发布包含 7,318 个孪生、1,236 个源对话，覆盖八种扰动家族，并提供释义控制。所有回复由另一厂商的裁判模型映射到标注，主要结果围绕行动展开。

主要功能

• 基于 HealthBench 构建 7,318 个孪生对话，每个只改变一个决定性因素
• 八种扰动家族：缺失证据、矛盾证据、人口学变化、显著干扰项等
• 为每个源对话提供决策框架，为每个孪生标注证据状态和可接受/禁止行动
• 提供释义控制，确保措辞变化不影响结果
• 发布五模型参考结果、评分器有效性检查和可审计的 SHA-256 哈希
• 支持分层评估（all/core/strict/primary/quick）和 80/20 源对话划分

适合谁用

适合评估临床 AI 助手安全性的研究人员、医疗 AI 开发者，以及关注 LLM 在证据变化下行为一致性的工程师。

快速上手

1. pip install keystone-bench
2. keystone build # 从 OpenAI 公开的 HealthBench 重建发布数据
3. keystone build --check # 校验重建结果与发布的哈希是否一致
4. keystone pairs # 查看发布内容（按家族和分层）
5. keystone show 0cdca736 # 查看某个源对话的原始、孪生、控制、决策框架和参考模型行为

Star 增长趋势

同类项目