bug-hunt-bench 是什么?用真实代码库中的 105 个 bug 盲测 AI 编程模型修复能力

中文导读

Bug Hunt Bench 是一个评估 AI 编程模型修复真实 bug 能力的基准测试。它在两个生产代码库中植入 105 个 bug，让模型在各自的 agentic CLI 中尝试修复，并通过盲评统计成功数量。项目提供实时排行榜和公开数据，适合需要对比不同模型在软件工程任务中表现的开发者参考。

根据 GitHub 公开数据,该项目的编程语言为 JavaScript,开源协议未注明,创建于 2026-08-25,最近更新于 2026-10-14,目前有 136 个 Star。

项目介绍

Bug Hunt Bench 是一个针对 AI 编程模型的基准测试项目。它在两个生产代码库中植入了 105 个真实 bug，让前沿编程模型（如 GPT-6、Claude、Grok、Gemini、DeepSeek 等）在各自的 agentic CLI（如 Codex CLI、Claude Code、Grok CLI、Antigravity CLI）中尝试查找并修复。每个模型对每个代码库只有一轮机会，所有提交的 diff 会对照隐藏的答案密钥进行盲评，最终得分只计算成功修复的植入 bug 数量。

项目提供了实时排行榜，展示各模型在不同 effort 设置下的修复数量、运行次数、耗时和成本等数据。此外，所有原始数据、评估方法和注意事项都在仓库中公开，方便开发者查阅和验证。

主要功能

• 在两个真实生产代码库中植入 105 个 bug 进行测试
• 支持多种前沿 AI 编程模型在各自 CLI 中运行
• 盲评机制：diff 对照隐藏答案密钥评分
• 实时排行榜展示模型修复数量、耗时、成本等指标
• 公开原始数据、评估方法和注意事项

适合谁用

适合 AI 编程模型的研究者、开发者，以及需要评估不同模型在真实 bug 修复任务上表现的技术团队。

Star 增长趋势

同类项目