Spotter 是什么?让具身模型主导执行,VLM 仅在确认错误时介入修复的机器人操作框架

zqc3117/Spotter · GitHub · 官网
AI 智能体
Star180
近 7 天新增0
编程语言Python
开源协议MIT
创建于2026-09-29
最近更新2026-10-13

中文导读

Spotter 在冻结的具身模型和 VLM 之间加入一层轻量干预机制:具身模型持续主导执行,本地筛选器并行监控,只有确认出错时 VLM 才介入修复并验证。这样 VLM 不必逐步规划,也无需任务成功信号,用本地 Qwen 即可运行。适合希望在现有机器人策略上引入 VLM 监控、又不想牺牲执行速度的研究与开发场景。

根据 GitHub 公开数据,该项目的编程语言为 Python,开源协议为 MIT,创建于 2026-09-29,最近更新于 2026-10-13,目前有 180 个 Star。

项目介绍

Spotter 是一个面向机器人操作的运行时监控与干预框架。它把冻结的具身模型(System 1)和 VLM(System 2)组合起来,但不同于让 VLM 逐步规划的传统方案,Spotter 让具身模型持续主导执行,一个本地筛选器并行观察,只有当确认出现错误时,VLM 才介入给出简短的修复原语计划并验证修复结果。

这样 VLM 的任务被大幅简化,无需访问任务成功信号等特权信息,使用本地部署的开源 Qwen 即可工作。在 RoboCasa 的 1200 个 episode 上,Spotter 相比单独策略仍有提升,而成功 episode 中平均调用 judge 不到一次,仅比纯策略多花 13–16 秒。项目目前推荐使用 RoboTwin 2.0 进行评测,RoboCasa 路径存在渲染 bug 正在修复。

主要功能

适合谁用

适合研究机器人操作、具身智能和 VLM 智能体的开发者与研究人员,尤其是希望在不替换现有具身模型的前提下引入 VLM 监控与修复能力的场景。

快速上手

  1. 克隆仓库并进入项目目录
  2. 按照 README 的 Environment Setup 配置环境
  3. 准备模型:下载 pi0.5 或 Cosmos Policy 等检查点
  4. 运行 bash robotwin_eval.sh 进行 RoboTwin 2.0 一键评测

Star 增长趋势

197174 · 2026-10-14 至 2026-10-16

同类项目

面向 AI 编程代理的性能优化系统
★ 28.0万 · JavaScript · 更新于 2026-10-15
通过 MCP 让 AI Agent 逆向分析二进制、应用与网站
★ 27.0万 · TypeScript · 更新于 2026-10-16
Nous Research 出品的可自我改进 AI Agent
★ 25.4万 · Python · 更新于 2026-10-15
DeepSeek 开源的一切皆插件的 agent harness
★ 25.0万 · TypeScript · 更新于 2026-10-15
把网页变成 LLM 可用数据的抓取与搜索工具
★ 19.2万 · TypeScript · 更新于 2026-10-15
让 AI 编程助手像最懒的资深开发者一样思考,只写必要的代码。
★ 16.4万 · JavaScript · 更新于 2026-10-15