State-of-Thought 是什么?用轻量状态控制冻结大模型的内生推理

中文导读

State-of-Thought 把推理控制从外部采样和搜索转到模型内部：它读取冻结骨干中逐步形成的信息传递轨迹，用四个动力学-几何坐标描述当前推理状态，再由极小的证据门控和停止头决定何时取用证据、何时提交答案。整个控制器只有 582 个可训练参数，骨干权重完全不动。项目覆盖文本与视觉语言两类模型，并给出对齐论文的配置、检查点和评估记录，适合想研究或复现内生推理控制的开发者。

根据 GitHub 公开数据,该项目的编程语言为 Python,开源协议为 MIT,创建于 2026-09-07,最近更新于 2026-10-06,目前有 163 个 Star。

项目介绍

State-of-Thought（SoT）是一个面向大语言模型与视觉语言模型的推理控制方法。它不修改骨干模型权重，而是从模型内部信息传递中提取四个动力学-几何坐标——Dispersion、Velocity、Directional consistency 和 Instability，构成一个可检查的推理状态。

该状态驱动一个 16→32→1 的证据门控（577 个参数）和一个四权重加一偏置的停止头（5 个参数），共 582 个可训练参数，用于决定何时检索证据、何时停止推理并给出答案。项目提供文本与多模态的运行时、训练代码、五个冻结控制器检查点，以及对齐论文的三 LLM 与两 VLM 配置和 19 个推理数据集上的评估记录。

主要功能

• 从冻结骨干中提取 4D 动力学-几何推理状态
• 证据门控与停止头共 582 个可训练参数，骨干保持冻结
• 支持文本（Llama-3.1-8B、Qwen2.5-14B、Mixtral-8×7B）与视觉语言（Qwen2.5-VL-7B/32B）配置
• 提供检查点验证、数据校验、评估与控制器重训练命令
• 运行记录可复现、可恢复，保留配置、检查点标识与哈希

适合谁用

适合研究 LLM 推理与 test-time compute 的研究者，以及希望在不微调骨干的前提下复现或审计推理控制器的开发者。

快速上手

1. git clone https://github.com/GongZhiren/State-of-Thought.git && cd State-of-Thought
2. python -m venv .venv && source .venv/bin/activate && python -m pip install -e .
3. sot checkpoint verify checkpoints/llama-3.1-8b/controller.pt
4. sot data validate --config experiments/paper/llama-3.1-8b.yaml
5. sot evaluate --config experiments/paper/llama-3.1-8b.yaml

Star 增长趋势

同类项目