STEPQuant 是什么?针对 Delta-rule 模型循环状态的训练后量化方法

中文导读

STEPQuant 关注 Delta-rule 模型循环状态的量化问题：并发下状态内存持续增长，均匀低比特量化又会把误差累积进后续状态更新。它按误差的存活时间分配比特、对高风险单元用 FP16 保护，并按 key 行与 value 列分别缩放，校准一次即可配合 SGLang 服务与评测脚本使用。适合研究或部署此类模型、需要压缩状态显存的开发者。

根据 GitHub 公开数据,该项目的编程语言为 Python,开源协议未注明,创建于 2026-09-29,最近更新于 2026-10-12,目前有 101 个 Star。

项目介绍

STEPQuant 是论文《STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization》的官方代码仓库，面向 Delta-rule 类模型的持久循环状态做训练后量化。项目指出，固定大小的单请求状态在并发场景下内存仍会增长，而均匀低比特量化会把误差带入后续每一次状态更新。

方法上分两个角度：一是 lifetime-aware 比特分配，根据状态单元误差的大小与存活时间分配比特，并对少数高风险单元用 FP16 保护；二是 key-row-aware 双轴拟合，分别缩放 key 行与 value 列，优先照顾对读出影响最大的行。分配只需校准一次，配合 packed-state kernel 与异步写回保持推理效率。

仓库提供校准、SGLang 服务与评测脚本，README 中给出了 Qwen 示例的完整命令，并说明测试环境使用 SGLang 0.5.12、PyTorch 2.11.0、Triton 3.7.1，需要模型 checkpoint、CUDA toolkit 和四张 GPU。

主要功能

• lifetime-aware 比特分配：按误差大小与存活时间给状态单元分配比特，高风险单元保留 FP16
• key-row-aware 双轴拟合：分别缩放 key 行与 value 列，优先处理对读出重要的行
• 一次校准后即可服务，配合 packed-state kernel 与异步写回
• 提供基于 SGLang 的量化状态推理服务脚本
• 提供长生成任务评测套件，支持 FP32 与量化格式对比
• 支持 Qwen 与 Kimi 两类模型的复现流程

适合谁用

适合研究或部署 Delta-rule 类大模型、关注循环状态量化与显存优化的研究人员和工程师。

快速上手

1. 复用环境并设置 configs/models.json 中的 model_path：bash scripts/reuse_sglang_env.sh /path/to/sglang-env；bash scripts/reuse_eval_env.sh .venv-serving；bash scripts/reuse_calibration_env.sh /path/to/qwen-env qwen
2. 校准一次：.venv-eval/bin/python -m stepquant.reproduction --models qwen --formats stepquant6 --devices 0,1,2,3
3. 启动服务：CUDA_VISIBLE_DEVICES=0,1,2,3 .venv-serving/bin/python -m stepquant.sglang --model-path /path/to/Qwen3.8-27B --tp-size 4 --state-format stepquant6 --plan artifacts/reproduction/plans/qwen-stepquant6.pt --attention-backend triton --reasoning-parser qwen3 --context-length 131072 --chunked-prefill-size 2048 --mem-fraction-static 0.85 --served-model-name stepquant --host 127.0.0.1 --port 31080
4. 先停止手动启动的服务，再运行评测：.venv-eval/bin/python -m stepquant.evaluation.suite --models qwen --benchmarks long --formats fp32 stepquant6 --server-python .venv-serving/bin/python --devices 0,1,2,3 --tp 4
5. Kimi 配置、零样本短任务协议与 FP32 解码基准见 REPRODUCTION.md

Star 增长趋势

同类项目