hayamimi 是什么?纯 CPU 实时多语言语音转文字,带字幕、说话人标签与翻译

oboroge0/hayamimi · GitHub
AI 语音
Star445
近 7 天新增0
编程语言Python
开源协议NOASSERTION
创建于2026-08-25
最近更新2026-09-17

中文导读

hayamimi 是开源项目,站内分类为 AI 语音。简介:纯 CPU 实时多语言语音转文字,带字幕、说话人标签与翻译。项目说明中列出的主要功能包括:5 路语言路由:ja/zh/ko/yue/en 及 24 种欧盟语言使用专用模型,其余语言回退到 Omnilingual ASR;实时部分字幕与快速最终行:说话中约每 0.5 秒更新草稿,停止后约 100ms 给出最终行;两遍精修:静音 2 秒后对近期语音批量重解码,提升准确率。适合希望在无 GPU、无云 API 的本地环境中做实时字幕、会议记录或直播字幕的开发者与普通用户,尤其是需要日语等多语言识别的场景。

根据 GitHub 公开数据,该项目的编程语言为 Python,开源协议未注明,创建于 2026-08-25,最近更新于 2026-09-17,目前有 445 个 Star。

项目介绍

hayamimi(早耳)是一个纯 CPU 运行的实时多语言语音转文字项目。它不依赖 GPU 或云端 API,所有模型都以 INT8 量化的 ONNX 形式通过 sherpa-onnx 运行,常驻内存控制在 2GB 以内。设计目标是边说边出字幕,说完约 100ms 后给出最终行。

与只用 Whisper 的方案不同,hayamimi 按语言把每段语音路由到对应的专用模型:ja/zh/ko/yue/en 及 24 种欧盟语言各有独立模型,其余约 1600 种语言回退到 Meta 的 Omnilingual ASR。README 称在真实日语广播音频上 CER 为 3.8%,对比 whisper-large-v3-turbo 的 13.8%,并在 6 核桌面 CPU 上以 10-50 倍实时速度运行。

项目提供浏览器仪表盘、OBS 叠加层、说话人标签、实时翻译、热词替换、CJK 数字规范化,以及 WebSocket 网络音频输入和 Windows 系统音频回环输入。

主要功能

适合谁用

适合希望在无 GPU、无云 API 的本地环境中做实时字幕、会议记录或直播字幕的开发者与普通用户,尤其是需要日语等多语言识别的场景。

快速上手

  1. 创建虚拟环境并安装依赖(README 示例使用 .venv)
  2. 运行 python scripts/realtime_transcribe.py --serve 启动实时转写与本地仪表盘
  3. 浏览器打开 http://localhost:8833/dashboard 查看实时字幕与精修结果
  4. 如需网络音频输入,运行 python scripts/realtime_transcribe.py --input ws --serve,客户端连接 ws://<host>:8766/ingest 发送音频
  5. 如需翻译,添加 --translate en,zh,ko,es 等参数

Star 增长趋势

445444 · 2026-10-14 至 2026-10-16

同类项目

统一文本、视觉、音频与多模态模型的定义框架
★ 16.8万 · Python · 更新于 2026-10-15
输入主题或关键词,自动生成高清短视频
★ 13.2万 · Python · 更新于 2026-10-15
本地运行与训练大模型和扩散模型的桌面应用
★ 7.8万 · Python · 更新于 2026-10-16
本地运行的开源语音克隆与配音工作台
★ 6.9万 · Python · 更新于 2026-10-16
开源智能体视频制作系统,让 AI 编程助手变身视频工作室
★ 6.9万 · Python · 更新于 2026-10-12
少样本语音克隆与文本转语音的 WebUI 工具
★ 6.3万 · Python · 更新于 2026-10-08