PolyStrata 是什么?在个人电脑上本地运行大型 AI 模型

VecSzn/PolyStrata · GitHub
本地部署
Star134
近 7 天新增0
编程语言C++
开源协议MIT
创建于2026-10-06
最近更新2026-10-15

中文导读

PolyStrata 让你在普通 PC 上运行通常需要服务器的大型 AI 模型,支持聊天、写代码,并能与编程助手配合,所有数据留在本地。它基于 Strata 项目,支持七种模型,在 localhost 提供 OpenAI/Anthropic API,方便集成。适合拥有 NVIDIA 或 AMD 显卡、希望本地运行大模型的开发者和用户。

根据 GitHub 公开数据,该项目的编程语言为 C++,开源协议为 MIT,创建于 2026-10-06,最近更新于 2026-10-15,目前有 134 个 Star。

项目介绍

PolyStrata 是一个开源项目,让你在普通 PC 上运行通常需要服务器的大型 AI 模型,支持聊天、写代码,并能与你的应用和编程助手配合,所有数据都留在本地。它基于 Niko1221 的 Strata 项目构建,使用 C++ 编写。

项目支持七种模型,运行在两个引擎上:Qwen3.8-Flash-Next 使用 Strata 引擎,可在 Windows 或 Linux 上通过 12GB 以上显存的 NVIDIA 或 AMD 显卡运行,并支持图片输入;其余六种模型(GLM 5.3 Flash、DeepSeek V4 Flash、Qwen3.6-35B-A3B、Ornith 1.5、Gemma 4 26B-A4B、Tiel Coder 35B-A3B)使用专为 PolyStrata 编写的引擎,需要 NVIDIA 显卡,其中四个较小的模型也支持 Windows。服务器运行时可以在已安装的模型之间切换。

PolyStrata 在 localhost 上提供 OpenAI/Anthropic API,方便与现有工具集成。README 中提供了详细的性能数据,展示了在不同硬件配置下的 tokens 生成和读取速度。

主要功能

适合谁用

适合希望在个人电脑上本地运行大型语言模型的开发者和普通用户,尤其是拥有 NVIDIA 或 AMD 显卡、需要隐私保护或离线使用的场景。

同类项目

本地运行和管理开源大模型的工具
★ 18.3万 · Go · 更新于 2026-10-15
自托管、可扩展的 AI 对话界面,支持 Ollama 与 OpenAI 兼容 API
★ 15.6万 · Python · 更新于 2026-10-16
轻量跨平台 AI 聊天助手,支持多种模型与本地部署
★ 8.9万 · TypeScript · 更新于 2026-10-15
超轻量自托管个人 AI Agent 框架,支持 WebUI 与聊天应用
★ 4.9万 · Python · 更新于 2026-10-15
用自然语言搜索 Mac 本地文件,基于 EmbeddingGemma 2 的端侧语义搜索
★ 4,109 · Swift · 更新于 2026-10-14
在消费级 GPU 上高速部署大型 Qwen 模型
★ 2,025 · Python · 更新于 2026-10-11