prefix="og: https://ogp.me/ns#"> Strata 0.2 发布:27.6GB 显存即可本地跑千亿大模型 - AI 自学笔记

Strata 0.2 发布:27.6GB 显存即可本地跑千亿大模型

10月20日,开源本地 AI 大模型运行工具 Strata 发布 0.2.0 测试版,进一步大幅降低了本地部署千亿参数模型的硬件门槛。新版本对内存与显存的综合占用进行深度优化,综合占用最低仅 27.6GB,这意味着配备一张 12GB 显存的显卡(如 RTX 3080)加 20GB 系统内存即可流畅运行 Qwen3.8-Flash-Next、Qwen3.6-35B-A3B 等千亿大模型。

从 40GB 到 27.6GB:硬件门槛再降

Strata 0.1 版本的最低要求约为 40GB 综合内存占用,0.2 版本通过三项优化实现突破:一是动态批处理减少冗余 KV Cache 占用,二是量化压缩后权重加载优化,三是新增独立图形界面降低配置复杂度。官方表示,用户无需手动配置量化参数,Strata 会根据硬件自动选择最优压缩档位。

新增 GUI,本地大模型进入傻瓜时代

Strata 0.2 新增独立图形界面,支持拖拽式模型切换、会话管理与输出预览,大幅降低本地大模型的使用门槛。在此之前,本地跑大模型需要命令行操作与参数调优,让许多非技术用户望而却步。新版图形界面让普通用户也能一键启动本地大模型对话,覆盖 Qwen、Llama、MiniMax 等主流开源模型系列。

与 Ollama / LocalAI 的差异化

Strata 与 Ollama、LocalAI 同属本地大模型运行工具,但 Strata 的差异化在于「开箱即用」:Ollama 需要手动拉取模型镜像并配置启动参数,LocalAI 更偏向 Docker 化部署。Strata 0.2 的图形界面和自动量化档位选择,降低了用户的学习成本。目前 Strata 0.2 已在 GitHub 开源,Star 数突破 1.2 万,位居本地 AI 工具热榜第三,仅次于 Ollama 和 LM Studio。