10月20日,开源本地 AI 大模型运行工具 Strata 发布 0.2.0 测试版,进一步大幅降低了本地部署千亿参数模型的硬件门槛。新版本对内存与显存的综合占用进行深度优化,综合占用最低仅 27.6GB,这意味着配备一张 12GB 显存的显卡(如 RTX 3080)加 20GB 系统内存即可流畅运行 Qwen3.8-Flash-Next、Qwen3.6-35B-A3B 等千亿大模型。
从 40GB 到 27.6GB:硬件门槛再降
Strata 0.1 版本的最低要求约为 40GB 综合内存占用,0.2 版本通过三项优化实现突破:一是动态批处理减少冗余 KV Cache 占用,二是量化压缩后权重加载优化,三是新增独立图形界面降低配置复杂度。官方表示,用户无需手动配置量化参数,Strata 会根据硬件自动选择最优压缩档位。
新增 GUI,本地大模型进入傻瓜时代
Strata 0.2 新增独立图形界面,支持拖拽式模型切换、会话管理与输出预览,大幅降低本地大模型的使用门槛。在此之前,本地跑大模型需要命令行操作与参数调优,让许多非技术用户望而却步。新版图形界面让普通用户也能一键启动本地大模型对话,覆盖 Qwen、Llama、MiniMax 等主流开源模型系列。
与 Ollama / LocalAI 的差异化
Strata 与 Ollama、LocalAI 同属本地大模型运行工具,但 Strata 的差异化在于「开箱即用」:Ollama 需要手动拉取模型镜像并配置启动参数,LocalAI 更偏向 Docker 化部署。Strata 0.2 的图形界面和自动量化档位选择,降低了用户的学习成本。目前 Strata 0.2 已在 GitHub 开源,Star 数突破 1.2 万,位居本地 AI 工具热榜第三,仅次于 Ollama 和 LM Studio。
延伸阅读
- Strata 0.2 发布:27.6GB 显存跑千亿大模型,新增图形界面2 小时前
- 腾讯元宝搜索正式开放:千亿级索引、157 个垂直信源、检索耗时 8 毫秒20 分前
- Perplexity Mac 版推端侧模式:36GB 内存门槛,本地跑 Qwen 3.6 与 PPLX Pro22 分前
- Anthropic 初级技术岗位占比降至 14%:AI 代理工作时长达员工 6 倍22 分前
继续读
同一批更新里这几篇值得一看:
