英伟达 Nemotron 3.5 Bolt E4B：4GB 显存跑 8B 模型
10 月 24 日，英伟达发布开放小模型 Nemotron 3.5 Bolt E4B 4GB，面向跑在本地硬件上的语音助手、游戏 NPC 和机器人接口。这是一款 8B 总参数、4B 有效参数、64K 上下文的模型，权重按 OpenMDW-1…
本地部署7 篇
Colibrì 用 SSD 当显存跑 744B GLM-5.2，25GB 内存可推理
GitHub 上有个叫 Colibrì 的开源项目，最近涨到 32k Star。它做的事一句话能说清：让 744B 参数的 GLM-5.2 在一台 25GB 内存的笔记本上跑起来，而且不需要 GPU。 项目是纯 C 实现、零引擎依赖的分层推…
阶跃星辰 600B MoE 旗舰 Step 5 Preview 上线 22 小时 GPU Kernel 优化到 508 TFLOPS
阶跃星辰 9 月 21 日推出新一代旗舰模型 Step 5 Preview，600B 总参数的稀疏 MoE 架构，每 Token 激活约 27B，上下文窗口最高 100 万 Token，原生支持文本与视觉输入。这次定位的关键不在单轮问答，而…
GPT-OSS开源权重模型发布：120B/20B双版本Apache 2.0可商用，128K上下文与本地部署全解析
一句话结论：OpenAI 在 2025 年 8 月 5 日推出开放权重模型系列 GPT-OSS，包含 GPT-OSS-120B 与 GPT-OSS-20B 两款，均采用 MoE 架构与 Apache 2.0 协议，原生支持最长 128K t…
硅基流动完成 B+ 轮二期与 C 轮融资：2026 年累计近 29 亿元，冲刺港交所 18C 上市
结论先行：AI 基础设施公司硅基流动（SiliconFlow）宣布已先后完成 B+ 轮二期和 C 轮融资，2026 年度累计股权融资接近 29 亿元。据公司披露，两轮资金将重点投向推理引擎、异构算力调度、模型与芯片适配等核心技术研发，强化 …
中国电信开源 Xing4.0-29B-A4B：全栈国产，消费级显卡跑 512K 上下文
中国电信把”全栈国产”四个字走成了闭环。9 月 17 日，中国电信端出新一代星辰大模型 Xing4.0-29B-A4B：总参数 29B、激活参数仅 4B，原生吃下 256K 上下文、还能扩展到 512K，是国内首个从…
DeepSeek本地部署教程-Mac
写在前面 在人工智能领域，大型语言模型（LLM）的应用日益广泛，但许多用户希望能够在本地环境中进行部署和运行，以满足特定的数据隐私、定制化需求或离线使用场景。 …