10 月 24 日，英伟达发布开放小模型 Nemotron 3.5 Bolt E4B 4GB，面向跑在本地硬件上的语音助手、游戏 NPC 和机器人接口。这是一款 8B 总参数、4B 有效参数、64K 上下文的模型，权重按 OpenMDW-1.1 协议开放，部署目标是让 4GB 显存的设备也能跑起带工具调用的对话智能体。
4GB 是显存预算，不是文件大小
官方 Q4_K_M 量化版在 Hugging Face 上的 GGUF 文件实际是 6.18 GB。英伟达用 llama.cpp 在批大小 1、输入 3K 输出 50 tokens 的条件下测了几种设备：RTX 5070（12GB）占用 3.55 GB，首 token 延迟 548 毫秒，吞吐 133.4 tokens/s；RTX Spark（32GB）占用 3.19 GB，延迟 306 毫秒，67.0 tokens/s；Jetson AGX Orin（32GB）占用 4.23 GB，延迟 3687 毫秒，24.0 tokens/s；Jetson Orin Nano（8GB）占用 4.25 GB，延迟 5785 毫秒，15.5 tokens/s。
跳过监督微调，只用强化学习后训练
模型由 Google 的 Gemma 4 E4B 后训练而来。研究报告写得很直白，监督微调虽然提升了工具调用，却损害了对话质量并让回答变得啰嗦，所以团队改走 RLVR 与 RLHF 路线，依赖 NeMo-RL 和 NeMo-Gym。每条训练样本同时跑推理与非推理两种模式，批次内非推理与推理样本保持 2:1 比例，GenRM 环境里的长度惩罚防止答案无限拉长。量化阶段用重要性矩阵校准，消耗约 100 万 tokens 的强化学习 rollout 数据。
21 项基准领先 15 项，短板在 Tau2
英伟达自测的 BF16 成绩里 IHEval 拿到 84.8，MultiChallenge 53.1，领先 Gemma 4 E4B 的 67.0 和 Qwen3.5-4B 的 60.6；Tau2-Bench 只有 55.1，比 Qwen3.5-4B 的 75.1 落后约 20 分，RULER 64K 是 87.0 对 95.1。搭配 DFlash 推测解码器后，RTX 5070 上跑到 272.6 tokens/s，比 Gemma 4 E4B 配 MTP 起草器的 225.9 快 1.21 倍。
模型还提供多轮工具使用能力与异步工具调用指引，一个 conversational_mode 开关用于输出适合语音播报的短回复，推理过程可配置并支持运行时思考预算上限，用来压住延迟。官方展示中，一台 Jetson Orin Nano 8GB 上跑着 Reachy Mini 机器人，Cosmos 3 Edge 负责视觉，Bolt 负责语音回复和工具调用。模型已在 Hugging Face、Ollama、LM Studio、Unsloth 和 Jetson AI Lab 上线，同时以 NVIDIA NIM 形式提供。
延伸阅读
- Fractile融资6亿美元估值65亿美元：AI推理芯片新秀凭什么让Anthropic下单3 周前
- 英伟达 220 万美元领跑：AI 三巨头游说单季近 600 万美元2 天前
- WorldTUI 训练 3.6 亿参数小模型：208MB 装下一个假终端1 天前
- 微软RTX Spark电脑正式开订：Dev Box 5999美元起2 周前
继续读
同一批更新里这几篇值得一看：
- WorldTUI 训练 3.6 亿参数小模型：208MB 装下一个假终端2026-10-24
- Cactus 开源 16.9MB 端侧语音模型，词错率降到 10.47%2026-10-23
- Gradium 开源 Phonon：3100 万参数 64.5MB 端侧 TTS2026-10-23
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记