prefix="og: https://ogp.me/ns#"> 英伟达 Nemotron 3.5 Super VL:1200 亿参数,单卡吞吐提升 5 倍 - AI 自学笔记

英伟达 Nemotron 3.5 Super VL:1200 亿参数,单卡吞吐提升 5 倍

10 月 15 日,英伟达宣布推出开放多模态模型 Nemotron 3.5 Super VL,面向需要持续运行、执行多步骤任务的 AI 智能体。该模型采用混合专家(MoE)架构,总参数量 1200 亿,激活参数 120 亿。

英伟达称,在单张 GPU 上执行智能体任务时,该模型的吞吐量最高可达到同规模其他开放模型的 5 倍。Nemotron 3.5 Super VL 将推理、指令遵循和工具调用能力,与文本、图像、文档及视频理解能力整合到同一个模型中,可用于代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别以及视频内容检索等场景。

Scale AI 定制案例:推理成本降 97.5%

开发者可利用英伟达 NeMo 工具链,结合自有数据进行后训练,并根据业务需求调整模型行为。英伟达同时公布企业定制案例:AI 数据技术提供商 Scale AI 为 Skydance Corporation 定制了供应商信用处理智能体,相关工作负载的推理成本预计可降低 97.5%、延迟降低 80%。金融运营平台 Ramp 正将收据图像转换为结构化 JSON 数据。

开放权重,vLLM / SGLang 可部署

Nemotron 3.5 Super VL 已开放权重,开发者可通过 vLLM 或 SGLang 部署兼容 OpenAI 接口的 API 服务。英伟达正在将更多企业级 AI 能力以开放模型形式输出,与 GPT-4o、Gemini 等闭源模型展开正面竞争,进一步模糊了开放与闭源模型的边界。

英伟达 AI 智能体生态加速扩张

Nemotron 3.5 Super VL 的发布表明英伟达正在将开放模型策略从训练扩展到部署层面。随着企业 AI 智能体应用的普及,英伟达希望通过开放权重吸引更多开发者基于其硬件构建智能体工作流,从而巩固其在 AI 推理市场的硬件优势。

开放权重的合规价值

补充细节:Nemotron 3.5 Super VL 采用开放权重模式发布,企业可将其部署在自有数据中心内运行,无需上云,适用于金融、医疗、法律等对数据隐私有严格合规要求的行业。英伟达同步发布了配套推理优化工具包,支持 vLLM 与 TensorRT-LLM。