微软 GitHub 副总裁开源 gputaskman:看清哪个进程在吃显卡

11 月 6 日消息,微软资深开发者、微软与 GitHub 副总裁斯科特·汉塞尔曼发布开源 GPU 监控工具 gputaskman,用于按进程展示显卡的占用情况,帮助本地跑模型的用户判断 AI 任务到底给显存带来多大压力。

汉塞尔曼有 30 多年编程经验,曾在 Intel、Nike、STEP Technology 工作,目前在 Microsoft / GitHub 担任副总裁兼技术成员。

现有工具缺了什么

Windows 任务管理器能显示 GPU 使用率、温度等总体数据,也能在「详细信息」页按进程查看显存占用,但难以解释各进程具体在做什么。英伟达的 GPU 活动监视器同样只列出正在占用显卡的程序,信息有限。gputaskman 试图补上的正是这一层。

它可按进程展示 GPU 使用率、显存占用、温度、功耗、时钟频率、编码器与解码器活动以及 PCIe 流量等数据。针对本地运行大语言模型的用户,它还能识别 LLM 进程,并显示模型名称、运行时、模型权重、量化方式、层数和显存占用等细节。

本地推理的实用价值

量化方式与层数直接决定显存占用,一个 70B 模型在 4 bit 与 8 bit 下的占用差距可以到数倍,能把这几个参数摊开看,判断换卡或换量化方案就多了一份依据。配合AgentSight 的零 SDK 观测思路,这类工具正在把 AI 应用的运行状态从黑盒变回可读数据。

需要留意的是,gputaskman 目前仍属早期实验性软件,支持 Windows、Linux、WSL 与 Apple Silicon Mac。有试用者发现 GPU 温度偶尔会长时间停留在同一数值,未能正常刷新,开发者也提示实际体验会因硬件和平台而异。