InclusionMed 上线:1034 项任务横评 22 个医疗 AI 模型

11 月 18 日,全球首个医疗健康 AI 独立评测与分析平台 InclusionMed 正式上线,同步推出医疗 AI 评测图谱 InclusionMed Atlas 与首期评测指数 InclusionMed Index,由斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团等 29 家机构的研究人员共同建设,定位是医疗健康领域的 Artificial Analysis。

九宫格图谱与三类角色

Atlas 围绕面向谁与考察什么能力两个维度,把患者与公众、医疗专业人员、医疗管理人员三类角色,与知识、推理、任务执行三类能力交叉,形成九宫格评测图谱,每项基准按主要评测内容归入对应位置。Index 则汇集纳入基准的结果,呈现模型综合表现及其在不同任务上的强弱项。医疗 AI 落地的具体形态可参考 Gemini for healthcare 的文书与医疗应用落地。

1034 项任务与 22 个模型

首期评测聚焦临床诊疗与医疗管理两个方向,纳入五项基准共 1034 项任务,对国内外 11 家厂商的 22 个模型做系统比较,并经过独立复测,最终选出四项公开评测基准,与团队自建的 InclusionMed-DxFiles 一起构成首期指数。DxFiles 基于顶级医学期刊刊载的疑难病例构建,考察模型结合病例线索做临床判断的能力。

下一步

项目组表示正与医疗机构和研究团队合作,围绕复杂治疗选择中的医患共同决策、资源约束下的诊疗调度等场景开发新的评测任务,进一步考察 AI 在临床决策、患者决策支持与医疗健康管理上的表现。

全部文章归档与模型专题