当地时间 10 月 28 日，据外媒 Rest of World 报道，人工智能语言公平研究联盟发布的一项研究发现，AI 模型处理不同语言时消耗的 Token 数量可能相差悬殊。同一模型内，不同语言的 Token 消耗量最多相差 17 倍。研究人员把这种因语言差异产生的额外成本称为隐性的「分词器税」，网络上内容较少的语言受影响尤其明显。
从 20 种语言到 200 种语言的差距
Token 是 AI 模型处理文本等数据的基本单位，由分词器把文本、图像或音频切分而成。研究发现，即使只统计互联网上最常用的 20 种语言，Token 消耗量也存在明显差异，最高是最低的 1.5 到 5 倍；把测试范围扩大到 200 种语言后，差距进一步扩大，在其中一个 AI 模型中最多相差 17 倍。
报告指出，班加罗尔的一家初创企业每次向 AI 输入指令、获取回答时，都可能比奥斯汀的竞争对手付出更高成本。分词器税带来的问题不只是费用上涨：消耗的 Token 越多，AI 响应越慢，能有效处理的上下文内容也越少。算力和网络条件本就有限的地区受到的冲击尤其严重。
语言效率该成为产品基本要求
印度首家专注 AI 投资的风险投资基金 Activate AI 联合创始人普拉蒂尤什·乔杜里指出，使用非英语语言时，同样的上下文容量能容纳的文档和对话记录更少，AI 生成回答也更加费力。他以教学为例，老师要教好学生就得记住学生以前犯过什么错误，这些历史记录若很快占满上下文窗口，最终连教学质量都会受影响。他主张语言处理效率应当像准确性、速度和可靠性一样，成为 AI 产品的基本要求，并希望主要 AI 实验室公布各语言的评估结果。
孟买 AI 语音基础设施初创企业 Navana.ai 联合创始人兼 CEO 拉乌尔·纳纳瓦蒂则提到开放数据项目的重要性，他们与印度科学学院合作、由盖茨基金会资助的 RESPIN 项目，收集了 38 种方言母语使用者提供的文本和朗读录音。联盟还发现，决定 Token 消耗量的不只有语言使用人数，采用什么文字同样重要，多语言处理正被站内此前的B 站 Index-Translate 开源项目这类工作补齐。
17 倍的差距意味着非英语用户拿到的很可能不是同等的模型能力，而是被悄悄折价的一条通道。
延伸阅读
- 韩国5万亿韩元押注物理AI：2030年AI应用率提到10%1 天前
- Kimi K3开放权重：2.8万亿参数MoE开源，MoonEP/FlashKDA/AgentEnv三项Infra同步公开3 周前
- MiniMax-M1 开源推理模型解析：4560 亿参数、100 万 Token 上下文，54 万美元完成训练1 月前
- Kimi Agent Swarm是什么：100个子AI并行工作解析2 周前
继续读
同一批更新里这几篇值得一看：
- 韩国5万亿韩元押注物理AI：2030年AI应用率提到10%2026-10-29
- 风云卫星发布 AI 台风模型：27 秒生成极端天气体检报告2026-10-29
- AI 数据中心用电激增：2030 年美国电力排放或增 42%2026-10-29