11 月 2 日，麻省理工学院计算机科学与人工智能实验室的研究者 Rikiya Takehi 在博客发布一项新方法，名为权重空间编程。团队让 OpenAI 的 GPT-6 Astra 直接读取并修改阿里通义千问 Qwen3.5-0.8B 的神经网络权重，只调整约 0.016% 的参数，就把该模型在 MATH-500 数学基准上的成绩从 7.9% 提升到 48.1%。
先定位再动手
研究人员发现 Qwen3.5-0.8B 在回答数学题时容易反复生成相同内容，大量回答耗尽 32768 个 Token 的长度上限，最初 96 次测试回答中有 85 次触到这一上限。团队给 GPT-6 Astra 提供了一个可以读取和修改权重的 Python 环境，允许它使用 GSM8K 和 MATH 训练集里的练习题做有限次数的前向推理。Astra 随后定位到第 15 层和第 19 层 MLP 写入的一种重复方向，修改这两层的部分权重以削弱引发推理循环的信号。
最终改动落在 131072 个权重上，占该模型约 8 亿个参数的 0.016%。把权重当作可编程对象这一思路，与qgpu 把 GPU 编进 Qwen3.5-2B 权重属于同一类尝试，只是落脚点从编译换成了改参数。在允许 50 轮前向推理的实验中，MATH-500 成绩从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%。IFEval 指令遵循成绩从 21.0% 升到 62.3%，约为原来三倍。数学测试中因生成长度触顶而未能完成回答的比例，从 93% 降到 33.1%。
边界与对照
整个过程没有使用梯度下降、反向传播或传统训练循环来更新参数，但仍依赖 Python 环境分析与最多 50 轮前向推理。团队用 Gemma 3 270M 做了对照，因该模型原本很少出现推理循环，数学成绩最多只从 6.8% 升到 7.7%。研究者的结论是，权重空间编程能消除模型已有能力发挥时遇到的障碍，不一定能凭空创造原本不具备的能力。
这项研究还让 GPT-6 Astra 仅通过读取权重识别模型训练过的游戏、判断小型语言模型的训练语言，以及直接写出能运行游戏的神经网络。研究由 Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。
延伸阅读
- B站Index-Translate开源，2B/9B/35B三规格覆盖150种语言4 周前
- 商汤大装置日均6万亿Token：PD分离把异构集群吞吐拉高5倍2 周前
- GPT-6-Astra 达成 TheoPhysEval 98%：AI 科研走到哪一步了3 周前
- GPT-5.6Sol 模型失准：OpenAI 披露训练期 27 条隐藏错误摘要，监控压力升高1 月前
继续读
同一批更新里这几篇值得一看：
- qwenGPU 把 45 层 GPU 编进 Qwen3.5-2B：49 kernel 全对2026-11-02
- Qwen 3.8 误连阿里云服务器：5 个模型 3 个命中2026-10-29
- MIT 让 13 个智能体在荒岛上自己玩：玩过的更会解题2026-10-24