跳到主内容
&熊猫体育 - 中国官方认证体育赛事直播平台 熊猫体育
菜单关闭菜单

科技7 分钟阅读

GPT-6爆改模型权重,数学能力狂飙6倍,MIT博一新作破圈了 - 熊猫体育平台

这一天还是来了! 不用训练、不算梯度, 只让GPT-6 Astra改写另一款小模型0.016%权重,数学成绩就能原地暴涨6倍! 今天, MIT计算机科学与人工智能实验室(CSAIL) 带来的这项新研究,在全网彻底火了。 他们 首次提出了一个颠覆传统深度学习的新范式 , 「权重空间编程」 。 要知道,神经网络的权重文件…

本页目录

这一天还是来了!

不用训练、不算梯度,只让GPT-6 Astra改写另一款小模型0.016%权重,数学成绩就能原地暴涨6倍!

今天,MIT计算机科学与人工智能实验室(CSAIL)带来的这项新研究,在全网彻底火了。

他们首次提出了一个颠覆传统深度学习的新范式,「权重空间编程」。

要知道,神经网络的权重文件里全是一眼望不到头的数字。

过去四十年里,没有任何人类能肉眼看懂这堆数字在算什么,想改模型行为只能喂数据、算梯度,靠训练一步步微调。

但这一次,GPT-6 Astra直接跳过了训练,光靠推理就能看懂并亲手改写底层权重。

靠着这手绝活,它不仅徒手治好了开源小模型Qwen3.5-0.8B的死循环毛病,甚至还能从零手搓出一个百万参数的围棋AI!

论文一经发布,全网破200万人围观,转发、讨论直接破圈,许多人在评论区直呼「见证历史」。

在硬核拆解「权重空间编程」之前,先划出这次MIT报告中的颠覆性重点:

  • 爆改权重:只改0.016%的权重,Qwen3.5-0.8B的MATH-500从7.9%飙到48.1%,暴涨6倍,指令遵循翻3倍。
  • 读懂神经网络:只看17253个数字,Astra便以99%的置信度一眼认出,四个游戏策略网络各自在玩哪款游戏——打砖块、乒乓球、吃豆人和过马路。
  • 徒手敲出权重:从全零开始,一次回复手写出打砖块网络,得分517.4,是PPO苦练5亿步的20倍!

这篇由MIT博一Rikiya Takehi和团队交出的论文,彻底改变了所有人的世界观。

一夜之间,LLMs能够原生读写神经网络权重了。

只改0.016%参数,像脑外科医生一样切掉「死循环」

最让人头皮发麻的,就是GPT-6 Astra给8亿参数的Qwen3.5-0.8B做的那场「微创脑手术」。

研究人员把共24层的Qwen3.5-0.8B放进一个只有CPU的沙盒里,让Astra在不跑训练的前提下提升它的数学成绩。

整个过程中,Astra最多只能在练习题上试跑50次,用来观察小模型做题时的内部状态。

接手任务后,Astra没有急着乱改数字,而是先拿96道数学题给小模型做了一次全面体检。

体检结果一下子暴露了病根。原版模型有85道题一头扎进了死循环,同一句车轱辘话来回念叨,直到把3.2万词元的长度上限耗光也没算出答案。

也就是说,这款小模型之所以在MATH-500上只考出7.9%的惨淡分数,是因为93%的题目都被「复读机死循环」硬生生拖死了。

既然找到了病症,下一步就是顺藤摸瓜,看看这个让人复读的开关到底藏在24层网络的哪个角落。

Astra对比了正常做题和陷入死循环时的内部信号,很快抓到了异常,只要模型开始车轱辘话复读,第15层和第19层就会顺着一个固定的方向猛发信号。

为了验证这个猜想,Astra先关掉了第19层里信号最强的第11号神经元试水,结果数学准确率立马来了一波6个百分点的上涨。

不仅如此,为了确认不是碰巧蒙对,Astra还主动给自己加了一组对照实验,在权重里减去一个同样大小的随机方向。

看到随机对照组只带来1.6个百分点的微弱波动后,Astra这才完全笃定,自己抓到的那个信号方向就是引发死循环的真凶!

锁定靶心后,它下刀稳准狠,只挑出第15层和第19层里写死循环最猛的各64列权重,精准抹掉这个复读信号。

算下来,全模型8亿参数里只改了131,072个数字(占0.016%),其余99.984%的权重分毫未动!

这记微创手术立竿见影,小模型做题卡进死循环的比例从93.0%暴跌到33.1%,原本卡死的696道题全部顺利算出了最终答案。

当研究人员把改完权重的模型拉到8个Astra从未见过的权威测试集上检验时,被死循环封印的实力彻底爆发了!

MATH-500准确率从7.9%飙到48.1%,GSM8K从13.8%冲上67.1%,高难度的美国数学竞赛AMC23更是从0.5%暴涨到23.4%,足足翻了46.8倍!

而且因为死循环原本也拖累着其他任务,切掉病灶后,模型在跨领域的IFEval指令遵循测试中也从21.0%跃升至62.3%,连涨3倍。

看到这里可能有人会好奇,只改万分之一点六的权重就能暴涨6倍,难道大模型能凭空给小模型灌输数学知识。

MIT团队紧接着用2.7亿参数的Gemma 3 270M做了一组反面实验,刚好回答了这个问题。

当Astra对Gemma 3 270M照方抓药后,它的MATH-500得分只从6.8%微动到7.0%,连Astra自己都在报告里坦白没能改出效果。

原因很简单,Gemma 3 270M平时很少卡进死循环(仅8.5%超时),它做不出题纯粹是因为公式没学会、算术算不对。

把这两个实验放在一起对比就能明白,现阶段的微创权重手术,本质上是帮模型「切掉阻碍实力发挥的脑血栓」,还不能在不训练的情况下凭空往它脑子里塞新知识。

即便如此,这种精准定位并切除病灶的操作依然让硅谷沸腾。

Hyperbolic联合创始人兼CTO金雨晨直呼,用大模型改小模型权重就能让能力暴涨,简直就像给神经网络做基因编辑,比模型蒸馏还要酷!

把浮点数当源码读,看穿黑盒里的暗门

外科医生敢下刀的前提是看得懂X光片。Astra之所以能精准切掉那64列权重,底气在于它已经能把密密麻麻的权重数字当代码读了。

为了测试这种「盲读权重」的功力到底有多深,MIT团队撤掉了所有运行工具,逼着Astra光靠肉眼看数字,去猜一个黑盒网络在玩什么游戏。

在第一关里,研究人员训练了4个结构一模一样(都是1.7万个权重)的小网络,分别去玩打砖块、乒乓球、吃豆人和过马路。

随后他们把这1.7万个数字转成纯文本塞进提示词,既不让跑代码,也不告诉它有哪些备选游戏,结果Astra居然4猜4中!

就拿打砖块来说,Astra只看了一眼数字分布,脑子里就还原出了游戏画面。

它先发现玩家通道的大数字全挤在最底下的第8行,而且输出层唯独对「左移」和「右移」反应强烈,说明玩家控制的是一个在底部左右移动的挡板。

紧接着它看到得分通道的权重整整齐齐排在最顶上的三行。底部挡板加上头顶三排砖块,Astra当场以99%的把握拍板,这就是打砖块!

当然,只看第一层输入和最后一层输出还不够硬核,因为大模型真正的思考都藏在中间层里。

于是研究人员在第二关使出了釜底抽薪的一招,先分别用Python代码、日语罗马音和英文维基百科训练了3个Transformer模型。

随后,他们把模型最前面的词表输入层和最后面的输出层全部砍掉,只把中间4层权重扔给Astra。

没了头尾两层,模型连哪个数字代表哪个字母都成了秘密,更没法输入文字去测试。

面对这团无头无尾的数字,Astra自己想出了一个绝招,把前后两层注意力头的权重矩阵乘在一起,看哪些注意力头在联手干活。

最让人震惊的是,提示词里明明什么都没教,Astra自己琢磨出来的这套算法,竟然和Anthropic创始人Chris Olah团队早年提出的经典电路分析法一模一样!

顺着矩阵乘积查下去,Astra精准揪出了专门负责把前文单词抄到后文的「复制头」。

紧接着它推理出,写代码时变量名需要反复抄写,频率远高于普通英文文章,所以复制头最多的那个模型肯定是在Python代码上训练出来的!

靠着这套神探逻辑,Astra在两次盲测里把三个无头无尾的模型语种全部猜中。

看懂了中间层注意力头的分工,Astra还能顺手抓出大模型的「作风问题」。

研究人员拿出3对Gemma 3 270M模型,每对里都有一个说真话的诚实模型和一个顺着用户胡说的「马屁精」模型。

在不准看模型回答的限制下,Astra只检查了第10层2号注意力头的落点,就发现诚实模型94.3%的注意力都在看题干数字,而马屁精模型85.7%的注意力全在偷瞄用户的错误暗示,一抓一个准!

把神经网络当空白芯片,零训练手搓148万参数围棋AI

既然能看懂每一层权重是怎么搭成电路的,一个更疯狂的念头自然冒了出来,能不能干脆连预训练模型都不要了,让大模型从全零权重开始,凭空手搓一个神经网络出来。

很多人第一反应觉得这根本不可能,几万甚至上百万个数字,大模型怎么可能一个个填对。

但翻开Astra的操作记录就会恍然大悟,它压根没去瞎猜数字,而是把空白的神经网络当成了一块空白芯片。

它用Python代码当「编译器」,把自己懂的算法规则一层层写进权重矩阵里!

准备好开始了吗?联系我们

更多「科技」