还是雅各布先开口。
“那我换个问法。”
“千亿级参数的Loss曲面，强上全量Hessian矩阵纯属做梦，二阶的预条件子连显存都塞不进，只能退化到一阶的Adam系硬磨。”
“如果先用您那套算法重排，把参数空间正交化到近似对角阵……”
“预条件子，是不是就能直接降维成逐元素的标量缩放？”
他一说完，另外两家的人也停下了手中正在记录的笔，抬头看向李东。
李东听完点了点头。
“路子是对的。”
“但你们光盯着算力和显存了，问题的核心不在于算不算得起。”
“而在于你们根本不知道，该在哪个标度上去算。”
雅各布一怔：“标度？”
“Loss曲率不是一张静态的地图。”
李东说道。
“它跟着你的Batch Size缩，跟着学习率漂，还跟着网络的Width一起扭曲。”
“我那个算法之所以成立，是因为Zeta算子的谱特征背后，有一套解析的Scaling Law兜底。”
“我是先吃透了规律，才敢去动算的。”
“而你们呢？”
“你们梯度的噪声标度是怎么做标定和对齐的？”
“网络Width翻一倍，这个Scale往哪边漂移，你们跑过消融实验吗？”
雅各布握张了张嘴，没出声，整个人像是被这一问，好像让他想到了什么。
与此同时，李东的记忆宫殿里。
大厅中央那座临时书架上，现出了一份崭新的残篇。
【临界Batch Size，由梯度噪声的Scale唯一确定。】
【将学习率、批大小、网络宽度与深度，统一收敛至同一套Scaling Law解析式。】
【在千万级参数的Proxy模型上定死全局超参，借参数化的对称性，零样本无损迁移至万亿参数域。】
【若该定律成立，不同参数规模的Loss下降曲线，在对数坐标系下必将塌缩为同一条母线。】
【至于Attention机制内的Softmax温度超参如何随宽度协同缩放……】
李东看着这个残片，心里已经服气了。
在小模型上把戏排完，到大模型上直接Zero-shot首演，连彩排的场租都省了。
这帮人藏在肚子里的东西，可比他们挂在网上的论文，值钱太多了，这就是经验，或者说这特么就是用钱烧出来的灵感。
他李东或许花点时间也能想出来，但是想出来有什么用？
他有钱去烧，然后去验证自己的想法吗？
而现在雅各布的经验明显替他省掉了这笔钱。
现实里，雅各布回过神来，几乎是立马将灵感写进了本子里。
有了他开这个头，休息室里也就破冰了。
接下来的交流就脱离了常规的一问一答，演变成了一场围绕着“降维算法如何真正在万卡集群上落地”的学术讨论了。
Gemini的马库斯率先提问，他抛出了跨洲集群的物理延迟痛点。
几十万张加速卡隔着太平洋跑同步，降维算法作为一种全局操作，怎么可能扛得住海底光缆的物理墙？
而李东不仅用Zeta零点的高阶局部重排，证明了降维算法切分后截断误差完全可控，更直接甩出了一套颠覆性的解法：放弃强同步，把整场训练拆成“Local-SGD与周期性漂移聚合的异步范式”的模式。
底层各跑各的Local-SGD，外层利用降维算法，隔上几百步只去提取和对齐一次权重的“漂移量”。
生生把跨洋带宽的物理死局，盘成了一致性的数学游戏。
马库斯这边刚被李东忽悠完，Claude的伊森紧跟着又砸出了低精度浮点的算力黑洞。
大模型在预训练时疯狂飙Spike、爆NaN，这些带噪的极端离群值，会不会反过来把需要干净数值的降维算法搅成一锅粥？
李东一针见血地挑明，降维重排非但不怕刺头，反而最喜欢这种重尾分布，因为能量越是抱团，特征流形上的坐标就越好找。
为了让降维算法完美适配低精度的带噪环境，他给出的方案路子也很野。
不搞粗暴的截断，而是把底层数值格式直接重构为对数域上的非均匀量化网格，让浮点刻度去自适应地追赶极值能量。
几个来回的交锋，句句不离降维算法的工程嫁接，却又字字直戳巨头们用几千万美金都烧不出来的“解决方案”。
而随着这几位首席科学家的醍醐灌顶，李东的记忆宫殿里……
【异步陈旧度不再视为梯度噪声，而是可被显式补偿的位移向量。自此，跨洲集训的瓶颈，彻底从传输带宽降维至拓扑一致性。】
【将数值格式重构为对数域上的非均匀刻度，令量化噪声沿能量分布自适应展开……】
一份份价值连城的工程残篇，就这么被他薅进了书架上。
就在这个时候，一直安静喝茶的诺维格，放下了茶杯。
“李东……额教授。”
“我听你说了一上午。”
“分段的重排，近似对角的基底，跟着能量走的刻度。”
“每一条，在zeta那边都站得住，因为zeta是一个写得出来的对象，它的谱、它的缩放律、它的误差界，全是从解析式里推出来的。”
“可一个万亿参数的模型，没有解析式。”
“它的谱，没人写得出来，只能靠采样去摸，你的误差界在那边没有定理，只有实验。”
“把你的算法，从一个解析的世界，嫁接进一个只能测量的世界，李东教授，这中间隔着的，恐怕不是工程量。”
“是一整段还没有人写出来的数学。”
满屋子的人都安静了下来。
李东心里却是微微一动。
到底是盛名之下无虚士啊，难怪这个老绅士有这么大的名号。
三位首席科学家问了一上午的怎么做，只有这位老先生，在问“凭什么能做”。
一下子就点出了李东忽悠人的本质。
不过，李东要的东西已经到手了，他也没有半分的遮掩说道。
“是隔着的。”
“那段数学，今天我一个字也没替你们写。”
“可是诺维格教授。”他笑着看了一圈屋里的人。
“谱写不出来，可以去摸，界没有定理，可以去立。”
“路不存在，和路不值得修，从来都是两码事。”
“我把地图画到这儿了。”
“走不走，你们定。”
诺维格深深看了他一眼，没有再说话。
而记忆宫殿的书架最顶层，悄无声息地，多出了一份一行字的手稿。
【解析的界不存在的地方，界可以被学习，把误差估计本身，做成模型的一部分……】
李东：……
这家伙藏的真深。
难怪戴维·朗死活要把人留在屋里。
第403章 回京
一上午，就这么过去了。
午饭是工作人员送进来的工作餐，大家都只是简单的扒了几口。
到了下午，李东继续用降维算法的路子去套他想要的知识。
从预训练的数据配比聊到底层通信的拓扑，再聊到工程上那些谁都不肯写进论文里的收敛玄学。
李东来者不拒。
他的每一个回答都很漂亮，数学上没有丝毫的漏洞，听上去像是从最底下那层第一性原理，一路推到了你家机房门口。
哪怕屋里这几位回去逐字推敲，顶多也只能憋出一句：眼下未必实现得了，但思路是对的。
而每一次回答的末尾，李东又总是不动声色地挂着一个新的钩子。
三位首席科学家，有的当场就咬钩了，有的明显没跟上，可手上半点不慢，原句抄下后在旁边打一个大大的问号。
三个本子，眼瞅着就厚了起来。
而记忆宫殿里那座临时书架，也在以另一种方式，飞快地丰满着。
至于亚当·凯利三人，前半小时还能勉强跟上节奏，偶尔插一句战略层面的场面话。
后来，三个人就很有默契地不再插口。
若是有外人在场，多半会以为这是三家巨头在联合面试李东。
但只有李东自己心里清楚。
从头到尾，真正被摸底的，是对面那三位。
……
单间外面，打从上午起，“路过”这里的人就没断过。
好几个人举着手机假装找信号“不小心”走到这里的时候都会停下，朝着门里瞅上两眼。
“还在里面？”
“从早上九点到现在，午饭都是送进去的。”
“……聊什么，不用猜了吧。”
确实不用猜，因为前一天，李东在展厅里那场雨露均沾式的“开源布道”，全程盘的都是降维算法往大模型底座上嫁接的事。
如今算法的主人，同三家巨头关起门来一聊就是半天天，除了那件事，还能有什么？
有人站在门外干着急，有人已经彻底坐不住了，直接托关系，把电话打到了燕大和水木。
两个学校的回复都出奇的一致。
“一切，由李东教授自己决定。”
甚至还有神通广大的，连诺维格在屋里都打听清楚了。
“诶，你听说没，诺维格也在里面。”
“诺维格？他不是早就不掺和公司的事了吗？怎么进去的？”
“这我就不清楚了……不过，有个小道消息。”
那人压低声音，神神秘秘的说道。
“听说，他把自己的女儿，卖了。”
……
李东他们这一聊，就是三天。
三天里，大会的议程照常往前走，主旨报告一场接一场，而那间VIP单间的门，雷打不动地从早上九点关到夜里。
这次大会，华夏这边的收获也不错。
水木带来的两篇Oral，台下反响热烈。
尤其是那篇用大模型反向生成高质量合成数据、再做自我蒸馏的工作，一路挤进了杰出论文奖的最终候选名单。
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我