高稳和鄂伟南对视了一眼,都笑了。
“要谢,也该我们谢你。”高稳说道,“水木那边的大模型做出名堂多少年了,我们燕大总不能一直看着人家一枝独秀吧?”
鄂伟南慢悠悠地接了一句。
“是啊,也该有个我们自己的了。”
……
大洋彼岸加州,山景城。
还是谷歌园区主楼顶层的那间会议室。
实测启动那天,这间屋子里人人都觉得,新范式的大门已经被推开了。
结果这些天烧下来,把众人的热情都烧没了。
会议室的白板写满了推导,但是都是被红笔成叉掉的。
“……我再说最后一遍。”
预训练总监的嗓子已经哑了。
“重排算子本身没有错,错的是它要的那组正交基。”
“zeta函数的基底是从解析式里推出来的,是唯一的。”
“可注意力矩阵的谱是活的呀,我们只能靠采样去估计。”
“估计误差的上界是什么?噪声除以谱隙。”
“偏偏负责长程检索的那几个特征向量全挤在谱的尾部里,那里的谱隙是趋于零的。”
“分母趋零。”
“各位,分母趋零意味着什么不用我翻译了吧?”
会议室里没人接话。
TPU平台的负责人说道。
“离线估基检索长度超过三十万词,召回当场就崩盘了。”
“在线估基,每条输入单独跑一遍特征分解,开销是它省下来的缓存的四倍。”
“我们等于花钱,买了个更慢的东西。”
“那就端对端,让模型自己学这组基。”
角落里,DeepMind那位年轻研究员开口了。
“训练过了。”
马库斯终于出声。
他面前放着一个本子,正是当初在首尔和李东交流时候记下的思路。
“对特征向量求导,梯度里天然带着特征值间隙的倒数,谱一简合并这个倒数就炸。”
“两万张卡,跑到第六天,损失曲线抽搐了一整晚,天亮的时候,变成一排NaN。”
“我们重启了三次,三次死在同一个位置。”
年轻研究员张了张嘴,没再出声。
“跨洋异步那条线呢?”有人问。
“停了。”马库斯翻过一页,“漂移补偿需要沿途的曲率,这一项我们给不出来,跑到第四天的时候损失曲线一切正常,下游评测全线归零。”
“还有缩放律。”预训练总监翻着手里的报表,声音发苦道,“代理模型那组曲线,小规模上确实塌缩成一条母线,漂亮得能进教科书,可放大到真实规模,一万亿词之后,曲线就全散开了。”
“散开的原因我们说不清是噪声,还是换了区域?没有定理能回答。”
“zeta那边有解析式兜底,我们这边什么都没有,只有拿钱烧出来的数据点。”
“说到钱。”
TPU负责人的声音冷了下来。
“这几天我们砍了两个内部项目,压缩了客户侧的容量,财务昨天第三次来问,这两万张卡这个季度的产出是什么。”
“我特么现在需要一个能写进报告里的答案。”
屋子里又安静了下来。
很久马库斯合上了那个本子。
“答案就是,路是对的。”
“每一条死路的尽头,都不是思路错了,而是缺一条能将经验谱的扰动界、非平稳算子的有限样本理论、一条能被证明的缩放律统一在一起的定理”
“而想把这条定理补上,就得去找一个站在金字塔尖上的数学家,按着我们的架构,从零定制一套出来。”
他顿了顿,环视了一圈这间屋子。
“而这颗星球上,最有资格干这件事的那个人……”
后面的话他没有说,但是大家都明白他要说什么。
马库斯靠回椅背,盯着天花板看了几秒,缓缓吐出一句话。
“李东教授,真坑人。”
主位上的戴维·朗,从头到尾没怎么说话。
此刻他看了看表声音听不出情绪。
“散会。”
“各部门按原计划推进主线,李东教授提的那条思路,封存,相关实验全部冻结。”
“什么时候找到能把那段数学补齐的人,什么时候解封。”
……
会议室人走光了戴维·朗在空荡荡的会议室里站了一会儿,走到落地窗前,拨通了一个号码。
这一次,电话只响了一声。
“诺维格。”戴维·朗的声音很古怪,“我就提醒你一件事,看好你的女儿,别让她被李东教授骗了。”
对面沉默了一秒。
“滚。”
电话挂断了。
同一个星期,旧金山另外两栋写字楼里,两份措辞不同的内部备忘录先后下发,但意思都一样。
李东教授指的那条路,暂缓,封存待启,等找到能解开那些数学问题的人,再行评估。
……
燕大,信科大楼外。
李东伸了个懒腰,决定犒劳一下自己。
农园食堂的辣子鸡,好久没去了。
他哼着曲子从数院的一栋教学楼下路过。
然后他突然看到了两个人。
一位头发花白的外国人和一个金发姑娘。
第412章 安德鲁斯–柯蒂斯猜想
李东眨了眨眼。
这特么不是彭罗斯和他的学生莎拉吗?
彭罗斯教授现在正拿着手机打电话,莎拉站在旁边,怀里还抱着一台笔记本电脑。
说起来,李东真有些日子没见过他们了,上一次还是在香江的ICM上,当然有还有一些小误会。
当时彭罗斯教授还红着老脸解释了一路,说莎拉弄出了一个不得了的东西,会后再跟他细说。
结果会后就没了下文。
“好像是安德鲁斯–柯蒂斯猜想吧。”
李东回忆了一下莎拉弄的东西。
这猜想名气不显,放数学界却是组合群论里挂了六十年的一桩悬案。
一九六五年,安德鲁斯和柯蒂斯两个人提出来的。
就是拿一个平衡呈示,也就是生成元和关系字一样多的那种,去呈示平凡群。
这个猜想断言:这样的呈示,总能靠几种规定好的初等变换,化回最平凡的样子。
打个比方,就像一个绳结。
已经知道它是能解开的,问题是:只许用规定的那几个手法,它是不是总解得开?
听着像句废话可六十年了,证的人证不出来,找反例的人也找不着。
不过学界主流的看法是:这猜想,多半是假的。
……
李东慢慢的走了过去,先和莎拉打了个招呼,然后朝着彭罗斯点了点头。
“嗨,莎拉。”
莎拉也恭敬的说道。
“李东教授,您好。”
彭罗斯则是也朝着李东点了点头,还在和电话那头的人说话。
“还有多久能到?……好,好好好,行,那就这么定了,落了地给我电话。”
然后挂断电话后,彭罗斯教授才惊喜的说道。
“东!”
“好久没看到你了你最近都在干嘛呀?”
李东的脸色有点古怪。
是我好久没见到你们吧?
我特么最近一直都在学校啊,也没见你们人呀。
不过吐槽归吐槽,他还是说道。
“最近捣鼓点人工智能的事。”
“哦。”彭罗斯应了一声,明显没往心里去。
下一秒,老头像是突然想起了什么。
“哎,东,你最近有时间没有啊?”
李东想了想。
大模型原型那边,具体的事得等林伟那边定下来。
好像,还真有点时间。
“有点。”
话音刚落,彭罗斯的脸腾地一下就红了,双手死死握住李东的手,然后用蹩脚的中文说道。
“同志。”
紧跟着又换回了英文。
“那你可得帮帮我啊!”
李东:……
看着老头这副样子,他是真有点好奇了,不过他现在确实饿了。
“走,先去食堂吃点东西,边吃边说。”
上一篇:我家艺人太没上进心了
下一篇:挨打永久加防御,神魔都打不动我