我的学习群里全是真大佬 第488章

  高稳和鄂伟南对视了一眼,都笑了。

  “要谢,也该我们谢你。”高稳说道,“水木那边的大模型做出名堂多少年了,我们燕大总不能一直看着人家一枝独秀吧?”

  鄂伟南慢悠悠地接了一句。

  “是啊,也该有个我们自己的了。”

  ……

  大洋彼岸加州,山景城。

  还是谷歌园区主楼顶层的那间会议室。

  实测启动那天,这间屋子里人人都觉得,新范式的大门已经被推开了。

  结果这些天烧下来,把众人的热情都烧没了。

  会议室的白板写满了推导,但是都是被红笔成叉掉的。

  “……我再说最后一遍。”

  预训练总监的嗓子已经哑了。

  “重排算子本身没有错,错的是它要的那组正交基。”

  “zeta函数的基底是从解析式里推出来的,是唯一的。”

  “可注意力矩阵的谱是活的呀,我们只能靠采样去估计。”

  “估计误差的上界是什么?噪声除以谱隙。”

  “偏偏负责长程检索的那几个特征向量全挤在谱的尾部里,那里的谱隙是趋于零的。”

  “分母趋零。”

  “各位,分母趋零意味着什么不用我翻译了吧?”

  会议室里没人接话。

  TPU平台的负责人说道。

  “离线估基检索长度超过三十万词,召回当场就崩盘了。”

  “在线估基,每条输入单独跑一遍特征分解,开销是它省下来的缓存的四倍。”

  “我们等于花钱,买了个更慢的东西。”

  “那就端对端,让模型自己学这组基。”

  角落里,DeepMind那位年轻研究员开口了。

  “训练过了。”

  马库斯终于出声。

  他面前放着一个本子,正是当初在首尔和李东交流时候记下的思路。

  “对特征向量求导,梯度里天然带着特征值间隙的倒数,谱一简合并这个倒数就炸。”

  “两万张卡,跑到第六天,损失曲线抽搐了一整晚,天亮的时候,变成一排NaN。”

  “我们重启了三次,三次死在同一个位置。”

  年轻研究员张了张嘴,没再出声。

  “跨洋异步那条线呢?”有人问。

  “停了。”马库斯翻过一页,“漂移补偿需要沿途的曲率,这一项我们给不出来,跑到第四天的时候损失曲线一切正常,下游评测全线归零。”

  “还有缩放律。”预训练总监翻着手里的报表,声音发苦道,“代理模型那组曲线,小规模上确实塌缩成一条母线,漂亮得能进教科书,可放大到真实规模,一万亿词之后,曲线就全散开了。”

  “散开的原因我们说不清是噪声,还是换了区域?没有定理能回答。”

  “zeta那边有解析式兜底,我们这边什么都没有,只有拿钱烧出来的数据点。”

  “说到钱。”

  TPU负责人的声音冷了下来。

  “这几天我们砍了两个内部项目,压缩了客户侧的容量,财务昨天第三次来问,这两万张卡这个季度的产出是什么。”

  “我特么现在需要一个能写进报告里的答案。”

  屋子里又安静了下来。

  很久马库斯合上了那个本子。

  “答案就是,路是对的。”

  “每一条死路的尽头,都不是思路错了,而是缺一条能将经验谱的扰动界、非平稳算子的有限样本理论、一条能被证明的缩放律统一在一起的定理”

  “而想把这条定理补上,就得去找一个站在金字塔尖上的数学家,按着我们的架构,从零定制一套出来。”

  他顿了顿,环视了一圈这间屋子。

  “而这颗星球上,最有资格干这件事的那个人……”

  后面的话他没有说,但是大家都明白他要说什么。

  马库斯靠回椅背,盯着天花板看了几秒,缓缓吐出一句话。

  “李东教授,真坑人。”

  主位上的戴维·朗,从头到尾没怎么说话。

  此刻他看了看表声音听不出情绪。

  “散会。”

  “各部门按原计划推进主线,李东教授提的那条思路,封存,相关实验全部冻结。”

  “什么时候找到能把那段数学补齐的人,什么时候解封。”

  ……

  会议室人走光了戴维·朗在空荡荡的会议室里站了一会儿,走到落地窗前,拨通了一个号码。

  这一次,电话只响了一声。

  “诺维格。”戴维·朗的声音很古怪,“我就提醒你一件事,看好你的女儿,别让她被李东教授骗了。”

  对面沉默了一秒。

  “滚。”

  电话挂断了。

  同一个星期,旧金山另外两栋写字楼里,两份措辞不同的内部备忘录先后下发,但意思都一样。

  李东教授指的那条路,暂缓,封存待启,等找到能解开那些数学问题的人,再行评估。

  ……

  燕大,信科大楼外。

  李东伸了个懒腰,决定犒劳一下自己。

  农园食堂的辣子鸡,好久没去了。

  他哼着曲子从数院的一栋教学楼下路过。

  然后他突然看到了两个人。

  一位头发花白的外国人和一个金发姑娘。

第412章 安德鲁斯–柯蒂斯猜想

  李东眨了眨眼。

  这特么不是彭罗斯和他的学生莎拉吗?

  彭罗斯教授现在正拿着手机打电话,莎拉站在旁边,怀里还抱着一台笔记本电脑。

  说起来,李东真有些日子没见过他们了,上一次还是在香江的ICM上,当然有还有一些小误会。

  当时彭罗斯教授还红着老脸解释了一路,说莎拉弄出了一个不得了的东西,会后再跟他细说。

  结果会后就没了下文。

  “好像是安德鲁斯–柯蒂斯猜想吧。”

  李东回忆了一下莎拉弄的东西。

  这猜想名气不显,放数学界却是组合群论里挂了六十年的一桩悬案。

  一九六五年,安德鲁斯和柯蒂斯两个人提出来的。

  就是拿一个平衡呈示,也就是生成元和关系字一样多的那种,去呈示平凡群。

  这个猜想断言:这样的呈示,总能靠几种规定好的初等变换,化回最平凡的样子。

  打个比方,就像一个绳结。

  已经知道它是能解开的,问题是:只许用规定的那几个手法,它是不是总解得开?

  听着像句废话可六十年了,证的人证不出来,找反例的人也找不着。

  不过学界主流的看法是:这猜想,多半是假的。

  ……

  李东慢慢的走了过去,先和莎拉打了个招呼,然后朝着彭罗斯点了点头。

  “嗨,莎拉。”

  莎拉也恭敬的说道。

  “李东教授,您好。”

  彭罗斯则是也朝着李东点了点头,还在和电话那头的人说话。

  “还有多久能到?……好,好好好,行,那就这么定了,落了地给我电话。”

  然后挂断电话后,彭罗斯教授才惊喜的说道。

  “东!”

  “好久没看到你了你最近都在干嘛呀?”

  李东的脸色有点古怪。

  是我好久没见到你们吧?

  我特么最近一直都在学校啊,也没见你们人呀。

  不过吐槽归吐槽,他还是说道。

  “最近捣鼓点人工智能的事。”

  “哦。”彭罗斯应了一声,明显没往心里去。

  下一秒,老头像是突然想起了什么。

  “哎,东,你最近有时间没有啊?”

  李东想了想。

  大模型原型那边,具体的事得等林伟那边定下来。

  好像,还真有点时间。

  “有点。”

  话音刚落,彭罗斯的脸腾地一下就红了,双手死死握住李东的手,然后用蹩脚的中文说道。

  “同志。”

  紧跟着又换回了英文。

  “那你可得帮帮我啊!”

  李东:……

  看着老头这副样子,他是真有点好奇了,不过他现在确实饿了。

  “走,先去食堂吃点东西,边吃边说。”