我的学习群里全是真大佬 第479章

  可把这几百号人的纯数学功底统统加在一起,也未必够得上李东一个打的。

  所以李东随随便便偷换一个高维流形的概念,或者把他那套降维算法上的微分算子拆下来,重新包装进AI的黑话语境里,听上去就格外自洽,格外有第一性原理的降维打击感。

  什么“指纹要扔进正确的正交基底”,什么“强行让针从谱的尾巴跃迁到谱头”。

  句句符合直觉,字字切中痛点。

  可你真要拿着这几句话回实验室调参落实,烧上三个月A100就会发现一个朴素的事实……

  针要是他妈的知道怎么自主跃迁去谱头,它还能叫针吗?

  这就好比一位物理宗师告诉你,实现常温超导的诀窍,是在电子撞击晶格之前,先给它规划一条没有电阻的绝对平滑轨。

  听的时候醍醐灌顶,以为找到了发《Nature》的捷径。

  跑的时候,Loss爆炸,连显卡都得烧冒烟。

  ……

  而李东对此,毫无心理负担,毕竟李东也没骗人,只是给他们的路全是真的,但是没有细节而已。

  他端着那杯早就凉透的咖啡,在偌大的展厅里,一个挨着一个地薅了过去。

  在一家以Sora类视频生成闻名的多模态公司展台前,他同对方的预训练负责人,切磋了一下“高维时序数据的流形展开”。

  十分钟后,记忆宫殿的书架上多了一份文献。

  【抛弃基于像素重建的视频生成范式,将其重构为可交互的World Model(世界模型):输入Action,自回归预测Next State,让Agent在隐空间的“世界梦境”里,率先完成对现实物理法则的低成本试错与先验对齐。】

  然后又在一家以模型可解释性研究出名的初创实验室那边,他同一位核心研究科学家,探讨了“高维隐空间内的稀疏结构”。

  书架上又多了一份……

  【模型内部的特征存在严重的Polysemanticity,单个神经元往往身兼数职。】

  【引入稀疏自编码器作为外挂字典,将纠缠的特征解耦成单义的线性组合,再沿着计算图回路,对大模型的幻觉或越狱行为执行定点编辑。】

  再往后,是一位做非自回归生成架构的独角兽CTO,聊的是“并行拓扑展开与采样收敛路径”。

  灵感再次+1

  【打破语言模型从左至右Next-Token Prediction的强制因果约束。】

  【将全局序列视为高斯噪声,引入Diffusion架构全序列并行去噪,在迭代采样路径中赋予模型在隐空间内反悔与自我纠错的非马尔可夫演化能力。】

  一圈聊下来,记忆宫殿大厅里的临时书架,已经密密麻麻堆满了。

  李东站在书架前,望着那一份份字迹崭新的文献,由衷地发出了一声感叹。

  这些开源布道者,真是大好人啊。

  而与此同时,展厅的各个角落里。

  那些刚同李东教授做完深潜级技术交流的各路大佬,也都在心里发出了同一声感叹。

  李东教授,真是个开源先驱的好人啊。

  ……

  VIP休息室的门口。

  凯利、朗、哈特,三个人并排站着,谁也没有说话。

  他们就这么眼睁睁地看着,李东从算力芯片生态的展台,溜达到头部云厂商的展台。

  前一刻还在同他们竞品家的资深研究员谈笑风生,下一刻就同他们战略合作伙伴家的技术副总裁相见恨晚。

  全场上下,凡是工牌上印着Scientist(科学家)或者Engineer(工程师)字样的核心高管,几乎被他一对一深聊了个遍。

  而且每聊完一个,那些人脸上都会浮现出一种拿到神级Paper一作般的潮红。

  三个人的心,一点一点地往下沉。

  也不知道,这帮家伙背地里又掏出手机给自家的算力集群下了多少调参指令了。

  哈特低头看了一眼手机上的航班追踪软件。

  地图上那三个小小的飞机图标,才刚刚飞过白令海峡。

  凯利也没有说话,只是再一次拨通了那个号码,对着听筒吼道。

  “雅各布,马上把Pre-training组全员拉进线上会!”

  “在飞机落地前,把李东教授开源仓库里的每一行代码连带着底层算子,全给我逐行盘一遍!”

第402章 路就在眼前,你们修不修吧。

  COEX会展中心,主会场侧面的贵宾休息区门口。

  西蒙·哈特低着头,看着手机上的航班追踪软件。

  “还有两个多小时落地。”

  “落了地也得明天。”

  戴维·朗看了一眼表。

  “难道真让他们顶着十二个钟头的时差去和李东盘底层架构?”

  哈特没接话。

  两个人又不约而同地看向了大厅里不断游走的李东。

  这时亚当·凯利也挂断了电话。

  他已经忍不住了,立刻阴沉着脸朝着会场快步走了过去。

  直到离李东只剩几步远,他才放缓脚步,然后阴沉的表情不见了,露出一个标准的笑容。

  然后有意无意地,正好拦在了李东和下一位“交流对象”之间。

  “李东教授。”

  “今天的议程也快结束了,”亚当·凯利笑容可掬,“有没有时间,咱们去喝一杯?”

  李东冲他歉意地笑了笑。

  “不好意思,我酒精过敏。”

  凯利:……

  “对了。”

  李东像是想起了什么问道。

  “那位雅各布博士,什么时候能到呀?”

  亚当·凯利有些懊恼地说道。

  “……可能,要明天。”

  “那行。”李东点了点头,答应得痛快,“那明天咱们单独聊。”

  说完,他绕过凯利,朝着下一位等候多时的同行走了过去。

  亚当·凯利站在原地,望着李东的背影,脸色总算是稍微好看了一点。

  至少……

  李东答应了,单独聊。

  ……

  次日,上午九点。

  还是这间贵宾休息室。

  李东推门进去的时候,屋里的人已经到齐了。

  亚当·凯利脸色难看地看着身旁的朗和哈特。

  “该死,原来李东教授说的单独聊是三家一起单独聊啊。”

  他们各自的身边,都坐着一个李东之前没见过的人。

  而这三个人,看起来都挺疲惫的,下巴上还有没刮掉的胡茬。

  不过当李东进来以后,这三个人都用充满了血丝的眼睛看向了李东。

  “雅各布,我们的首席科学家。”凯利说。

  “马库斯。”

  “伊森。”

  朗和哈特也介绍道。

  李东一边和他们握手,一边在心里舒了口气。

  正主,来了。

  虽然昨天展厅里聊过的那些人,水平也不低。

  可说到底,那些都是二线。

  而真正决定这一行天花板的东西,万卡集群的容错和拓扑怎么搭,千亿数据的清洗管线怎么通,几千万刀的Pre-training怎么做到一次不崩盘,这些,都只存于少数人的脑子里,比如……

  眼前这三位。

  李东要自建大模型,主攻AI for Math,这些学费迟早是要交的。

  如今教材自己坐着私人飞机送上了门。

  所以李东望着这三张憔悴又亢奋的脸,笑得格外和蔼。

  很快,单间里多余的随行人员都退了出去,门也合上了。

  屋里只剩下八个人。

  三位巨头,三位首席科学家,李东。

  以及,彼得·诺维格。

  诺维格坐在最靠窗的位置,手里端着一杯红茶,从头到尾没怎么出声。

  他是戴维·朗亲自邀请过来的。

  在外人看来,诺维格早就退出一线了,这几年扑在教育上,带带学生,写写教材,俨然半个养老的状态。

  可他在最底层那些事情上,根基究竟扎得有多深,凯利不清楚,哈特也不清楚。

  全世界,恐怕只有戴维·朗一个人,心里有数。

  随着最后一位随行人员退了出去,休息室里却陷入安静。

  没人先开口直到一分钟过后,雅各布带着点疲惫的开口了。

  不过他问的,全是绕着降维算法原始论文打转的东西,Loss面的收敛半径、泛化误差上界、离散网格的采样密度。

  没一句是干货。

  李东听了几分钟,大概就明白这到底是怎么回事了。

  这三家,平日里你抢我的人我挖你的墙角。

  谁家的预训练在哪儿卡了壳,那都是压箱底的机密,当着两家死对头的面,谁会真的掏底呀?

  按照这个聊法,聊到大会闭幕,也聊不进正题。

  于是李东放下茶杯,笑眯眯地打断了雅各布。

  “雅各布博士,你问的这些,你们组自己挂出来的技术报告里,就有答案。”

  “咱们立个规矩吧。”李东笑着看向了休息室里的众人,“今天在这间屋子里,不管谁提的问题,我的回答,三家一起听。”

  “所以……藏着掖着的最吃亏。”

  三位首席科学家面面相觑。

  几秒钟后,也不知道是谁先把心一横。

  反正答案大家都听得见,那还客气什么?

  多问的,才是赚的。

  “李东教授。”