“还有还有，它们的注意力也有问题，应该叫注意力汇聚（attention sink）。”
小黑接着说道。
模型读一句话，靠的是注意力。
每个字都会去观察旁边的字，按相关与否分给各自一份权重。
坏就坏在，这份权重，也是拿Softmax归一的，加起来必须凑足一个整一。
这就逼得它，哪怕通篇没有一个字值得它分神，也没法干脆弃权那份多出来的注意力，所以它总得找个地方释放出去。
于是它就释放在了开头那一两个字上，释放到一个跟正文八竿子打不着的锚点上，硬生生攒出一处“注意力汇聚”。
伴随着这个现象还有个熵坍缩（AEC）。
越往后训练，它那点注意力就收得越窄，全部钻在了寥寥几个字上，其他的几乎一概不看了。
这两样凑到一处，白白浪费掉了它一大块本该使在正经处的注意力。
第390章您好，李东教授
“而且它们脑袋还有问题，我把这个问题叫做秩坍缩（rank collapse）。”
小黑那个圆球还化做一只小手指了指自己的“脑袋”。
简单的说这些大模型的脑子，就是拿注意力一层一层叠起来的。
在它脑子里，每一个字都不再是字，而是一串数字。
业内把管这串数字叫做“表示”（representation），专门用来装这个字的意思。
每过一层注意力，所有的字就拿着这串数字彼此掺和一回，你借我一点，我借你一点。
坏就坏在，要是只有这些注意力层，光这么一层一层掺下去，每个字的那串数字，就会越掺越像。
掺着掺着，所有的字就都都变成了同一个模样，再也分不出谁是谁。
当然，这些大模型也有预防机制，一个叫“残差”（residual connection）。
一个叫“前馈层”（FFN）。
可就算这样，也没有从根上解决问题。
李东听得入了神。
这些东西，他先前压根没往这么深的地方想过。
“还有个怪症，叫逆转诅咒。”
小黑一说起来简直就停不下来了……
它后面还说了组合性鸿沟和RLHF
一个是大模型碰上那种一环扣一环，得连推好几步才解得开的题，它根本没在“推”，只是把见过的套路硬往上套，稍微复杂点它就垮了。
另一个就是，本来是拿人的喜好把它调教得更听话，可越调它反倒越自负，明明心里没底，张口却是十分的笃定。
小黑说完这些一脸的嫌弃。
李东听到这儿，连带着也一起嫌弃起来了。
这些问题小黑好像都没有，还是小黑可爱。
不像这些大模型，很会唬人，而且还唬的像模像样。
说实话要是田钢用这些模型来搭建AI for Math。
李东都不敢想那些数学家会不会被哄成胎盘。
毕竟一般的学者真不一定有这些大模型厉害，所以它偷换概念的时候，他们分不清的。
这些被小黑一路看穿的毛病，单拎出哪一条，都够那些顶尖团队头疼上好一阵子。
可偏偏，这些放在小黑眼里，竟没有一样能难得住它。
李东的眼睛，慢慢亮了起来，于是朝着小黑说道。
“小黑你先玩儿着。”
“我这就去给你，换一间大一点的屋子。”
……
李东把电脑关掉，靠在椅背上，对着那片漆黑的屏幕，发了好一会儿呆。
说是给小黑换新家，可是有个问题。
他想起刘若传说的话……
这世上最顶尖的算力，和框架都在别人手里呀。
这种东西，光有钱砸不出来，还得有硬件那一边的门路才行。
“哎……又要麻烦别人了”
李东拿起手机拨出了一个号码。
……
魔都，华轩科技。
一间恒温恒湿的厂房里，里面的灯光还没有熄灭。
厂房里一尘不染的，几名穿着白色无尘服的工程师，正围着一台机器在做最后一轮的数据复核，谁也没怎么出声。
隔着一层观察窗，林伟双手抱在胸前，一动不动地看着里面那台庞然大物。
这是他们新一代的浸没式光刻整机。
两年前，国威那台“启明”系列的国产浸没式整机落地的时候，也曾经在网上掀起过一阵风浪。
能把这么一台顶尖的光刻整机，从里到外自己攒出来，本身就够让人振奋了。
可那对林伟他们来说，那事早就翻篇了，他们可不能停止不前。
眼前这台，比当年的“启明”又往前先进了一大截，这是冲着七纳米节点去的。
“林总。”
身旁一名技术员盯着控制屏，声音里带着掩饰不住的激动。
“最新一轮全片验证的数据，出来了。”
“双工件台的同步误差，整片压到了阈值以下。”
“套刻精度和焦面控制，从片心到片边，全程都死死咬在了设计指标上。”
“这台整机……过线了。”
观察窗里，机械臂正稳稳地托着一片晶圆，在两座工件台之间无声地交接。
林伟看了好几秒，才缓缓吐出一口气。
他这种人，是不大会把情绪挂在脸上的。
可这一刻，连他手都有些微微发抖。
这台整机一旦真站稳了，那就意味着它能磨出来下一代国产的AI加速器（AI accelerator）。
这两年外面那些大模型越堆越大，对算力的要求大得吓人。
可真正顶尖的那批芯片，华夏自己没有，而现在……华夏终于可以自己下场了。
虽然跟外面的比，他们手里这家伙还差着身位。
人家最顶尖的极紫外光刻（EUV），早就把芯片推到了2纳米节点上。
他们这台浸没式光刻（DUV）连同多重曝光，往极限里一点一点地逼，才把七纳米硬生生啃了下来，工艺更费，良率也更难看。
可这条路能不能走通，从来就不只看单颗芯片的成色。
单颗追不上，那就拿数量去填，成千上万颗加起来连成一片，靠着规模硬生生把那点差距给抹平了不少。
何况国内的电费便宜，电力又管够，这么大一片的芯片也就喂得起。
这条路是真真切切，被他们走通了。
而且这条路能走到今天，里面离不开的还是……李东那套降维算法。
是那套算法解决了流热耦合实时控制。
林伟到现在都还记得，当年那个在华轩杯复赛卷子最后一问里，写下“双光束激光干涉无掩模光刻”方案的高中生。
时间一晃，竟也有两年了。
这些年，林伟在各种场合，没少听见这个名字。
数学、太阳物理，甚至医疗上他都听见过李东这个名字。
“你到底还藏着多少东西呀，李东——教授！”
想到这儿，林伟居然忍不住笑了起来。
就在这时，他西装口袋里的手机震懂了起来。
这个点这种场合，能打进来的电话，多半没什么好事。
林伟皱了皱眉，腾出一只手，把手机摸了出来，正要挂断。
可当他的视线，扫过屏幕上那个名字时……
他的动作，停住了。
林伟转过头，冲身旁那名技术员说道。
“这边你先盯着，我接个电话。”
说完他推开厂房的门，快步走了出去。
“您好，李东教授？”
第391章 给我来五个亿的芯片！
次日，上午。
燕大，田钢的办公室。
李东推门进去的时候，里面已经坐了四个人。
田钢、刘若传、高稳，还有林伟。
见他来了，三位老师都没多大反应，各自点了点头就算是打过招呼了。
只有林伟从沙发上站了起来，语气恭恭敬敬的说道。
“李东教授，好久不见。”
李东走过去，和他握了握手。
“林总，好久不见。”
田钢端着茶杯，慢悠悠地开口。
“行了，你俩先别叙旧。”
“李东啊，你大老远把林总约过来，到底什么事？电话里还卖关子。”
高稳在旁边也跟着笑。
“就是，昨天我约林总，他都说没空。”
“你倒好，一个电话就把人给叫来了。”
林伟有些不好意思，冲高稳歉意地点了点头没接话。
李东也不绕弯子。
他自己从墙角拖了张凳子过来，在几位老师对面坐下，这才看向田钢。
“田老师。”
“你那个AI for Math，底座大模型，准备用国内哪一款？”
田钢想了想，报了个名字。
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我