第402章 路就在眼前，你们修不修吧。

coex会展中心，主会场侧面的贵宾休息区门口。 西蒙·哈特低着头，看着手机上的航班追踪软件。 “还有两个多小时落地。” “落了地也得明天。” 戴维·朗看了一眼表。 “难道真让他们顶着十二个钟头的时差去和李东盘底层架构？” 哈特没接话。 两个人又不约而同地看向了大厅里不断游走的李东。 这时亚当·凯利也挂断了电话。 他已经忍不住了，立刻阴沉着脸朝着会场快步走了过去。 直到离李东只剩几步远，他才放缓脚步，然后阴沉的表情不见了，露出一个标准的笑容。 然后有意无意地，正好拦在了李东和下一位“交流对象”之间。 “李东教授。” “今天的议程也快结束了，”亚当·凯利笑容可掬，“有没有时间，咱们去喝一杯？” 李东冲他歉意地笑了笑。 “不好意思，我酒精过敏。” 凯利：…… “对了。” 李东像是想起了什么问道。 “那位雅各布博士，什么时候能到呀？” 亚当·凯利有些懊恼地说道。 “……可能，要明天。” “那行。”李东点了点头，答应得痛快，“那明天，咱们单独聊。” 说完，他绕过凯利朝着下一位等候多时的同行走了过去。 亚当·凯利站在原地，望着李东的背影，脸色总算是稍微好看了一点。 至少…… 李东答应了，单独聊。 …… 次日，上午九点。 还是这间贵宾休息室。 李东推门进去的时候，屋里的人已经到齐了。 亚当·凯利脸色难看地看着身旁的朗和哈特。 “该死，原来李东教授说的单独聊是三家一起单独聊啊。” 他们各自的身边，都坐着一个李东之前没见过的人。 而这三个人，看起来都挺疲惫的，下巴上还有没刮掉的胡茬。 不过当李东进来以后，这三个人都用充满了血丝的眼睛看向了李东。 “雅各布，我们的首席科学家。”凯利说。 “马库斯。” “伊森。” 朗和哈特也介绍道。 李东一边和他们握手，一边在心里舒了口气。 正主，来了。 虽然昨天展厅里聊过的那些人，水平也不低。 可说到底，那些都是二线。 而真正决定这一行天花板的东西，万卡集群的容错和拓扑怎么搭，千亿数据的清洗管线怎么通，几千万刀的pre-training怎么做到一次不崩盘，这些，都只存于少数人的脑子里，比如…… 眼前这三位。 李东要自建大模型，主攻ai for math，这些学费迟早是要交的。 如今教材自己坐着私人飞机送上了门。 所以李东望着这三张憔悴又亢奋的脸，笑得格外和蔼。 很快，单间里多余的随行人员都退了出去，门也合上了。 屋里只剩下八个人。 三位巨头，三位首席科学家，李东。 以及，彼得·诺维格。 诺维格坐在最靠窗的位置，手里端着一杯红茶，从头到尾没怎么出声。 他是戴维·朗亲自邀请过来的。 在外人看来，诺维格早就退出一线了，这几年扑在教育上，带带学生，写写教材俨然半个养老的状态。 可他在最底层那些事情上，根基究竟扎得有多深，凯利不清楚，哈特也不清楚。 全世界，恐怕只有戴维·朗一个人，心里有数。 随着最后一位随行人员退了出去，休息室里却陷入安静。 没人先开口，直到一分钟过后，雅各布带着点疲惫的开口了。 不过他问的，全是绕着降维算法原始论文打转的东西，loss面的收敛半径、泛化误差上界、离散网格的采样密度。 没一句是干货。 李东听了几分钟，大概就明白这到底是怎么回事了。 这三家，平日里你抢我的人我挖你的墙角。 谁家的预训练在哪儿卡了壳，那都是压箱底的机密，当着两家死对头的面，谁会真的掏底呀？ 按照这个聊法，聊到大会闭幕，也聊不进正题。 于是李东放下茶杯，笑眯眯地打断了雅各布。 “雅各布博士，你问的这些，你们组自己挂出来的技术报告里，就有答案。” “咱们立个规矩吧。”李东笑着看向了休息室里的众人，“今天在这间屋子里，不管谁提的问题，我的回答，三家一起听。” “所以……藏着掖着的最吃亏。” 三位首席科学家面面相觑。 几秒钟后，也不知道是谁先把心一横。 反正答案大家都听得见，那还客气什么？ 多问的，才是赚的。 “李东教授。” 还是雅各布先开口。 “那我换个问法。” “千亿级参数的loss曲面，强上全量hessian矩阵纯属做梦，二阶的预条件子连显存都塞不进，只能退化到一阶的adam系硬磨。” “如果先用您那套算法重排，把参数空间正交化到近似对角阵……” “预条件子，是不是就能直接降维成逐元素的标量缩放？” 他一说完，另外两家的人也停下了手中正在记录的笔，抬头看向李东。 李东听完点了点头。 “路子是对的。” “但你们光盯着算力和显存了，问题的核心不在于算不算得起。” “而在于你们根本不知道，该在哪个标度上去算。” 雅各布一怔：“标度？” “loss曲率不是一张静态的地图。” 李东说道。 “它跟着你的batch size缩，跟着学习率漂，还跟着网络的width一起扭曲。” “我那个算法之所以成立，是因为zeta算子的谱特征背后，有一套解析的scaling law兜底。” “我是先吃透了规律，才敢去动算的。” “而你们呢？” “你们梯度的噪声标度，是怎么做标定和对齐的？” “网络width翻一倍这个scale往哪边漂移，你们跑过消融实验吗？” 雅各布握张了张嘴没出声，整个人像是被这一问，好像让他想到了什么。 与此同时，李东的记忆宫殿里。 大厅中央那座临时书架上，现出了一份崭新的残篇。 【临界batch size，由梯度噪声的scale唯一确定。 】 【将学习率、批大小、网络宽度与深度，统一收敛至同一套scaling law解析式。 】 【在千万级参数的proxy模型上定死全局超参，借参数化的对称性，零样本无损迁移至万亿参数域。 】 【若该定律成立，不同参数规模的loss下降曲线，在对数坐标系下必将塌缩为同一条母线。 】 【至于attention机制内的softmax温度超参，如何随宽度协同缩放……】 李东看着这个残片，心里已经服气了。 在小模型上把戏排完，到大模型上直接zero-shot首演，连彩排的场租都省了。 这帮人藏在肚子里的东西，可比他们挂在网上的论文，值钱太多了，这就是经验，或者说这特么就是用钱烧出来的灵感。 他李东或许花点时间也能想出来，但是想出来有什么用？ 他有钱去烧，然后去验证自己的想法吗？ 而现在雅各布的经验明显替他省掉了这笔钱。 现实里，雅各布回过神来，几乎是立马将灵感写进了本子里。 有了他开这个头，休息室里也就破冰了。 接下来的交流就脱离了常规的一问一答，演变成了一场围绕着“降维算法如何真正在万卡集群上落地”的学术讨论了。 gemini的马库斯率先提问，他抛出了跨洲集群的物理延迟痛点。 几十万张加速卡隔着太平洋跑同步，降维算法作为一种全局操作，怎么可能扛得住海底光缆的物理墙？ 而李东不仅用zeta零点的高阶局部重排，证明了降维算法切分后截断误差完全可控，更直接甩出了一套颠覆性的解法：放弃强同步，把整场训练拆成“local-sgd与周期性漂移聚合的异步范式”的模式。 底层各跑各的local-sgd，外层利用降维算法，隔上几百步只去提取和对齐一次权重的“漂移量”。 生生把跨洋带宽的物理死局，盘成了一致性的数学游戏。 马库斯这边刚被李东忽悠完，claude的伊森紧跟着又砸出了低精度浮点的算力黑洞。 大模型在预训练时疯狂飙spike、爆nan，这些带噪的极端离群值，会不会反过来把需要干净数值的降维算法搅成一锅粥？ 李东一针见血地挑明，降维重排非但不怕刺头，反而最喜欢这种重尾分布，因为能量越是抱团，特征流形上的坐标就越好找。 为了让降维算法完美适配低精度的带噪环境，他给出的方案路子也很野。 不搞粗暴的截断，而是把底层数值格式直接重构为对数域上的非均匀量化网格，让浮点刻度去自适应地追赶极值能量。 几个来回的交锋，句句不离降维算法的工程嫁接，却又字字直戳巨头们用几千万美金都烧不出来的“解决方案”。 而随着这几位首席科学家的醍醐灌顶，李东的记忆宫殿里…… 【异步陈旧度不再视为梯度噪声，而是可被显式补偿的位移向量。自此，跨洲集训的瓶颈，彻底从传输带宽降维至拓扑一致性。 】 【将数值格式重构为对数域上的非均匀刻度，令量化噪声沿能量分布自适应展开……】 一份份价值连城的工程残篇，就这么被他薅进了书架上。 就在这个时候，一直安静喝茶的诺维格，放下了茶杯。 “李东……额教授。” “我听你说了一上午。” “分段的重排，近似对角的基底，跟着能量走的刻度。” “每一条，在zeta那边都站得住，因为zeta是一个写得出来的对象，它的谱、它的缩放律、它的误差界，全是从解析式里推出来的。” “可一个万亿参数的模型，没有解析式。” “它的谱，没人写得出来，只能靠采样去摸，你的误差界在那边没有定理，只有实验。” “把你的算法，从一个解析的世界，嫁接进一个只能测量的世界，李东教授，这中间隔着的，恐怕不是工程量。” “是一整段还没有人写出来的数学。” 满屋子的人都安静了下来。 李东心里却是微微一动。 到底是盛名之下无虚士啊，难怪这个老绅士有这么大的名号。 三位首席科学家问了一上午的怎么做，只有这位老先生，在问“凭什么能做”。 一下子就点出了李东忽悠人的本质。 不过，李东要的东西已经到手了，他也没有半分的遮掩说道。 “是隔着的。” “那段数学，今天我一个字也没替你们写。” “可是诺维格教授。”他笑着看了一圈屋里的人。 “谱写不出来，可以去摸，界没有定理，可以去立。” “路不存在，和路不值得修，从来都是两码事。” “我把地图画到这儿了。” “走不走，你们定。” 诺维格深深看了他一眼，没有再说话。 而记忆宫殿的书架最顶层，悄无声息地，多出了一份一行字的手稿。 【解析的界不存在的地方，界可以被学习，把误差估计本身，做成模型的一部分……】 李东：…… 这家伙藏的真深。 难怪戴维·朗死活要把人留在屋里。