我的学习群里全是真大佬
第411章 李东教授,真坑人
胖胖的小橘 · 更新时间未知
所以林伟没有立刻答应李东,而是说道。 “我得回去,和上面沟通一下。” 说完,他看向留在教室里的三位大佬,目光在姚先生身上停了停,问出了最後一个问题。 “三位院士,也会加入吗?” “高老师和鄂老师会的。”李东回答道,“姚先生应该会挂个名,再从姚班和智班里,推荐一些学生进来。” 林伟缓缓点了点头。 这才是他关注的重点,这三个大佬的名字往可行性报告上一放,分量比任何技术论证都重。 他回去要说服的那些人,看的就是这个。 “行。”林伟站起身,“李东教授,给我一点时间。” 李东从包里取出一个u盘,递了过去。 “原型代码和全套文档都在里面,让你们的工程师,随便验。” 林伟双手接过,郑重地放进了公文包最里层,然後同三位大佬逐一握手道别。 …… 教室里。 直到林伟离开,李东才转过身,朝三位大佬说道。 “谢谢高老师,谢谢鄂老师,谢谢姚先生。” 姚先生笑着说道 “谈不上谢。” “我是真看好你这个大模型,才坐到这儿来的。” 高稳和鄂伟南对视了一眼,都笑了。 “要谢,也该我们谢你。”高稳说道,“水木那边的大模型做出名堂多少年了,我们燕大总不能一直看着人家一枝独秀吧?” 鄂伟南慢悠悠地接了一句。 “是啊,也该有个我们自己的了。” …… 大洋彼岸,加州,山景城。 还是谷歌园区主楼顶层的那间会议室。 实测启动那天,这间屋子里人人都觉得,新范式的大门已经被推开了。 结果这些天烧下来,把众人的热情都烧没了。 会议室的白板写满了推导,但是都是被红笔成叉掉的。 “……我再说最後一遍。” 预训练总监的嗓子已经哑了。 “重排算子本身没有错,错的是它要的那组正交基。” “zeta函数的基底是从解析式里推出来的,是唯一的。” “可注意力矩阵的谱是活的呀,我们只能靠采样去估计。” “估计误差的上界是什麽?噪声除以谱隙。” “偏偏负责长程检索的那几个特征向量全挤在谱的尾部里,那里的谱隙是趋於零的。” “分母趋零。” “各位,分母趋零意味着什麽,不用我翻译了吧?” 会议室里没人接话。 tpu平台的负责人说道。 “离线估基检索长度超过三十万词,召回当场就崩盘了。” “在线估基,每条输入单独跑一遍特征分解,开销是它省下来的缓存的四倍。” “我们等於花钱,买了个更慢的东西。” “那就端对端,让模型自己学这组基。” 角落里,deepmind那位年轻研究员开口了。 “训练过了。” 马库斯终於出声。 他面前放着一个本子,正是当初在首尔和李东交流时候记下的思路。 “对特征向量求导,梯度里天然带着特征值间隙的倒数,谱一简合并这个倒数就炸。” “两万张卡,跑到第六天,损失曲线抽搐了一整晚,天亮的时候,变成一排nan。” “我们重启了三次,三次死在同一个位置。” 年轻研究员张了张嘴,没再出声。 “跨洋异步那条线呢?”有人问。 “停了。”马库斯翻过一页,“漂移补偿需要沿途的曲率,这一项我们给不出来,跑到第四天的时候损失曲线一切正常,下游评测全线归零。” “还有缩放律。”预训练总监翻着手里的报表,声音发苦道,“代理模型那组曲线,小规模上确实塌缩成一条母线,漂亮得能进教科书,可放大到真实规模,一万亿词之後,曲线就全散开了。” “散开的原因,我们说不清是噪声,还是换了区域?没有定理能回答。” “zeta那边有解析式兜底,我们这边什麽都没有,只有拿钱烧出来的数据点。” “说到钱。” tpu负责人的声音冷了下来。 “这几天我们砍了两个内部项目,压缩了客户侧的容量,财务昨天第三次来问,这两万张卡这个季度的产出是什麽。” “我特麽现在需要一个能写进报告里的答案。” 屋子里又安静了下来。 很久马库斯合上了那个本子。 “答案就是,路是对的。” “每一条死路的尽头,都不是思路错了,而是缺一条能将经验谱的扰动界、非平稳算子的有限样本理论、一条能被证明的缩放律统一在一起的定理” “而想把这条定理补上,就得去找一个站在金字塔尖上的数学家,按着我们的架构,从零定制一套出来。” 他顿了顿,环视了一圈这间屋子。 “而这颗星球上,最有资格干这件事的那个人……” 後面的话他没有说,但是大家都明白他要说什麽。 马库斯靠回椅背,盯着天花板看了几秒,缓缓吐出一句话。 “李东教授,真坑人。” 主位上的戴维朗,从头到尾没怎麽说话。 此刻他看了看表声音听不出情绪。 “散会。” “各部门按原计划推进主线,李东教授提的那条思路,封存,相关实验全部冻结。” “什麽时候找到能把那段数学补齐的人,什麽时候解封。” …… 会议室人走光了,戴维朗在空荡荡的会议室里站了一会儿,走到落地窗前,拨通了一个号码。 这一次,电话只响了一声。 “诺维格。”戴维朗的声音很古怪,“我就提醒你一件事,看好你的女儿,别让她被李东教授骗了。” 对面沉默了一秒。 “滚。” 电话挂断了。 同一个星期,旧金山另外两栋写字楼里,两份措辞不同的内部备忘录先後下发,但意思都一样。 李东教授指的那条路,暂缓,封存待启,等找到能解开那些数学问题的人,再行评估。 …… 燕大,信科大楼外。 李东伸了个懒腰,决定犒劳一下自己。 农园食堂的辣子鸡,好久没去了。 他哼着曲子从数院的一栋教学楼下路过。 然後他突然看到了两个人。 一位头发花白的外国人和一个金发姑娘。