下午三点。
英伟达园区。
黄任寻安排了一间小会议室。
桌上放着OpenAI经过处理的训练报告。
三点十分。
会议室门被推开。
一个三十左右的华裔青年走了进来。
他穿着格子衬衫,头发有些凌乱,鼻梁上架着一副棕色眼镜。
林启航先朝黄任寻打了声招呼,目光随即落向陈默:“黄总说,OpenAI想找我聊聊?”
“坐下先看。”陈默将报告推至他面前。
林启航翻开第一页,神色尚算平静。
翻到第三页,指尖的碳素笔已在几组通信延迟数据旁划出痕迹。
到了第五页,他的速度明显慢了下来。
“你们把所有参数更新都堆在同一个通信阶段?”
“目前是。”
“难怪会堵。”林启航笑了一声,手里的笔几乎没停,“显存分配逻辑也有问题。不同长度的序列全按最大空间预留,大部分根本没必要保留,直接重算成本反而更低。”
“单卡训练还能硬撑,放到几百张GPU的集群里,这种愚蠢的浪费会被成倍放大。”
他拿起笔,在空白处画出几个简单方块。
“参数更新可以拆开。”
“这一层计算时,上一层便开始通信。”
“再将数据按照长度重新分组,减少无效填充。”
“如果重新设计几个核心算子,利用率至少能先提高到百分之五十。”
黄任寻端着咖啡坐在一旁,始终没有插话。在英伟达,林启航是极少数能将CUDA底层架构、硬件指令集与分布式编译榨干到最后一滴性能的怪才。
陈默神色从容,只是淡淡抛出一句:“这只是五百一十二张卡。明年,OpenAI的集群规模是八千张,未来,是数万张,甚至十万张。”
林启航手里的笔锋骤然顿住。
“什么模型,需要这种量级的算力?”
“一个能通晓多任务的通用底座。”陈默揭开随身笔电,屏幕上随即播放起最新的原型演示。
同一个未经微调的模型,行云流水般完成了长文摘要、逻辑推理与跨语种翻译。
林启航的目光被牢牢吸在屏幕上,眉头微蹙:“多模型融合?”
“同一个模型。”陈默报出一串参数规模。
林启航摇头:“按这个规模,底层的泛化与涌现能力不合常理。”
“所以,我们需要更大的尺度。”陈默扣上笔电,“我需要你来做整套计算系统的掌舵人。”
林启航没有立即答应。
“英伟达同样在做深度学习。我为什么要离开?”
“在英伟达,你可以继续优化世界上最好的GPU。”
陈默看着他的眼睛。
“加入OpenAI,你要解决的是另一件事。”
“如何让一万张GPU,像一台机器一样工作。”
“如果这条路走通了,未来人工智能能触碰到多高的上限,不仅取决于算法与芯片制程,更取决于你亲手打造的这套算力底座能撑起多庞大的世界。”
林启航定定地看着陈默:“如果这条路线在物理上根本行不通呢?”
“那就找出原因,重新开始。”
陈默语气平静。
“探索通用人工智能本就没有标准答案。如果所有的工程路径早已被论证清楚,我也用不着专程从佛罗里达飞回湾区见你。”
林启航低头看着那份满是批注的报告,沉默了几秒:“为什么选我?”
“几个月前,我从这里离开时,看见你站在白板前和两名同事争论。”
“为了百分之十的内存带宽,你争了很久。”
林启航愣了一下。
他显然没有想到,陈默会记得这么小的一件事。
“大部分人看见百分之十,觉得已经可以接受。”陈默继续说道,“你看见的是还没有被利用的性能。”
“OpenAI需要的,正是这种对极致算力怀有执念的疯子。”
会议室安静下来。
林启航翻到报告的最后一页,抬起头:“如果我过去,能拿到多大的技术裁量权?”
黄任寻抿了口咖啡,心中暗叹一口气,知道自己的人已经被撬动了。
“OpenAI计算系统负责人。”
陈默说道。
“独立组建内核、编译、通信和集群工程团队。”
“第一阶段三千万美元预算。”
“核心技术路线由你与伊利亚共同决定。”
“至于薪酬,”陈默补充道,“基本待遇对标英伟达天花板,并进入OpenAI第一批核心期权池。”
林启航深吸一口气,摘下眼镜擦了擦,眼底的野心不再遮掩:“我要先看真实的集群日志。”
“车在楼下。”陈默起身。
黄任寻无奈苦笑:“陈先生,你真是一点余地都没给我留。”
“我从不把决定未来的关键筹码押在运气上。”陈默微笑道。
黄任寻叹了口气,转头看向林启航:“去吧。看完之后,遵从内心的选择。”
“无论留在英伟达还是去OpenAI,别让自己后悔。”
林启航郑重鞠了一躬:“谢谢黄总。”
……
旧金山先锋区,OpenAI总部。
林启航连工位都没多看一眼,在法务签完脱敏协议后,便一头扎进了核心机房。
屏幕幽蓝的光映在他脸上,跳动着昨夜训练崩溃的原始日志。
伊利亚与Sam闻讯赶来。
最初只是探讨架构,仅仅半小时后,讨论便升级为白热化的推导博弈。
从显存分块到通信交叠,林启航与伊利亚在玻璃板上写满了算式,争到激动处甚至相互抢夺白板笔。
Sam数次想要出言拉回节奏,最终都识趣地退到了机房边缘。
夜色渐深,湾区的灯火连成一线。
晚十点四十分,林启航掷下笔,活动了一下僵硬的指关节,转头望向陈默。
“三个月,我把这512张卡的集群利用率拉到60%以上。”
“至于八千张卡的方案,旧架构得全部推翻。给我一年时间,我让它们彻底融为一体。”
陈默上前一步,递出手掌:“这是最终答复?”
“是。”林启航握住他的手,掌心滚烫,力道沉稳,“陈总,以后请多关照。”
“欢迎登船。”
……
深夜,旧金山国际机场。
湾流G650ER撕开重重云海,径直爬升至万米平流层,向着浩瀚的太平洋深处疾驰。
奢华机舱内,陆静怡已经换下参加会面时的正装,只穿着一件贴身针织衫和宽松长裤。
她合上笔记本电脑,抬起双臂舒展了一下肩颈,修长丰盈的曲线随之展露。
陈默靠在座椅上,毫不掩饰欣赏的目光。
陆静怡放下手,捕捉到他的视线,没好气地嗔了他一眼:“跟着陈大老板连轴转,跨洋过海,事情一件接着一件,骨头都快散架了。”
陈默听出了她语气里的娇嗔,莞尔道:“辛苦陆总了。”
“口头上一句辛苦就算打发了?”
“那陆总想要什么补偿?”
陆静怡端起红茶,似乎认真思考了一会儿。
“听说陈总会按摩?”
陈默挑了挑眉:“听谁说的?”
“你说呢?”
陆静怡浅浅抿了一口茶。
“那位西省明珠。”
陈默表情微微一僵。
“林婉连这种事情都告诉你?”
“女人之间总有一些陈总不知道的话题。”
陆静怡眼底藏着笑意。
“她说你手法很专业,力道恰到好处。”
说完,她放下茶杯,优雅地转过身背对着他,抬手将一头微卷的长发悉数拢到右侧肩前,露出白皙修长的后颈。
陈默看着她的背影,轻笑一声:“陆总就不怕我借机占便宜?”
“你占的还少么?”
陆静怡语气平静。
陈默哑然失笑,解开安全带起身行至她身后。
双手落在肩头,隔着柔软的针织面料缓缓用力。
陆静怡原本只是想调侃他几句,可随着肩颈的酸胀一点点舒展开,她的身体逐渐放松下来。
“嗯……”
一声微哼从她唇间溢出。
陆静怡双肩微微一颤,彻底放松下来,整个人向后靠去。
陈默的手法从容而有节奏,指节从颈后一路延展至肩胛骨内侧。
“怎么样,还算及格么?”
“勉强合格。”
机舱里短暂安静下来。
发动机的低沉声响被隔绝在外,只剩下空调送风的细微动静。
几分钟后,陆静怡睁开眼睛,伸手握住陈默的一只手。
“够了。”
她顺势向后一靠,整个人落进陈默怀里。
陈默环住她纤细的腰肢,低头靠近。
陆静怡抬起手指,轻轻抵住他的嘴唇。
“别趁人之危。”
她靠在陈默胸前,听着沉稳的心跳,眼中的笑意渐渐柔和下来。
“回到香港以后,陪我休息一天。”
“想去哪儿?”
“还没想好。”
“你只要把时间留出来。”
“好。”
“答应得这么痛快?”
陆静怡明显有些怀疑,再次抓住他不安分的手。
“我也需要放松。”
陈默没有再作怪,陆静怡调整姿势,在他怀里找了个舒服的位置。
“暂且相信你。”
陈默低头闻到她发丝间淡淡的清香,手臂微微收紧。
“睡一会儿吧。”
“飞回香港还要十几个小时。”
机舱灯光逐渐暗下。
窗外,星光铺满辽阔夜空。