目录加载中...
五月十四，京城。
天气已经开始热起来了。
赵文渊在长租公寓楼下扫了一辆共享单车，开始往源智京城研究院骑。从这骑过去一共是一公里多，但是早高峰的时段，比开车还快。
还能锻炼锻炼身体。
刷卡进到办公室，和沿途遇见的几个同事打了招呼，赵文渊去冲了杯咖啡——设备比较简陋，没有咖啡机，只有烧水壶，所以赵文渊自己带的挂耳。
然后赵文渊回到自己的院长办公室，打开电脑，开始查看训练进度。
他已经从能在国产卡集群上跑训练的狂喜中恢复过来了。
这个放在半年前想都不敢想的成就，此时此刻，并不能让他高兴起来。
赵文渊反思了一下，可能和韩总在一起待久了，有什么神奇的成就也能习惯，人习惯新事物的能力是很强的。
现在他有了新的问题——时间不够。
正常来说，一个后训练任务跑个两到三周，算是正常。
但是现在汤圆1.0想要赶上人工智能大会的闭门测评，却卡在两周紧张，三周不够的一个状态。
简单的说，就是训练过程中一点岔子也不能出，然后祈祷运气够好，能在人工智能大会的盲测截止日期前完成测试、整理材料和提交。
但是从现在的进度看，恐怕是不太行了。
前天的时候，预计训练的完成时间是五月二十六日。
昨天，这个预计完成时间变成了五月二十八日。
现在再看，预计完成时间是六月三日，十一点四十分。
按照这个进度下去，恐怕最终的完成时间要拖到六月中旬，到时候人工智能大会都开完了。
这倒也不是什么大事，但是赵文渊就是觉得不舒服。
明明知道下一个版本的更强模型就要训练出来了，却要拿着上一代的汤圆0.9去打擂台，非常不舒服。
为了这个，赵文渊已经连着和江松然开了好几个会，最后得出的结论是：这不是硬件的问题，不是基础设施的问题，是算法的问题。
就算把汤圆的底座和那些数据拿到一个N卡集群上去跑，训练的速度也不会更快了。
这次他倒是没想着去找韩路一。
因为后训练是他的强项，他的领域，他不认为韩路一会比他更懂。
更重要的是，韩路一走之前特意跟他说过了，要对他放手。
那他就更得证明自己的价值了。
不就是训练速度遇上了算法瓶颈吗？不就是还没有人做出来的更优化的训练算法吗？
难道我赵文渊就做不出来？
搞笑。
赵文渊让训练任务继续跑下一轮，自己在电脑上调出了上一轮的运行数据。
仔细看了一圈之后，他发现了第一个问题。
各个节点的运行效率并不一样。
Transformer架构的开创性贡献是把以前只能串行的机器学习任务变成了可以并行，于是机器学习也可以像大数据处理一样用大集群来加快速度、提升效果。
基本原理也很简单，就是把大任务切成小任务，派一个集群一起执行，执行完了之后合并在一起。
问题是怎么分？
最理想的情况是，每个节点运算能力都一样，那任务都分出来一样大小，每个节点负责的任务量一样。
这样就没有时间的浪费。
但是实际上很难做到平均分配。
因为后训练的任务类型不一样。
比如一个寝室决定聚餐，大家分别去采买食材，有人的任务是去超市买菜，有人的任务是去海里钓鱼，买菜的人都回来了，鱼还没上钩。
但是这没办法，钓鱼是不可细分的最小任务。
现在通行的做法是，大家一起等这个钓鱼佬回来，然后把阶段性结果写到硬盘里，再进行下一步。
问题是，该怎么把效率再往上提一提呢？
赵文渊托着下巴正在想着，门外突然响起了敲门声。
赵文渊被打断了思路，缓了缓才说话。
“请进。”
章闻铎推门走了进来，手里拿着一张纸，径直走到赵文渊的办公桌前。
“院长，我来提个申请。”
“什么申请？”
“我手里有个新实验，原来的十六张卡不够用了，想申请六十四张卡来做。”章闻铎一边说着，一边把申请表递到赵文渊面前。
赵文渊皱了皱眉头，现在他手底下用于研究的卡也就不到两百张，除了章闻铎之外，其他的几个项目组也在排队。六十四张还真不一定拿得出来。
赵文渊沉吟了一下，回忆着章闻铎的研究方向。
“十六张也不少了，怎么不够？实验内容有什么变动吗？”
章闻铎看赵文渊要问细节，干脆拉开椅子坐了下来，语气有些兴奋：“是这样的，院长，我有个新想法。之前我做实验的时候，不是有些长程任务嘛，把池子都占满了，短程任务也跑不起来，我就想把池子做大一点儿，一个任务完成之后就让——”
赵文渊一开始思路还跟得上，但是越听越不对，不由得打断了他：“不是，等等，章博士，你刚才来说，任务完成了之后直接回去取，不用等同一个batch（批次）的其他任务吗？”
章闻铎的方向是只有他一个人在做，平时就是查文献、做实验、记录结果，现在看院长赵文渊对技术细节有兴趣，他就打开了话匣子。
“是的，研究世界模型的话因果链比较长，有很多多步骤的长程任务，有时候一个任务就得好几个小时，这个时候其他的任务都做完了，就等这一个长程任务太浪费了，所以我想了个方法，一个任务做完就回去取，不用等。”
赵文渊一边听一边皱眉头，到最后眉毛都拧成了麻花。
不对不对不对，这个方法和他认知的基础框架有很大区别。
等到章闻铎说完，他赶紧抛出了自己的疑问：“你上一轮还没跑完，结果还没更新回模型，就跑下一轮？这不是全乱套了吗？”
拿赵文渊刚才自己想的那个例子来说，就相当于钓鱼佬还没回来，其他人都已经开吃了，等到钓鱼佬回来了，那事还能小？