赵文渊这一番操作之后,丁耀先面色不变。
但他的心里多少有点儿怀疑。
芯片的架构模拟是一个很复杂的工作,而且具体细分下来,从芯片计算架构、模型工作负载、集群和网络通信模拟到实际硬件测量,每一个细分领域都有软件厂商在深耕,比如Timeloop、Chakra、ASTRA-sim这些。
怎么能让这个模拟结果尽量准确,能够给实际工作的安排产生指导意义,靠的是企业积累的海量数据,那都是各个软件厂商的核心机密。
现在源智突然端上来一个效率模拟器,说是能预测芯片架构对效率的影响,虽然界面看起来像是那么回事,但是这件事本身就让人不那么信服。
丁耀先是个没什么城府的技术人,有什么就说什么,他直接问道:“赵总,我问个问题,你们这个模拟结果,怎么能保证有效?”
“我们自然是验证过。”赵文渊微微一笑,说道,“我们之前使用的英伟达集群,实验室里的旗舰卡,还有正在使用的L100集群,都校准过。”
当然只有这些数据是不够的,预测最重要的是发现规律。
还好汤圆在这方面很擅长。
但这个就没必要在这里说了。
丁耀先并没有被说服,他摇了摇头,说道:“赵总,说到底都是源智一家的数据,用这个来做预测——虽然我是相信的,但是恐怕不能服众。”
赵文渊用手把笔记本电脑往前轻轻推了推:“要不丁总自己来试试?”
丁耀先先是回头看了看廖伯韬,见他没有反对的意思,就几步走到了赵文渊身边,开始操作了起来。
界面倒是写的很简洁,上手就能用,但是操作到一半的丁耀先突然停了下来。
冰芯的每一代工艺正式开放给客户之前,都会先试生产各种验证芯片。
从晶体管性能到高速接口,只有各个地方都测试完善了才能把工艺开放出来。
这些验证芯片不一定会对外销售,但相关数据非常完整,所以冰芯这里积攒了很多外面没有的数据。
只是这些参数涉及冰芯的工艺机密。
廖伯韬看丁耀先停下来不动,自然知道是为什么,他发话道:“用B7平台的测试数据吧。”
丁耀先抬头惊讶地看了廖伯韬一眼,但没说什么。
既然得到了首肯,他就继续输入。
B7是冰芯最近测试的平台,数字都在丁耀先的脑子里,他连查资料都不用。
最后他输入了一个冰芯内部用的测量计算任务。
输完之后,他点了一下运行键。
屏幕上出现一个进度条。
模拟器先把计算任务拆开成基础运算算子,然后尝试将这些算子分配到不同的计算单元,再根据刚才提供的各个参数,模拟数据从内存读入缓存、进入计算阵列,最后把计算结果写回内存的整个过程。
这个过程没有可视化,倒是有日志输出,但是要专门进入开发模式才能看见。
所以现场十几双眼睛就一起盯着屏幕上的进度条。
模拟运算的时间倒是不长,只是在全场安静的环境下让人觉得过的很慢。
一分多钟后,结果出来了。
任务预计完成时间,六点四二秒。
计算单元平均利用率,百分之六十一点八。
内存等待占比,百分之二十一点三。
赵文渊转头看向丁耀先,正好看到他的眼睛睁大的样子。
另外一边,验证负责人在自己的电脑上打开了最近一次的测试报告。
真实完成时间,六点六七秒。
计算单元平均利用率,百分之六十点四。
内存等待占比,百分之二十二点七。
模拟软件的预测值和他们的真实数据差距在百分之五以内。
即使源智接触过B7这款芯片的历史数据,能在现场完成这种精度的预测也非常惊人,但这可是内部实验芯片,从来没有对外公开过,甚至都不是一款产品。
他们是怎么做到的?
就这一下,屋子里的人对源智的这款不知名的模拟软件都重视起来。
丁耀先更是吞咽了一口口水,看向韩路一。
他说话的声音都有点儿沙哑。
“韩总,你们这款模拟器,卖吗?”
韩路一笑了一下:“丁总,既然源智和冰芯两家合作,这些当然都是共享资源,说什么买卖的就太生分了。”
然后他用手一指屏幕,说道:“不知道丁总对这个数据的可信度还认可吗?要不要试一试别的?”
赵文渊在旁边略微无语。
这个模拟软件可是我们研究院主导开发的,怎么一开口就问韩总,这个逼就不能让我装吗?
虽然这种级别的软件是不是能对外开放,确实不是他一个研究院院长能决定的,还真得韩总拍板,但你哪怕先问问我呢?
丁耀先也反应了过来,现在最重要的事情还是把技术路线确定下来。
于是他低下头,在L100的现有架构的基础上,把现在成品的一些参数替换成了冰芯七纳米工艺的对应参数,再次点了运行。
结果很快出来,效率大概是原先的百分之七十多。
和冰芯这边做出的预测差不多。
丁耀先看到这个结果,连心里的最后一点疑虑也消失了。
能猜中一次可以说是巧合,但对L100的迁移结果的现场预测和冰芯内部的测算结果也几乎一样,说明源智的模拟器确实有东西。
甚至可能比冰芯内部正在使用的工具还要先进得多。
想到这,丁耀先的心里有点儿热。
源智的这个项目能不能成先不说,如果冰芯之后的芯片验证和生产流程能用上这套工具,效率能提升多少?
他强行把这个念头压下来,把电脑转回给赵文渊,开口说道:“赵总,试试你们的新方案?”
冰芯这边的工艺参数都不用改,赵文渊直接在模拟软件里导入了薛兆恒刚才展示的L200异构芯片的架构,四块计算芯粒、输入输出芯粒和封装内互联的设计展示在软件的预览界面上。
参数都设计好了,赵文渊向丁耀先确认道:“丁总,你看看这个参数都对吗?”
丁耀先尴尬地开口:“赵总,刚才输入的参数是我们理论上能达到的最优值,既然是第一轮测算,还是保守一点儿吧。”
然后他提出了几个参数改动,基本把各项工艺的数字都往更保守的方向挪了百分之十到百分之二十。
薛兆恒在旁边看得欲言又止。
我们内部跑的时候都没压的这么狠,冰芯能不能行啊?
赵文渊倒是没在意,丁耀先让改哪儿,他就改哪儿,让改多少,他就改多少。
等所有数字都确认完,赵文渊载入汤圆最近一次训练的单轮计算任务,按下运行键。
又是一分多钟。
屏幕上的结果跳了出来。
理论算力,只相当于英伟达旗舰卡的百分之八十左右。
这个结果比L100的迁移方案强了不少——L100的现货能达到百分之六十,迁移之后再打个八折,单卡就只有英伟达旗舰的一半算力了。
这个结果让冰芯这边的人都有点儿意外,看来这个新架构确实有可取之处,以冰芯的制程限制和工艺水平,能做到这个程度已经很惊人了。
丁耀先这个时候已经有点儿认同薛兆恒的设计了,看来人家不是信口胡说,是带着数据来的。
模拟的结果除了综合效率之外,还有【任务预计完成时间】和【内存等待占比】等几个详细选项。
任务预计完成时间是一点七七秒。
丁耀先扫了过去,没太在意。
然后继续看内存等待占比,百分之六点五。
他突然意识到有点儿不对。
一点七七秒?
刚才L100的模拟结果是使用的同一个任务吧,那个时间是多少来着?
丁耀先感觉浑身一激灵,既觉得有可能是自己记错了,又隐约觉得似乎真有这个细节。
这个模拟软件对过去的模拟结果都有历史记录,L100的模拟结果就在前面三个,丁耀先咽了口口水,问道:“我们再对比一下L100的结果?”
没人提出反对。
赵文渊把这次结果的标签页单独拖了出来,留在屏幕的一边,然后在屏幕的另一边打开了L100的模拟历史记录。
任务预计完成时间六点八四秒。
冰芯这边的人也都意识到哪里不对了。
算力提升了百分之三十多,但是训练速度变成了原来的四倍。
封装负责人的身子往前探了探,喃喃地说出口:“这怎么可能?”
刚才输入参数的时候,封装带宽的数据已经被压缩到很保守的水平了,对冰芯来说属于没有技术挑战。
相对应的,通信效率就会很受影响,这种多芯粒设计受到的影响最大。
怎么可能会出现这样的结果?
丁耀先也抬起头看向赵文渊,想让他给个解释。
他甚至都没问问题,很显然,两组数据的对比显得不合常理,这需要一个解释。
赵文渊淡淡一笑。
“看起来大家都很惊讶,可能是因为你们对大模型的训练管线不太了解。”赵文渊开口道,语气平淡,仿佛在讨论一件微不足道的小事。
其实他心里已经乐开了花。
虽然技术方向是大家头脑风暴出来的,但是既然是我来讲解和演示,那这个逼就让我一个人装吧。
冰芯的各位,准备好,表演开始了!
“L200的异构设计不只是拿几个小芯粒堆起来而已,它是为汤圆的训练管线特意设计过的。”赵文渊用手指着屏幕上的四块芯粒,说道,“我们对训练的每一步任务都做了精细的规划,会用到哪种算子,任务量有多大,编译器都可以提前规划好,这是一种在训练开始之前就进行过的宏观优化,训练一旦开始,所有的计算都会在同一个芯粒里完成,只有在最后Reduce的阶段才需要进行通信。”
“这样,在密集运算的过程中,每一个芯粒其实都是一个完整的芯片,显存读取也被降到了最低。”
“为什么我们能用比英伟达落后的制程达到效率上的反超?”
“英伟达要照顾所有的用户,而我们只需要考虑汤圆就可以。”
“答案就是这么简单。”
赵文渊话说完,全场安静。
他静静的享受了几秒钟这会议室里的宁静,直到一个清脆的鼓掌声将这宁静打破。
是廖伯韬。
他一边慢慢鼓掌,一边脸上露出了一个真诚的笑容。
“赵总还说自己是外行人,我看赵总对芯片设计是真正的内行啊。”廖伯韬说道,“先想好要跑什么任务,才进行芯片设计,苹果做M系列的时候走得就是这条路。软硬件能够协同设计,才能做到效率的天花板上,源智在这方面得天独厚啊。”
说完他叹了一口气:“这条路,冰芯还没有走过。”
这话一出来,会议室里的人都有点儿明白他的意思了,所有的目光都汇聚在廖伯韬的身上。
廖伯韬环顾了一下四周,最终把目光放在韩路一身上,开口道:“韩总,冰芯和源智的合作,可以就按照你们刚才提的路线来。”
“设计方案你们出,冰芯负责把它生产出来,L200就是冰芯下半年的核心项目。”廖伯韬说这话的时候,心里也久违的升起了一点儿激动的情绪。
他做技术五十年了,见到这种突破性的东西还是会觉得兴奋。
这个东西做出来,如果真能有模拟中的效果,甚至只有它百分之八十的效果,也算是在计算芯片的领域走出了一条新路来。
这不是口号里说的国产替代。
这是真真正正在技术边界上的探索和创新。
韩路一也能看到廖伯韬的真诚,他站起身走到廖伯韬身边,两人再次握了握手。
“廖总,合作愉快。”
“合作愉快。”
在合作意向达成之后,两家企业的合作具体以什么形式、以谁主导,这才算是定了下来。
当然,会议到这还没结束,接下来双方要以同一个研发团队的方式来讨论问题了。
第一个要定的就是时间线。
丁耀先拿出冰芯先前准备的时间表快速看了一眼,说道:“冰芯这边,最快五月底之前成立项目组,人手到位。”
“我们这边的设计已经开始了,预计在九月之前把设计定稿。”薛兆恒下了保证书。
两边合计了一下,如果一切顺利的话,今年年底应该能进行第一次流片。
再留三个月的缓冲期,四到五月就能拿到测试集群了,离现在将近一年。
韩路一皱了皱眉头,问道:“丁总,能不能再快点儿?”
丁耀先尴尬地笑了笑。
要是别人这么说,他就直接开怼了,不到一年就拿到产品,这个速度在芯片领域已经是火箭速度了好吗?嫌慢?找别人去!
但是问话的人是韩路一,他只能一边在心中默念“莫生气”,一边陪着笑解释道:“韩总,这已经是我们这边全年无休才能出来的方案了,芯片研发不是软件开发,就是要这么长时间。”
全年无休,这话倒是把韩路一说得不好意思了。
他笑了一下,说道:“我们对技术能力还是有自信的,如果软件方面我们能提供什么支持,丁总尽管开口。”
这话说的丁耀先心中一动,脸上的笑容也变得真诚了许多:“那刚才的那款模拟软件,是不是能——”
“当然,我一会让赵总和你聊细节,如果有什么功能改进上的需求也可以和他讲。”
两家的时间线协调完了,丁耀先在时间表上手动写了个更新后的日期,然后在上面画了个圈。
“明年四月一日之前,让第一套L200集群上线!”
看着这个日期,韩路一默默想着,这个日期还挺有意义的。
汤圆第一次在公众面前亮相,也是这一天。
等到会议开完,已经是傍晚的时候了,源智的四个人从冰芯总部出来,恰好能看到一片晚霞。
源智总部的大楼就在远处的一片晚霞中迎接着他们。
几人沿着街道往回走。
赵文渊拿出手机来,屏幕上折叠的全都是知乎的提示。
他打开APP,中午那个回答下面已经有几百条评论了,其中最高赞的一条是:
「且听龙吟是吧?提头来见是吧?还敢说一年内国产芯片跑通训练?建议答主留下姓名,一年以后回来考古。到时候如果真有哪家跑通了,我直播吃」
赵文渊看着这条评论,没有回复的兴趣,反倒是修改了原答案。
你以为我是吹牛,其实我是真有东西,这才是在互联网装逼的精髓。
“更新:刚开完一个会,保密程度比较高,不能多说,我只能说——”
“诸君,且听龙吟。”
点击发布,赵文渊心满意足地收起了手机。
韩路一好奇的扫了他一眼:“怎么了?”
赵文渊背着手,面对着满天红霞,语气云淡风轻:“没什么,给网友做了一点儿简单的科普。”
韩路一摇了摇头,今天可是给老赵装爽了,但是结果很好,他懒得拆穿。
这种低成本的开心,总比买个楼便宜。
“看来明天是个好天气。”韩路一突然开口道。
“啊?你怎么知道?”赵文渊问道。
“朝霞不出门,晚霞行千里嘛。”