韩路一从赵文渊语气里的兴奋劲儿里就能听出来,这第三条路才是他最想走的路。
“从头开始训练一个底座模型。”赵文渊说道。
韩路一不是大模型领域的专家,但他毕竟是搜广推出身的,对大模型也有所涉猎。
他知道这第三个选项和前两个比起来的区别有多大。
预训练所需要的技术挑战、算力资源比起后训练来说,那是几倍几倍的增长。
但是最后能实现多少效果的提升?这就没人能保证了。
韩路一问道:“不走基于开源微调的路线了?”
“开源微调能够提升——不,应该说能够对底座模型进行的调整是有限的,不管我们再努力,上限都被底座本身的能力给框住了。而且现在会把底座放出来开源的都不是第一流的预训练底座,在这种情况下天工能赶上现在的乾元就已经是极限了,几乎可以确定我们有一个不可逾越的天花板。但是重头训练就不一样了,上限完全可以非常高。”
这是赵文渊说出来的话,韩路一也听出来他没说出来的了。
上限可以很高,下限也可能会很低,这是完全抛弃掉之前的后训练经验,从预训练从头开始啊。
不过从公司的角度来说,如果最终成果比现在天工模型差,那就是斩杀线以下,承认研发经费打了水漂就是结局了。
“成本也很高,对吧?”韩路一问道。
赵文渊苦笑了一下:“对,从模型大小上来说,也算丰俭由人,只做代码模型的话也不一定要那么大的参数,但是挑战还是有两个,一个是数据源,只靠网上开源的那些肯定不够;另一个就是成本,按照我的估算,每一轮都至少要三千万起,而且这个事儿,一轮就成功的概率实在不大。”
韩路一暗自为这个数字咋舌。
这就是那种,你心里早就知道它贵,真听到数字还是会感慨:真他妈的贵。
但是如果真能做成,那源码科技才算是在AI时代的竞争里初步掌握了核心竞争力,有了上牌桌的底气。
从感性的角度,韩路一当然恨不得把所有的资源都投入到自有模型的研发上面,他有不成功便成仁的决心。
但从另一个方面来说,作为一个公司的CEO、掌舵人,韩路一不能只靠决心来做决策。
韩路一倒是不太担心技术上的问题,技术的部分赵文渊已经足够好了,即使他用视界辅助他自己自学的大模型知识,相比赵文渊的水平也高不出太多。
在现在所有的限制里,最大的限制来自于钱。
A轮融了两个亿,但花钱的速度远超预期。团队扩张到五十人,薪资开支翻了快十倍,尤其是模型组,每个人都很贵;服务器成本每个月都在涨,开物的免费用户越多,推理成本就越高。和青岳云签了不限量的年框协议,但问题是云服务商的资源也不是无限的,尤其是GPU,用量上来了之后高峰时段会不够用,开物团队已经在做高峰时段分流到其他服务商的改进了。
而收入端,千帆白标接入开物API才刚刚起步,能提供一个很好的助力,加上开物用户暴涨,BugKiller的收入也在稳定增长,财务情况看起来还算健康,但这是从运营的角度上来说。
想训练自有模型,那是远远不够的。
源码科技在做应用这条路上已经走得很好了。转型做模型,是一个艰难的决定。
“这三条路,”韩路一转过身来,“你个人倾向哪条?”
“你问我个人?”赵文渊说,“当然是自主训练。”
他没有解释为什么,也不需要解释,这是作为研究者的追求。
“但我知道,”赵文渊接着说,“这不是技术问题。”
韩路一拿出手机,看了一下日程软件。
他一会儿和陆明洲还有个财务数据的对齐会,聊完之后,对财务状况会有更直观的了解。接下来要怎么走,还是先看兜里有多少钱再说。
“你放心。”他说,“我知道该怎么做。”
赵文渊站起来,把笔记本电脑和笔记本都夹在腋下,准备往外走:“至少现在的后训练已经阶段性成功了,我先回去把接口整理好。”
韩路一“嗯”了一声。
赵文渊拉开门,迈出半步。
“文渊,等一下。”
赵文渊停住了。
韩路一看了一眼手机屏幕。
王志远的事已经发酵了一段时间,他从鼎盛离职,科技圈儿里对这件事情议论纷纷。但是关于是不是要告诉赵文渊自己在这件事中所扮演的角色,韩路一一直没想清楚。
赵文渊当初被王志远狠狠坑过,把真相告诉他,是个收买人心的好机会。
但是这件事韩路一和顾司玥做的一直都算隐蔽,知情的只有一个陈博文,他又有把柄在韩路一手上,不会四处乱说。如果告诉赵文渊,多一个知情人,又害怕平添波折。
视界可以帮他获取信息,却不能帮他做决定。
韩路一又看了赵文渊一眼,下定了决心。
“还有件事。”
赵文渊转过身来,意识到韩路一的表情和刚才聊技术时不太一样。
赵文渊走回来,没有坐,站在办公桌对面。
“王志远从鼎盛离职了。”韩路一说。
赵文渊的表情没有什么变化。
这个消息对他来说不算全新,虽然还没有上媒体,圈子里已经传开了,他也暗地里说过一句“多行不义,报应不爽”。但此时韩路一亲口跟他说,显然不是为了传八卦。
“王志远不是主动离职的,”韩路一接着说,“是内部审计查出来的,他违规操作,谋取私利。”
赵文渊把笔记本电脑放在桌上。王志远的操作,他大概猜到了,CodeSafe和鼎盛合作之前,王志远还和他谈过。可是违规又怎么样呢?王志远那个级别的人,他没想过去碰,以卵击石,又何必呢。
后来CodeSafe被收购,赵文渊的股份被强制跟售了,没拿到多少钱,他也只怪自己时运不济,技不如人,为此消沉了一段时间。
“这件事,”韩路一看着他,“是我推动的。”
办公室里又安静了很长一段时间。
赵文渊没有追问细节。他没有问怎么推动的、通过谁推动的、用了什么手段。这些不是他需要知道的,他其实也根本不在意。
但他理解这句话的分量。
韩路一扳倒了鼎盛的VP,然后选择私下告诉他这件事。
“当时CodeSafe被鼎盛收购,我的反对无效,后来我被从自己创办的公司踢出局……”赵文渊说,声音有点哑,“我本来觉得,那件事过去了就过去了。”
韩路一没说话。
“现在看一看,这次才是真的过去了。”赵文渊说完这句话,从办公桌上拿起电脑。
他没有多说什么。
韩路一也没有。
有些话不需要说出来。
门关上之后,韩路一在椅子里坐了一会儿,没有动。
敲门声响了起来。
“请进。”
姜亦心推开门,探进半个头:“韩总,打扰一下?”
“什么事?”
她整个人走进来,手里拿着手机,表情有点跃跃欲试:“产品组今晚想搞个小聚餐,庆祝独立部署顺利上线,就附近那家剁椒鱼头,定了个包间,想请韩总一起。”
韩路一看着她:“几个人?我来你们会不会放不开啊?”
“产品组都来,再加运营的李婷,还有梁巍他们开发的三个人。”姜亦心顿了顿,接着说道,“苏总也说好了要来的。”
最后这句话才是重点,姜亦心说完之后眼睛往别处瞟了一下,表情很无辜。
韩路一好像没注意她的眼神:“哈哈,苏总喜欢吃湘菜,彪哥也一起来方便吗?”
“当然!算上他了,我们都很喜欢彪哥的。”姜亦心说道。
韩路一拿出手机来看了看日程:“几点啊?”
“六点半。”姜亦心眼睛一转,“韩总,确定去吗?”
“嗯,算上我吧。”
“那就说定了哈!”姜亦心说完迅速退出去,把门带上。
在走廊里她掏出手机,打开和李婷的对话框:
【小姜(产品版)】:婷姐!韩总来!
【源码科技-运营-李婷】:苏总也来
【源码科技-运营-李婷】:「你懂的.gif」
【小姜(产品版)】:我懂
【小姜(产品版)】:今晚我坐他们中间
【源码科技-运营-李婷】:你个小赤佬
姜亦心把手机揣回口袋,脚步轻快地走向工位。