目录加载中...
韩路一一下飞机就马不停蹄的约了赵文渊。他本来想自己赴约，但张彪非要跟着，说这是工作职责。
见面的还是上次那个地方，南京西路的瑞幸，韩路一推门进去的时候，赵文渊已经坐在靠窗的位子上了，手里拿着一杯生椰拿铁。
上一次也是在这，赵文渊说“大模型太贵了，这不是我们玩得起的领域”，韩路一说“源码的门随时给你开着”。
如今只过去了不到一个月。
赵文渊穿了件灰色运动外套，看起来精神还不错。他抬头看见韩路一，又看见韩路一身后跟着的像终结者一样的张彪，愣了一下。
“你这是……”
“这是彪哥，专业保镖。”韩路一拉开椅子坐下，说道，“投资人安排的。”
赵文渊上下打量了一下张彪，此时张彪已经在隔壁桌坐下，正面无表情地掏出手机来点单。
“你融了多少钱？”
“两个亿。”
赵文渊端起生椰拿铁喝了一口，没什么特别的表情。
“那咱们确实可以聊聊了。你准备了多少预算？”
韩路一也不绕弯子：“第一期大概三千万，是模型团队的启动预算，你觉得怎么花？”
赵文渊想了想，问道：“你打算从头训练一个新模型吗？”
“我感觉不够，你觉得呢？”
“确实不够。”赵文渊说，“差得远了。”
他翻过一张纸巾，从兜里掏出笔，开始在上面写字。
“通用大模型，千亿参数级别，预训练要几千张旗舰卡跑两到三个月。”赵文渊先写了个数字，说道，“算力成本几千万美金起步，头部大厂的一轮预训练烧掉一两个亿人民币都是常态。”
韩路一大概了解过这些数字，但是听赵文渊亲口说出来的感觉又不一样，毕竟赵文渊是上过手的人。
“三千万人民币，”赵文渊在纸巾上画了个约等号，“四百万美金出头，连一轮预训练的零头都不够。”
“还有什么别的方法吗？”
“也有别的路，”赵文渊把笔尖点在纸巾上，“就是只做后训练。”
他在“后训练”三个字下面划了条线。
“开源基座模型已经具备通用代码能力了，像羊驼模型这些，都是很好的底子，后训练是在这个基础上做专精。”
“SFT加DPO？”
赵文渊看了他一眼，惊奇的挑了挑眉，又转头看看正一脸茫然看向这边的张彪。
“对，SFT，指令微调，让模型学会特定任务的模式，比如你给它一句自然语言描述，它要生成一个能跑的应用。DPO，直接偏好优化，这是第二步，让模型学会分辨什么是好的输出、什么是差的输出。”
他在纸巾上画了个简单的流程图。
“后训练的算力需求比预训练要低一到两个数量级，三千万足够先启动了。”
他把笔放下，先看向张彪。
张彪觉得自己困了，尽力睁大眼睛，眨了眨。
赵文渊放弃让张彪理解这次谈话了，他转向了韩路一。
“后训练拼的不是算力，拼的是数据——更准确的说，拼的是高质量的标注数据。”
韩路一等他继续说。
“SFT需要大量的问题、答案配对。输入是用户的自然语言提示词，输出是可运行的应用代码，这种数据的质量直接决定模型的上限。”
赵文渊身体前倾。
“人工标注一条高质量数据要几十块钱，如果要十万条，光数据本身就是千万级别的成本了，再加上标注团队水平参差不齐，做出来的数据其实并不是全都能用的，还得再自己洗一遍。”
“我在鼎盛的时候就见识过，CodeSafe能接触到的用户数据量很大，但是这些数据里的噪声太多了，他们花了很多的人力去清洗，效果也始终上不去。”
“垃圾进，垃圾出。”韩路一一针见血的说道。
“对，就是这个意思，如果数据质量不行，那模型再大也是白搭。”赵文渊说完，看着韩路一的眼神带着试探的意味，他在等韩路一出牌。
“数据我有。”
赵文渊没说话，但是身体微微绷紧。他当时就猜测过BugKiller为什么能这么强，要么有黄金数据，要么有未公开的先进算法，现在看来是前者。
“你的数据哪来的？”赵文渊放慢语速，问道，“不会也是偷的吧？”
这话不是玩笑，赵文渊从鼎盛出来的，就是看不惯CodeSafe偷用户代码喂大模型，这是他的底线。
韩路一正色道：“所有的数据都是用户自愿分享的，BugKiller注册时的相关选项是默认关闭的，用户必须主动选择将检测结果用于产品改进我们才能看到。用户协议都是律师一条一条审过的，我这里也有审计报告。”
赵文渊盯着他看了一会儿。
“我绝不偷数据。”韩路一又说了一遍。
“好。”赵文渊点了点头，“那数据量够吗？”
韩路一从背包里把笔记本电脑拿出来放在桌上，打开，然后接上手机热点，先登录开物后台。
屏幕上跳出的是一个数据看板。
“开物上线到现在，我们一共积累了二十三万条提示词代码的配对。”韩路一把屏幕转向赵文渊，问道：“你觉得够吗？”
赵文渊扫了一眼看板上的数据：“二十三万条……这个量是够了，但是还有个问题，AI生成的代码本身就有Bug，我们直接拿来训练的话，不还是垃圾进垃圾出吗？”
“别急，我们还有第二步呢。”韩路一边说边切换到了另一个界面，BugKiller数据管线的看板。
“开物每一次生成的代码之后都会自动过一遍BugKiller的检测引擎，然后把有Bug的标出来，能自动修复的就直接修复，修不了的丢弃掉，但是所有的这些数据，只要用户愿意共享，我们都是记录的。”
赵文渊凑近屏幕看了看。
这个数据比开物的提示词数据更有价值，这里的每一条数据都带着状态标签，“通过”或“已修复”，没有“未修复”。
“原始代码通过率在60%上下，但是经过BugKiller修复后，最终入库率高达96%。”
赵文渊没说话，他伸手拿过笔记本，开始自己翻数据。
他先看了几条“已修复”的，原始代码里确实有Bug，修复后的代码干净利落。然后他又翻了翻“通过”的那些，大概原始生成的代码就没问题，至少他也一眼没看出问题来。
一条、两条、五条、十条。
赵文渊逐行的仔细看修复逻辑。
二十条、三十条。
瑞幸店里的音乐换了几首，赵文渊都没有抬头。
一直翻到赵文渊对BugKiller有了足够的信心，他才慢慢抬起头来，语气带着震惊说道：“这些都是你写的？这个检测引擎就是BugKiller的核心？”
“对，核心算法是我自己写的，引擎的训练数据也是基于我自己的积累。”韩路一说道。
“你这个数据的确不可能是偷来的，客户的代码良莠不齐，偷来的没有这么高的质量。”赵文渊叹了一口气，说道，“怪不得CodeSafe会输给你，我心服口服了。”
“这个准确率，这种用法，”他接着说，“你手里的是一条自动化的数据清洗流水线，别人要花几千万请人标注的事，你用算法跑一遍就完了。”
他又想了想，语气突然变得兴奋了起来。
“而且，BugKiller检出来的那些Bug代码和修复后的版本，这不就是现成的DPO训练对吗？有Bug的是坏例子，修复后的是好例子，天然的偏好数据。”
韩路一点了点头。
“SFT用干净的提示词、代码对，DPO用Bug、修复对，两条管线同时跑。”赵文渊越说越兴奋，简直有点儿手舞足蹈了起来，“数据飞轮，这个别人偷不走。就算把数据偷走，没有这个检测引擎，也做不出同等质量的清洗。”
韩路一没说话，文渊，入吾彀中矣。
赵文渊拿过那张写满数字的纸巾，翻到背面，接着写。
“后训练不需要预训练那种千卡集群，但也不便宜。H100单卡现在市场价二十到二十五万，8卡一台服务器，一台一百六到两百万。”
他给纸巾拍了照，放进手机备忘录里，然后在备忘录里敲了一串数字。
“中等规模模型，几十亿参数，后训练至少需要十六到三十二张卡。”
“还是先租吧。”韩路一突然说道。
赵文渊抬头看向他。
“第一版跑通之前先不投在硬件上。”韩路一说道，“万一到时候方向要调整，买的卡可退不了。”
赵文渊听完都笑了，以前在谷歌的时候，训练模型还真没这么抠搜过。
“我还头一次见这样的。”赵文渊说道。
“穷过，谢谢。”
赵文渊在备忘录里快速敲着数字：“算力租赁的费用，第一批先按照八百万算，数据清洗和补充标注三百到五百——这个可能可以省下来，然后团队的薪资，六个月在四百万上下，工具链和其他杂项三百万左右，再预留一千万。”
他把手机推过来让韩路一看。
“这么算是够用了，先跑起来吧。”
两人越聊越投机，下午三点多的瑞幸店里本来不算吵，但他俩的声音在不自觉地变大。
旁边桌一个戴耳机的女生摘下一只耳机看了他们一眼，两个装逼犯加一个肌肉男，这组合可太奇怪了。
店员走过来客气的问道：“几位要不要再来一杯？”
韩路一这才注意到自己坐下来到现在还没点单。
“一杯生椰拿铁。”
“两杯。”赵文渊头都没抬。
张彪跟着店员去扫码下单了，韩路一看了一眼桌面，几张写满数字的纸巾，一台笔记本电脑，两个手机，在瑞幸谈几千万预算，是有点好笑。
“我明天就来上班。”
韩路一看着他：“这么着急啊？”
“等不了了，想快点上手。”
“对了。”赵文渊突然想起来什么，问道，“还有个最难的问题，大模型叫什么？名字想好了吗？”
韩路一看着他笑了：“我早就想好了——”
“天工。”