目录加载中...
漆昊想明白那群美国佬的小伎俩后，心想现在幸好不是在冷战时期。
要不然，老苏花了九牛二虎之力，给对方来了个物理消除套餐，再费劲的把资料运回苏联，到时候，苏联人看着这份千辛万苦运回来的顶级机密，怕是要气得当场喷出一口伏特加。
漆昊想明白后，开始继续他的工作。
虽说他现在优化了吉洪诺夫的理论，但传统的路子，是等误差冒出来，再拿正则化去解决，但这解决不了误差越滚越大的毛病。
传统的深度网络，就是一条超长的流水线。
数据从第一层输入，一层层加工，修改，打磨，每一层都会对上一层的结果做一些调整。
层数少的时候没问题，加工步骤有限，误差很小，模型精度完全够用，可一旦堆到四五十层，问题就出现了。
就跟流水线上的工人一样，每一层加工都会带进去一丢丢无关紧要的小误差，单层看可以忽略不计，但五十层叠加，就是滚雪球式的灾难，最后正确的特征被误差掩盖。
之前所有人的优化思路，都从加工力度下手，也就是调整正则化参数，管住每一层的修改幅度，别让它跑偏太狠。
斯坦福的方案，无非就是精细化管控，每层力度单独调，比全局统一约束聪明一点，但依旧没跳出事后补救的死循环。
为什么一定要让每一层都强行学习全新的特征、反复修改全部数据？
好的特征、正确的数据，本该直接保留传递，根本不需要层层重复加工，模型只需要专注学习输入和正确结果之间的差值就够了。
他在纸上画了最简单的示意图，一条直线直通首尾，代表原始数据的直接传递路径，旁边再搭一条分支路径，专门用来计算，修正误差。
这种方式就像是爬山，以前每一步都要重新找路，重新定位，爬一百步就会积累一百次偏差，最后大概率偏离山顶或者坠入山谷。
而他这套全新的迭代技术，相当于给爬山装了一条直达山顶的索道。
理论上来说，哪怕堆一千层，基础数据永远精准，误差没有放大的机会。
从带权索伯列夫空间的求解域替换，到分层残差单元的结构搭建，再到迭代的动态修正公式，一整套从未出现在这个时代的全新理论体系，在他的笔下快速成型。
现在的深度学习领域，所有人都在往正则化，优化梯度下降，调整权重参数等方向卷。
没人敢想，也没人能想，原来困住整个行业数年的深层网络退化难题，解法居然如此简单！
漆昊把关键公式列好后，睡了一会儿，凌晨五点左右，睡醒的他直奔林晨的实验室。
实验室里面有零星的几个人在睡觉，漆昊没有打扰他们，找了一台工作站就开始工作了。
他敲代码的速度快得有点吓人，几乎是想到哪写到哪，中间几乎不带停顿，搭网络结构，写那条直通首尾的传递路径，再挂上旁边那条专门算修正量的分支……
写完第一版，他盯着屏幕看了一会儿，又皱眉改了改学习率，回车，继续跑起来。
日志刷刷往下跑。
漆昊观察着那个loss曲线。
第一个epoch，下降。
第二个epoch，还在下降。
到第十个epoch的时候，他嘴角已经比AK还难压了。
按照传统那条路子，网络堆到五十层，这曲线要么原地躺平不动，要么直接上升，跟抽风一样，可现在这条曲线，一路平平稳稳往下走，该收敛收敛，该稳住稳住。
他的想法没错！
就在这个时候，有人醒了。
“我去？这谁啊？卷王附体了？”
“居然还有人没睡吗？我以为就咱们够拼了，没想到还有高手！”
几个人小声嘀咕，等他们看清工位上的人时，瞳孔地震了。
居然是漆昊！
谁都知道他强，但没人见过他这么拼的。
他们导师呢？
那家伙，得好好来学学漆神！
一研究生平时被人叫做小胖，他主动过去询问漆昊：“漆老师，您这是通宵了？需要我帮忙做什么吗？”
“刚来没多久，你们不用拘谨，正常工作就行了。”
漆昊随口说了一句，结果发现旁边没动静，一扭头，看见了两张好奇的脸。
漆昊乐了，干脆站起来，把键盘往小胖那边一推:“你们来了，那就你们自己跑一遍。”
小胖紧张了起来:“我?我跑?老师这是你的东西，我们万一搞坏了怎么办？”
“搞不坏。”
漆昊把椅子让出来：“我在旁边看着，你们自己上手跑一遍，比我讲十遍都管用，这东西没那么脆弱。”
“就算你们搞坏了，修复就行了，多大点事。”
小胖和旁边的研究生们眼睛发亮。
跟着天才做实验就是不一样。
以前他们总听说会有导师因为学生实验做不好而批评学生，有的甚至看见仪器被碰出一点划痕就大发雷霆，恨不得把出错的学生数落半天。
这让不少人在做实验时缩手缩脚，生怕一不小心闯祸挨骂，做起操作束手束脚，很多想法压根不敢尝试。
可漆昊完全是另一种模样，非但不畏惧试错，反倒主动推着他们动手实操，包容度高得超乎想象。
机会难得，小胖立刻坐上了座位，按照漆昊所说的，把工程复制了一份，照着漆昊写的结构重新搭了一遍。
搭到一半他就有点懵了:“老师你这网络，数据从头到尾好像有一条道是直接通的?中间那些层好像没怎么改它?”
漆昊没直接回答：“我问你们个事，你们平时写作业，是不是每道题都从头算到尾?”
小胖点头。
“那要是有一道题，答案你已经知道了，只是抄的时候手一抖，写错了个数字，你是把整道题重新推一遍，还是直接把那个错的数字改过来?”
“那当然是改数字啊，重新推一遍太费时间了。”
“这就对了。“
漆昊指着那条直线：“以前的深度网络，就是个强迫症，它不管你上一层算得对不对，每一层都非要把整道题从头到尾重新推一遍，推一次错一点，推一次错一点。”
“五十层，就是重新推五十遍，你们想想，一个人抄五十遍答案，他能不抄错?第一遍抄错一个字，第二遍照着错的再抄，越抄越离谱，最后交上去的东西跟原题答案八竿子打不着。”
小胖瞪大眼睛，他突然明白了漆昊的意思。
“所以我干了什么呢?”
漆昊拿笔在那条直线上重重一划：“我告诉这个网络，你别推了，原来对的答案你原封不动往下传就行，别瞎改。”
他又指旁边那条弯线:“那这条道是干嘛的?这条道专门干一件事，就是算你差了多少。”
“它不管整道题，它只算差值，你原来答案是对的，那这条道算出来就是零，啥都不改，直接过，你要是真差了点，它就补一个修正量上去，把你拉回正道。”
“所以这里有一个关键的数学公式。”
“F（x）=H(x)-x”
小胖立刻说道：“这不是小学生都能看懂吗？”
“对，所以整个问题，其实是一道简单的数学题！”
小胖和其他研究生懵了。
在他们看来，神经网络的模型误差偏移，智能迭代优化，是深度学习领域里的复杂难题，牵扯到海量参数运算，非线性拟合，误差反向传播，是无数论文和科研项目深耕的难点，怎么可能被一句简单的小学数学道破核心？
“老师，请问这么一改，好处在哪?”有研究生问道。
“好处在于，就算你这一层啥都没学会，啥修正量都算不出来，那条弯线给你输出个零，数据顺着直线过去，一点没耽误，最差最差，这一层就当摸鱼了，但它不会把前面的结果给你破坏掉。”
“以前是啥情况?以前是每一层都得干活，你不干活模型就崩，你干得不好模型也崩，压力全给到中间层了，层层都是打工人，层层都想撂挑子，最后集体摆烂，模型直接出问题。”
小胖一脸向往地问:“那理论上能堆到100层吗?”
漆昊郁闷。
不是，我都讲了这么多了，你能不能大胆一点猜，100层看不起谁啊！
漆昊想了想，吐出一个数:“理论上来说一千层。”
“一千层？！”
“老师，现在业界谷歌那边才堆到五十二层，我们可以堆一千层?”
漆昊耸肩：“其实一千层是受到了算力的限制，如果算力更好，层数可能会更大。”
几个研究生倒吸一口凉气。
他们搞深度学习的，谁不知道深层网络退化多让人头疼?
整个业界论文一篇接一篇，一个个卷得头发都快薅秃了，天花板都没有抬上去。
结果漆神轻描淡写就说这问题解决了?
小胖脑子里嗡嗡的，一个念头怎么都压不住，困住整个行业的难题，解法这么简单?
那他怎么没想到？
此时实验室门被推开。
林晨端着一杯咖啡进来，还没睡醒似的，一抬眼看见工位上的漆昊，手一抖，咖啡差点泼出来。
“漆昊?!”
林晨眼睛瞪得溜圆：“你几点来的?”
“六点之前。”几个研究生异口同声。
林晨走过去，把咖啡放下，说:“我说你能不能别这么拼?你这才多大，身体是革命的本钱知不知道?搞学术是长跑，不是让你这么熬的，你昨晚没睡好?”
“睡了一会儿，灵感来了，躺不住。”
林晨坐到旁边，犹豫了一下，还是开口了:“有个事得跟你说，你别激动，斯坦福那边的论文，已经挂到预印本平台上了。”
“通讯作者是斯坦福人深度学习实验室的老牌教授，圈内不少高校，科技公司的研究员已经蹲在预印本页面刷新，不少人在邮件群里说，斯坦福找到了深层网络的破局路径。”
林晨语速飞快，伸手点开自己笔记本的浏览器，调出arxiv官网页面，找到了论文的页面，然后把它放在了漆昊面前。
漆昊凑过去仔细查看。
页面上，论文标题写着通过局部流形正则化实现深层网络稳定。
再往下看，摘要里写得天花乱坠，声称他们利用了一种全新的局部权重约束机制，成功将网络层数稳定推进到了五十二层，梯度既没有爆炸也没有消失，各项指标表现优异。
漆昊滑动鼠标轮，一行行往下扫。
看着看着，他突然笑了起来。
这一笑，可把旁边的林晨吓得够呛。
“漆老师，你没事吧？”
林晨急忙安慰：“你不要想太多了，这很正常，学术界就是这样，你刚有个idea，地球另一端指不定就有几十个团队在用更充足的算力和经费在做同类方向，他们现在先做出来，我们可以适当调整目前的研究方向……”
“林教授，我笑，是因为他们这篇论文，刚好证明了我的推断是对的。”
“另外，我想到一种方法，可以把训练网络层数推到1000层。”
林晨：？？？
……
与此同时，莫斯科国立大学，计算数学与控制系。
在这里一直流传着一个说法。
人们会习惯将系里的教研室分为三流：一流的教研室，研究的是纯粹的数学，在那些老教授眼里，只有拓扑空间，泛函分析和代数几何等等才配被称为真理。
二流的教研室，则是数学与计算机的结合部。
至于三流的教研室，很遗憾，就是纯粹研究计算机工程的。
而此时，在一流教研室中雅戈拉教授坐在电脑前，皱起了眉头。
雅戈拉今年已经六十多岁了，满头银发，他是伟大的苏联数学家吉洪诺夫的嫡系传人。
在计算数学这一领域，吉洪诺夫这个名字就是一座无法逾越的丰碑，雅戈拉作为他的学生自然骄傲无比。
“哼，这帮美国人真是不可理喻，引用论文居然都不带上老师的！”
一旁的副教授尤里无奈劝道：“别生那么大气，雅戈拉，这又不是第一次了。”
“美国人这些年明里暗里贬低我们，忽视我们的学术成果，难道还少吗？在好莱坞电影里，我们的人不是浑身文身的黑帮，就是带着可笑口音的非法移民。”
“现在在学术界，他们不引用我们的论文，不是很符合他们的逻辑吗？”