现实任务中，应当怎样做和教科书讲的结论相抵触，这时候候要怎样办呢？岂非教科书中的结论失足了？
假如愿望懂得机械进修，或许曾经决议投身机械进修，你会第一时光找到各类教材停止充电，同时在心中默许：书里讲的是牛人年夜神的终生聪明，是准确无误的行为指南，卖力进修就可以取得疾速晋升。但现实情形是，你极可能曾经在走弯路。
科技成长很快，数据在指数级增加，情况也在指数级转变，是以许多时刻教科书会跟不上时期的成长。有时，即使是写教科书的人，也不见得都明确结论面前的“所以然”，是以有些结论就会落伍于时期。针对这个成绩，第四范式开创人、首席履行官戴文渊近日就在公司外部分享上，向年夜家引见了机械进修教材中的七个经典成绩。戴文渊是ACM世界冠军（2005年），“迁徙进修”全球领武士物，在迁徙进修范畴单篇论文援用数至今仍排名世界第三。曾任百度凤巢战略的技巧担任人、华为诺亚方舟试验室主任迷信家。
本文依据演讲实录整顿，略有删减。
有时我们会发明，在现实任务中，应当怎样做和教科书讲的结论相抵触，这时候候要怎样办呢？岂非教科书中的结论失足了？现实上，有时确切如斯。所以明天我就想和年夜家分享一下机械进修教材中的一些经典成绩，愿望对年夜家往后的任务和进修有所赞助。
成绩一：神经收集不宜跨越3层
这是最著名毛病断定，如今的教科书简直曾经不再有如许的结论，但假如看15年、20年前的机械进修教科书，会有一个很风趣的结论：神经收集不克不及跨越三层。这和我们如今说的深度进修是抵触的，深度进修如今年夜家比拼的不是神经收集能不克不及跨越三层，而是能不克不及做出一百层、一千层或许更多。
那为何之前的教科书上会写神经收集不克不及跨越三层，这就要从神经收集的汗青说起。五十年月有位迷信家叫Marvin Minksy，他是一名生物学家，数学又很好，所以他在研讨神经元的时刻就在想能不克不及用数学模子去描绘生物的神经元，是以就设计了感知机。感知机就像一个神经细胞，它能像神经细胞一样连起来，构成神经收集，就像年夜脑的神经收集。其其实60年月开端的时刻，是有很深的神经收集，但其时经由年夜量试验发明，不跨越三层的神经收集后果不错，因而年夜概到80年月时就得出结论：神经收集不宜跨越三层。
那为何如今这条结论又被颠覆了呢？现实上这条结论是有条件前提的，即在数据量不年夜的情形下，神经收集不宜跨越三层。而从2005年开端，年夜家发明跟着数据增长，深度神经收集的表示优越，所以渐渐走向深度进修。其实这里真正准确的道理是Valiant引理，它可以懂得为“模子庞杂度（例如专家体系的规矩数目）要和数据量成反比”。数据量越年夜，模子就越庞杂。上个世纪由于数据量小，所以神经收集的层数不克不及太深，如今数据量年夜，所以神经收集的层数就要做深。这也说明了为何其时教科书会有如许的结论，而如今跟着深度进修的风行，年夜家曾经不再会以为这句话是对的。
成绩二：决议计划树不克不及跨越五层
假如有同窗看教科书上引见决议计划树，会有一个说法就是决议计划树要减枝，决议计划树假如不减枝后果欠好。还有教科书会告知决议计划树不克不及跨越五层，跨越五层的决议计划树后果欠好。这个结论和神经收集结论一样，神经收集不克不及跨越三层也是由于其时数据量不年夜，决议计划树不克不及跨越五层也是由于上个世纪数据量不敷年夜，二叉树决议计划树假如深度是N的话，庞杂度年夜概是2的N次方，所以不跨越五层庞杂度也就是三十多。假如数据量到达一百万的时刻，决议计划树能到达十几二十层的范围，假如数据量到了一百亿的时刻决议计划树能够要到三十几层。
如今，我们强调更深的决议计划树，这能够和教科书讲的相抵触。抵触的缘由是如今全部场景下数据质变年夜，所以要做更深的决议计划树。固然，我们也纷歧定在一切的场景里都有很年夜数据量，假如碰到了数据量小的场景，我们也要晓得决议计划树是要做浅的。最基本来讲，就是看有若干数据，能写出多庞杂的模子。
成绩三：特点选择不克不及跨越一千个
有些教科书会零丁开个章节来说特点选择，告知我们在拿到数据后，要先删除一些不主要的特点，乃至有的教科书注明，特点数不克不及跨越一千，不然模子后果欠好。但其实这个结论也是有条件前提的，假如数据量少，是不克不及够充足支持许多特点，但假如数据量年夜，结论就会纷歧样。这也就是为何我们做LogisticRegression会有几十亿个特点，而不是限制在几百个特点。
曩昔传统数据剖析软件，如SAS，之所以只要几百个特点，是由于它出生于上世纪七十年月，它面对的成绩是在详细场景下没有太多可用数据，能够只要几百上千个样本。是以，在设计体系时，就只须要针对几百个特点设计，不须要几十亿个特点，由于上千个样本没法支持几十亿特点。但如今，跟着数据量增长，特点量也须要增长。所以我以为，在年夜数据情况下，全部机械进修教科书里关于特点选择的章节曾经落伍于时期，须要依据新的情势从新撰写；固然在小数据场景下，它依然具有价值。
成绩四：集成进修取得最勤学习后果
第四个叫做集成进修，这个技巧在各类数据发掘竞赛中特殊有效，好比近年KDD CUP的冠军简直都是采取集成进修。甚么是集成进修？它不是做一个模子，而是做许多（例如一千个）纷歧样的模子，让每一个模子投票，投票的成果就是终究的成果。假如不斟酌资本限制情形，这类形式是后果最好的。这也是为何KDDCUP选手们都选择集成进修的方法，为了寻求最初后果，不在意投入若干，在这类前提下，集成进修就是最好的方法。
但在实际中，企业做机械进修寻求的不是用无穷的资本做尽量好的后果，而是若何充足应用无限资本，取得最好后果。假定企业只要两台机械，若何用这两台机械取得最好的后果呢？假如采取集成进修，用两台机械跑五个模子，就要把两台机械分红五份，每一个模子只能用0.4台机械去跑，是以跑的数据量就无限。那假如换种方法，不消集成进修，就用一个模子去跑，就可以跑5倍的数据。平日5倍的数据量能比集成进修有更好的后果。在工业界比拟少会运用集成进修，重要是由于工业界绝年夜多半的场景都是资本受限，资本受限时最好的方法是想方法放出来更多的数据。集成进修由于跑更多的模子招致只能放更少的数据，平日这类后果都邑变差。
成绩五：正样本和负样本平衡采样到1：1
第五个叫做平衡采样，绝年夜多半的教科书都邑讲到。它是指假如我们练习一个模子，正样本和负样本很不屈均，好比在正样本和负样本1：100的情形下，就须要对正、负样本做平衡采样，把它酿成1：1的比例，如许才是最好的。但其实这个结论纷歧定对，由于统计进修里最基本的一条道理就是练习场景和测试场景的散布要一样，所以这个结论只在一个场景下成立，那就是应用模子的场景中正、负样本是1:1，那这个结论就是对的。
准确的做法是，运用场景是1：100，那练习聚集最好也是1：100。平衡采样纷歧建都是对的，多半情形下不采样反而才是准确的。由于年夜多时刻，我们直接把练习聚集和测试聚集做随机拆分，或许依照时光拆分，两者的散布就是分歧的，谁人时刻不采样是最好的。固然有时刻，我们也会发明做负样本采样会有更好的后果，好比范式在为某股分制银行卡中间做生意业务反讹诈时，就做了负样本采样，那是由于当我们把一切样本都放出来后，发明盘算资本不敷，所以只能做采样。正样本与负样本年夜概是1：1000或许1：10000，假如对正样本做采样，丧失信息量会比拟年夜，所以我们选择对负样本采样，好比做1：1000的采样，再把负样本以1000的加权加归去。在资本受限时这么做，会尽量下降信息量的丧失。但假如仅仅是为了把它做平衡而做负样本采样，平日是纰谬的。和后面几个成绩分歧，负样本采样其实不是因情况转变而结论变更，现实上就不该该做负样本采样。
成绩六：穿插验证是最好的测试办法
下一个成绩叫做穿插验证，是指假定要将一份数据拆分红练习集和测试集，这个时刻怎样评价出它的误差？穿插验证是把聚集拆成五份，取四份做练习集、一份做测试集，而且每次选择分歧的那一份做测试级，最初测出五个成果再做均匀，这被以为是最好的测试办法。
穿插验证确切是一个还不错的验证的办法，但在实际运用场景下，它常常不是最适合的一种方法。由于平日来讲，我们用机械进修做的工作是猜测，绝年夜多半情形下我们是用如今或许曩昔的数据做一个模子来猜测将来。而拿曩昔的练习猜测将来的最好测试办法不是穿插验证，由于穿插验证是依照生意业务或许按人拆分的。最适合的是办法实际上是依照时光拆分，好比评价的时刻拔取一个时光点，用在这个时光点之前的数据做练习，猜测在这个时光点以后的，这是最接近真实运用场景的评价成果。
穿插验证能够只实用于和时光属性不相干的场景，好比人脸辨认，但我们面对更多的运用场景，不管是风险、营销或许反讹诈，都是在用曩昔的数据练习后猜测将来，最适合如许场景的评价办法不是穿插验证，而是依照时光去拆分。
成绩七：过拟合必定欠好
最初一个叫过拟合，这也是一个评论辩论特殊多的话题。之前，平日我们会说假如模子做的太庞杂了就会过拟合，如PPT左边所示，而最好的方法应当是图中中央的状况——拟合的方才好，图中右边的模子underfitting，没有练习完整。但如今来看，年夜多半的现实场景都是在拿曩昔猜测将来，过拟合纷歧定是欠好的，照样要看详细场景。假如这个场景是曩昔见过的情形比拟多，新的情形比拟少的时刻，过拟合反却是好的。
打个比喻，假如期末测验题就是日常平凡的功课，那我们把日常平凡的功课都背一遍就是最好的方法，而这就是过拟合。假如期末测验不考日常平凡功课，满是新题，那末这个时刻就不克不及只背日常平凡的功课，还要充足懂得这门课的常识，控制若何推懂得题的技能。所以过拟合利害与否，完整取决于场景。假如运用场景依附逝世记硬背就可以弄定，那过拟合反却是好的。现实上在我们的设计外面，许多时刻我们会偏向于往过拟合靠一点，能够做新题会差一点，然则关于逝世记硬背的送分题会做的异常好。在拿曩昔猜测将来的运用场景下，有的时刻过拟合纷歧定欠好，要依据现实情形来看。
明天与年夜家分享了教科书中的几个经典成绩。其其实现实工业运用中，我们不会完整依照教科书中的方法去理论。我们也会设计很深的模子、很深的决议计划树、许多的特点、会过拟合一点，我们更强调按时光拆分，不强调平衡采样。面临教科书中的结论，我们须要学会的是依据现实场景做出响应灵巧断定。
