人工智能和机械进修比来被炒作得异常凶猛。然则这个器械不是开箱即用，须要打下坚实的基本能力运用。数据迷信参谋，前Jawbone数据副总裁及linkedIn数据迷信家Monica Rogati对此提出了各个组织运用AI的需求条理论。指出先要处理了数据素养、数据收集和基本举措措施这些根本需求以后能力去斟酌AI这个顶层的自我完成需求。 就像成长敏捷的技巧一样，AI也激起了年夜范围的FOMO（畏惧错过）、FUD（恐、惑、疑）和和睦。个中一些是应当的，也有一些不是——但这个行业正在留心。从机密的硬件始创企业到金融技巧巨子甚至于上市公司，各个团队都在劳碌地实行本身的AI计谋。这一切都归结到一个症结且高风险的成绩：“我们会怎样应用AI和机械进修来让我们做的工作变得更好？” 平日公司都还没无为AI做好预备。或许他们雇用了本身的第一名数据迷信家但却达不到想要的后果，或许或许数据素养其实不是他们文明的焦点。但最多见的情况是通明还没有树立起基本而举措措施去实行最根本的数据迷信算法和操作，更不消说机械进修了。 作为数据迷信/AI参谋，我必需有数次地转达这一信息，曩昔2年特别如斯。其别人也表现赞成。在年夜家都对你地点的范畴充斥着高兴之情是做一个泼冷水的人是很艰苦的，特别是假如你也分享着这类高兴时。还有你应当怎样去告知那些公司，说假如没有（或许成为）精英——也就是自我录用的看门人的话是弗成能为AI做好预备的呢？ 这里是一个惹起年夜家最多共识的一个说明： 可以把AI看做是需求金字塔的顶端。是的，自我完成（AI）长短常棒的，但你起首须要食品、水和卵翼所（数据素养、数据收集和基本举措措施）。 你的数据须要有坚固的基本，然后才可以高效地应用AI和机械进修。 根本需求：你能算吗？ 金字塔的底部是数据收集。你须要甚么样的数据？你又有甚么样的数据？假如是面向用户的产物，你有无记载一切相干的用户交互？假如产物是传感器，数据是从哪儿来的，怎样来？记载一种还没有物联化的交互有多轻易？究竟，具有适合的数据集是机械进修比来能获得停顿的症结。 其次，要弄清晰数据流是若何流经体系的？你有无靠得住的数据流处置体系或许ETL（提取转换加载）？数据寄存在哪里？拜访和剖析这些数据有多轻易？Jay Kreps一向都在说（有10年的时光了）靠得住的数据流是任何数据处置方面工作的症结。（附注：我正在寻觅这句话切实其实切出处，成果在他的硕士论文《我爱好日记》中找到了。然后我留意到他在一段话以后做出了这个马斯洛的需求条理论的比拟，并以“值得留意的是”来作为附注。说到相干任务，后来我又看到了Hilary Mason和Chris Wiggings的出色文章，讲的是数据迷信家应当做甚么工作。几天前，Sean Taylor表露了本身的数据迷信需求金字塔，固然这跟这里的金字塔是完整分歧的。） 只要当你有了数据以后，才可以对数据停止摸索和转换。这里的任务包含污名卓越的“数据清洗”，这是数据迷信范畴被低估的一项任务，这一块我得另起一篇文章来谈。当你发明你掉去了一年夜块数据，你的传感器弗成靠，某次版本变革意味着你的事宜被丧失，你对某个标记发生了误会时——你就得回过火来确保金字塔的基本是坚固的。 当你可以靠得住地摸索和清洗数据时，你便可以停止传统上被以为是BI或剖析方面的工作：界说要跟踪的目标，其时令性和对分歧身分的敏理性。也须要停止一些艰难的用户细分的任务，去看看会不会有甚么器械冒出来。但是，既然你的目的是AI，你如今要搭建的是随后被以为是特点的器械，以供未来接收进你的机械进修模子外面。在这个阶段，你还晓得了你盘算要猜测或许进修甚么，你还可以开端经由过程生成标签（主动或许手工的方法）来预备你的练习数据。 这个阶段也是你找到本身最使人高兴和惹人注视的数据故事的时刻——但这也是另外一篇文章的主题了。 好了，如今我能算了。接上去呢？ 我们有了练习数据了——那是否是如今可以停止机械进修了呢？或许吧，假如你是想在外部停止客户流掉率猜测的话；但假如成果是面向客户的谜底就能否定的。我们须要停止A/B测试（不论是若何的原始）或许有预备好的试验框架，如许能力慢慢安排以免灾害，并在转变影响每一个人之前对转变的后果停止粗略的估量。这也是将异常简略的基线安排到位的适合机会（关于推举体系来讲，基线体系可所以“最热点”，然后是“细分用户市场的最热点”——这就长短常烦人但有用的“特性化之前先用老一套”）。 简略的启示法的难以击败乃至到使人惊奇的田地，它们会让你以端到真个方法调试体系，这不须要奥秘的机械进修黑箱，在这中央要须要超参数调剂。 到了这个时刻，你可以安排一个异常简略的机械进修算法（好比逻辑回归或许分类等），然后斟酌能够影响到你的成果的旌旗灯号和特点。气象和普查数据是我的目的。还有，虽然深度进修很壮大，但它不会主动帮你做这些工作。引入新的旌旗灯号（特点树立，不是特点工程）可以年夜幅改良你的机能。在这里花些时光是值得的，即使身为数据迷信家我们也对向长进入金字塔的更高层面觉得高兴。 成长AI！ 数据有了。装配也有了。你的ETL开端施展感化了。你的数据曾经组织好而且清洗过了。你有了仪表盘，标签和好的特点。你在丈量适合的器械。你可以天天停止实验。你有了一个基线算法，可以停止端到真个调试，而且在临盆中运转——并且你曾经对它停止了十几回的变革。总之，你曾经预备好了。接上去从本身铺开到应用特长于机械进修的公司，你可以持续去测验考试最新最好的器械。你能够可以在临盆方面获得伟大改良，或许或许不克不及。但最坏的情形下，你也能学到一些新的办法，构成本身的不雅点并有了上手体验，而且可以告知你的投资者和客户本身在AI方面做了哪些尽力而不是给人感到像是个骗子。而在最好的情形下，你可认为用户、客户和公司带来伟大的分歧——这是机械进修的一个真实的胜利故事。 等一下，MVP、迅速、精益等其他器械呢？ 数据迷信需求条理轮不是用1年的时光过度扶植脱节的基本举措措施的托言。就像传统的最小可行产物（MVP）的开辟套路一样，你也要从产物小的垂直板块开端，把它从端到端都做好了。比喻说，在Jawbone，我们先从睡眠数据开端并搭建它的金字塔：对象手腕，ETL，清洗和组织，标签捕获和界说，目标（年夜家美军每晚的睡眠时光是多长？小憩呢？甚么是小憩？），跨细分市场剖析，一向到数据故事和机械进修驱动数据产物（主动睡眠检测）。我们后来又把它延长到步数，然后食品、气象、锤炼、社交收集和沟通——每次做一个。在端到端做完一件工作之前我们并没有扶植一个搜罗万象的基本举措措施。 提出适合的成绩，开辟适合的产物 这只与若何可以有关，跟应当若何有关（出于适用主义或许品德伦理的缘由）。 机械进修对象的愿望 “等一下，Amazon API或许TensorFlow等其余开源库呢？其他在卖机械进修或许主动析取洞察和特点的对象的公司呢？” 一切这些都很精彩很有效（一些公司终究切实其实费尽心血地定制出来全部金字塔来展现本身的任务。这些人是豪杰）。但是，鉴于以后AI炒作的激烈影响力，年夜家都试图把脏的、存在断层、逾越了数年且格局和意思赓续转变的数据，那些还没有被懂得的数据，那些构造化行欠亨的数据塞出来，还期望这些对象可以或许魔术般地处置好它们。或许未来有一天会是这类情形，我对朝着这个偏向的尽力举双手赞同。但在此之前，为你的AI金字塔打造好一个稳固的基本是值得的。
