国外媒体Slate刊文指出，“年夜数据（Big Data）”一词曾经变得没有以往那末红火了，为何会如许呢？“年夜数据”的成绩其实不在于数据或许年夜数据自己很蹩脚，而是在于自觉留恋数据，不加批评地应用，那会激发灾害。数据也纷歧定完整反应你想要懂得的工作的现实情形。
以下是文章重要内容：
5年前——2012年2月——《纽约时报》刊文高呼人类的一个新纪元的到来：“年夜数据时期”。
该文章告知我们，社会将开端产生一场反动，在这场反动中，海量数据的搜集与剖析将会转变人们生涯的简直每个方面。
数据剖析不再局限于电子数据表和回归剖析：超等盘算的到来，随同着可连续记载数据并将数据传送到云真个联网传感器的赓续普及，意味着迈克尔·刘易斯（Michael Lewis）2003年的棒球书本《Moneyball》所描写的那种先辈数据剖析无望被运用于各行各业，从贸易到学术，再到医疗和两性关系。
不只如斯，高真个数据剖析软件还有助于判定完整意想不到的相干性，好比存款方用尽额度和他债权背约的能够性之间的关系。这必将将会催生会转变我们思虑简直一切事物的新鲜看法。
《纽约时报》其实不是第一个得出这一结论的企业机构：它的文章援用了麦肯锡征询公司2011年的一份严重申报，其不雅点也获得了2012年瑞士达沃斯世界经济服装论坛t.vhao.net题为“年夜数据，年夜影响”的官方申报的支撑。但这类宣言似乎就是标记年夜数据时期开启的里程碑。
在以后的一个月里，巴拉克·奥巴马（Barack Obama）的白宫成了一个2亿美元的国度年夜数据项目，猖狂高潮随即袭来：学术机构、非盈利组织、当局和企业都争相去探讨“年夜数据”毕竟是甚么，他们可以若何好好应用它。
现实证实，这类猖狂没有连续很长时光。5年后，数据在我们的平常生涯中饰演主要许多的脚色，但年夜数据一词曾经不再风行——乃至让人认为有些憎恶。我们被承诺的那场反动毕竟产生了甚么呢？数据、剖析技巧和算法如今又在往甚么偏向成长呢？这些成绩值得回头去思虑。
科技征询公司Gartner在它2015年相当著名的“技巧成熟度曲线”申报中不再应用“年夜数据”一次，以后该词再也没有回归。该公司廓清道，这其实不是由于企业废弃发掘巨量数据集取得洞见的概念。而是由于那种做法曾经变得广为风行，以致于它不再相符“新兴技巧”的界说。
年夜数据赞助驱动我们的静态新闻、Netflix视频推举、主动化股票生意业务、主动校订功效、安康跟踪装备等不可胜数的对象面前的算法。但我们如今不年夜应用年夜数据一词了——我们只是将它称作数据。我们开端将数据集可以或许包括有数的不雅察成果，先辈软件可以或许检测傍边的趋向当作天经地义的工作。
年夜数据激发的严重毛病
固然该词仍有被应用，但它更多地带有一种欠好的意味，好比凯茜·奥尼尔（Cathy O’Neil）2016年的著作《数学杀伤性兵器》（Weapons of Math Destruction）或许弗兰克·帕斯夸里（Frank Pasquale）2015年的《黑箱社会》（The Black Box Society）。急忙履行和运用年夜数据，即停止所谓的“数据驱动型决议计划”，带来了严重的毛病。
有的毛病相当引人注视：塔吉特（Target）曾向一名没跟任何人说过本身怀孕的少女的家庭派送婴儿用品优惠券；Pinterest曾祝贺一名独身只身女性行将娶亲；谷歌照片（Google Photos）也曾激发轩然年夜波，该公司被年夜肆吹嘘的AI将黑人误认为是年夜猩猩，缘由是它的练习数据不敷多元化。（值得指出的是，至多在该事宜中，“年夜数据”还不敷年夜。）
其它的毛病更加奥妙，也许也加倍阴险。傍边包含奥尼尔在她的主要著作中记载的那些不通明的数据驱动式轨制性模子：被法庭用来判决罪犯的、带有种族成见的累犯模子，或许那些基于可疑的考试分数数据辞退备受敬爱的教员的模子。年夜数据失足的新案例可谓层见叠出——好比Facebook算法显著赞助俄罗斯经由过程针对性的假消息影响美国总统年夜选的成果。
自觉留恋数据与误用
“年夜数据”的成绩其实不在于数据自己很蹩脚，也不在于年夜数据自己很蹩脚：谨严运用的话，年夜型数据集照样可以或许提醒其它门路发明不了的主要趋向。正如茱莉娅·罗斯·韦斯特（Julia Rose West）在比来给Slate撰写的文章里所说的，自觉留恋数据，不加批评地应用，常常招致灾害的产生。
从实质来看，年夜数据不轻易解读。当你搜集数十亿个数据点的时刻——一个网站上的点击或许光标地位数据；年夜型公共空间十字转门的迁移转变次数；对世界各地每一个小时的风速不雅察；推文——任何给定的数据点的起源会变得隐约。这反过去意味着，看似高等其余趋向能够只是数据成绩或许办法形成的产品。但或许更严重的成绩是，你所具有的数据平日只是你真正想要晓得的器械的一个目标。年夜数据不克不及处理谁人成绩——它反而缩小了谁人成绩。
例如，平易近意查询拜访被普遍用作权衡人们在选举中的投票意向的目标。但是，从汤姆·布拉德利（Tom Bradley）1982年在加州州长竞选中战败，到英国脱欧公投，再到特朗普确当选，数十年来成果出人意料的选举几回再三提示我们，平易近意考试和人们现实的投票意向之间其实不老是完整分歧。Facebook以往重要经由过程用户有无点赞来估计他们对特定的帖子能否有兴致。但跟着经由算法优化的静态信息开端年夜量涌现题目钓饵、点赞钓饵和婴儿照片——招致用户满足度显著降低——该公司的高层逐步认识到，“点赞”这事其实不必定意味着用户真的爱好特定的内容。
目标和你现实上要估计的器械之间的差异越年夜，过于倚重它就越风险。以来自奥尼尔的著作的前述例子为例：学区应用数学模子来让教员的表示评价与先生的考试分数挂钩。先生考试分数与不在教员掌握规模内的有数主要身分有关。年夜数据的个中一个优势在于，即使是在异常喧闹的数据集里，你也能够发明成心义的联系关系性，这重要得益于数据量年夜和实际上可以或许掌握混淆变量的壮大软件算法。
例如，奥尼尔描写的谁人模子，应用来自多个学区和系统的先生的浩瀚生齿构造方面的相干性，来生成考试分数的“预期”数据集，再拿它们与先生的现实成就停止比拟。（因为这个缘由，奥尼尔以为它是“年夜数据”例子，虽然谁人数据集其实不够年夜，没到达该词的一些技巧界说的门坎。）
试想一下，如许的体系被运用在统一所黉舍外面——拿每一个年级的教员与其它年级的教员比拟。要不是年夜数据的魔法，先生特定学年异常的考试分数会异常惹眼。任何评价那些考试的聪慧人，都不会以为它们可以或许很好地反应先生的才能，更不消说教他们的先生了。
而前华盛顿特区教导局长李洋姬（Michelle Rhee）实施的体系比拟之下更不通明。由于数据集比拟年夜，而不是小，它必需要由第三方的征询公司应用专门的数学模子来停止剖析解读。这可带来一种客不雅性，但它也消除失落了周密质问任何给定的信息输入，来看看该模子详细若何得出它的结论的能够性。
例如，奥尼尔剖析道，有的教员获得低评分，能够不是由于他们的先生表示蹩脚，而是由于那些先生之前一年表示得出奇地好——能够由于上面谁人年级的教员谎称那些先生表示很好，以晋升他本身的教授教养评分。但关于那种能够性，黉舍高层并没甚么兴致去深究那种模子的机制来予以证明。
参加更多目标
其实不是说先生考试分数、平易近意查询拜访、内容排名算法或许累犯猜测模子一切都须要疏忽。除停用数据和回归到奇闻轶事和直觉断定之外，至多有两种可行的办法来处置数据集和你想要估计或许估计的实际世界成果之间不完整相干带来的成绩。
个中一种办法是参加更多的目标数据。Facebook采取这类做法已有很长一段时光。在懂得到用户点赞不克不及完整反应他们在静态新闻傍边现实想要看到的器械今后，该公司给它的模子参加了更多的目标。它开端丈量其它的器械，好比用户看一篇帖子的时长，他们阅读其点击的文章的时光，他们是在看内容之前照样以后点赞。
Facebook的工程师尽量地去衡量和优化那些目标，但他们发明用户年夜体上照样对静态新闻里出现的内容不满足。是以，该公司进一步增长丈量目标：它开端睁开年夜规模的用户查询拜访，增长新的反响脸色让用户可以转达加倍纤细的感触感染，并开端应用AI来按页面和按出书者检测帖子的题目党说话。该社交收集晓得这些目标没有一个是完善的。然则，经由过程增长更多的目标，它实际上可以或许加倍接近于构成可给用户展现他们最想要看到的帖子的算法。
这类做法的一个弊病在于，它难度年夜，本钱昂扬。另外一个弊病在于，你的模子参加的变量越多，它的办法就会变得越扑朔迷离，越不通明，越难以懂得。这是帕斯夸里在《黑箱社会》里论述的成绩的一部门。算法再先辈，所应用的数据集再好，它也有能够会失足——而它失足的时刻，诊断成绩几无能够。“过度拟合”和自觉信任也会带来风险：你的模子越先辈，它看上去与你过往一切的不雅察越吻合，你对它越有信念，它终究让你狼奔豕突的风险就越年夜。（想一想次贷危机、选举猜测模子和Zynga吧。）
小数据
关于源自信数据集成见的成绩，另外一个潜伏的应对办法是部门人所说的“小数据”。小数据是指，数据集足够简略到可以直接由人来剖析息争读，不须要乞助于超等盘算机或许Hadoop功课。跟“慢餐”一样，该词也是由于其相不和的风行而发生。
丹麦作家、营销参谋马丁·林德斯特罗姆（Martin Lindstrom）在他2016年的著作《小数据：提醒年夜趋向的渺小线索》中谈到了那种做法。例如，丹麦著名玩具厂商乐高（Lego）根据年夜量宣称千禧一代须要即时知足，更轻易被比拟轻松的项目吸引的研讨，转向供给更年夜的积木，还在1990年月末和2000年月初打造主题公园和视频游戏。这类转型没有见效。
那种由数据驱动的范式最初被它的营销者2004年停止的一项规模小很多的人类学查询拜访推翻。它的营销者逐一讯问小孩他们最珍重甚么物品，发明他们最爱好也最忠于可以让显示出其苦苦练就的才能的产物——好比一双因数百个小时的滑板演习而磨损的旧活动鞋。据林德斯特罗姆（他曾担负乐高的参谋，本身也很爱好玩乐高积木）说，乐高从新专注于供给它本来的小积木，由此完成中兴。
在许多方面，亚马逊是可充足解释年夜数据威力的典范例子。它关于其数以亿计的顾客的购置和商品阅读习气的数据，赞助它成为全球最胜利的批发商之一。不外，布拉德·斯通（Brad Stone）在他的书《万货市肆》（Everything Store）中称，该公司的CEO杰夫·贝索斯（Jeff Bezos）有个很风趣（关于他的员工来讲则很恐怖）的方法来均衡一切的那些客不雅数据剖析。他时不时会将顾客发来的赞扬邮件转发给他的高层团队，请求他们不只仅要处理赞扬的成绩，还要完全查询拜访清晰它产生的缘由，并撰写一份说明申报。
这解释，贝索斯不只仅懂得年夜数据晋升各个体系运转效力的威力，还晓得年夜数据也要能够会掩饰没有获得有用估计的特定成绩的产生缘由和机制。在依据你晓得该若何丈量的工作做出决议计划的时刻，平安的做法是确保也无机制让你可以或许晓得你不晓得该若何估计的工作。“成绩老是，你没有搜集甚么数据？”奥尼尔在接收德律风采访时表现，“甚么数据是你看不到的？”
将来瞻望
跟着“年夜数据”不再被当作热词，我们有愿望逐步对数据的威力和圈套构成加倍过细入微的懂得。回头来看，搜集数据的传感器和剖析数据的超等盘算机一会儿年夜量出现，激发一股淘金热，和许多时刻错掉这一切的恐怖会压过你的谨慎情感，都是可以懂得的。与此同时，必定会有沉思熟虑的人开端惹起我们对这些情形的留意，年夜数据也弗成防止地会带来反后果。
不外，年夜数据误用带来的威逼，不会仅仅由于我们不再用畏敬的口气来讲谁人词而消逝。看看Gartner 2017年技巧成熟度曲线的巅峰，你会看到像机械进修和深度进修如许的词，和代表这些盘算技巧的实际运用的无人驾驶汽车、虚拟助手等相干的词。这些是基于与年夜数据一样的基本的新“棚架层”，它们全都依附于年夜数据。它们曾经走在通向真实的冲破的途径上——但可以确定的是，它们也会招致严重的毛病。
