从事IT范畴任务二十年以来，我发明人工智能技巧慢慢从概念转向现实——机械进修技巧位于前沿，而且变得更容易于应用，即便关于没有专业常识的团队也是如斯。
跟着愈来愈多的团队应用猜测模子，引导者和治理者必需认识到能够会歪曲团队任务成果的罕见成绩。为了完成靠得住的机械进修进程，以下是要防止的九个罕见圈套，和可采取的最好理论办法。
圈套1：抽样误差
任何机械进修项目标终点都是选择练习数据。平日，组织机构有一些可用的数据，或许可以辨认相干的内部供给商，例如公营企业或行业协会。这是成绩开端的处所。
建模团队及其营业资助商必需界说要应用的数据集。选择一个会曲解或低估现实案例的数据聚会会议很轻易惹起误差，这会歪曲成果。例如，一个拜访只选择在特定地位行走的人群，但却将他们看成安康人群的过度代表。
处理计划：为防止采样误差，团队必需包管他们是真正地随机选择数据，而不是仅仅由于应用简略就应用特定案例。关于指点有用的数据选择而言，幻想数据集的清楚界说和模子的逻辑相当主要。经由过程在晚期阶段与企业一切者协作，让几位评审人员验证选择尺度，机械进修团队可以确保他们的数据采样办法有效并靠得住。
圈套2：不相干的功效选择
在很多情形下，因为变量选择的纤细差异，建模师碰见了很多艰苦。很多技巧须要年夜量功效集来推进进修进程。然则，为了搜集足够的进修数据，确保您获得了准确且相干的功效能够异常具有挑衅性。
处理计划：构建一特性能优越的模子的进程须要细心的摸索和剖析，以确保您选择和设计恰当的功效。懂得范畴和包括主题专家，是选择准确功效最主要的两个驱动身分。另外，诸如递归特点清除（recursive feature elimination，RFE），随机丛林（random forest），主成份剖析（principal component analysis，PCA）和主动编码器等技巧有助于将建模任务集中在多数几个更有用的功效上。
圈套3：数据泄漏
机械进修团队能够会有时地搜集建模数据，应用的尺度是团队试图猜测成果的一部门，是以，模子会显示出优良到掉真的机能。例如，一个团队能够毛病的包括了一个在旨在猜测疾病的模子中指导某些疾病医治的变量。
处理计划：建模团队必需细心构建他们的数据集，在模子估量成果之前仅应用练习时现实可用的数据。
圈套4：缺乏数据
在某些情形下，因为缺乏某些记载，数据聚会会议变得不完全。毛病地调剂该前提或假定没出缺掉值，建模师能够会对成果的认知发生严重误差。例如，缺掉的数据能够其实不老是随机的，例如，当查询拜访受访者不太能够答复某个特定成绩时。是以，均匀预算能够会误导模子。
处理计划：假如您没法设计培训筹划以确保应用完全的数据集，则可以采取统计技巧，包含抛弃缺掉值的记载，或应用恰当的插补战略来预算缺掉的数据值。
圈套5：禁绝确的缩放和尺度化
构建用于机械进修任务的数据集平日须要团队搜集分歧类型的输出端，这些输出端有着分歧的权衡标准。在树立模子之前，假如未能调剂变量的值以许可通用比例，线性回归（linear regression），支撑向量机（support vector machine，SVN），或k近邻（k nearest neighbors，KNN）等算法会遭到很年夜影响。这些成绩的涌现在于规模年夜的话会招致功效的高度变更，是以，它们能够变很多余。例如，假如您将二者都看成未处置的投入应用，那末薪水的数据能够会取得频年龄更重的权重。
处理计划：在开端树立模子之前，您必需当心地对数据集停止尺度化。您可以经由过程经常使用统计技巧（如尺度化或功效缩放）来转换数据集，这取决于数据的类型和团队的首选算法。
圈套6：疏忽异常值
忘却异常值能够会对模子的机能发生严重影响。例如，像AdaBoost如许的算法会将异常值视为艰苦情形，并将不恰当的权重放在恰当的地位上，而决议计划树更宽容。另外，分歧的用例须要分歧的离群值处置。例如，在发明讹诈行动的情形下，应重点存眷存款中异常值。
处理计划：要处理此类成绩，您的团队应当应用建模算法，它可以或许准确处置异常值，或许在建模前过滤异常值。优越的开始在于让您的团队做一个初步检讨，以肯定数据中能否存在异常值。最简略的办法是审查数据的图标或检讨任何数值，它们能够是几个尺度差，或更阔别均匀值的数值。
圈套7：盘算毛病功效
当一个团队为建模供给投入时，微分进程中的任何毛病都能够会为模子带来误导性输出。毫无破例，不管团队若何构建，模子都出人意料地发生了弗成靠的成果。这个成绩的一个例子是，一个团队弱化了一个依附于盘算的应用率的信誉评分猜测模子，由于这个团队包含来自负用申报的不活泼商业信息。
处理计划：建模师必需细心检讨团队若何获得数据。症结的动身点是要懂得哪些功效是原始格局，哪些是经由设计的。自此，建模师便可以在停止建模之前检讨衍生功效的假定和盘算。
圈套8：疏忽多线投入（multi－collinear inputs）
应用数据集而不斟酌多重共线性猜测因子（multi－collinear predictors）是误导模子建构的另外一种方法（多线性输出的存在乎味着两个或多个变量之间存在着很高的相干性）。成果使其很难辨认任何一个变量的影响。在这类情形下，选定功效的渺小变更会对成果发生严重影响。这个成绩的一个例子是，告白预算和流量作为猜测变量出现共线性。
处理计划：检测多重共线性的简略办法是盘算一切变量对应的相干系数。以后您就有诸多选择来处理任何肯定的共线性成绩，如修建构图或删除冗余变量。
圈套9：有效绩效KPI
当建模数据各类过程进入均衡状况时，年夜多半建模算法表示最好。当数据显示不屈衡时，权衡模子机能的准确目标变的相当主要。例如，均匀背约率为1.2％。一个模子的精确度能到达98％，猜测在一切情形下都不会产生变更。
处理计划：除非可以选择生成更平衡的练习集，或应用基于本钱的进修算法，选择营业驱动的绩效目标是最好的处理计划。关于超越精确度的模子的绩效有着各类办法，如准确度，召回率，F1得分和受试者任务特点（receiver operating characteristic，ROC）曲线。选择最适合的器量尺度将指点建模算法毛病最小化。
从坚实的基本开端
因为技巧和对象的提高，机械进修培训项目比以往更轻易履行。然则，要取得靠得住的成果须要对数据迷信和统计学道理有深刻的懂得，如斯能力确保团队从一个坚弗成摧的底层数据集开端，这边是胜利的基本。
Pejman Makhfi是Credit Sesame的首席技巧官。Credit Sesame是一个教导信贷和小我财政网站，为花费者供给收费的信誉评分办事。
