Lorem Ipsum是印刷和排版行业的简单虚拟文本。自16世纪以来，Lorem Ipsum一直是该行业的标准虚拟文本，当时一个不知名的打印机把一排字体拼在一起，做成了一本样本书。它不仅存活了五个世纪，还经历了向电子排版的飞跃，基本上保持不变。20世纪60年代，随着含有Lorem Ipsum段落的Letraset单张的发布，它开始流行起来。最近，随着桌面出版软件如Aldus PageMaker的发布，包括Lorem Ipsum版本。
构建任何应用人工智能(AI)的解决方案都意味着这段旅程将是危险的。开发团队是一大批倡导者中的一员，他们中的大多数人在寻求使用机器学习来解决问题、推出产品或改变一个行业的过程中都会失败。
他们将遇到许多挑战:数据稀缺性、脏数据、劳动力负担、算法和质量控制(QC)失败，等等。在人工智能生命周期的每个阶段，他们都会对自己的数据和劳动力做出决定，这将决定成败。这些选择中的许多将决定他们在流程中快速做出改变的能力，从而提高模型性能。
创新者已经应用外部劳动力和技术来应对这些挑战，并加快人工智能的生命周期。一些人试图加速通过众包进行大规模数据处理或者自动化，这两者都需要内部员工和持续的管理。其他公司则使用传统的业务流程外包(BPO)提供商。在过去的十年里，管理外包团队出现了。
无论采用何种方法，开发团队在整个AI生命周期中如何部署人员都是一个具有深远影响的重要决定。知道何时何地这么做是减少失败AI项目数量和浪费时间的关键。
在本指南中，我们分享了我们从为数百个人工智能项目(从计算机视觉到自然语言处理(NLP))标注数据中学到的东西。要了解如何设计一个人在环的劳动力来建立和维护高性能的机器学习模型，请继续阅读。
如果你现在有兴趣和劳动力专家谈谈，取得联系．
术语“人在循环中”起源于描述任何需要人交互的模型。在实时使用人在回路(HITL)方法、不断训练和校准模型的地方，人是实现预期结果的关键。例子包括聊天机器人和推荐引擎。
同样的,human-in-the-loop机器学习指的是模型开发过程的各个阶段，需要人员检查、验证或更改过程的某些部分，以培训并将模型部署到生产环境中。例如，数据工程师在将机器学习模型转移到下一个开发阶段之前验证它的预测。
HITL还可以扩展到为机器学习准备和构建数据的人。
事实上，人在循环机器学习包括所有与将要使用的数据工作的人，包括收集、标记和对数据进行质量控制(QC)的人。点击微博
在创建数据集的过程中，有许多费力不讨好的工作，无论是用于训练模型还是在生产中维护模型。数据驱动模型开发过程，使用数据需要人力。
事实上，从探索性数据分析到机器学习生产，人类参与了整个人工智能生命周期。关于项目总时间的80%根据分析公司Cognilytica的说法，数据准备、标签和处理消耗了大量的时间，而这些工作大部分是由人完成的。
质量是一个重要因素，因为机器学习模型的好坏取决于训练和再训练它的数据。高质量的数据是创造高性能人工智能的关键。传统上，这种工作的人员管理是很困难的，所以很多人工智能项目团队转向了众包。这种方法使他们能够接触到大量的工人，这提供了所需规模的一个要素。
但数据质量经常受到影响，因为员工是匿名的，而且随着时间的推移会发生变化。由此导致的问责缺失以及员工与AI开发团队之间不可靠的沟通阻碍了开发，并变得昂贵，给宝贵的内部资源带来了负担，并导致数据注释返工、低质量的数据和糟糕的模型性能。
在整个人工智能生命周期(从模型开发过程开始)中对人员的糟糕利用可能会导致低质量的数据、更高的成本和模型失败。点击微博
绝大多数(96％)的人工智能项目失败发生在模型开发过程的中途，根据Dimensional Research的说法，这是由于糟糕的数据质量、标签或建模。
今天，许多组织了解人们是如何参与数据标签的。然而，许多人还没有在人工智能生命周期中利用人在循环机器学习的好处。
在模型开发过程的其他阶段战略性地部署人员，从测试到模型维护和优化，可以改进模型及其结果。具体来说，经过培训和管理的劳动力可以加快上市时间，并减少数据工作对内部资源的负担。
人类在循环中的好处延伸到整个AI模型开发过程:
在模型开发过程中，有7个关键领域的人可以在其中产生重大影响。这些区域由图像中的蓝色方框表示。在这种情况下，人在循环专门指数据劳动力，承认数据科学家和工程师执行的大量工作超出了这个简化过程的范围。
许多团队将数据收集、清理和注释外包出去，这样他们就可以将数据科学家和其他高成本人才分配到需要更高级技能的项目中。然而，人们的帮助远远超过了这个过程中的这些阶段。团队可以在模型开发的每个阶段战略性地部署管理的劳动力，以扩展和加速过程。
自动化是有帮助的，最佳的方法是将其与人结合起来。在应用自动化时，考虑在维护工具、管理使用工具的人员和监视异常方面节省多少时间和成本是很重要的。让我们仔细看看人们是如何参与进来的，以及他们可以在哪些地方更有战略意义地应用来加速这个过程。
在模型开发过程中，有7个关键领域的人可以在其中产生重大影响。这些区域用蓝色的方框表示。
为了达到最高的算法性能，需要指数数量的高质量数据。事实上，80%的人工智能项目时间都花在模型开发过程的这个阶段，包括数据采集、清理和注释。在部署的早期关键阶段，人在回路的工作人员可以完成大部分日常数据工作。
无论标签是使用手动还是自动化的方式应用，都可以使用人在回路的工作人员来获取和准备注释数据。特别是在数据清理和丰富的情况下，主观性和对边缘情况的理解非常重要，这样才能准确地完成这项细致入微的工作。
人力在获取和清理过程中发挥着关键作用，特别是在涉及web抓取或数据充实的情况下，以确保只将最相关、最完整的数据应用到项目中。
一个公司使用188abc金博宝 为客户构建分析解决方案，将视频转化为可靠的信息。他们需要获取一个图像数据集来训练他们的算法，以识别人手拿着的不同物体。鉴于对所需数据的独特需求，该公司求助于CloudFactory的管理团队，以构建一个包含数十万张图像的数据集，以满足它们的精确规格要求。这帮助他们最小化了内部开发团队的压力，并加速了模型开发。
一家公司正在使用计算机视觉来构建分析解决方案，需要获取人手持有的对象的数据集。
模型开发过程的下一个阶段是人工智能项目接受测试的地方，也是大多数失败发生的地方。因为80%的项目时间都花在了第一阶段，所以96%的失败都是在这一阶段才发生的，这让人很沮丧。革新者正转向人在回路的劳动力，以避免低数据质量的陷阱和由此产生的不可靠的模型。
手动数据标签是人类循环职能的最容易接受的用途，但是Hitl劳动力也可用于对已经自动标记的数据进行QC进行QC。Auto-labeling是数据注释工具中的一个功能，它使用人工智能对数据集进行预标记。这些工具可以增加人力在循环中的工作，以节省时间和降低成本。
为了实现最高质量的结果，自动标签应与Hitl劳动力配对，以确保自动化正如预期的那样执行。通过相同的令牌，在此阶段，可以部署Hitl Workforces以验证模型本身的输出，确定模型准确性和识别改进区域。
Hummingbird Technologies是一家农业技术公司(AgTech)，该公司利用无人机和卫星的图像为农民提供作物分析，帮助他们提高产量。他们最初依靠农学家(他们是土壤和作物管理方面的专家)和他们自己的数据科学家对他们的数据集进行手工注释。使用HITL的劳动力，Hummingbird将其外包图像注释工作和注释QC到一个专门的CloudFactory团队，让他们自己的团队专注于加速和支持新模型的开发和改进。
亚博科技公司利用无人机和卫星提供的图像为农民提供作物分析，帮助他们提高产量。
在模型开发过程的最后阶段，团队需要开始考虑他们的模型在生产中需要什么。他们正在监测，以检测和解决模型漂移，并确保AI系统的高性能。他们还在考虑如何处理自动化异常。
他们可能需要再次收集、注释和训练模型，以响应真实环境中的变化。循环中的人员可以支持所有这些重要步骤，监控结果，帮助维护健康的数据管道，并识别和解决异常。
一家体育技术公司(SportsTech)使用机器学习为运动队提供视频分析和教练工具。玩家跟踪算法为教练和运动员识别比赛中的关键时刻。外包重要任务可以让开发团队有更多的时间来训练他们的模型和优化性能，这样他们就可以专注于改善用户体验。
CloudFactory的团队通过确保玩家跟踪标签的准确性来验证该模型的生产。他们还通过添加手动标签来处理异常，例如，由于视频质量差或播放器站得太近等原因，模型无法做到这一点。数据分析人员还纠正了标签跟踪效果差的问题。所有这些都为用户带来了更好的体验，并减少了模型开发团队繁重的工作。
Sportstech公司使用机器学习，为运动队提供视频分析和辅导工具。
现在我们已经概述了人在环中的劳动力在模型开发过程中可以发挥重要作用的地方，让我们看看在人工智能生命周期的每个阶段所呈现的独特需求。每个阶段都包含我们所涵盖的关键领域的一个分段，以循环的方式构建。
建立概念证明需要理解要解决的问题，以及使用机器学习解决问题所需的数据。这通常包括探索性数据分析、模型开发和数据科学家或机器学习研究人员的实验。
在此阶段，应该将HITL工作人员视为数据获取、清理和注释需求的一个选项。一些开发团队也可能依靠HITL劳动力进行轻质量控制和模型验证。
在人工智能生命周期的概念验证阶段，需要人来进行数据采集、清理、注释，有时还需要注释QC。
在有监督的机器学习中，标记训练数据用于创建概念验证模型。在将模型部署到生产系统之前，很可能需要进行改进。例如，开发团队可能会发现，在一个已标记的图像数据集中需要一个新的对象类来改进模型性能或结果。
在这个阶段，自动化对数据收集和标记很有帮助。例如，可以使用Web抓取工具来收集数据。自动标记可以增加循环中人类的工作，从而节省时间和金钱。然而，自动标记有局限性，让人来检查这些输出是很重要的。
记住，机器学习是实验性的。人工智能项目团队可能会尝试各种功能、算法、建模技术和参数配置，以找到最有效的方法。理想的概念验证工作人员能够与开发人员保持沟通，理解项目参数的变化，并且能够高度适应过程中的变化和迭代。
团队在这个阶段可能遇到的挑战包括:
测试机器学习系统比典型的软件开发要复杂得多。测试必须经过数据验证和模型质量评估阶段。这与模型开发过程和AI生命周期的所有阶段一样，本质上是迭代和循环的。随着模型的细化、发展和改进，在整个过程中会有学习。人在环的劳动力必须能够适应这些变化。
现在是AI项目团队考虑其模型如何在生产环境中运行的时候，它是实时消耗未标记和非结构化数据的时间。这里介绍了一个大障碍：证明模型可以并将扩展 - 这包括以盈利的方式扩展的可行性。
在人工智能生命周期的规模验证阶段，人们需要执行早期的任务，加上模型验证，有时还需要自动化异常处理。
在这里，策略性地在循环中部署人员是很重要的，特别是在处理边缘情况和异常时。除了最后一阶段提到的工具，还将有机会将自动化应用于QC的规模化和操作化。
此外，机器学习需要一个多步骤的数据管道来重新培训和部署模型。该管道的绝对复杂性将需要在实验、培训和测试阶段手动完成的步骤的自动化。这种自动化需要人工监控和维护。
本阶段可能面临的挑战包括上一阶段的挑战和一些新的挑战，包括:
这些考虑因素的答案将决定人员，流程和技术如何参与操作AI解决方案以及组织将面临生产阶段的程度。
在这里，人工智能项目团队实现并维持机器学习模型的生产。最大的挑战之一是维护一个可以在生产中持续运行的集成系统。在这个循环中，人类可以以他们帮助开发模型的所有方式来帮助生产。当团队在整个过程中使用相同的数据分析人员时，他们可以从改进和优化中获益，HITL团队可以帮助他们在整个模型开发过程中进行部署。
涉及数据时，机器学习模型比标准软件系统更容易衰减，因为它们的性能依赖于不断发展的数据。点击微博
当地面真实值与训练模型的数据有很大的不同时，它会影响模型的质量。
这发生在COVID-19大流行之后。2020年春天，世界各地的封锁取消了活动，关闭了餐馆和工作场所，并减少了汽车交通。根据大流行前数据训练的机器学习模型无法处理实时生成的不可预测数据。人民奇怪的行为打破了AI模型．
当模型处于生产状态时，需要人们执行早期的任务，并进行模型流水线优化。
除了在早期阶段提到的工具之外，开发团队还可以应用自动化来监控模型漂移。即使有了自动化，他们也需要人们来审查结果，并确定模型在技术上是否退化了，或者基础事实是否发生了变化。他们可能决定更改或删除一些数据特征。就像在早期阶段一样，他们将需要标记为地面真实的数据。
在这个阶段，开发团队可能会遇到来自前两个阶段的所有挑战和关于:
管理这些事项有助于防止低性能和其他风险。当团队跟踪他们模型的在线表现，检查结果的准确性，并在结果不符合预期时继续对模型进行再培训时，这个过程的迭代性和周期性继续进行。
要了解更多关于人工智能生命周期中的人类，请观看以下网络研讨会:数据准备:数据科学家希望你知道的事情和构建你的下一个机器学习数据集．
最好需要在AI生命周期内提前考虑劳动力，如果可能的情况下，在模型开发开始之前。点击微博
在人工智能生命周期的每个阶段，一些劳动力特征都特别重要。
在概念验证阶段，工作人员应该能够快速启动并具有迭代过程的敏捷性，因为将会有大量的实验。对于工作人员来说，最好是低承诺，也就是说，不要将开发团队锁定在带有限制性条款的合同中。
在规模的证据，一个被管理的团队可以提供迭代的能力，这对于能够进行持续的改进是至关重要的。使用能够提供高质量工作并能够使用将大规模部署的工具的HITL工作人员是很重要的。工人必须能够衡量绩效，这样质量才能随着时间的推移而提高。
当一个模型在生产，一个HITL工作人员应该具备早期阶段所需的所有能力，还应该关注过程，以便能够推动持续改进。监控关键性能指标(kpi)和处理异常过程将非常重要。数据工作人员操作和产生高质量结果的速度越快，效果就越好。
在每阶段，开发团队将建立并经常重复前阶段的工作。在整个过程中一致使用的Hitl劳动力可以改善之前完成的事情。
一旦团队决定一个劳动力是他们项目的正确选择，下一步就是找到合适的劳动力。
要学习如何评估劳动力选择，请下载外包商质量指南:确保外包团队的高质量数据标签的提示。准备与劳动力专家交谈？与我们联系．
CloudFactory将人员和技术结合在一起提供云劳动力解决方案。我们专业管理和培训的团队可以使用几乎任何工具处理高精度的机器学习数据。我们每天为创新者提供数百万个任务，包括微软，Gopotcheck，蜂鸟技术，Ibotta和Luminar。我们存在为发展中国家的一百万人才的人们创造有意义的工作，所以我们可以赚取，学习和服务我们成为值得关注的领导者。