Lorem Ipsum只是印刷和排版行业的虚拟文本。自16世纪以来，Lorem Ipsum一直是行业标准的虚拟文本，当时一位不知名的印刷商拿起一个打印工具，将其拼凑成一本打印样本书。它不仅存活了五个世纪，而且还跨越到电子排版，基本上保持不变。它在20世纪60年代随着包含Lorem Ipsum段落的Letraset表单的发布而流行，最近随着Aldus PageMaker等桌面出版软件的发布，包括Lorem Ipsum版本。
建立应用人工智能（AI）的任何解决方案意味着旅程将是危险的。开发团队是主角的海洋中，大多数人都会在追求机器学习解决问题时失败，推出产品，或改变行业。
他们将遇到许多挑战:数据稀缺性、脏数据、劳动力负担、算法和质量控制(QC)失败，等等。在人工智能生命周期的每个阶段，他们都会对自己的数据和劳动力做出决定，这将决定成败。这些选择中的许多将决定他们在流程中快速做出改变的能力，从而提高模型性能。
创新者已应用外部劳动力和技术来解决这些挑战并加速AI生命周期。有些人试图速度大规模数据处理与众包或者是自动化，这两个都需要内部人员和持续的管理。其他人使用传统的业务流程外包（BPO）提供商。在过去十年中，管理外包团队已经出现。
无论采用何种方法，开发团队在整个AI生命周期中如何部署人员都是一个具有深远影响的重要决定。知道何时何地这么做是减少失败AI项目数量和浪费时间的关键。
在本指南中，我们将分享从数百个人工智能项目的注释数据中学到的知识，从计算机视觉到自然语言处理（NLP）。要了解如何设计人在回路工作人员来构建和维护高性能机器学习模型，请继续阅读。
如果您有兴趣与员工专家交谈，联系.
术语“Loop中的人”起源于描述需要人类相互作用的任何模型。在实时和模型中使用的LOW-LOP（HITL）方法是不断培训和校准的情况下，人们对实现期望的结果至关重要。示例包括聊天栏和推荐引擎。
相似地，人在回路机器学习指模型开发过程的各个阶段，需要人员检查、验证或更改过程的某些部分，以将模型培训和部署到生产中。例如，数据工程师在将机器学习模型移动到下一个开发阶段之前验证其预测。
HITL还可以扩展到为机器学习准备和构造数据的人员。
事实上，人在回路机器学习包括处理将要使用的数据的所有人员，包括收集、标记和对数据进行质量控制（QC）的人员。点击推特
在创建数据集的过程中，有很多吃力不讨好的工作，不管是用来训练模型还是在生产中维护模型。数据驱动模型开发过程，处理数据需要人。
事实上，人们参与了整个人工智能生命周期，从探索性数据分析到机器学习产品。关于项目总时间的80%根据分析公司Cognilytica的说法，数据准备、标签和处理消耗了大量的时间，而这些工作大部分是由人完成的。
质量是一个重要因素，因为机器学习模型只是作为列车和培训它的数据的良好。质量数据是创建高性能AI的关键。传统上，缩放人们为这种工作的操作很困难，所以很多AI项目团队转向众包。这种方法让他们访问了大量工人，它提供了所需比例的一个元素。
但数据质量经常受到影响，因为员工是匿名的，而且随着时间的推移会发生变化。由此导致的问责缺失以及员工与AI开发团队之间不可靠的沟通阻碍了开发，并变得昂贵，给宝贵的内部资源带来了负担，并导致数据注释返工、低质量的数据和糟糕的模型性能。
在整个人工智能生命周期(从模型开发过程开始)中对人员的糟糕利用可能会导致低质量的数据、更高的成本和模型失败。点击推特
多数(96%)的人工智能项目失败发生在模型开发过程的中途，根据Dimensional Research的说法，这是由于糟糕的数据质量、标签或建模。
今天，许多组织了解人们是如何参与数据标记的。然而，许多人还没有在人工智能的整个生命周期中充分利用人在环机器学习的好处。
战略性地在模型开发过程中的其他阶段部署人员，从测试到模型维护和优化，可以改善模型及其结果。具体而言，训练有素和管理的劳动力可以加速市场的时间，并减少内部资源的数据工作负担。
人在回路中的好处延伸到整个AI模型开发过程：
在模型开发过程中，有7个关键领域的人可以在其中产生重大影响。这些区域由图像中的蓝色方框表示。在这种情况下，人在循环专门指数据劳动力，承认数据科学家和工程师执行的大量工作超出了这个简化过程的范围。
许多团队将数据收集、清理和注释外包，以便他们可以将数据科学家和其他高成本人才分配给需要更高级技能的项目。然而，在这个过程中，人们的帮助远远超出了这些阶段。团队可以在模型开发的每个阶段战略性地部署受管理的员工队伍，以扩展和加速流程。
自动化是有帮助的，最佳方法与人们混合。应用自动化时，就维护工具，管理使用它们的人员和监控例外情况，请考虑节省多少时间 - 和成本是多少。让我们仔细看看人们是如何参与的，在哪里可以更具战略性地应用来加速这个过程。
在模型开发过程中，有七个关键领域，其中人在循环中可以产生重大影响。这些区域由蓝色框表示。
峰值算法性能需要指数数量的质量数据。事实上，AI项目80%的时间都花在模型开发过程的这个阶段，包括数据采集、清理和注释。在部署的早期、关键阶段，人在回路工作人员可以完成大部分日常数据工作。
无论是使用手动还是自动方式应用标签，都可以使用人在回路工作人员来获取和准备用于注释的数据。特别是在数据清理和丰富方面，主观性和对边缘案例的理解非常重要，因此可以准确地完成这项细致入微的工作。
人力在获取和清理过程中发挥着关键作用，特别是在涉及web抓取或数据充实的情况下，以确保只将最相关、最完整的数据应用到项目中。
公司使用计算机视觉构建分析解决方案，将视频转换为客户的可靠信息。他们需要获取一个图像数据集来训练他们的算法，以识别人手所持的不同物体。考虑到对所需数据的独特要求，该公司求助于CloudFactory的管理团队，以按照其确切规格构建数十万个图像的数据集。这有助于他们将内部开发团队的压力降至最低，并加快模型开发。
一家公司正在使用计算机视觉来构建分析解决方案，需要获取人手所持物体的数据集。
模型开发过程的下一个阶段是AI项目进行测试的地方，也是大多数失败发生的地方。由于80%的项目时间花费在第一阶段，96%的失败在过程中达到这一点之前不会发生，这可能令人沮丧。创新者正转向人在回路的工作人员，以避免数据质量差和由此产生的不可靠模型的陷阱。
手动数据标记是人在回路工作人员最容易接受的用途，但HITL工作人员也可用于对自动标记的数据进行QC。自动标记是数据注释工具中的一项功能，该工具使用人工智能对数据集进行预标记。这些工具可以增强循环中人员的工作，以节省时间和降低成本。
为了实现最高质量的结果，自动标签应与HITL员工配对，以确保自动化按预期进行。同样，在此阶段，可以部署HITL工作人员来验证模型本身的输出，确定模型精度并确定需要改进的领域。
蜂鸟科技是一家农业科技公司，利用无人机和卫星的图像为农民提供农作物分析，帮助他们提高产量。他们最初依靠土壤和作物管理方面的专家农学家和他们自己的数据科学家对他们的数据集进行手动注释。蜂鸟利用HITL的劳动力，将其业务外包图像注释与一个专门的CloudFactory团队合作和注释QC，使他们自己的团队能够专注于加速和支持新模型的开发和改进。
亚博科技公司利用无人机和卫星提供的图像为农民提供作物分析，帮助他们提高产量。
在模型开发过程的最后阶段，团队需要开始考虑其在生产中所需的内容。它们正在监控以检测和解决模型漂移并确保AI系统的高性能。他们还在考虑如何处理自动化异常。
他们可能需要再次收集、注释和训练模型，以响应现实环境中的变化。回路中的人员可以支持所有这些重要步骤，监控结果，帮助维护健康的数据管道，以及识别和解决异常。
运动技术（Sportstech）公司使用机器学习为运动队提供视频分析和辅导工具。播放器跟踪算法识别游戏中的主要时刻为教练和运动员。外包重要任务允许开发团队更多的时间培训他们的模型并优化性能，因此他们可以专注于提高用户体验。
CloudFactory的团队通过确保玩家跟踪标签的准确性来验证该模型的生产。他们还通过添加手动标签来处理异常，例如，由于视频质量差或播放器站得太近等原因，模型无法做到这一点。数据分析人员还纠正了标签跟踪效果差的问题。所有这些都为用户带来了更好的体验，并减少了模型开发团队繁重的工作。
一家体育科技公司使用机器学习为运动队提供视频分析和指导工具。
既然我们已经概述了一个循环乐队可以在模型开发过程中发挥重要作用的地方，让我们来看看AI生命周期的每个阶段所呈现的独特需求。每个阶段都包括我们所涵盖的关键区域的小节，以周期性地建造。
建立概念证明需要了解要解决的问题以及使用机器学习来解决它所需的数据。这通常包括探索性数据分析，模型开发和数据科学家或机器学习研究人员的实验。
在此阶段，HITL工作人员应被视为数据采集、清理和注释需求的一种选择。一些开发团队也可能依靠HITL员工进行轻度QC和模型验证。
在AI生命周期的概念验证阶段，需要人员进行数据采集、清理、注释，有时还需要注释QC。
在有监督的机器学习中，标记培训数据用于创建概念验证模型。在将模型部署到生产系统之前，可能需要对其进行改进。例如，开发团队可能会发现在标记的图像数据集中需要一类新的对象来提高模型性能或结果。
在此阶段，自动化有助于数据收集和标记。例如，可以使用Web抓取工具来收集数据。自动标签可以增加循环中人员的工作，从而节省时间和金钱。然而，自动标签有其局限性，重要的是让人们来检查这些输出。
记住，机器学习是实验性的。AI项目团队可能会尝试各种功能、算法、建模技术和参数配置，以找到最有效的方法。理想的概念验证团队可以与开发人员保持沟通，了解项目不断变化的参数，并高度适应过程中的变化和迭代。
团队在此阶段可能遇到的挑战包括：
测试机器学习系统比典型的软件开发更复杂。测试必须经过数据验证和模型质量评估阶段。这与模型开发过程和AI生命周期的所有阶段一样，本质上是迭代和循环的。随着模型的完善、发展和改进，在这个过程中会有学习。人在回路工作人员必须能够适应这些变化。
现在是AI项目团队考虑他们的模型将如何在生产环境中运行的时间，在这个环境中，它正在实时地消耗未标记的和非结构化的数据。这里有一个很大的障碍：证明该模型能够并且将会扩展——这包括以一种有利可图的方式扩展的可行性。
在人工智能生命周期的规模验证阶段，人们需要执行早期的任务，加上模型验证，有时还需要自动化异常处理。
在这里，从战略上部署人在环非常重要，特别是在处理边缘案例和异常时。除了上一阶段提到的工具外，还将有机会应用自动化来扩展和操作QC。
此外，机器学习需要一个多步骤的数据管道来重新训练和部署模型。这条管道的复杂性要求在实验、培训和测试阶段手动完成的步骤实现自动化。这种自动化需要由人来监控和维护。
本阶段可能面临的挑战包括前一阶段的挑战和一些新的挑战，包括：
这些考虑因素的答案将决定人工智能解决方案的实施将如何涉及人员、流程和技术，以及组织在生产阶段将面临多大的变化。
在这里，人工智能项目团队实现并维持机器学习模型的生产。最大的挑战之一是维护可在生产中连续运行的集成系统。到目前为止，循环中的人可以通过他们帮助开发模型的所有方式帮助生产。当团队在整个过程中与相同的数据分析师合作时，他们可以从HITL团队可以帮助他们在整个模型开发过程中部署的改进和优化中获益。
当涉及到数据时，机器学习模型比标准软件系统更容易衰退，因为它们的性能依赖于不断变化的数据。点击推特
当地面真实值与训练模型的数据有很大差异时，它会影响模型质量。
这发生在新冠病毒-19大流行之后。2020年春天，全世界的封锁取消了活动，关闭了餐厅和工作场所，减少了汽车交通。根据大流行前数据训练的机器学习模型没有准备好处理实时生成的不可预测数据。人民的奇怪的行为突破了AI模型.
当模型处于生产状态时，需要人们执行早期的任务，并进行模型流水线优化。
除了在早期阶段提到的工具之外，开发团队还可以应用自动化来监控模型漂移。即使实现了自动化，他们也需要人们审查结果，并确定模型在技术上是否退化，或者地面真相是否发生了变化。他们可能会决定更改或删除某些数据功能。与早期阶段一样，他们将需要标记的地面真实数据。
在此阶段，开发团队可能会遇到前两个阶段和决定的所有挑战：
管理这些考虑因素有助于防范低性能和其他风险。此过程的迭代，周期性性质继续随着团队追踪其模型的在线表现，检查结果以获得准确性，并在结果不符合预期时继续恢复模型。
要了解更多有关人工智能生命周期中的人的信息，请观看以下网络研讨会：数据准备：科学家希望你知道的数据和构建下一个机器学习数据集.
如果可能的话，最好在AI生命周期中提前考虑劳动力，并在模型开发开始之前考虑。点击推特
一些员工特性在AI生命周期的每个阶段尤为重要。
在概念证明在这一阶段，工作人员应该能够快速启动，并具有迭代过程的灵活性，因为将有大量的实验。最好是劳动力少投入，也就是说，不要将开发团队锁定在带有限制性条款的合同中。
在规模的证据，一个被管理的团队可以提供迭代的能力，这对于能够进行持续的改进是至关重要的。使用能够提供高质量工作并能够使用将大规模部署的工具的HITL工作人员是很重要的。工人必须能够衡量绩效，这样质量才能随着时间的推移而提高。
当模型处于生产，HITL员工应具备早期阶段所需的所有能力，并应以流程为重点，以推动持续改进。监控关键绩效指标（KPI）和处理异常流程将非常重要。数据员工的运营速度越快，产生高质量的结果越好。
在每个阶段，开发团队都将在上一阶段完成的工作的基础上进行构建，并经常重复上一阶段完成的工作。在整个过程中始终如一地使用HITL员工队伍可以改进之前的工作。
一旦团队决定劳动力是他们项目的正确选择，下一步就是找到合适的劳动力。
要了解如何评估劳动力选项，请下载外包商质量指南：确保外包团队的质量数据标签的提示。准备好和劳动力专家谈谈了吗？与我们联系.
CloudFactory将人员和技术结合起来，提供云劳动力解决方案。我们经过专业管理和培训的团队可以使用几乎任何工具高精度地处理机器学习数据。我们每天为包括Microsoft、GoSpotCheck、Hummingbird Technologies、Ibotta和Luminar在内的创新者完成数百万项任务。我们的存在是为了为发展中国家的一百万人才创造有意义的工作，这样我们就可以挣钱、学习和服务，成为值得追随的领导者。