知情人士:加速人工智能生命周期

HITL机器学习中的策略性应用

执行概要

人工智能的生命周期从概念验证到规模验证,再到生产中的模型验证。这是一个周期性的过程,人在其中扮演着重要的角色。循环中的人类(Hitl)检查、验证和修改算法以改进结果。他们还收集、标记和对数据进行质量控制(QC)。的人类在循环中的好处从模型开发开始,延伸到AI生命周期,从概念验证到模型生产。

  • 案例研究1:一个被管理的团队构建一个图像数据集,以加速模型开发。
  • 案例研究2:劳动力团队对需要农业专业知识的数据注释的质量进行标签和检查。
  • 案例分析3:数据分析师团队解决体育播放器分析的例外。

在人工智能生命周期中对人的不良利用是昂贵的,并且会产生低质量的数据和糟糕的模型性能。它是最好的考虑在人工智能生命周期的早期,在模型开发开始之前,工作人员,以实现更高质量的结果。

human-in-the-loop-accelerating-ai-lifecycle

请阅读下面的完整指南,或下载PDF版本的指南,以便日后参考。

  1. 人工智能生命周期的挑战
  2. HITL-Machine学习
  3. 用HITL加速模型开发
  4. AI生命周期- HITL
  5. 最佳实践
  6. 接触
  7. 常见问题

人工智能生命周期挑战

构建任何应用人工智能(AI)的解决方案都意味着这段旅程将是危险的。开发团队是一大批倡导者中的一员,他们中的大多数人在寻求使用机器学习来解决问题、推出产品或改变一个行业的过程中都会失败。

他们将遇到许多挑战:数据稀缺性、脏数据、劳动力负担、算法和质量控制(QC)失败,等等。在人工智能生命周期的每个阶段,他们都会对自己的数据和劳动力做出决定,这将决定成败。这些选择中的许多将决定他们在流程中快速做出改变的能力,从而提高模型性能。

创新者已经应用外部劳动力和技术来应对这些挑战,并加快人工智能的生命周期。一些人试图加速通过众包进行大规模数据处理或者自动化,这两者都需要内部员工和持续的管理。其他公司则使用传统的业务流程外包(BPO)提供商。在过去的十年里,管理外包团队出现了。

无论采用何种方法,开发团队在整个AI生命周期中如何部署人员都是一个具有深远影响的重要决定。知道何时何地这么做是减少失败AI项目数量和浪费时间的关键。

在本指南中,我们分享了我们从为数百个人工智能项目(从计算机视觉到自然语言处理(NLP))标注数据中学到的东西。要了解如何设计一个人在环的劳动力来建立和维护高性能的机器学习模型,请继续阅读。

如果你现在有兴趣和劳动力专家谈谈,取得联系

人在循环机器学习(HITL)

术语“人在循环中”起源于描述任何需要人交互的模型。在实时使用人在回路(HITL)方法、不断训练和校准模型的地方,人是实现预期结果的关键。例子包括聊天机器人和推荐引擎。

同样的,human-in-the-loop机器学习指的是模型开发过程的各个阶段,需要人员检查、验证或更改过程的某些部分,以培训并将模型部署到生产环境中。例如,数据工程师在将机器学习模型转移到下一个开发阶段之前验证它的预测。

HITL还可以扩展到为机器学习准备和构建数据的人。

事实上,人在循环机器学习包括所有与将要使用的数据工作的人,包括收集、标记和对数据进行质量控制(QC)的人。点击微博

人在环:数据准备和质量

在创建数据集的过程中,有许多费力不讨好的工作,无论是用于训练模型还是在生产中维护模型。数据驱动模型开发过程,使用数据需要人力。

事实上,从探索性数据分析到机器学习生产,人类参与了整个人工智能生命周期。关于项目总时间的80%根据分析公司Cognilytica的说法,数据准备、标签和处理消耗了大量的时间,而这些工作大部分是由人完成的。

质量是一个重要因素,因为机器学习模型的好坏取决于训练和再训练它的数据。高质量的数据是创造高性能人工智能的关键。传统上,这种工作的人员管理是很困难的,所以很多人工智能项目团队转向了众包。这种方法使他们能够接触到大量的工人,这提供了所需规模的一个要素。

但数据质量经常受到影响,因为员工是匿名的,而且随着时间的推移会发生变化。由此导致的问责缺失以及员工与AI开发团队之间不可靠的沟通阻碍了开发,并变得昂贵,给宝贵的内部资源带来了负担,并导致数据注释返工、低质量的数据和糟糕的模型性能。

在整个人工智能生命周期(从模型开发过程开始)中对人员的糟糕利用可能会导致低质量的数据、更高的成本和模型失败。点击微博

绝大多数(96%)的人工智能项目失败发生在模型开发过程的中途,根据Dimensional Research的说法,这是由于糟糕的数据质量、标签或建模。

今天,许多组织了解人们是如何参与数据标签的。然而,许多人还没有在人工智能生命周期中利用人在循环机器学习的好处。

在模型开发过程的其他阶段战略性地部署人员,从测试到模型维护和优化,可以改进模型及其结果。具体来说,经过培训和管理的劳动力可以加快上市时间,并减少数据工作对内部资源的负担。

人类在循环中的好处延伸到整个AI模型开发过程:

  • 机器学习和深度学习模型的不断完善需要人们的配合数据标签、质量控制(QC)和建模。
  • 自动化可以加快开发过程,但它需要人们构建、维护和监视异常。
  • 人们设计将人工智能解决方案整合到组织中的流程。
  • 当人工智能模型失败时,人们必须介入以降低风险并解决问题。

加速模型开发与人在循环

在模型开发过程中,有7个关键领域的人可以在其中产生重大影响。这些区域由图像中的蓝色方框表示。在这种情况下,人在循环专门指数据劳动力,承认数据科学家和工程师执行的大量工作超出了这个简化过程的范围。

许多团队将数据收集、清理和注释外包出去,这样他们就可以将数据科学家和其他高成本人才分配到需要更高级技能的项目中。然而,人们的帮助远远超过了这个过程中的这些阶段。团队可以在模型开发的每个阶段战略性地部署管理的劳动力,以扩展和加速过程。

自动化是有帮助的,最佳的方法是将其与人结合起来。在应用自动化时,考虑在维护工具、管理使用工具的人员和监视异常方面节省多少时间和成本是很重要的。让我们仔细看看人们是如何参与进来的,以及他们可以在哪些地方更有战略意义地应用来加速这个过程。

Hitl和ai模型的开发过程

模型开发过程从设计和构建阶段开始,然后是部署和操作阶段,最后是细化和优化阶段。在整个过程中,有七个关键领域的人在循环中可以产生重大影响。这些领域包括数据获取、数据清理、数据注释、注释QC、模型验证、自动化异常和模型管道优化。

在模型开发过程中,有7个关键领域的人可以在其中产生重大影响。这些区域用蓝色的方框表示。

设计和建造

为了达到最高的算法性能,需要指数数量的高质量数据。事实上,80%的人工智能项目时间都花在模型开发过程的这个阶段,包括数据采集、清理和注释。在部署的早期关键阶段,人在回路的工作人员可以完成大部分日常数据工作。

无论标签是使用手动还是自动化的方式应用,都可以使用人在回路的工作人员来获取和准备注释数据。特别是在数据清理和丰富的情况下,主观性和对边缘情况的理解非常重要,这样才能准确地完成这项细致入微的工作。

人力在获取和清理过程中发挥着关键作用,特别是在涉及web抓取或数据充实的情况下,以确保只将最相关、最完整的数据应用到项目中。

案例研究1:数据采集和清理

一个公司使用188abc金博宝 为客户构建分析解决方案,将视频转化为可靠的信息。他们需要获取一个图像数据集来训练他们的算法,以识别人手拿着的不同物体。鉴于对所需数据的独特需求,该公司求助于CloudFactory的管理团队,以构建一个包含数十万张图像的数据集,以满足它们的精确规格要求。这帮助他们最小化了内部开发团队的压力,并加速了模型开发。

一家公司正在使用计算机视觉来构建分析解决方案,需要获取人手持有的对象的数据集。图像显示一个人的右手握住无绳钻孔工具。手和每个手指被注释,以指示手抓住工具的位置。

一家公司正在使用计算机视觉来构建分析解决方案,需要获取人手持有的对象的数据集。

部署和实施

模型开发过程的下一个阶段是人工智能项目接受测试的地方,也是大多数失败发生的地方。因为80%的项目时间都花在了第一阶段,所以96%的失败都是在这一阶段才发生的,这让人很沮丧。革新者正转向人在回路的劳动力,以避免低数据质量的陷阱和由此产生的不可靠的模型。

手动数据标签是人类循环职能的最容易接受的用途,但是Hitl劳动力也可用于对已经自动标记的数据进行QC进行QC。Auto-labeling是数据注释工具中的一个功能,它使用人工智能对数据集进行预标记。这些工具可以增加人力在循环中的工作,以节省时间和降低成本。

为了实现最高质量的结果,自动标签应与Hitl劳动力配对,以确保自动化正如预期的那样执行。通过相同的令牌,在此阶段,可以部署Hitl Workforces以验证模型本身的输出,确定模型准确性和识别改进区域。

案例研究2:数据标注与质量控制

Hummingbird Technologies是一家农业技术公司(AgTech),该公司利用无人机和卫星的图像为农民提供作物分析,帮助他们提高产量。他们最初依靠农学家(他们是土壤和作物管理方面的专家)和他们自己的数据科学家对他们的数据集进行手工注释。使用HITL的劳动力,Hummingbird将其外包图像注释工作和注释QC到一个专门的CloudFactory团队,让他们自己的团队专注于加速和支持新模型的开发和改进。

亚博科技公司利用无人机和卫星提供的图像为农民提供作物分析,帮助他们提高产量。这张图片显示了农田的鸟瞰图,根据作物类型划分。

亚博科技公司利用无人机和卫星提供的图像为农民提供作物分析,帮助他们提高产量。

完善和优化

在模型开发过程的最后阶段,团队需要开始考虑他们的模型在生产中需要什么。他们正在监测,以检测和解决模型漂移,并确保AI系统的高性能。他们还在考虑如何处理自动化异常。

他们可能需要再次收集、注释和训练模型,以响应真实环境中的变化。循环中的人员可以支持所有这些重要步骤,监控结果,帮助维护健康的数据管道,并识别和解决异常。

案例3:验证、异常和优化

一家体育技术公司(SportsTech)使用机器学习为运动队提供视频分析和教练工具。玩家跟踪算法为教练和运动员识别比赛中的关键时刻。外包重要任务可以让开发团队有更多的时间来训练他们的模型和优化性能,这样他们就可以专注于改善用户体验。

CloudFactory的团队通过确保玩家跟踪标签的准确性来验证该模型的生产。他们还通过添加手动标签来处理异常,例如,由于视频质量差或播放器站得太近等原因,模型无法做到这一点。数据分析人员还纠正了标签跟踪效果差的问题。所有这些都为用户带来了更好的体验,并减少了模型开发团队繁重的工作。

Sportstech公司使用机器学习,为运动队提供视频分析和辅导工具。此图象显示了橄榄球场的球员。每个玩家都以脚围绕圆圈注释。

Sportstech公司使用机器学习,为运动队提供视频分析和辅导工具。

人工智能生命周期和人在循环

现在我们已经概述了人在环中的劳动力在模型开发过程中可以发挥重要作用的地方,让我们看看在人工智能生命周期的每个阶段所呈现的独特需求。每个阶段都包含我们所涵盖的关键领域的一个分段,以循环的方式构建。

概念验证

建立概念证明需要理解要解决的问题,以及使用机器学习解决问题所需的数据。这通常包括探索性数据分析、模型开发和数据科学家或机器学习研究人员的实验。

在此阶段,应该将HITL工作人员视为数据获取、清理和注释需求的一个选项。一些开发团队也可能依靠HITL劳动力进行轻质量控制和模型验证。

该图描绘了AI生命周期的概念阶段的证明,当时数据采集,清洁,注释,有时,注释QC需要人员。

在人工智能生命周期的概念验证阶段,需要人来进行数据采集、清理、注释,有时还需要注释QC。

在有监督的机器学习中,标记训练数据用于创建概念验证模型。在将模型部署到生产系统之前,很可能需要进行改进。例如,开发团队可能会发现,在一个已标记的图像数据集中需要一个新的对象类来改进模型性能或结果。

在这个阶段,自动化对数据收集和标记很有帮助。例如,可以使用Web抓取工具来收集数据。自动标记可以增加循环中人类的工作,从而节省时间和金钱。然而,自动标记有局限性,让人来检查这些输出是很重要的。

记住,机器学习是实验性的。人工智能项目团队可能会尝试各种功能、算法、建模技术和参数配置,以找到最有效的方法。理想的概念验证工作人员能够与开发人员保持沟通,理解项目参数的变化,并且能够高度适应过程中的变化和迭代。

挑战

团队在这个阶段可能遇到的挑战包括:

  • 数据采集或收集
  • 数据清理,注释,标签或增强
  • 跟踪实验,了解什么有效,什么无效
  • 再现有什么工作
  • 重用代码以减少每次运行实验时编写新代码的需要
  • 确定什么级别的数据质量足以达到预期的结果

测试机器学习系统比典型的软件开发要复杂得多。测试必须经过数据验证和模型质量评估阶段。这与模型开发过程和AI生命周期的所有阶段一样,本质上是迭代和循环的。随着模型的细化、发展和改进,在整个过程中会有学习。人在环的劳动力必须能够适应这些变化。

规模的证据

现在是AI项目团队考虑其模型如何在生产环境中运行的时候,它是实时消耗未标记和非结构化数据的时间。这里介绍了一个大障碍:证明模型可以并将扩展 - 这包括以盈利的​​方式扩展的可行性。

这张图描述了人工智能生命周期的规模阶段,当人们需要执行早期的任务时,加上模型验证,有时,自动化异常处理。

在人工智能生命周期的规模验证阶段,人们需要执行早期的任务,加上模型验证,有时还需要自动化异常处理。

在这里,策略性地在循环中部署人员是很重要的,特别是在处理边缘情况和异常时。除了最后一阶段提到的工具,还将有机会将自动化应用于QC的规模化和操作化。

此外,机器学习需要一个多步骤的数据管道来重新培训和部署模型。该管道的绝对复杂性将需要在实验、培训和测试阶段手动完成的步骤的自动化。这种自动化需要人工监控和维护。

挑战

本阶段可能面临的挑战包括上一阶段的挑战和一些新的挑战,包括:

  • 关于模型将如何适应现有操作和它将部署在哪里的IT基础设施的决策
  • 决定多久对模特进行再培训
  • 确定在何处以及如何对数据管道应用自动化
  • 大的异常处理
  • 确定扩展必须应用的许多方法,包括技术、自动化、数据管道和在循环中的人

这些考虑因素的答案将决定人员,流程和技术如何参与操作AI解决方案以及组织将面临生产阶段的程度。

模型在生产

在这里,人工智能项目团队实现并维持机器学习模型的生产。最大的挑战之一是维护一个可以在生产中持续运行的集成系统。在这个循环中,人类可以以他们帮助开发模型的所有方式来帮助生产。当团队在整个过程中使用相同的数据分析人员时,他们可以从改进和优化中获益,HITL团队可以帮助他们在整个模型开发过程中进行部署。

涉及数据时,机器学习模型比标准软件系统更容易衰减,因为它们的性能依赖于不断发展的数据。点击微博

当地面真实值与训练模型的数据有很大的不同时,它会影响模型的质量。

这发生在COVID-19大流行之后。2020年春天,世界各地的封锁取消了活动,关闭了餐馆和工作场所,并减少了汽车交通。根据大流行前数据训练的机器学习模型无法处理实时生成的不可预测数据。人民奇怪的行为打破了AI模型

这张图描绘了整个AI生命周期,从设计和构建,到部署和操作,再到优化和优化。当模型处于生产状态时,需要人们执行早期的任务,并进行模型流水线优化。

当模型处于生产状态时,需要人们执行早期的任务,并进行模型流水线优化。

除了在早期阶段提到的工具之外,开发团队还可以应用自动化来监控模型漂移。即使有了自动化,他们也需要人们来审查结果,并确定模型在技术上是否退化了,或者基础事实是否发生了变化。他们可能决定更改或删除一些数据特征。就像在早期阶段一样,他们将需要标记为地面真实的数据。

挑战

在这个阶段,开发团队可能会遇到来自前两个阶段的所有挑战和关于:

  • 谁应该参与监控人工智能系统
  • 考虑到每次模型开发过程完成后的投资回报,如何建立持续改进和持续改进的标准
  • 涉及什么样的手工工作,以在生产数据中创建地面真相并将其与AI预测的内容进行比较
  • 如何自动化监控过程,有可能需要人为干预
  • 如何用自信来缩放AI来检测和防止模型漂移

管理这些事项有助于防止低性能和其他风险。当团队跟踪他们模型的在线表现,检查结果的准确性,并在结果不符合预期时继续对模型进行再培训时,这个过程的迭代性和周期性继续进行。

要了解更多关于人工智能生命周期中的人类,请观看以下网络研讨会:数据准备:数据科学家希望你知道的事情构建你的下一个机器学习数据集

HITL员工的最佳实践

最好需要在AI生命周期内提前考虑劳动力,如果可能的情况下,在模型开发开始之前。点击微博

在人工智能生命周期的每个阶段,一些劳动力特征都特别重要。

员工特质:掌控全局的人

第一阶段

概念验证
  • 开始快速
  • 低的承诺
  • 敏捷团队
  • 实验

第二阶段

规模的证据
  • 管理团队
  • 可伸缩的团队
  • 188金宝搏官网app下载
  • 工具服务
  • 性能指标
  • 持续改进

第三阶段

模型在生产
  • 管理团队
  • 可伸缩的团队
  • 188金宝搏官网app下载
  • 工具服务
  • 性能指标
  • 持续改进
  • 专注于过程
  • 数据管道
  • 监控kpi
  • 异常处理
  • 快速周转

概念验证阶段,工作人员应该能够快速启动并具有迭代过程的敏捷性,因为将会有大量的实验。对于工作人员来说,最好是低承诺,也就是说,不要将开发团队锁定在带有限制性条款的合同中。

规模的证据,一个被管理的团队可以提供迭代的能力,这对于能够进行持续的改进是至关重要的。使用能够提供高质量工作并能够使用将大规模部署的工具的HITL工作人员是很重要的。工人必须能够衡量绩效,这样质量才能随着时间的推移而提高。

当一个模型在生产,一个HITL工作人员应该具备早期阶段所需的所有能力,还应该关注过程,以便能够推动持续改进。监控关键性能指标(kpi)和处理异常过程将非常重要。数据工作人员操作和产生高质量结果的速度越快,效果就越好。

在每阶段,开发团队将建立并经常重复前阶段的工作。在整个过程中一致使用的Hitl劳动力可以改善之前完成的事情。

下一个步骤

一旦团队决定一个劳动力是他们项目的正确选择,下一步就是找到合适的劳动力。

要学习如何评估劳动力选择,请下载外包商质量指南:确保外包团队的高质量数据标签的提示。准备与劳动力专家交谈?与我们联系

关于CloudFactory

CloudFactory将人员和技术结合在一起提供云劳动力解决方案。我们专业管理和培训的团队可以使用几乎任何工具处理高精度的机器学习数据。我们每天为创新者提供数百万个任务,包括微软,Gopotcheck,蜂鸟技术,Ibotta和Luminar。我们存在为发展中国家的一百万人才的人们创造有意义的工作,所以我们可以赚取,学习和服务我们成为值得关注的领导者。

与销售交谈

常见问题

Lorem Ipsum是印刷和排版行业的简单虚拟文本。自16世纪以来,Lorem Ipsum一直是该行业的标准虚拟文本,当时一个不知名的打印机把一排字体拼在一起,做成了一本样本书。它不仅存活了五个世纪,还经历了向电子排版的飞跃,基本上保持不变。20世纪60年代,随着含有Lorem Ipsum段落的Letraset单张的发布,它开始流行起来。最近,随着桌面出版软件如Aldus PageMaker的发布,包括Lorem Ipsum版本。

Lorem Ipsum是印刷和排版行业的简单虚拟文本。自16世纪以来,Lorem Ipsum一直是该行业的标准虚拟文本,当时一个不知名的打印机把一排字体拼在一起,做成了一本样本书。它不仅存活了五个世纪,还经历了向电子排版的飞跃,基本上保持不变。20世纪60年代,随着含有Lorem Ipsum段落的Letraset单张的发布,它开始流行起来。最近,随着桌面出版软件如Aldus PageMaker的发布,包括Lorem Ipsum版本。

Baidu