在监督或半监督的机器学习，数据注释标记，标记，或加工为你希望你的机器学习系统学习识别功能。注释的数据的一个例子是来自自主车辆，其中，所述数据已被富集至准确显示在存在行人和其它车辆的传感器数据。
如果：
在机器学习中,数据注释是标记数据以显示你希望机器学习模型预测的结果的过程。您正在标记—标记、标记、转录或处理—具有您希望机器学习系统学习识别的特征的数据集。一旦您的模型被部署，您希望它能够自己识别这些特性，并做出决定或采取一些行动。
注释数据揭示了功能，将训练你的算法来识别数据相同的功能，并没有被注释。数据注释在监督学习和混合，或半监督，机器学习模型涉及监督学习使用。
数据标注工具是一种基于云的、内部的或容器化的软件解决方案，可用于标注用于机器学习的生产级培训数据。虽然有些组织采取自己动手的方法并构建自己的工具，但仍有许多数据注释工具可以通过开源或免费软件获得。
他们也提供商业租赁和购买。数据注释工具通常设计用于特定类型的数据，如图像、视频、文本、音频、电子表格或传感器数据。它们还提供了不同的部署模型，包括内部部署、容器、SaaS(云)和Kubernetes。
注释开始和结束时都采用了一种全面的方式来管理您计划注释的数据集。作为您工作流程的一个关键部分，您需要确保您正在考虑的工具将实际导入并支持您需要标记的大量数据和文件类型。这包括搜索、过滤、排序、克隆和合并数据集。
不同的工具可以以不同的方式保存注释的输出，因此您需要确保该工具能够满足您的团队的输出需求。最后，您的注释数据必须存储在某个地方。大多数工具都支持本地和网络存储，但是云存储——尤其是您首选的云供应商——可能会失败，所以请确认支持文件存储目标。
这显然是数据注释工具的核心特性——为数据应用标签的方法和功能。但并非所有工具在这方面都是一样的。许多工具被狭隘地优化以专注于特定类型的标签，而其他工具则提供了广泛的工具组合以支持各种类型的用例。188金宝搏亚洲官网
几乎所有文件都提供某种类型的数据或文档分类，以指导您如何识别和排序数据。根据你目前和预期的未来需求，你可能希望专注于专家或使用更通用的平台。数据注释工具提供的注释功能的常见类型包括构建和管理本体或指南，如标签映射、类、属性和特定的注释类型。
这只是一些例子：
许多数据注释工具中正在出现的一个特性是自动化自动标签．使用人工智能，许多工具将帮助您的人工标签改进他们的注释(例如，自动转换四点边界框为多边形)，甚至自动注释您的数据无需人工接触。此外，一些工具可以从人工注释者的操作中学习，以提高自动标注的准确性。
有些注释任务已经成熟到可以进行自动化了。例如，如果您使用预注释来标记图像，一组数据标签可以决定是调整大小还是删除边界框。这可以为需要在像素级分割上注释图像的团队节省时间。尽管如此，自动注释仍然会有异常、边缘情况和错误，因此在质量控制和异常处理中加入人在循环的方法是至关重要的。
自动化也可以参考开发人员接口的可用性来运行自动化。也就是说，应用程序编程接口（API）和软件开发套件（SDK），允许与数据访问和交互。
你的机器学习和人工智能模型的性能只会和你的数据一样好。数据注释工具可以帮助管理质量控制(QC)和验证过程。理想情况下，该工具将在注释过程本身内嵌入QC。
例如，注释期间的实时反馈和初始问题跟踪是很重要的。此外，工作流过程，如标签共识，可能被支持。许多工具将提供质量仪表板，以帮助管理人员查看和跟踪质量问题，并将QC任务分配给核心注释团队或专门的QC团队。
每一个数据注释工具都是为人类所用的——即使是那些可能具有基于人工智能的自动化功能的工具。如前所述，您仍然需要人工处理异常和质量保证。因此，领先的工具将提供劳动力管理能力，如任务分配和生产力分析，测量花费在每个任务或子任务上的时间。
您的数据标签劳动力供应商可能会带来他们自己的技术来分析与质量工作相关的数据。他们可能会使用网络摄像头、截图、非活动计时器和点击流数据等技术来确定如何支持工作人员提供高质量的数据注释。
最重要的是，您的员工必须能够使用并学习您计划使用的工具。此外，您的劳动力提供者应该能够监视工人的性能和工作质量和准确性．如果它们为您提供直接的可见性(例如仪表板视图)，以了解外包劳动力的生产力和所执行工作的质量，那就更好了。
是否注释敏感受保护的个人信息（PPI）或您自己有价值的知识产权（IP），您希望确保您的数据保持安全。工具应将注释器的查看权限制为未分配给她的数据，并防止数据下载。根据工具的部署方式，通过云或内部部署，数据注释工具可以提供安全的文件访问（例如，VPN）。
对于在法188金宝搏亚洲官网规遵从需求下降的用例，许多工具也将记录的注解的详情，如日期，时间，和注释作者的记录。不过，如果你遵守HIPAA，SOC 1，SOC 2，PCI DSS，或者SSAE 16个法规，重要的是要仔细评估你的数据标注工具伙伴是否可以帮助您保持合规性。
正如前面提到的，每个工具都需要一个人工劳动力来注释数据，数据注释的人员和技术元素同样重要。因此，许多数据注释工具提供者提供了一个劳动力网络来将注释作为服务提供。工具提供者要么招募工作人员，要么通过与工作人员提供者的合作关系提供对他们的访问。
虽然这个功能使得为方便起见，任何员工的技能和能力，应分别从工具本身的能力评估。这里的关键是，任何数据注释工具应提供使用的工具供应商的员工或您选择的劳动力的灵活性，比如一组员工或一支技术精湛，专业管理的数据注解的球队。
就在几年前，还没有多少数据注释工具可供购买。如果他们想要应用人工智能来解决一个痛苦的商业问题或创造一个颠覆性的产品，大多数先行者必须使用开源软件或构建自己的工具。
在约2018起，商业数据注释工具一波面世，提供全功能，完整的工作流商业工具对数据标注。这些第三方的出现，专业开发工具开始发力，数据科学和人工智能项目团队内的讨论围绕是否继续采取DIY的方法，并建立自己的工具，或购买一个。如果答案是购买数据注释工具，他们仍然需要决定如何选择适合其项目的工具。
即使有第三方工具可以购买，构建数据注释工具仍然具有商业意义。构建自己的工具为您提供了最终级别的控制——从注释过程的端到端工作流，到您可以标记的数据类型和结果输出。
并且，随着您继续迭代您的业务流程和计算机学习模型，您可以使用自己的开发人员快速更改并设置自己的优先级。您还可以应用技术控制，以满足您公司的独特安全要求。最后，组织可能希望在知识产权中包含所有的AI工具，并在内部构建数据注释工具允许它们执行此操作。
然而，当您构建一个工具时，在开始时您经常会面临许多未知因素，并且工具需求的范围可能会迅速地变化和发展，从而导致团队浪费时间。另外，还需要支持开发和运行工具所需的基础设施，以及维护数据注释工具所需的开发资源。
一般来说，购买商业上可用的工具可能更便宜，因为您避免了前期开发和持续的直接支持费用。这可以让你把时间和资源集中在你的核心项目上:
购买现有的数据注释工具可以加快项目进度，使您能够更快地开始使用企业级的、经过测试的数据标记工具。此外，工具供应商与许多不同的客户合作，可以将行业最佳实践整合到他们的数据注释工具中。最后，谈到特性时，您通常可以配置一个商业工具来满足您的需求，而且任何数据注释工作负载都可以使用多种这类工具。
当然，第三方数据注释工具通常不会考虑到您的特定用例或工作流，因此您可能会牺牲一些控制和定制级别。随着项目或产品的发展，您可能会发现数据注释工具需求随着时间而变化。如果您最初购买的工具不支持您的新需求，您将需要构建或购买集成或单独的工具来满足您的新需求。
| 构建 | 买 | |
| 优点 |
|
|
| 缺点 |
|
|
有开放源码的数据注释工具可用。您可以使用开源工具并自己支持它，或者使用它来启动自己的构建工作。有许多与图像、视频、自然语言处理和转录相关的工具开源项目，对于一次性项目来说，这样的工具是一个很好的选择。
但是，当您尝试将项目扩展到生产时，通常，开源工具通常会呈现挑战，因为这些工具通常围绕单个用户设计，为数据贴标程序团队提供差或工作流选项不足或不足。此外，您需要手头进行技术专长来部署和维护该工具。许多人被开源“自由”所诱惑，忘记了制定工作流，劳动力管理和质量保证管理所需的时间和费用，这些时间和费用在商业数据注释工具中所需的工作流程。
观察构建与购买问题的另一种有用方法是考虑组织增长的阶段。
在构建VS购买方程中有很多需要考虑。如果在考虑所有因素之后，您得出结论，时间和费用不值得DIY方法以及定制和保留IP的潜在收益，然后是您需要做的下一个决定是关于您选择购买的商业工具．在本节中，我们将探讨其中一些考虑因素。
首先，数据的类型要注释和做的工作会影响你的工具选择您的业务流程。有用于标记文本，图像和视频工具。一些图像标记工具还具有视频标签功能。
值得注意的是，越来越多的数据注释工具提供商正在实现他们想要做的更多提供单数工具 - 他们希望为机器学习提供数据注释提供整体技术平台。简单的数据注释工具提供了使其轻松丰富数据的功能。平台提供了一个支持数据注释和AI开发过程的环境。
一个平台可能包括多个注释选项(如2d、3d、音频、文本)、多个存储选项(如本地、网络、云)或质量控制工作流等功能。它还可以接受预先标注的数据，或者包括嵌入的神经网络，这些神经网络可以从使用该平台的手工标注中学习。如果您预期您的项目或产品需求会随着时间的推移发生重大变化，那么考虑平台可能会有帮助，因为平台可能在未来提供更大的灵活性。
如何度量和控制质量也是数据注释工具的一个重要考虑因素。许多商业可用的工具都具有内置的质量控制(QC)特性，可以审查、提供反馈和纠正任务。例如，QC选项可能包括:
有些工具甚至可以使部分QC工作自动化。然而，无论何时，当您使用自动化部分数据标签过程时，您将需要有人对该工作执行QC。例如，光学字符识别(OCR)软件的错误率为每个字符1%到3%。一页1800个字符，有18-54个错误。对于一本300页的书来说，那就是5400到16200个错误。您将需要一个包括QC层的流程，该层由具有上下文和领域专业知识的熟练标签人员执行。
工具选择的经常被忽视的方面是劳动力。无论您的数据是由员工或承包商，众包或外包提供商注释的，您的劳动力都需要访问和培训来使用您的数据注释工具，具体的任务指令与您的用例是唯一的。确保您考虑到这些问题的答案：
您购买数据注释工具的公司可以与工具本身一样重要。在这里，您将想考虑与提供工具的公司和他们的开放性的公司进行业务是多么容易。AI开发是一个迭代过程，您需要在路上进行更改。他们是否愿意考虑对其工具的新功能的反馈或想法，这将使您的任务更轻松或使您的AI型号运行清洁和更好的结果？旨在找到一个愿意与您合作的合作伙伴，而不仅仅是供应商提供工具。
在研究劳动力选项时，您可能会发现一些数据标签服务提供了它们自己的工具。但是，要注意不要将工具与劳动力不必要地绑定在一起。您将希望根据您的业务需求和可用的解决方案，灵活地更改您的劳动力或工具，特别是在出现新的工具和劳动力选项时。数据标签服务应该能够提供最佳实践，并根据他们的劳动力策略分享选择工具的建议。
另外，请记住，您的注释任务可能会随着时间的推移而变化。每个机器学习建模任务都是不同的。您今天用来收集、清理和注释数据的指令集可能在未来几周甚至几天内发生变化。预测这些变化是有帮助的，当您决定选择数据注释工具以及使用它来标记数据的人员时，您将希望考虑到这些变化。
以下是我们认为目前市场上最好的一些数据注释工具。
商业上可行的数据注释工具都可能您的最佳选择，特别是如果你的公司是处于成长或企业的阶段。如果你在运行规模，并希望维持一段时间的增长，你可以得到市售的工具，并用自己的一些发展的资源对其进行自定义。
一定要创建长期的流程和堆栈集成，以满足您在安全性和灵活性方面的需求，以便随着时间的推移进行更改。
| 商用数据标注工具 | 注释支持 | 部署模型 | ||||||||
| 计算机视觉 | NLP | |||||||||
| 2D | 3 d | 视频 | 音频 | 转录 | 文本 | 转录 | 内部部署 | 容器 | SaaS | |
| Annotell | ||||||||||
| DataLop AI. | ||||||||||
| Datasaur人工智能 | ||||||||||
| 深化AI. | ||||||||||
| 匆忙的 | ||||||||||
| Hivemind | ||||||||||
| LightTag | ||||||||||
| UnderstandAI | ||||||||||
| V7实验室达尔文 | 容积 | |||||||||
开源数据注释工具允许您使用或修改源代码。您可以更改或自定义特性以满足您的需要。使用开放源码工具的开发人员是协作用户社区的一部分，他们可以共享用例、最佳实践和通过修改原始源代码而获得的特性改进。188金宝搏亚洲官网
开源工具可以让您更好地控制特性和集成。随着任务和数据操作的发展，它们还可以提供更多的灵活性。但是，请记住，构建自己的工具是一项承诺。随着时间的推移，你将不得不投入资金来维护平台，这可能是非常昂贵的。
开源数据注释工具在规模化和生产方面可能会遇到一些障碍。例如，它们通常是为单个用户构建的。他们有时有糟糕的工作流程或劳动力管理。对于那些开发人员希望确保工具是其知识产权(IP)的一部分的一次性项目或系统，开源尤其有用。
自动驾驶汽车系统通常使用开源数据注释工具。原因之一是，自动驾驶汽车特别依赖高质量的数据注释和定制的安全功能，以确保自动驾驶汽车和道路上其他车辆的乘客安全。例如，使用开源工具使开发人员能够定制他们的工具的数据注释精度阈值和安全特性。
有许多可用的开源数据注释工具，其中许多已经使用了多年，随着时间的推移有所改善。下面是一些我们已经与在CloudFactory工作注释数据的机器学习和核心业务数据的项目，我们建议他们给我们的客户。
| 开源数据注释工具 | 注释支持 | 部署模型 | 主要特点 | ||||||
| 二维 | 视频 | 音频 | 文本 | 内部部署 | 容器 | 超文本标记语言 | 其他 | ||
| CVAT. |
|
||||||||
| 斐济 | 编译 | ||||||||
| Labellmg |
|
||||||||
| 标签梅 |
|
||||||||
| VoTT | . exe, dmg .snap | ||||||||
| VGG牛津大学 |
|
||||||||
免费软件数据注释工具可以免费下载、安装、使用和共享。与开源数据注释工具类似，免费软件得到了使用它的群体的改进。当您拥有开发资源，并且希望构建自己的数据注释工具时，它是一个很有帮助的选择。这里有一个工具，我们推荐给喜欢使用免费软件的客户。
| 免费数据注释工具 | 注释支持 | 部署模型 | 主要特点 | |||||
| 计算机视觉 | NLP | |||||||
| 二维 | 三维 | 音频 | 视频 | 文本 | 转录 | 编译 | ||
| Colabeler |
|
|||||||
您将在整个产品开发生命周期中发现购买与构建的含义。从数据来源到标签、建模、部署和改进——您的数据注释工具在项目的成功中扮演着关键的角色。这就是为什么您的工具选择是如此重要——因为它影响您的工作流，从模型开发的开始阶段，到模型测试阶段，再到生产阶段。
拥有市场规模价值31620万美元2018年，随着数据注释工具在汽车、零售和医疗保健行业的应用增加，数据注释工具将得到扩展。随着新选项的出现，您可能需要考虑哪些选项是可用的。
在培训、测试和验证模型时——甚至在生产中调优模型时，数据注释需求可能会发生变化。随着您的用例、任务和业务规则的发展，为您的第一个目的构建的工具可能不会在将来很好地为您服务。这就是为什么要避免与单一工具或劳动力供应商签订长期合同——或者将工具与劳动力捆绑在一起。
以下是你可能要在项目期间改变你的工具，原因有几个例子：
当您在培训或生产中间更改数据注释工具时，您可能会提出与您购买新项目的工具的同样的问题。但是，会考虑有关将数据传输到新工具中并恢复新工具中的数据注释。
例如，你必须预测和管理与以下相关的细节:
虽然我们知道在使用数据注释工具时保持灵活性很重要，但我们还不知道一种工具能满足您的需求多长时间，以及在再次评估您的选项之前需要等待多长时间。数据注释工具的生态系统正在聚集力量，那些最先将其数据注释工具货币化的团队也刚刚开始与最早的采用者续约。
这是我们关注的市场的一个方面，因此我们可以为我们的客户提供卓越的咨询服务，并确保他们使用最适合自己需求的工具。
当您与数据注释工具提供者交谈时，请记住以下问题:
虽然上面建议的具体工具是一个很好的开始，但最好避免对任何单一平台进行数据注释需求的依赖性。毕竟，没有两个数据集呈现完全相同的挑战，而且没有特别的工具将是所有情况中的最佳选择。因为培训数据挑战是独特的，并且在自然界中是独特的，并且将员工绑在一个工具中可能是一个战略责任。
为了更灵活地标记文本、图像和视频，您需要开发一个能够适应新工具的多功能团队。在CloudFactory，对通用性的强调指导着我们如何选择和培训云工作人员。我们雇佣有技能的团队成员在客户喜欢的任何平台上工作。无论您使用的工具或您需要的培训数据类型，我们都有工人准备就绪，能够开始工作。
数据注释工具及其特性的成熟度将影响您和数据工作人员如何设计工作流、质量控制以及数据工作的许多其他方面。如果一个工具不考虑您的劳动力和流程，那么在为您希望在该工具中本地的东西构建工作区时，将会花费您的时间和效率。
CloudFactory提供人员和流程，我们了解数据注释，因为我们在过去十年的大部分时间里一直在做数据注释，为我们的客户远程工作。我们的数据注释团队经过审查、培训和积极管理，以交付更高的参与性、问责性和质量。
准备好选择正确的数据注释工具了吗?找出我们如何帮助您节省时间和金钱。
审稿人员
安东尼Scalabrino的销售工程师CloudFactory.，为机器学习提供专业管理的数据注释团队。
尼尔Buschi的联合创始人兼首席商务官DataLop AI.的企业级数据平台，用于AI系统的开发和生产，提供端到端的数据工作流，包括数据注释、质量控制、数据管理、自动化管道和autoML。