在监督或半监督机器学习中，为您希望计算机学习系统学会识别的功能标记，标记或处理注释数据。注释数据的示例是来自自主车辆的传感器数据，其中数据已经丰富地展示了有行人和其他车辆的位置。
如果：
在机器学习中,数据注释是标记数据以显示你希望机器学习模型预测的结果的过程。您正在标记—标记、标记、转录或处理—具有您希望机器学习系统学习识别的特征的数据集。一旦您的模型被部署，您希望它能够自己识别这些特性，并做出决定或采取一些行动。
注释数据显示将培训算法的功能，以识别尚未注释的数据中的相同功能。数据注释用于监督学习和混合动力，或半监督机器学习模型，涉及监督学习。
数据标注工具是一种基于云的、内部的或容器化的软件解决方案，可用于标注用于机器学习的生产级培训数据。虽然有些组织采取自己动手的方法并构建自己的工具，但仍有许多数据注释工具可以通过开源或免费软件获得。
他们也提供商业租赁和购买。数据注释工具通常设计用于特定类型的数据，如图像、视频、文本、音频、电子表格或传感器数据。它们还提供了不同的部署模型，包括内部部署、容器、SaaS(云)和Kubernetes。
注释开始和结束时都采用了一种全面的方式来管理您计划注释的数据集。作为您工作流程的一个关键部分，您需要确保您正在考虑的工具将实际导入并支持您需要标记的大量数据和文件类型。这包括搜索、过滤、排序、克隆和合并数据集。
不同的工具可以以不同方式保存注释输出，因此您需要确保该工具将满足您的团队的输出要求。最后，您的注释数据必须在某处存储。大多数工具将支持本地和网络存储，但云存储 - 尤其是您首选的云供应商 - 可以击中或错过，因此确认支持文件存储目标。
这显然是数据注释工具的核心特征 - 将标签应用于数据的方法和功能。但并非所有工具都在这方面创建平等。许多工具狭义优化，专注于特定类型的标签，而其他工具则提供广泛的工具，以实现各种类型的用例。188金宝搏亚洲官网
几乎所有文件都提供某种类型的数据或文档分类，以指导您如何识别和排序数据。根据你目前和预期的未来需求，你可能希望专注于专家或使用更通用的平台。数据注释工具提供的注释功能的常见类型包括构建和管理本体或指南，如标签映射、类、属性和特定的注释类型。
以下只是几个例子：
许多数据注释工具中正在出现的一个特性是自动化自动标签．使用人工智能，许多工具将帮助您的人工标签改进他们的注释(例如，自动转换四点边界框为多边形)，甚至自动注释您的数据无需人工接触。此外，一些工具可以从人工注释者的操作中学习，以提高自动标注的准确性。
一些注释任务是自动化的成熟。例如，如果使用预注释来标记图像，则数据贴标程序团队可以确定是否调整或删除边界框。这可以刮掉时间为需要在像素级分段中注释的图像的团队的过程。尽管如此，将始终存在异常，边缘案例和具有自动注释的错误，因此包括对质量控制和异常处理的循环方法至关重要。
自动化还可以指运行自动化的开发人员界面的可用性。也就是说，一个应用程序编程接口（API）和软件开发工具包（SDK），允许访问数据和与数据交互。
你的机器学习和人工智能模型的性能只会和你的数据一样好。数据注释工具可以帮助管理质量控制(QC)和验证过程。理想情况下，该工具将在注释过程本身内嵌入QC。
例如，注释期间的实时反馈和初始问题跟踪是很重要的。此外，工作流过程，如标签共识，可能被支持。许多工具将提供质量仪表板，以帮助管理人员查看和跟踪质量问题，并将QC任务分配给核心注释团队或专门的QC团队。
每个数据注释工具都是由人类劳动力使用 - 甚至可以使用基于AI的自动化功能的那些工具。您仍然需要人类来处理以前所指出的例外和质量保证。因此，领先的工具将提供员工管理功能，例如在每个任务或子任务上花费的任务分配和生产力分析。
您的数据标签劳动力供应商可能会带来他们自己的技术来分析与质量工作相关的数据。他们可能会使用网络摄像头、截图、非活动计时器和点击流数据等技术来确定如何支持工作人员提供高质量的数据注释。
最重要的是，您的员工必须能够使用并学习您计划使用的工具。此外，您的劳动力提供者应该能够监视工人的性能和工作质量和准确性．如果它们为您提供直接的可见性(例如仪表板视图)，以了解外包劳动力的生产力和所执行工作的质量，那就更好了。
无论是标注敏感的受保护个人信息(PPI)还是您自己的有价值的知识产权(IP)，您都希望确保您的数据保持安全。工具应该限制注释者对未分配给她的数据的查看权限，并防止数据下载。根据工具的部署方式(通过云或内部部署)，数据注释工具可能提供安全的文件访问(例如，VPN)。
对于涉及188金宝搏亚洲官网法规合规性要求的使用情况，许多工具还将记录注释详细信息的记录，例如日期，时间和注释作者。但是，如果您受到HIPAA，SOC 1，SOC 2，PCI DSS或SSAE 16规定，则仔细评估您的数据注释工具合作伙伴是否可以帮助您维护合规性。
正如前面提到的，每个工具都需要一个人工劳动力来注释数据，数据注释的人员和技术元素同样重要。因此，许多数据注释工具提供者提供了一个劳动力网络来将注释作为服务提供。工具提供者要么招募工作人员，要么通过与工作人员提供者的合作关系提供对他们的访问。
虽然此功能为方便起见，但应与工具能力本身分开进行评估任何员工技能和能力。这里的关键是任何数据注释工具都应提供使用工具供应商的员工或您选择的员工的灵活性，例如一组员工或熟练的专业托管数据注释团队。
就在几年前，还没有多少数据注释工具可供购买。如果他们想要应用人工智能来解决一个痛苦的商业问题或创造一个颠覆性的产品，大多数先行者必须使用开源软件或构建自己的工具。
从大约2018年开始，可以提供一系列商业数据注释工具，为数据标签提供全功能，完整的工作流程商业工具。这些第三方的出现，专业开发的工具开始强制在数据科学和AI项目团队中讨论是否继续采取DIY方法并建立自己的工具或购买一个。如果答案是购买数据注释工具，它们仍然需要决定如何为其项目选择合适的工具。
即使有第三方工具可以购买，构建数据注释工具仍然具有商业意义。构建自己的工具为您提供了最终级别的控制——从注释过程的端到端工作流，到您可以标记的数据类型和结果输出。
而且，当您继续迭代您的业务流程和机器学习模型时，您可以使用自己的开发人员并设置自己的优先级，快速做出更改。您还可以应用技术控制来满足您公司独特的安全要求。最后，一个组织可能想要将他们所有的人工智能工具包含在他们的知识产权中，并且在内部构建一个数据注释工具允许他们这样做。
然而，当您构建一个工具时，在开始时您经常会面临许多未知因素，并且工具需求的范围可能会迅速地变化和发展，从而导致团队浪费时间。另外，还需要支持开发和运行工具所需的基础设施，以及维护数据注释工具所需的开发资源。
一般来说，购买商业上可用的工具可能更便宜，因为您避免了前期开发和持续的直接支持费用。这可以让你把时间和资源集中在你的核心项目上:
购买现有的数据注释工具可以加快项目进度，使您能够更快地开始使用企业级的、经过测试的数据标记工具。此外，工具供应商与许多不同的客户合作，可以将行业最佳实践整合到他们的数据注释工具中。最后，谈到特性时，您通常可以配置一个商业工具来满足您的需求，而且任何数据注释工作负载都可以使用多种这类工具。
当然，第三方数据注释工具通常不会考虑到您的特定用例或工作流，因此您可能会牺牲一些控制和定制级别。随着项目或产品的发展，您可能会发现数据注释工具需求随着时间而变化。如果您最初购买的工具不支持您的新需求，您将需要构建或购买集成或单独的工具来满足您的新需求。
| 构建 | 买 | |
| 优点 |
|
|
| cons |
|
|
有开放源码的数据注释工具可用。您可以使用开源工具并自己支持它，或者使用它来启动自己的构建工作。有许多与图像、视频、自然语言处理和转录相关的工具开源项目，对于一次性项目来说，这样的工具是一个很好的选择。
但是，当您试图将项目扩展到生产环境时，开源工具通常会带来挑战，因为这些工具通常是围绕单个用户设计的，并且为数据标签团队提供较差或不足的工作流选项。此外，您需要掌握部署和维护该工具的技术专业知识。许多人被开源的“免费”所吸引，忘记了考虑总体拥有成本——开发工作流、劳动力管理和质量保证管理所需的时间和费用，这些都是商业数据注释工具所必需和固有的。
查看构建与买问题的另一种有用的方法是考虑您的组织增长阶段。
在构建和购买的方程式中有很多东西需要考虑。如果在考虑了所有的因素后，你得出结论认为，时间和费用不值得自己动手，也不值得定制和保留IP，那么你需要做的下一个决定就是选择购买哪种商业工具。在本节中，我们将探讨其中的一些注意事项。
首先，您要注释的数据类型以及您的工作流程的业务流程将影响您的工具选择。有标签文本，图像和视频的工具。某些图像标签工具还具有视频标签功能。
值得注意的是，越来越多的数据注释工具提供商意识到他们想要做的不仅仅是提供一个单一的工具——他们想要为机器学习的数据注释提供一个整体的技术平台。一个简单的数据注释工具提供了一些功能，可以方便地丰富数据。平台提供了一个支持数据注释和AI开发过程的环境。
一个平台可能包括多个注释选项(如2d、3d、音频、文本)、多个存储选项(如本地、网络、云)或质量控制工作流等功能。它还可以接受预先标注的数据，或者包括嵌入的神经网络，这些神经网络可以从使用该平台的手工标注中学习。如果您预期您的项目或产品需求会随着时间的推移发生重大变化，那么考虑平台可能会有帮助，因为平台可能在未来提供更大的灵活性。
您如何测量和控制质量也是您的数据注释工具的重要考虑因素。许多商业可用的工具具有内置的质量控制（QC）功能，可以查看，提供反馈和正确的任务。例如，QC选项可能包括：
有些工具甚至可以使部分QC工作自动化。然而，无论何时，当您使用自动化部分数据标签过程时，您将需要有人对该工作执行QC。例如，光学字符识别(OCR)软件的错误率为每个字符1%到3%。一页1800个字符，有18-54个错误。对于一本300页的书来说，那就是5400到16200个错误。您将需要一个包括QC层的流程，该层由具有上下文和领域专业知识的熟练标签人员执行。
工具选择的一个经常被忽视的方面是劳动力。无论您的数据是由员工或承包商、众包或外包供应商注释的，您的员工都需要访问和培训来使用您的数据注释工具，并根据您的用例提供特定的任务说明。确保你考虑了以下问题的答案:
你购买数据注释工具的公司可能和工具本身一样重要。在这里，您将想要考虑与提供该工具的公司做生意有多容易，以及他们对协作的开放性。AI开发是一个迭代的过程，你需要在这个过程中做出改变。他们是否愿意考虑关于他们的工具的新功能的反馈或想法，以使你的任务更容易，或使你的AI模型运行更干净和更好的结果?目标是找到一个愿意在这些事情上与你合作的伙伴，而不仅仅是一个提供工具的供应商。
在研究劳动力选项时，您可能会发现一些数据标签服务提供了它们自己的工具。但是，要注意不要将工具与劳动力不必要地绑定在一起。您将希望根据您的业务需求和可用的解决方案，灵活地更改您的劳动力或工具，特别是在出现新的工具和劳动力选项时。数据标签服务应该能够提供最佳实践，并根据他们的劳动力策略分享选择工具的建议。
另外，请记住，您的注释任务可能会随着时间的推移而变化。每个机器学习建模任务都是不同的。您今天用来收集、清理和注释数据的指令集可能在未来几周甚至几天内发生变化。预测这些变化是有帮助的，当您决定选择数据注释工具以及使用它来标记数据的人员时，您将希望考虑到这些变化。
以下是我们认为目前市场上最好的一些数据注释工具。
商业可行数据注释工具可能是您的最佳选择，特别是如果您的公司处于增长或企业阶段。如果您以规模运营并希望随着时间的推移维持这种增长，则可以获得商业上可用的工具并根据自己的开发资源自定义它们。
一定要创建长期的流程和堆栈集成，以满足您在安全性和灵活性方面的需求，以便随着时间的推移进行更改。
| 商用数据标注工具 | 注释支持 | 部署模型 | ||||||||
| 计算机视觉 | NLP. | |||||||||
| 2D | 3 d | 视频 | 音频 | 转录 | 文本 | 转录 | 前提条件 | 容器 | 萨斯 | |
| Annotell | ||||||||||
| Dataloop人工智能 | ||||||||||
| Datasaur人工智能 | ||||||||||
| 深化人工智能 | ||||||||||
| 匆忙的 | ||||||||||
| 蜂群思维 | ||||||||||
| Lighttag. | ||||||||||
| UnderstandAI | ||||||||||
| V7实验室达尔文 | 体积 | |||||||||
开源数据注释工具允许您使用或修改源代码。您可以更改或自定义特性以满足您的需要。使用开放源码工具的开发人员是协作用户社区的一部分，他们可以共享用例、最佳实践和通过修改原始源代码而获得的特性改进。188金宝搏亚洲官网
开源工具可以让您更好地控制特性和集成。随着任务和数据操作的发展，它们还可以提供更多的灵活性。但是，请记住，构建自己的工具是一项承诺。随着时间的推移，你将不得不投入资金来维护平台，这可能是非常昂贵的。
开源数据注释工具在规模化和生产方面可能会遇到一些障碍。例如，它们通常是为单个用户构建的。他们有时有糟糕的工作流程或劳动力管理。对于那些开发人员希望确保工具是其知识产权(IP)的一部分的一次性项目或系统，开源尤其有用。
自动车辆系统通常使用开源数据注释工具。其中一个原因是自动驾驶汽车依赖于特别高质量的数据注释和定制安全功能，以确保乘客在自动车辆和道路上的其他车辆中的安全性。例如，使用开源工具为开发人员提供自定义其工具数据注释精度阈值和安全功能的权力。
有许多开源数据注释工具可用，其中许多多年来已有多年并且随着时间的推移得到了改善。以下是我们在CloudFactory工作的一些，以向机器学习和核心业务数据项目提供注释数据，我们向客户推荐给客户。
| 开源数据注释工具 | 注释支持 | 部署模型 | 主要特点 | ||||||
| 二维 | 视频 | 音频 | 文本 | 前提条件 | 容器 | 超文本标记语言 | 其他 | ||
| CVAT |
|
||||||||
| 斐济 | 编译 | ||||||||
| Labellmg |
|
||||||||
| LabelMe |
|
||||||||
| 福科 | . exe, dmg .snap | ||||||||
| VGG牛津大学 |
|
||||||||
免费软件数据注释工具可以免费下载、安装、使用和共享。与开源数据注释工具类似，免费软件得到了使用它的群体的改进。当您拥有开发资源，并且希望构建自己的数据注释工具时，它是一个很有帮助的选择。这里有一个工具，我们推荐给喜欢使用免费软件的客户。
| 免费软件数据注释工具 | 注释支持 | 部署模型 | 主要特点 | |||||
| 计算机视觉 | NLP. | |||||||
| 二维 | 3-D. | 音频 | 视频 | 文本 | 转录 | 编译 | ||
| Colabeler. |
|
|||||||
您将在产品开发生命周期中发现在产品开发方面揭示Buck。从利用数据来标记，建模，部署和改进 - 您的数据注释工具在项目的成功中扮演关键作用。这就是为什么你的工具选择非常重要 - 因为它通过模型测试和生产来影响模型开发的开始阶段的工作流程。
有市场规模价值3.162亿美元2018年，随着数据注释工具在汽车、零售和医疗保健行业的应用增加，数据注释工具将得到扩展。随着新选项的出现，您可能需要考虑哪些选项是可用的。
在培训、测试和验证模型时——甚至在生产中调优模型时，数据注释需求可能会发生变化。随着您的用例、任务和业务规则的发展，为您的第一个目的构建的工具可能不会在将来很好地为您服务。这就是为什么要避免与单一工具或劳动力供应商签订长期合同——或者将工具与劳动力捆绑在一起。
以下是您可能希望在项目期间更改工具的一些原因示例：
当您在培训或生产过程中更改数据注释工具时，您可能会问与为新项目购买工具时相同的问题。但是，需要考虑将数据转换到新工具和恢复新工具中的数据注释的便利性。
例如，你必须预测和管理与以下相关的细节:
虽然我们知道在数据注释工具方面很灵活是很重要的，但我们还没有学习一个工具可以满足您的需求，并且在再次评估您的选项之前，您应该等待多长时间。数据注释工具生态系统只是收集Steam，以及第一支队伍中批准其数据注释工具的人才刚刚开始与最早的采用者续订合同。
这是我们关注的市场的一个方面，因此我们可以为我们的客户提供卓越的咨询服务，并确保他们使用最适合自己需求的工具。
当您与数据注释工具提供者交谈时，请记住以下问题:
尽管上面建议的特定工具是一个很好的起点，但是最好避免依赖任何一个平台来满足您的数据注释需求。毕竟，没有两个数据集会带来完全相同的挑战，也没有哪个特定的工具是在所有情况下的最佳选择。由于培训数据挑战在本质上是独特的和动态的，将您的劳动力绑定到一个工具可能是一个战略负债。
为了更灵活地标记文本、图像和视频，您需要开发一个能够适应新工具的多功能团队。在CloudFactory，对通用性的强调指导着我们如何选择和培训云工作人员。我们雇佣有技能的团队成员在客户喜欢的任何平台上工作。无论您使用的工具或您需要的培训数据类型，我们都有工人准备就绪，能够开始工作。
数据注释工具及其特性的成熟度将影响您和数据工作人员如何设计工作流、质量控制以及数据工作的许多其他方面。如果一个工具不考虑您的劳动力和流程，那么在为您希望在该工具中本地的东西构建工作区时，将会花费您的时间和效率。
CloudFactory提供人员和流程，我们了解数据注释，因为我们在过去十年的大部分时间里一直在做数据注释，为我们的客户远程工作。我们的数据注释团队经过审查、培训和积极管理，以交付更高的参与性、问责性和质量。
准备好选择正确的数据注释工具了吗?找出我们如何帮助您节省时间和金钱。
审稿人员
安东尼Scalabrino的销售工程师CloudFactory.，为机器学习提供专业管理的数据注释团队。
NIR BUSCHI.的联合创始人兼首席商务官Dataloop人工智能是一个在开发和生产中的AI系统的企业级数据平台，提供端到端数据工作流程，包括数据注释，质量控制，数据管理，自动化管道和自动化。