从劳动力的角度，我们有四种衡量数据标注质量的方法：
黄金标准- 任务有正确答案。根据正确和不正确的任务衡量质量。
样本审查- 选择已完成任务的随机样本。更有经验的工作人员（例如团队负责人或项目经理）会检查样本的准确性。
共识——指派几个人做同样的任务，正确的答案是大多数贴标者给出的答案。
联合相交 (IoU) - 这是一种常用于图像中对象检测的共识模型。它结合了人员和自动化，将手动标记的真实图像的边界框与模型中预测的边界框进行比较。