文件名称：面向众包工人的基于质量的定价-研究论文
文件大小：1.57MB
文件格式：PDF
更新时间：2024-06-29 11:10:36
论文研究
在线付费众包平台的出现，例如 Amazon Mechanical Turk (AMT)，为我们提供了巨大的机会，可以按需和大规模地将任务分发给世界各地的员工。 在这样的环境中，在线工作者可以来完成公司发布的任务，工作时间长短随心所欲。 鉴于绝对的选择*，众包消除了招聘（和解雇）过程的开销。 然而，这种灵活性引入了一系列不同的低效率：验证每个提交工作的质量是一项昂贵的操作，通常需要与执行任务本身相同的努力水平。 在这种付费众包环境中出现了许多研究挑战。 我们如何确保提交的作品准确无误？ 我们如何评估工人的质量，以及提交结果的质量？ 我们应该如何支付质量不完美的在线员工？ 我们提出了一个管理众包流程质量的综合方案：首先，我们提出了一种算法来估计参与工人的质量，进而估计生成数据的质量。 我们展示了如何将系统性员工偏见与不可恢复的错误区分开来，以及如何生成可用于根据员工的表现客观地对员工进行排名的无偏见的“员工质量”衡量标准。 接下来，我们描述了一个定价方案，该方案确定工人的公平支付水平，根据每个工人提供的信息调整支付水平。 我们的定价政策根据工人的预期质量、保留工资和预期寿命支付工资，不仅估计了支付水平，而且还考虑了测量的不确定性，并允许工人获得公平的工资，即使存在暂时的错误估计的质量。 我们的实验结果表明，所提出的定价策略比普遍采用的统一定价策略表现更好。 我们通过描述建立在我们的质量控制和定价框架上的策略来结束本文，以构建越来越复杂的众包任务，同时仍然保持对流程的严格质量控制，即使我们允许未知质量的参与者加入流程。