[论文笔记] Task search in a human computation market (HCOMP, 2010)
Time: 1.6 hours
Timespan: June 15, 2012
Lydia B. Chilton, John J. Horton, Robert C. Miller, and Shiri Azenkot. 2010. Task search in a human computation market. In Proceedings of the ACM SIGKDD Workshop on Human Computation (HCOMP '10). ACM, New York, NY, USA, 1-9.
作者Lydia B. Chilton是华盛顿大学的博士生,这哥们2002年-2009年在MIT读了三个学位(横跨Economics、EECS),他还想读一个数学的,但是MIT不允许选择第三专业。另外值得一提的:他是Follow the Crowd (一个收集众包领域学术信息的博客)的发起人之一。
这篇论文以mTurk为例,研究了用户如何在human computation市场上搜索任务(另有一篇文章也是讨论这个问题:Task Matching in Crowdsourcing),使用了两种研究方法:
- HIT disappearance rates(HIT消失率):mTurk上可以根据多种属性对HIT进行排序(如Title、Creation Date、HITs Available等)(S3),那么哪一种属性的排序是常用的呢?作者通过不断、高频获取按照各种属性排名的列表,并比较返回的列表中HIT的变化速率(即“HIT消失率”),来得知何种属性是常用的。(S4)
- survey:在mTurk上向200多个用户进行调查。(S5)
使用方法1存在一些问题:比如对于某些任务(比如调查),对于每个用户来说,这个任务的HIT数量只有1个,并且用户不完成这个任务,则该任务会一直存在。方法1不针对此种类型任务。另外作者假设用户主要通过mTurks的搜索界面来进行搜索(S3)。
得到的一些结论:
- 两种方法均支持:用户倾向于使用 "sort by newest HITs"。
- 方法1显示:用户也常用"sort by newest HITs",且主要关注前两页的结果,但是HITs在页面上的位置不重要。
对于本文使用的两种方法的技术细节,可以读文中S4、S5,本次没有全文精读。