Competition-based User Expertise Score Estimation-20160520

1、Information

publication：sigir 2011

author:Jing Liu

Harbin Institute of Technology
Microsoft Research Asia

2、What

在CQA(community of question and answer)中衡量user 的experise score,给出了两种衡量模型：1, TrueSkill;  2, SVM Model

3、Dataset

NTCIR-8 CQA

数据地址：

arch.nii.ac.jp/ntcir/permission/ntcir-8/perm-en-CQA.html

4、How

input: for every q in Q, (a,b,S), S:all answer users except best answer user.

output:

Trueskill: user的experise score的平均值和偏差。

svm model: 对于每个user,跟其他user comparison pairs.

method：Trueskill, svm model

5、Evaluation: 

Trueskill,svm model都可以得到用户的ranking result.

baseline:BA: P1,MRR(第一结果匹配); GA:NDCG(1,3,20)

6、副实验：

1)BAR与人数的分布：short head，large media，short tail。

2)BAR 和回答问题数量的分布：是否受BA的激励，就会多回答问题。

3)选择用户（answer num>?）对于实验方法的影响。

4)不同方法下BAR和人数的分布

5)expertise score gap diffierence influence the correct ratio of prediction, the more diffierent, the more accurancy.

6、Conclusion

方法，模型，分析。