两篇将rf和boosting方法用在搜索排序上的paper
在网上看到关于排序学习的早期文章,这两篇文章大致都使用了Random Forest和Boosting方法。
一.paper
1.Web-Search Ranking with Initialized Gradient Boosted Regression Trees,2011
主要将Random Forests(RF)和Gradient Boosted Regression Trees(GBRT)做了一个sequence的combine.他们用RF得到了非常不错的效果,甚至比GBRT还要好。他们最后所用的方法是先用RF学习一个ranking function, 用这个ranking function的输出去初始化GBRT,做一个sequence 的combine, combine的结果要比他们单独的结果都要好。他们最后分析也认为,分类能比回归得到更好的效果,这个结论和[7]相同,很值得尝试。从他们的结果看,RF和GBRT的combine还是很有意义的,RF的一些优点在最后的model中都有体现,比如对parameter choice不敏感,不容易过拟合等。RF和GBRT的combine也解决了一个GBRT的缺点,因为GBRT是一个gradient boosting的方法,这一类方法存在一个trade-off, 就是step size和迭代轮数之间。如果要达到真正的global minimum, step size就必须很小,迭代轮数就必须增大,通过与RF的combine,对这个问题有所缓解,RF给了GBRT一个接近终点的start point, 这样即使step size比较小,也能比较快的结束迭代。
(1).rf
(2).gbrt
(3).使用rf初始化gbrt
2.Generalized BROOF-L2R: A General Framework for Learning to Rank Based on Boosting and Random Forests,2016
这篇文章的作者来自巴西的University Federal of Minas Gerais。文章的核心思想非常直观,就是要把Boosting和Random Forest(RF)结合起来做Learning to Rank。有这样想法的人过去也有不少,已经有了很多类似思路。这篇文章的思路是使用RF来做Weak Learner,然后用Boosting的想法把这些Weak Learner串起来。
当然,文章不是仅仅限于这么一个简单的思路,而是提出了一个叫BROOF的框架,很多算法的变种都可以在这个框架里实现。比如Weak Learner的Weight如何确定,是否选择使用Validation Set等,有兴趣的读者可以去看看文章的细节。
文章比较了提出的框架和很多知名算法的性能,比如AdaRank、LambdaRank、RankSVM等等。选用的数据集是LETOR 2003、2004和Yahoo Learning to Rank数据集。结果还是比较引人注目的,基本上在所有的数据集上,提出的算法性能不是最好,就是和最好的算法持平。
这篇文章的另外一个亮点是Related Work,对于Boosting或者RF在Learning to Rank里的应用有兴趣的读者,建议好好看看Related Work里的文献。
---------------------
原文:http://www.cnblogs.com/zjgtan/p/3652689.html
原文:https://blog.csdn.net/heyc861221/article/details/80127850