一周论文阅读20200519

  • LEARNING-TO-RANK WITH BERT IN TF-RANKING
    rank 任务 将query和doc一起送进bert得到cls的表征,以此为特征用TF-RANKING 框架进行rank
  • TF-Ranking: Scalable TensorFlow Library for Learning-to-Rank
    讲TF-Ranking这个learning to rank的框架,对rank进行了综述,这个框架主要用在计算量大的场景,是在tf架构上编写的,并且提供了Item Weighting功能用来解决“bias in learning-to rank”
  • ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
    看到有同事在训练这个模型,于是看了下这篇paper。这个模型跟bert差不多是一个预训练的语言模型,bert的mlm任务中有这么一步是按照一定的概率将一个词随机地换成另一个词。bert的这个替换是随机的,所以对后面的识别任务来说不算难。electra做的是让这个任务变得更难,作者训练了另一个小模型作为语言模型,用语言模型的输出概率采样进行单词的替换,然后后面的大模型再判断这个词是不是替换过。整个过程的gan的生成判别过程很像。由于有一个小的语言模型,所以被替换的词不至于错得很离谱,对于后面的判别模型来说任务难度较之前bert的更大,并且electra对每个单词都要做判断,综合这些因素electra的训练效率更高。同时我也在思考是否更难的任务一定意味着更好的结果?或许这种更“难”的任务可能等效于某种正则化,或等效于某种先验。
  • MRR vs MAP vs NDCG: Rank-Aware Evaluation Metrics And When To Use Them
    这篇博客非常有价值,讲了搜索和推荐中常用的排序指标。不仅讲了MRR、MAP 、NDCG的原理和实现,还讲了各个指标的优劣和使用场景。应该说指标是机器学习中的一个重要一环,深刻地理解这些指标非常重要
posted @ 2020-05-19 20:51  kangheng  阅读(130)  评论(0编辑  收藏  举报