大数据应用之个性化推荐的十大挑战

转载自：http://growinglive.blogbus.com/logs/211652541.html

个性化推荐很多人都知道，但其中不乏认识上的误区。有的人觉得个性化推荐就是细分市场和精准营销，实际上细分市场和精准营销往往是把潜在的用户分成很多群体，这固然相比基于全体的统计有了长足的进步，但是距离“给每一个用户量身定做的信息服务”还有很大的差距，所以，只能说个性化推荐是细分市场的极致！还有人觉得个性化推荐就等同于协同过滤，这可能是因为协同过滤应用比较广泛并且比较容易为大众理解，实际上协同过滤只是个性化推荐技术中的一个成员。它与很多技术相比，就好像流行歌曲和高雅音乐，前者广受欢迎，而且一般人也可以拿个麦克风吼两声，但是说到艺术高度，流行歌曲还是要差一些。所以，协同过滤只是个性化推荐技术中的一款轻武器，远远不等于个性化推荐技术本身。有些人认为个性化推荐技术的研究已经进入了很成熟的阶段，没有什么特别激动人心的问题和成果。恰恰相反，现在个性化推荐技术面临很大的挑战，这也是本文力图让大家认识的。

 

有些朋友可能不是很了解个性化推荐，我先推荐一些阅读的材料。中文的综述可以看我们2009年在《自然科学进展》上的综述[1]。这篇文章质量不能说很好，但是可以比较快得到很多信息，了解个性化推荐研究的概貌。有了这个基础，如果想要了解一个应用级别的算法和技术，我推荐项亮、陈义和王益合著的《推荐系统实践》。我们自己写过一本名为《个性化：商业的未来》的小册子[3]，应用场景和商业模式介绍得比较细致，技术上设计很少，附录里面介绍了一些主流算法和可能的缺陷，或许能够稍有启发。国外的专著建议关注最近出版的两本[4,5]，其中[4]实际上是很多文章的汇总，因为写这些文章的都是达人，所以质量不错。Adomavicius和Tuzhilin的大型综述特别有影响力，不仅系统回顾了推荐系统研究的全貌，还提出了一些有趣的开放性问题[6]。我个人不是很喜欢他们对于推荐系统的分类方法，但是我自己是看着这个综述入门的，所以感情很深。我们今年在《物理报导》上面有一篇大综述，应该是目前最全面的综述，所强调的不仅仅是算法，还有很多现象和思路[7]——大家有兴趣不妨踩踩。

 

    接下来进入正题！我将列出十个挑战（仅代表个人观点），其中有一些是很多年前就认识到但是没有得到解决的长期问题，有一些事实上不可能完全解决，只能提出改良方案，还有一些是最近的一些研究提出来的焦点问题。

 

挑战一：数据稀疏性问题。现在待处理的推荐系统规模越来越大，用户和商品（也包括其他物品，譬如音乐、网页、文献……）数目动辄百千万计，两个用户之间选择的重叠非常少。如果用用户和商品之间已有的选择关系占所有可能存在的选择关系的比例来衡量系统的稀疏性，那么我们平时研究最多的MovieLens数据集的稀疏度是4.5%，Netflix是1.2%，这些其实都是非常密的数据了，Bibsonomy是0.35%，Delicious是0.046%。想想淘宝上号称有8亿商品，平均而言一个用户能浏览800件吗，我估计不能，所以稀疏度应该在百万分之一或以下的量级。数据非常稀疏，使得绝大部分基于关联分析的算法（譬如协同过滤）效果都不好。这个问题本质上是无法完全克服的，为了解决这个问题，也有很多办法，譬如可以通过扩散的算法，从原来的一阶关联（两个用户有多少相似打分或者共同购买的商品）到二阶甚至更高阶的关联（假设关联性或者说相似性本身是可以传播的）[8]，也可以添加一些缺省的打分[9]，从而提高相似性的分辨率。数据规模越大，一般而言越稀疏，现在能够处理稀疏数据的算法被认为是更有前途的（譬如扩散[8]、迭代寻优[10]，转移相似性[11]等等）。

 

挑战二：冷启动问题。新用户因为罕有可以利用的行为信息，很难给出精确的推荐。反过来，新商品由于被选择次数很少，也难以找到合适的办法推荐给用户。一种办法是利用文本信息进行辅助推荐，或者通过注册以及询问得知一些用户的属性信息，譬如年龄、居住城市、受教育程度、性别、职业等等[12,13]。最近标签系统（tagging systems）的广泛应用提供了解决冷启动问题的可能方案[14]，因为标签既可以看作是商品内容的萃取，同时也反映了用户的个性化喜好——譬如对《桃姐》这部电影，有的人打上标签“伦理”，有的人打上标签“刘德华”，两个人看的电影一样，但是兴趣点可能不尽相同。当然，利用标签也只能是提高有少量行为的用户的推荐准确性，对于纯粹的冷启动用户，是没有帮助的，因为这些人还没有打过任何标签。有趣的是，最近的研究显示，新用户更容易选择特别流行的商品[15]——这无论如何是一个好消息，说明使用热销榜也能获得不错的结果。冷启动问题还可以通过多维数据的交叉推荐部分解决，其精确度和多样性又远胜于热销榜，这一点我们在后面会进一步介绍。

 

挑战三：大数据处理与增量计算问题。尽管数据很稀疏，大部分数据都拥有百千万计的用户和商品，因此，如何快速高效处理这些数据成为迫在眉睫的问题，而算法时间和空间的复杂性，尤其是前者，获得了空前重视。一个高效的算法，要么复杂性很低，要么能够很好并行化，要么两者兼具。局部扩散算法在这两个方面都具有明显优势[16]！另外一条可能的解决之道，是设计增量算法，也就是说当产生新用户，新商品以及新的连接关系时，算法的结果不需要在整个数据集上重新进行计算，而只需要考虑所增加节点和连边局部的信息，对原有的结果进行微扰，快速得到新结果[17]。一般而言，这种算法随着加入的信息量的增多，其误差会积累变大，最终每过一段时间还是需要利用全局数据重新进行计算。一个特别困难的挑战，使如何设计一种算法，能够保证其误差不会累积，也就是说其结果与利用全部数据重新计算的结果之间的差异不会单调上升。我们把这种算法叫做自适应算法，它是增量算法的一个加强版本[18]，其设计要求和难度更高。增量算法已经在业界有了应用，譬如百分点科技推荐引擎中的若干算法都采用了增量技术，使得用户每次新浏览收藏或者购买商品后其推荐列表立刻得到更新。当然，该引擎也只是部分算法实现了增量技术，更没有达到所有算法都能够自适应学习的程度，还有很长的路要走。

 

挑战四：多样性与精确性的两难困境。如果要给用户推荐他喜欢的商品，最“保险”的方式就是给他特别流行或者得分特别高的商品，因为这些商品有更大的可能性被喜欢（至少贝叶斯会这么想），往坏了说，也很难特别被讨厌。但是，这样的推荐产生的用户体验并不一定好，因为用户很可能已经知道这些热销流行的产品，所以得到的信息量很少，并且用户不会认同这是一种“个性化的”推荐。事实上，Mcnee等人已经警告大家，盲目崇拜精确性指标可能会伤害推荐系统——因为这样可能会导致用户得到一些信息量为0的“精准推荐”并且视野变得越来越狭窄[19]。让用户视野变得狭窄也是协同过滤算法存在的一个比较主要的缺陷。与此同时，应用个性化推荐技术的商家，也希望推荐中有更多的品类出现，从而激发用户新的购物需求。遗憾的是，推荐多样的商品和新颖的商品与推荐的精确性之间存在矛盾，因为前者风险很大——一个没什么人看过或者打分较低的东西推荐出手，很可能被用户憎恶，从而效果更差。很多时候，这是一个两难的问题，只能通过牺牲多样性来提高精确性，或者牺牲精确性来提高多样性。一种可行之策是直接对推荐列表进行处理，从而提升其多样性[20-22]。目前百分点推荐引擎所使用的方法也是类似的。这种方法固然在应用上是有效的，但是没有任何理论的基础和优美性可言，只能算一种野蛮而实用的招数。我们发现，通过精巧混合精确性高和多样性好的两种算法，可以同时提高算法的多样性和精确性，不需要牺牲任何一方[23]。遗憾的是，我们还没有办法就这个结果提供清晰的解读和深刻的见解。多样性和精确性之间错综复杂的关系和隐匿其后的竞争，到目前为止还是一个很棘手的难题。

 

挑战五：推荐系统的脆弱性问题。受推荐系统在电子商务领域重大的经济利益的驱动，一些心怀不轨的用户通过提供一些虚假恶意的行为，故意增加或者压制某些商品被推荐的可能性[24]。因此，一个算法能否在一定程度上保持对恶意攻击的鲁棒性，成为需要认真考虑的一个特征。以最简单的关联规则挖掘算法为例，Apriori算法的鲁棒性就远胜于k近邻算法[25]。有一些技术已经被设计出来提高推荐系统面对恶意攻击的鲁棒性，譬如通过分析对比真实用户和疑似恶意用户之间打分行为模式的差异，提前对恶意行为进行判断，从而阻止其进入系统或赋予疑似恶意用户比较低的影响力[26-28]。总体来说，这方面的研究相对较少，系统性的分析还很缺乏，反而是攻击策略层出不穷，有一种“道高一尺，魔高一丈”的感觉。仅Burke等人2011年的研究报告中就分析了4大种类8种不同的攻击策略[29]。

 

挑战六：用户行为模式的挖掘和利用。深入挖掘用户的行为模式有望提高推荐的效果或在更复杂的场景下进行推荐。譬如说，新用户和老用户具有很不一样的选择模式：一般而言，新用户倾向于选择热门的商品，而老用户对于小众商品关注更多[15]，新用户所选择的商品相似度更高，老用户所选择的商品多样性较高[30]。有些混合算法可以通过一个单参数调节推荐结果的多样性和热门程度[23]，在这种情况下就可以考虑为给不同用户赋予不同参数（从算法结果的个性化到算法本身的个性化），甚至允许用户自己移动一个滑钮调节这个参数——当用户想看热门的时候，算法提供热门推荐；当用户想找点很酷的产品时，算法也可以提供冷门推荐。用户行为的时空统计特性也可以用于提高推荐或者设计针对特定场景的应用。用户的选择可能同时蕴含了长期的兴趣和短期的兴趣，通过将这两种效应分离出来，可以明显提高推荐的精确度[31-33]。事实上，简单假设用户兴趣随时间按照指数递减，也能够得到改进的推荐效果[34,35]。利用手机上网现在已经越来越普及，与此同时，嵌入GPS的手机越来越多，因此，基于位置的服务成为一个受到学术界和业界广泛关注的问题。基于位置信息的推荐可能会成为个性化推荐的一个研究热点和重要的应用场景，而这个问题的解决需要能够对用户的移动模式有深入理解[36,37]（包括预测用户的移动轨迹和判断用户在当前位置是否有可能进行餐饮购物活动等），同时还要有定量的办法去定义用户之间以及地点之间的相似性[38,39]。另外，不同用户打分的模式也很不一样[40,41]，用户针对不同商品的行为模式也不一样[42,43]（想象你在网上下载一首歌和团购房子时的区别），这些都可以用来提高推荐的效果。

 

挑战七：推荐系统效果评估。推荐系统的概念提出已经有几十年了，但是怎么评价推荐系统，仍然是一个很大的问题。常见的评估指标可以分为四大类，分别是准确度、多样性、新颖性和覆盖率，每一类下辖很多不同的指标，譬如准确度指标又可以分为四大类，分别是预测评分准确度、预测评分关联、分类准确度、排序准确度四类。以分类准确度为例，又包括准确率、召回率、准确率提高率、召回率提高率、F1指标和AUC值。朱郁筱和吕琳媛总结了文献中曾经出现过的几乎所有的推荐系统指标[44]，这些指标都是基于数据本身的指标，可以认为是第一层次。实际上，在真实应用时，更为重要的是另外两个层次的评价，第二个层次是商业应用上的关键表现指标，譬如受推荐影响的转化率，购买率，客单价，购买品类数等等，第三个层次是用户真实的体验。绝大部分研究只针对第一个层次的评价指标，而业界真正感兴趣的是第二个层次的评价（譬如到底是哪个指标或者哪些指标组合的结果能够提高用户购买的客单价），而第三个层细最难，没人能知道，只能通过第二层面来估计。如何建立第一层面和第二层面指标之间的关系，就成为了关键，这一步打通了，理论和应用之间的屏障就通了一大半了。

 

挑战八：用户界面与用户体验。这个问题更多地不是一个学术性质的问题，而是真实应用的问题。十年前就有学者指出[45,46]，推荐结果的可解释性，对于用户体验有至关重要的影响——用户希望知道这个推荐是怎么来的。在这个意义上，协同过滤有明显的优势，譬如亚马逊基于商品的协同过滤在发送推荐的电子邮件时会告诉用户之所以向其推荐某书，是因为用户以前购买过某些书。相对地，矩阵分解或者集成学习算法就很难向用户解释推荐结果的起源。用户更喜欢来自自己朋友的推荐而不是系统的推荐，这一点在后面还会详细提到。另外，推荐列表往往含有很多项，这些推荐项最好能够区分成很多类别，不同类别往往来自于不同的推荐方法，譬如看过还看过（浏览过本商品的客户还浏览过的商品）、买过还买过（购买过本商品的客户还购买过的商品）、看过最终购买（浏览过本商品的客户最终购买的商品）、个性化热销榜（个性化流行品推荐）、猜你喜欢（个性化冷门商品推荐）等等。当然，如何更好呈现推荐，是一个很难建立理论模型和进行量化的问题，对于不同被推荐品而言，用户界面设计的准则也可能大不相同。建立一个可以进行A/B测试的系统，或可积累重要的实验数据。

 

挑战九：多维数据的交叉利用。目前网络科学研究一个广受关注的概念是具有相互作用的网络的结构和动力学。网络与网络之间的相互作用大体可以分成三类：一类是依存关系[47]，譬如电力网络和Internet，如果发生了大规模停电事故，当地的自主系统和路由器也会受到影响，导致网络局部中断；第二类是合作关系[48]，譬如人的一次出行，可以看作航空网络、铁路网络和公路网络的一次合作；第三类是交叠关系[49]，主要针对社会网络，这也是我们最关注的。我们几乎每一个人，都参与了不止一个大型的社会网络中，譬如你可能既有新浪微博的帐号，又是人人网的注册用户，还是用手机，那么你已经同时在三个巨大的社会网络中了。与此同时，你可能还经常在淘宝、京东、麦包包、1号店、库巴网……这些地方进行网购，那么你也是一张巨大的用户-商品二部分图中的一员。想象如果能够把这些网络数据整合起来，特别是知道每个节点身份的对应关系（不需要知道你真实身份，只需要知道不同网络中存在的一些节点是同一个人），其中有特别巨大的社会经济价值。举个例子，你可能已经在新浪微博上关注了很多数据挖掘达人的微博，并且分享了很多算法学习的心得和问题，当你第一次上当当网购书的时候，如果主页向你推荐数据挖掘的最新专著并附有折扣，你会心动吗？交叠社会关系中的数据挖掘，或称多维数据挖掘，是真正有望解决系统内部冷启动问题的终极法宝——只要用户在系统外部的其他系统有过活动。单纯从个性化商品推荐来讲，可以利用用户在其他电商的浏览购买历史为提高在目标电商推荐的精确度——当然，每一个电商既是付出者，也是获利者，总体而言，大家能够通过提高用户体验和点击深度实现共赢。与此同时，可以利用微博和其他社会网络的活动提高商品推荐的精度，还可以反过来利用商品浏览历史提高微博关注对象推荐的精度。给一个经常购买专业羽毛球和浏览各种专业羽毛球设备的用户推荐关注羽毛球的专业选手和业余教练成功率应该很高，而且不会陷入“总在一个圈子里面来回推荐”的毛病中。 从机器学习的角度，杨强等人提出的“迁移学习”算法有望移植来解决这种跨邻域的推荐[50]。我们分析了百分点科技服务客户的真实数据，发现有相当比例的用户都具有交叉购物的习惯（在多个独立B2C电商有浏览和购买行为）[51,52]。即便只考虑两个点上，例如利用麦包包的浏览购买数据为名鞋库的用户进行个性化推荐（这些用户在名鞋库上是没有任何历史记录的新用户，但是在麦包包上有浏览购买行为），就可以明显提高推荐的准确度[51]（比完全冷启动的随机推荐高数十倍），而如果利用3家或以上的外部电商的数据，其推荐的精确度可以明显高于热销榜（注意，热销榜一点个性化都没有），特别在团购类网站上表现非常好[52]。虽然针对多维数据挖掘的研究刚刚起步，但是我完全相信这在学术和应用上都将是一个焦点和难点。

 

挑战十：社会推荐。很早以前，研究人员就发现，用户更喜欢来自朋友的推荐而不是被系统“算出来的推荐”[53]。社会影响力被认为比历史行为的相似性更加重要[54,55]，例如通过社会关系的分析，可以大幅度提高从科研文献[56]到网购商品[57]推荐的精确度。来自朋友的社会推荐有两方面的效果：一是增加销售（含下载、阅读……）[58]，二是在销售后提高用户的评价[59]。社会推荐的效果也不完全是正面的，譬如Leskovec等人[58]在同一篇论文中也报导了一个反例：朋友推荐对书的销售增长几乎没有帮助，有时候还会起到负面作用。国内业界做得最出色的是豆瓣网，其朋友推荐被接受被高度评价的比例非常高，我们的研究也主要是基于豆瓣网的数据[59]。最近有证据显示，朋友推荐也是淘宝商品销售一个非常重要的驱动力量[60]。在社会推荐方向存在的挑战主要可以分为三类：一是如何利用社会关系提高推荐的精确度[55]，二是如何建立更好的机制以促进社会推荐[61,62]，三是如何将社会信任关系引入到推荐系统中[63,64]。社会推荐的效果可能来自于类似口碑传播的社会影响力，也可能是因为朋友之间本来就具有相似的兴趣或者兴趣相投更易成为朋友，对这些不同的潜在因素进行量化区别，也属学术研究的热点之一[65]。