随笔分类 - 个性化推荐系统
个性化推荐架构、实践点滴思考
摘要：推荐系统架构，推荐系统由品类平台，素材、特征召回平台、模型计算打分服务，排序服务构成。 将请求封装成QueryInfo对象，通过对象来向下完成一步步数据召回。首先是通过QueryInfo对象召回品类、分类信息。 前边有人问到是怎样实现通用化？好问题，当时答得不太好，现在梳理总结一下，分类平台通过配置
阅读全文
摘要：推荐系统核心任务是排序，从线上服务角度看，就是将数据从给定集合中数据选择出来，选出后根据一定规则策略方法 进行排序。 线上服务要根据一定规则进行架构设计，架构设计是什么？每一次权衡取舍都是设计，设计需要理解需求、深入理解需 求基础上做权衡取舍。复杂系统架构需要需求方与研发人员反复沟通探讨。这需要技术
阅读全文
摘要：作为一个毕业设计、或者作为一个兴趣，往大了说作为一个事业。推荐系统从0开始构建， 确实是有很多问题需要解决，推荐系统本身涉及UI交互、线上服务、数据计算、模型构建，课 程设计或毕业设计没有数据还需要进行数据抓取，确实有许许多多知识以及工作量就是花费很 多时间。 如果是真喜欢这个事，花费时间是很值得的
阅读全文
摘要：对于分布式系统这样一个复杂领域，首先要清楚其概念，才能从总体角度有个把握，才好深入 去不断了解。 google搜索引擎需要对海量数据进行离线实时计算，海量数据单机已经无法进行存储、计算。 单机不行那就用多台PC构成分布式来应对海量存储、海量计算，想法厉害结果人还实现了。 应对海量数据存储，海量数据计
阅读全文
摘要：个性化推荐系统由亚马逊电子商务公司、Netflix电影租赁公司，在线上业务大力使用推荐系统，并大力通过文章、竞赛形式宣传推荐系统。使得个性化推荐系统在电商领域及其受欢迎，并且个性化推荐技术应用到线上个频道，相比于运营配置产品数据，uv、pv、gmv点击转化、订单转化均是大涨个别业务接入个性化推荐系统
阅读全文
摘要：个性化推荐系统评价有两个重要指标，一个是召回率一个是准确率。召回率就是：召回率=提取正确信息条数/样本中信息条数。准确率就是：准确率=提取出正确信息条数/提取信息条数。召回率大小直接影响准确率，直接影响机器学习模型、深度学习模型线上效果。 模型实时计算第一步是模型上线，将spark、TensorFl
阅读全文
摘要：个性化推荐系统、搜索引擎、广告系统，这些系统都需要在线上不断上线，不断优化，优化之后怎么确定是好是坏。这时就需要ABTest来确定，最近想的办法、优化的算法、优化的逻辑数据是正向的，是有意义的，是提升数据效果的。 ab需求能方便测试，提供界面快速调整流量，调整流量后能够方便看效果变化，以及不同ab分
阅读全文
摘要：线上系统有些业务是每天几百篇增量数据个性化，或者是运营每天选定几百、几千个商品sku池子个性化，这种是比较好进行存储管理以及实现的。全站数据进行个性化，每个人相关数据一般就只有几个几十个多个上百个，这个量级数据还可以缓存存储，可以存下来的。 几亿sku全部存储，几十亿上百亿评论数据，这么大数据量怎样
阅读全文
摘要：今天已到10月下旬一年一度电商双11大促即将开始，是电子商务公司一年最大促销活动，是重中之重。对于线上服务来说，是一次流量大考，对研发来说是一次技术提升机会。做好应对高并发、大流量准备，是件必须要做必须做成的事情。 个性化推荐系统又与其他系统有着相似大流量考验，还有一些和其他业务系统差异地方。核心交
阅读全文
摘要：推荐系统怎样稳定高效提供服务，持续不断满足业务需求，持续不断面对技术挑战，是每一个服务端开发同学应该持续思考，和持续不断优化线上服务。 以前我们开发的程序更多的是网站，并且以单体服务形式构建，好处是整个程序一次构建，维护方便，但当公司发展后，组织机构变大，程序由多个人维护，单体程序维护成本高，难于修
阅读全文
摘要：个性化推荐是随着移动互联网发展不断发展起来的，国内应用个性化推荐技术最早应该是豆瓣，在web2.0兴起时做了很多尝试，给网民带来很多新鲜感觉、体验。后来是国外电影租赁网站netflex推波助澜，再到今日头条火热、电商巨头亚马逊对于个性化推荐背书、微博Feed流对于个性化推波助澜。杉枫了解到历史是这个
阅读全文
摘要：当下推荐系统包含的层级特别的多，整个线上推荐系统包含：最上层线上推荐服务、中层各个推荐数据召回集（数据主题、分类池子）、底层各种推荐模型。 推荐系统介入线上各种业务，推荐系统当下已经介入内容方面：文章、问答、评论等各个业务系统，商品sku：纯商品、消息push、素材，混合多个业务同时推荐。如此多得业
阅读全文
摘要：这篇文章搞头条号、运营知乎等流量的兄弟们可以看看，可以让你了解到你的文章是怎么被推荐的、通过很好的配合头条、知乎等的技术架构、机制可以增加你文章的曝光。 今日头条以前进入各大app的流量主要被几部分刮分，一个是app内搜索、一个是固定频道、、一个是用户在闲逛。当前各大app、无论是电商、知乎、新闻等
阅读全文
