随笔分类 - AI人工智能 / 推荐系统
推荐系统
摘要：淘宝定向广告演化 电商定向广告（给不同人看不同广告 - 广告推荐） VS 搜索广告 用户没有很明显的意图（主动的Query查询） 用户来到淘宝之前，自己也没有特别明确的目标（利用以往的历史行为 => item推荐） p(y=1 | ad, context, user)； ad 表示广告候选集； us
阅读全文
摘要：Embedding的应用 Embedding在推荐系统中的应用 广泛应用在深度推荐系统中 深度学习就是一种表示学习，学习过程就是对原有数据的特征抽取，经过层层学习后提取出来，最终交给后面的分类层进行预测 深度学习网络包括MLP（数据挖掘），RNN（文本| 时序），CNN（图像相关），对原有数据进行特
阅读全文
摘要：1. 评分卡模型 评分卡模型是常用的金融风控手段之一 风控，就是风险控制，我们采取各种措施和方法，减少风险发生的可能性，或风险发生时造成的损失 根据客户的各种属性和行为数据，利用信用评分模型，对客户的信用进行评分，从而决定是否给予授信，授信的额度和利率，减少在金融交易中存在的交易风险 按照不同的业务
阅读全文
摘要：1. 常见规划问题 线性规划、整数规划、混合整数规划 pulp工具 Google ortools Project A: Santa的接待安排 规划问题： LP：Linear Programming 线性规划，研究线性约束条件下线性目标函数的极值问题 ILP：Integer Linear Progra
阅读全文
摘要：时间序列分析 时间序列 时间序列： 建立了观察结果与时间变化的关系，能帮预测未来一段时间内的结果变化情况；（时间序列只跟时间相关） 时间序列分析与回归分析的区别： 在选择模型前，我们需要确定结果与变量之间的关系。回归分析训练得到的是目标变量y与自变量x（一个或多个）的相关性，然后通过新的自变量x来预
阅读全文
摘要：用户画像 假设你是个产品经理，如何定义用户画像 你是算法工程师，如何使用标签来做推荐 我们已经进入到互联网的下半场，增长的动力来自数据驱动 而数据分析的出发点，来自于对用户行为及需求的洞察 用户画像的准则 假设一个场景，你刚入职一家火锅店，你的老板对你说给用户做用户画像，你会怎么办？ 我们需要解决三
阅读全文
摘要：关联规则 关联规则 关联分析是大数据计算的重要场景之一，通过数据挖掘，商家发现尿不湿和啤酒经常会同时被购买，所以商家就把啤酒和尿不湿摆放在一起促进销售。 在传统商超确实没有见过把啤酒和纸尿裤放在一起的情况，可能是因为传统商超的物理货架分区策略限制它没有办法这么做，而啤酒和尿不湿存在关联关系则确实是大
阅读全文
摘要：1. 因子分解机 MF的回顾 矩阵分解： 将矩阵拆解为多个矩阵的乘积 用户users和商品Items的评分矩阵是稀疏的，因为他不会对所有商品打分；把它拆分为2部分，K值是降维的维度，比如user1对10w个电影打分，10w降为K维（K一般取100左右）； k维降维变成稠密矩阵； 矩阵分解方法： EV
阅读全文
摘要：推荐算法 在用户对自己需求相对明确的时候，可以用搜索引擎通过关键字搜索很方便地找到自己需要的信息。但有些时候，搜索引擎并不能完全满足用户对信息发现的需求。一方面，用户有时候其实对自己的需 求并不明确，期望系统能主动推荐一些自己感兴趣的内容或商品；另一方面，企业也希望能够通过更多渠道向用户推荐信息和商
阅读全文
摘要：YouTube推荐系统 Deep Neural Networks for YouTube Recommendations, 2016 https://dl.acm.org/citation.cfm?doid=2959100.2959190 推荐系统分为召回（候选集生成）和排序两个阶段 召回阶段，基于
阅读全文
摘要：基于流行度的推荐 认知流行度 流行度（Popularity） 内容的流行程度，也称之为热度，最常见的是将榜单中热度的内容推荐给用户（微博热搜，TopN商品） 基于流行度的推荐是围绕流行度计算产生的推荐模型（不仅是TopN） 解决冷启动问题 => 根据流行度来推荐商品的算法，也就是什么内容吸引用户，就
阅读全文
摘要：LSH近似最近邻查找 NN与ANN NN，Nearest Neighbor Search，最近邻查找问题； TOP N KNN，K-Nearest Neighbor，k最近邻，查找离目标数据最近的前k个数据项 ANN，Approximate Nearest Neighbor，近似最近邻检索，在牺牲可
阅读全文
摘要：1. GCN 什么是GCN G是Graph，C是卷积，卷积神经网络 一般称作 CNN； CNN的原理是想构造一个小的窗口，然后在窗口里提取一些特征，窗口在图上不断滚动，最后提取一些特点； GCN跟CNN也是类似，它是在Graph上的操作，CNN是在Image上； GCN的背景（Graph Convo
阅读全文
摘要：Graph Embedding 什么是Graph Embedding Graph Embedding场景： 社交网络，生物信息，用户行为序列（购物，浏览）都存在着大量的关系图谱 Graph Embedding是一种Embedding降维技术，可以有效的挖掘图网络中的节点特征表示 在推荐系统、计算广告
阅读全文
摘要：1. PageRank 数据之中蕴藏着关系，如果数据量足够大，这种关系越逼近真实世界的客观规律。在我们的工作和生活中你会发现，网页之间的链接关系蕴藏着网页的重要性排序关系，购物车的商品清单蕴藏着商品的 关联关系，通过对这些关系的挖掘，可以帮助我们更清晰地了解客观世界的规律，并利用规律提高生产效率，进
阅读全文
摘要：1. SVD矩阵分解 协同过滤是推荐系统的主流思想之一： 基于邻域的协同过滤 UserCF ItemCF 基于模型的协同过滤 隐语义模型（LFM, Latent Factor Model） 矩阵分解（MF） LDA, LSA, pLSA 基于贝叶斯网络 基于SVM 1.1 矩阵分解方法 矩阵分解：
阅读全文
摘要：ALS矩阵分解 1. 推荐系统的算法都有哪些 协同过滤是推荐系统的主流思想之一： 基于模型与基于邻域的推荐之间的区别： 基于邻域的协同过滤包括UserCF, ItemCF，将用户的所有数据读入到内存中进行运算，也称之为基于内存的协同过滤（Memory-based）。数据量少的情况下，可以在线实时推荐
阅读全文
摘要：数据生命周期 项目系统架构 用户可视化：主要负责实现和用户的交互以及业务数据的展示，主体采用AngularJS2进行实现，部署在Apache服务上。 综合业务服务：主要实现JavaEE层面整体的业务逻辑，通过Spring进行构建，对接业务需求。部署在Tomcat上。 【数据存储部分】 业务数据库：项
阅读全文
摘要：一、离线推荐服务 离线推荐服务是综合用户所有的历史数据，利用设定的离线统计算法和离线推荐算法周期性的进行结果统计与保存，计算的结果在一定时间周期内是固定不变的，变更的频率取决于算法调度的频率。 离线推荐服务主要计算一些可以预先进行统计和计算的指标，为实时计算和前端业务相应提供数据支撑。 离线推荐服务
阅读全文
