摘要:
摘要:
1.各种算法的推导
2.各种算法的比较(或优缺点)
3.学习理论
4.特征选择方法
5.模型选择方法
6.特征工程
7.数据预处理
8.应用例子 阅读全文
摘要:
0.写在前面的话 DSSM(Deep Structured Semantic Models)又称双塔模型,因其结构简单,在推荐系统中应用广泛;下面仅以召回、粗排两个阶段的应用举例,具体描述下DSSM在工业界实践的一些所见所闻,力求自身和大家都能有所收获。 1.网络结构 paper:Learning 阅读全文
摘要:
计费问题 计算广告的核心问题,是为一系列用户与上下文的组合找到最合适的广告投放测了以优化整体广告活动的利润。1.CPT(Cost per Time)结算:这是将某个广告位以独占式方式交给某广告主,并按独占的时间段收取费用的方式。 2.CPM(Cost per Mile)结算:即按照千次(Mile)展 阅读全文
摘要:
UCF通常是User-base Collaborative Filter的简写;大体的算法思路是根据用户行为计算相似群体(邻居),为用户推荐其邻居喜好的内容;感觉是不是很简单、那废话不多说先撸个SQL。 阅读全文
摘要:
SDM:SDM: Sequential Deep Matching Model for Online Large-scale Recommender System
在淘宝的场景中,用户的行为主要分为两种,第一个是当前的浏览session,用户在一个session中,需求往往是十分明确的,比如你想买球鞋,往往只会关注球鞋类的商品。另一个是之前的记录,一个用户虽然可能不是每次都来买球鞋,但是也可能提供一定的有用信息,比如用户只买阿迪的鞋子或者只买帆布鞋等等。因此分别建模这两种行为序列来刻画用户的兴趣,是十分有用的。 阅读全文
摘要:
引入
分类性能
ROC图和ROC曲线
AUC
平均ROC曲线 阅读全文
摘要:
排名公式
Hacker News(帖子投票)
Reddit(帖子赞踩)
Stack Overflow(问题的得分、回答的数目和该问题的浏览次数)
牛顿冷却定律
威尔逊区间
IMDB算法(贝叶斯算法,电影评分)
梅西法(BCS体育赛事)
科利法(Netflix电影评分)
马尔可夫法(PageRank网页排名)
杂记
附录 阅读全文
摘要:
TensorFlow 高阶API
Tensorflow Serving
开发中遇到的其他问题记录 阅读全文
摘要:
[论文翻译]Practical Diversified Recommendations on YouTube with Determinantal Point Processes 阅读全文
摘要:
[TOC] 常见符号 复杂度函数 1. 大 $O$ 符号:当且仅当存在正实数 $M$ 和实数 $x_0$ ,使得 $\forall x\geq x_0,\ |f(x)|\leq M|g(x)|$ ,我们就可以认为, $f(x)=O(g(x))$ 。 2. 大 $\Omega$ 符号:当且仅当存在正实 阅读全文
摘要:
[TOC] JDK 初步 ArrayList 底层就是一个Object数组,初始容量为10,每当元素要超过容量时,重新创建一个更大的数组,并把原数据拷到新数组中来。 ArrayList实现了可变大小的数组。它允许所有元素,包括null。ArrayList没有同步。 size,isEmpty,get, 阅读全文
摘要:
强化学习基本要素
马尔科夫决策过程
策略学习(Policy Learning)
时序差分方法(TD method)
Q-Learning算法
Actor-Critic方法
DQN
DDPG
推荐系统强化学习建模
附录 阅读全文
摘要:
推荐系统上线的基本条件
AB实验
功能列表
数据指标
覆盖率
AUC及gAUC
指标展示
指标监控
人工评测
附录 阅读全文
摘要:
应用场景:加权采样,即按照随机事件出现的概率抽样 具体算法: 举例如上,随机事件出现的概率依次是1/2,1/3,1/12,1/12;记随机事件的个数为N,则所有事件概率乘以N后概率为2,4/3,1/3,1/3; 记队列small,large分别存放小于1和大于1的事件下标(例子中small=[0,1 阅读全文
摘要:
word2vec
负采样
目标函数
反向梯度
层次softmax
NPLM的目标函数和反向梯度
目标函数
反向梯度
GNN(图神经网络)
deepwalk
node2vec
附录 阅读全文
摘要:
缓存
缓存穿透
缓存雪崩(缓存失效)
缓存击穿(热点key)
缓存并发竞争(并发set)
数据一致性
缓存(双写)一致性
Redis集群(Redis-cluster)一致性原理
哨兵(Sentinel)模式
Redis集群产生的背景
Redis-cluster特点
分布式一致性hash(Consistent hashing) 阅读全文
摘要:
1.窗口函数
1.LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值
2.LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值
3.FIRST_VALUE(col,false) 用于统计窗口内截止到当前行,第一个出现的值
4.LAST_VALUE(col,false) 用于统计窗口内截止到当前行,最后一个出现的值
5.over子句中的partition by和order by
6.over子句中的window子句(clause)
2.分析函数
1.标准聚合函数
2.RANK
3.DENSE_RANK
4.ROW_NUMBER
6.PERCENT_RANK
7.NTILE
3.应用场景 阅读全文
摘要:
[TOC] 数据结构 数组 "有序二维数组查找" "数组相对位置排序" "数组顺时针输出" "把数组排成最小的数" "数组中的逆序对" "扑克牌顺子" "数组中重复的数字" "构建乘积数组" 链表 "链表反向插入ArrayList" "链表倒数第k个" "反转链表" "合并有序链表" "带rando 阅读全文
摘要:
# 综述
# 第一步,搞定特征和样本
# 第二步,自定义深度模型的数据输入函数
# 第三步,自定义神经网络结构
# 第四步,实现loss_fn
# 第五步,实现model_fn,返回EstimatorSpec用于模型训练与预测
# 第六步,输出用户向量和topk索引 阅读全文
摘要:
1.基础概念
2.Tensor
3.Operation
4.Graph
5.Session
附录 阅读全文
摘要:
1.简述
2.实践
3.扩展
4.附录 阅读全文
摘要:
## 召回层
- 召回池
- 分类
- 全局类
- 热榜类
- 运营编辑
- 置顶类
- 协同类
- 基于物品
- 基于用户
- embedding
- 标签类
- 用户标签
- 物品标签
- 人工打标
- 机器打标
- 关系挖掘
- 通讯录关系
- 关注关系
- 二度关系
- 互动关系
- 文本类
- 命名实体识别
- 人名
- 地名
- 机构名
- 领域词汇
- 关键词
- 文本相似
- 文本去重
- BERT
- 视觉类 阅读全文
摘要:
### MMoE模型(Multi-gate Mixture-of-Experts)
### FGCNN模型(Feature Generation by Convolutional Neural Network) 阅读全文
摘要:
### AFM模型(Attentional Factorization Machine)
### FwFM模型(Field-weighted Factorization Machines)
### xDeepFM(极深因子分解机模型) 阅读全文
摘要:
### 1.算法概述
### 2.算法要点与推导
### 3.算法特性及优缺点
### 4.实现和具体例子 阅读全文
摘要:
使用时发现:1.datediff可以传入timestamp类型参数 官网文档: Date Functions The following built-in date functions are supported in Hive: Return Type Name(Signature) Descri 阅读全文
摘要:
1.grouping sets
2.GROUPING__ID
3.WITH CUBE
4.WITH ROLLUP 阅读全文
摘要:
##### 上车准备
##### 行车时技巧
##### 考场注意
##### 考试项目详细步骤 阅读全文
摘要:
#### 目录结构
- 模型原始论文
- 模型架构
- 模型原理
- 模型特点
- 模型案例 阅读全文
摘要:
初识启发式算法
贪婪算法,局部搜索,遗传算法,模拟退火算法,人工神经网络,禁忌搜索,演化算法, 蚁群算法,拟人拟物算法,量子算法
实现 阅读全文
摘要:
linux部分
HADOOP部分 阅读全文
摘要:
1.算法概述
2.算法要点与推导
3.算法特性及优缺点
4.注意事项
5.实现和具体例子
6.适用场合 阅读全文
摘要:
1.算法概述
2.算法要点与推导
3.算法特性及优缺点
4.注意事项
5.实现和具体例子
6.适用场合 阅读全文
摘要:
摘要:
1.算法概述
2.算法推导
3.算法特性及优缺点
4.注意事项
5.实现和具体例子
6.适用场合 阅读全文
摘要:
摘要:
1.概述
2.激活函数与导数
3.激活函数对比 阅读全文