会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
_1024
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2016年12月10日
基础模型08-HMM/MEMM/CRF/LSTM+CRF
摘要: 这篇准备讲HMM/MEMM/CRF/LSTM+CRF在分词、序列标注、NER任务上的应用。 重点讲一下LSTM+CRF中的CRF源码理解。
阅读全文
posted @ 2016-12-10 22:55 _1024
阅读(194)
评论(0)
推荐(0)
编辑
数学基础03-信息论基础(信息熵、条件熵、互信息/信息增益、联合熵、相对熵/KL散度、交叉熵)
摘要: 机器学习中,信息论中的各种熵在多次出现(最大熵模型、CRF、广义线性模型中以及分类问题中损失中的交叉熵,t-SNE、GAN中使用的KL散度等),这里做一个简单总结。 1、信息量 定义 单个事件的不确定性的大小。 数学形式 $log\frac{1}{p(x)}=-logp(x)$ 特点 不确定性越大,
阅读全文
posted @ 2016-12-10 22:54 _1024
阅读(829)
评论(0)
推荐(0)
编辑
基础模型07-EM(其实是一种算法)
摘要: 1、EM的基础算法 直接给出计算公式,就不推导了。 说明EM的使用场景 2、EM的应用 2.1、EM在GMM中的应用 2.2、EM在混合贝叶斯中的应用 2.3、EM在pLSA中的应用 2.4、EM在HMM中的应用
阅读全文
posted @ 2016-12-10 22:53 _1024
阅读(138)
评论(0)
推荐(0)
编辑
基础模型06-决策树
摘要: 这个的确是很基础啦。 但是写起来也很累的啊。
阅读全文
posted @ 2016-12-10 22:52 _1024
阅读(134)
评论(0)
推荐(0)
编辑
应用领域04-NLP
摘要: 这个Topic内容讲NLP常见技术 1、分词/序列标注/NER 2、新词发现 左右上熵 3、词向量 4、关键词/标签等 5、语义相关性 DSSM等 5、文本分类技术 fastText/TextCNN等 6、搜索中的NLP 6.1、Query Rewrite
阅读全文
posted @ 2016-12-10 22:51 _1024
阅读(155)
评论(0)
推荐(0)
编辑
应用领域03-计算广告
摘要: 1、CTR预估相关 1.1、CTR预估 1)预估算法:LR/FM/FFM/GBDT/Wide&Deep/PNN/FNN/deepFM/ 2) 评估:AUC/uAUC/gAUC, NEC(解决auc只考察序关系,不考虑绝对值的问题) 1.2、CTR平滑方法 1)贝叶斯平滑 2)指数平滑 3)威尔逊区间
阅读全文
posted @ 2016-12-10 22:49 _1024
阅读(140)
评论(0)
推荐(0)
编辑
应用领域02-推荐系统
摘要: 1、推荐系统基础 推荐系统包含两个部分:用户集合和物品集合。推荐系统的目标就是要把物品推荐给合适的用户。 推荐系统的核心可以理解为一个打分系统,其目标是要计算出每个用户对每个物品的评分。从而给予推荐。 为了实现这一目标,推荐系统大致采用了以下技术: 1.1、基于人口统计学/规则推荐 这个主要是基于人
阅读全文
posted @ 2016-12-10 22:48 _1024
阅读(131)
评论(0)
推荐(0)
编辑
应用领域01-Learning To Rank
摘要: 这篇讲各种L2R算法。 1、Point-Wise 2、Pair-Wise Tips:为什么CTR预估中没有Pair-Wise算法 3、List-wise
阅读全文
posted @ 2016-12-10 22:47 _1024
阅读(85)
评论(0)
推荐(0)
编辑
机器学习基础09:聚类
摘要: 这里面讲一些基础聚类算法
阅读全文
posted @ 2016-12-10 22:46 _1024
阅读(105)
评论(0)
推荐(0)
编辑
强化学习基础
摘要: 强化学习备忘录 几个基础问题: 1、RL中,哪些方法是Model-Based的,哪些方法是Model-Free的? 2、DRL中,哪些方法可以用在连续策略空间和有限(离散)动作空间上(DQN, DDQN, A3C等)? 哪些方法可以用在连续策略空间和连续动作空间上(DDPG(Google), TRP
阅读全文
posted @ 2016-12-10 22:46 _1024
阅读(151)
评论(0)
推荐(0)
编辑
机器学习基础09:知识图谱
摘要: 这是一个非常大的topic啊
阅读全文
posted @ 2016-12-10 22:45 _1024
阅读(133)
评论(0)
推荐(0)
编辑
机器学习基础09:时间序列
摘要: 时间序列
阅读全文
posted @ 2016-12-10 22:45 _1024
阅读(187)
评论(0)
推荐(0)
编辑
深度学习03-RNN
摘要: 1、原始RNN 2、LSTM+CRF 3、LSTM/GRU 4、seq2seq
阅读全文
posted @ 2016-12-10 22:44 _1024
阅读(118)
评论(0)
推荐(0)
编辑
深度学习02-CNN
摘要: 机器学习基础07:DNN
阅读全文
posted @ 2016-12-10 22:43 _1024
阅读(114)
评论(0)
推荐(0)
编辑
深度学习01-DNN
摘要: 这篇讲DNN的基础,然后准备讲一讲DNN中的常见问题。 1、MLP 2、BP 3、梯度消失/爆炸问题 4、激活函数sigmoid/tanh/ReLu 5、初始化 6、BN 7、DropOut
阅读全文
posted @ 2016-12-10 22:43 _1024
阅读(97)
评论(0)
推荐(0)
编辑
模型集成04-GMM
摘要: 机器学习基础06:GMM
阅读全文
posted @ 2016-12-10 22:42 _1024
阅读(112)
评论(0)
推荐(0)
编辑
模型集成03-RF/GBDT/GBDT+LR
摘要: 机器学习基础06:RF
阅读全文
posted @ 2016-12-10 22:41 _1024
阅读(107)
评论(0)
推荐(0)
编辑
模型集成02-AdaBoost
摘要: 这个topic内容不多,一点基础概念吧。
阅读全文
posted @ 2016-12-10 22:40 _1024
阅读(102)
评论(0)
推荐(0)
编辑
模型集成01-Bagging/Boosting/Stacking
摘要: 1、常用的集成学习方式 目前来看,常用的集成学习可以分为三类:Bagging、Boosting、Stacking。其中: Bagging使用相同的数据集和相同类型的基决策器。不同的基决策器,并行地通过自举采样,分别训练一个决策器,然后对分类结果进行投票,从而获得最终结果。以RF为代表。 Boosti
阅读全文
posted @ 2016-12-10 22:40 _1024
阅读(155)
评论(0)
推荐(0)
编辑
基础模型05-贝叶斯模型
摘要: 1、NB 2、平滑方法 3、NB在文本分类中的应用和分析 4、DBN
阅读全文
posted @ 2016-12-10 22:39 _1024
阅读(116)
评论(0)
推荐(0)
编辑