• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • YouClaw
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






_1024

 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理

12 2016 档案

 
ML基础05-相似检索
摘要：这篇准备说一说，快速检索的问题。 阅读全文
posted @ 2016-12-11 17:00 _1024 阅读(146) 评论(0) 推荐(0)
基础模型08-HMM/MEMM/CRF/LSTM+CRF
摘要：这篇准备讲HMM/MEMM/CRF/LSTM+CRF在分词、序列标注、NER任务上的应用。 重点讲一下LSTM+CRF中的CRF源码理解。 阅读全文
posted @ 2016-12-10 22:55 _1024 阅读(209) 评论(0) 推荐(0)
数学基础03-信息论基础(信息熵、条件熵、互信息/信息增益、联合熵、相对熵/KL散度、交叉熵)
摘要：机器学习中，信息论中的各种熵在多次出现(最大熵模型、CRF、广义线性模型中以及分类问题中损失中的交叉熵，t-SNE、GAN中使用的KL散度等)，这里做一个简单总结。 1、信息量 定义 单个事件的不确定性的大小。 数学形式 $log\frac{1}{p(x)}=-logp(x)$ 特点 不确定性越大， 阅读全文
posted @ 2016-12-10 22:54 _1024 阅读(923) 评论(0) 推荐(0)
基础模型07-EM(其实是一种算法)
摘要：1、EM的基础算法 直接给出计算公式，就不推导了。 说明EM的使用场景 2、EM的应用 2.1、EM在GMM中的应用 2.2、EM在混合贝叶斯中的应用 2.3、EM在pLSA中的应用 2.4、EM在HMM中的应用 阅读全文
posted @ 2016-12-10 22:53 _1024 阅读(159) 评论(0) 推荐(0)
基础模型06-决策树
摘要：这个的确是很基础啦。 但是写起来也很累的啊。 阅读全文
posted @ 2016-12-10 22:52 _1024 阅读(141) 评论(0) 推荐(0)
应用领域04-NLP
摘要：这个Topic内容讲NLP常见技术 1、分词/序列标注/NER 2、新词发现 左右上熵 3、词向量 4、关键词/标签等 5、语义相关性 DSSM等 5、文本分类技术 fastText/TextCNN等 6、搜索中的NLP 6.1、Query Rewrite 阅读全文
posted @ 2016-12-10 22:51 _1024 阅读(166) 评论(0) 推荐(0)
应用领域03-计算广告
摘要：1、CTR预估相关 1.1、CTR预估 1）预估算法：LR/FM/FFM/GBDT/Wide&Deep/PNN/FNN/deepFM/ 2) 评估：AUC/uAUC/gAUC, NEC(解决auc只考察序关系，不考虑绝对值的问题) 1.2、CTR平滑方法 1）贝叶斯平滑 2）指数平滑 3）威尔逊区间 阅读全文
posted @ 2016-12-10 22:49 _1024 阅读(159) 评论(0) 推荐(0)
应用领域02-推荐系统
摘要：1、推荐系统基础 推荐系统包含两个部分：用户集合和物品集合。推荐系统的目标就是要把物品推荐给合适的用户。 推荐系统的核心可以理解为一个打分系统，其目标是要计算出每个用户对每个物品的评分。从而给予推荐。 为了实现这一目标，推荐系统大致采用了以下技术： 1.1、基于人口统计学/规则推荐 这个主要是基于人 阅读全文
posted @ 2016-12-10 22:48 _1024 阅读(152) 评论(0) 推荐(0)
应用领域01-Learning To Rank
摘要：这篇讲各种L2R算法。 1、Point-Wise 2、Pair-Wise Tips：为什么CTR预估中没有Pair-Wise算法 3、List-wise 阅读全文
posted @ 2016-12-10 22:47 _1024 阅读(91) 评论(0) 推荐(0)
机器学习基础09：聚类
摘要：这里面讲一些基础聚类算法 阅读全文
posted @ 2016-12-10 22:46 _1024 阅读(113) 评论(0) 推荐(0)
机器学习基础09：时间序列
摘要：时间序列 阅读全文
posted @ 2016-12-10 22:45 _1024 阅读(201) 评论(0) 推荐(0)
机器学习基础09：知识图谱
摘要：这是一个非常大的topic啊 阅读全文
posted @ 2016-12-10 22:45 _1024 阅读(141) 评论(0) 推荐(0)
深度学习03-RNN
摘要：1、原始RNN 2、LSTM+CRF 3、LSTM/GRU 4、seq2seq 阅读全文
posted @ 2016-12-10 22:44 _1024 阅读(126) 评论(0) 推荐(0)
深度学习02-CNN
摘要：机器学习基础07：DNN 阅读全文
posted @ 2016-12-10 22:43 _1024 阅读(123) 评论(0) 推荐(0)
深度学习01-DNN
摘要：这篇讲DNN的基础，然后准备讲一讲DNN中的常见问题。 1、MLP 2、BP 3、梯度消失/爆炸问题 4、激活函数sigmoid/tanh/ReLu 5、初始化 6、BN 7、DropOut 阅读全文
posted @ 2016-12-10 22:43 _1024 阅读(107) 评论(0) 推荐(0)
模型集成04-GMM
摘要：机器学习基础06：GMM 阅读全文
posted @ 2016-12-10 22:42 _1024 阅读(124) 评论(0) 推荐(0)
模型集成03-RF/GBDT/GBDT+LR
摘要：机器学习基础06：RF 阅读全文
posted @ 2016-12-10 22:41 _1024 阅读(119) 评论(0) 推荐(0)
模型集成02-AdaBoost
摘要：这个topic内容不多，一点基础概念吧。 阅读全文
posted @ 2016-12-10 22:40 _1024 阅读(110) 评论(0) 推荐(0)
模型集成01-Bagging/Boosting/Stacking
摘要：1、常用的集成学习方式 目前来看，常用的集成学习可以分为三类：Bagging、Boosting、Stacking。其中： Bagging使用相同的数据集和相同类型的基决策器。不同的基决策器，并行地通过自举采样，分别训练一个决策器，然后对分类结果进行投票，从而获得最终结果。以RF为代表。 Boosti 阅读全文
posted @ 2016-12-10 22:40 _1024 阅读(175) 评论(0) 推荐(0)
基础模型05-贝叶斯模型
摘要：1、NB 2、平滑方法 3、NB在文本分类中的应用和分析 4、DBN 阅读全文
posted @ 2016-12-10 22:39 _1024 阅读(129) 评论(0) 推荐(0)
基础模型04-FM/FFM
摘要：信息增益 1.为什么选择信息增益最大的特征？ 信息增益=信息熵-条件熵；信息增益越大，表面条件熵越小，条件熵越小，表明不确定性越小；也就是说，此条件的辨识度越高。 阅读全文
posted @ 2016-12-10 22:38 _1024 阅读(139) 评论(0) 推荐(0)
基础模型03-SVM
摘要：1、SVM形式 2、线性SVM及其求解 3、近似线性可分SVM的求解 3.1、KKT条件 3.2、SMO算法 4、线性不可分SVM算法 4.1、核方法 阅读全文
posted @ 2016-12-10 22:36 _1024 阅读(101) 评论(0) 推荐(0)
基础模型02-LR+ME+SOFTMAX+GLM
摘要：1、LR 1.1、LR的用处和求解 1.2、LR的两种解释 1）直观解释 2）基于ME的解释 2、ME 3、SOFTMAX 4、GLM，广义线性模型相关理论 阅读全文
posted @ 2016-12-10 22:36 _1024 阅读(122) 评论(0) 推荐(0)
基础模型01-感知机
摘要：1、感知机基础 2、感知机求解 2.1、感知机在原空间的求解 2.2、感知机在对偶空间的求解 3、感知机和MLP、SVM的进化关系 3.2、感知机对偶求解和SVM对偶求解的关系 阅读全文
posted @ 2016-12-10 22:34 _1024 阅读(130) 评论(0) 推荐(0)
ML基础04-数据降维和可视化
摘要：太累了，实在是不想写了，以后补吧 1、数据降维 1.1、什么是数据降维 1.2、什么时候需要数据降维 2、线性降维 2.1、PCA 2.2、LDA 2.3、总结 3、流形学习 3.1、什么是流形学习 3.2、ISOMap 3.3、LLE 4、t-SNE和可视化 5、DeepAE 6、总结 阅读全文
posted @ 2016-12-10 22:24 _1024 阅读(192) 评论(0) 推荐(0)
ML基础03-特征工程
摘要：1、特征工程是什么 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见对数据和特征的处理是机器学习的基石，也就是我所理解的特征工程。特征工程本质上是一个工程问题，机器学习的脏活累活。却也是不可获取至关重要的工作。业界广为流传的一张特征工程思维导图如 阅读全文
posted @ 2016-12-10 20:54 _1024 阅读(278) 评论(0) 推荐(0)
ML基础02-模型选择
摘要：0、模型选择 对于不同的业务场景，需要不同的策略来处理问题。没有一个算法可以处理好所有问题，并取得最好的效果。这样就是没有免费午餐原理。 因此，对于不同业务，不同的应用场景，需要选择不同的模型来解决实际问题。 对于模型的选择，可以分为两个层面： 1、对于一个既定算法，如何让这个算法达到最优？ 2、对 阅读全文
posted @ 2016-12-10 20:53 _1024 阅读(692) 评论(0) 推荐(0)
ML基础01-概论
摘要：0.前言 学习机器学习有几年时间了，开始一直是零零碎碎断断续续学一些东西，断续琐碎；后面慢慢地把各个点串起来，形成了体系。早有打算整理出来，但是总觉得有些地方理解欠佳，不敢轻易动笔。最近把各个部分都思考了一下，感觉应该问题不大了，遂准备着手整理成一系列文章。记录自己对机器学习的一些理解，以备忘。 也 阅读全文
posted @ 2016-12-10 20:48 _1024 阅读(164) 评论(0) 推荐(0)