摘要：
在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。 阅读全文
2015年2月5日
2015年2月4日
摘要：
稀疏矩阵是指矩阵中的元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上都是稀疏矩阵，很多稀疏度在90%甚至99%以上。因此我们需要有高效的稀疏矩阵存储格式。本文总结几种典型的格式：COO,CSR,DIA,ELL,HYB。 阅读全文
稀疏矩阵是指矩阵中的元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上都是稀疏矩阵，很多稀疏度在90%甚至99%以上。因此我们需要有高效的稀疏矩阵存储格式。本文总结几种典型的格式：COO,CSR,DIA,ELL,HYB。 阅读全文
2015年2月2日
摘要：
这篇博客主要介绍机器学习和数据挖掘中一些常见的距离公式，包括：
闵可夫斯基距离
欧几里得距离
曼哈顿距离
切比雪夫距离
马氏距离
余弦相似度
皮尔逊相关系数
汉明距离
杰卡德相似系数
编辑距离
DTW 距离
KL 散度 阅读全文
这篇博客主要介绍机器学习和数据挖掘中一些常见的距离公式，包括：
闵可夫斯基距离
欧几里得距离
曼哈顿距离
切比雪夫距离
马氏距离
余弦相似度
皮尔逊相关系数
汉明距离
杰卡德相似系数
编辑距离
DTW 距离
KL 散度 阅读全文
2015年2月1日
摘要：
随机模拟也可以叫做蒙特卡罗模拟(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关。随机模拟中有一个重要的问题就是给定一个概率分布p(x)，我们如何在计算机中生成它的样本。 阅读全文
随机模拟也可以叫做蒙特卡罗模拟(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关。随机模拟中有一个重要的问题就是给定一个概率分布p(x)，我们如何在计算机中生成它的样本。 阅读全文
摘要：
这一篇是整个第五章的精华了，会重点介绍一下Neural Networks的训练方法——反向传播算法（backpropagation，BP），这个算法提出到现在近30年时间都没什么变化，可谓极其经典。也是deep learning的基石之一。还是老样子，下文基本是阅读笔记（句子翻译+自己理解），把书里的内容梳理一遍，也不为什么目的，记下来以后自己可以翻阅用。 阅读全文
2015年1月30日
摘要：
本章节将会讨论 的前向神经网络（feed-forward neural network，后面简称NN），或者称为多层感知器（multilayer perceptron）。 阅读全文
2015年1月18日
摘要：
将一种语言自动翻译成另一种语言一直以来都是难以攻克的问题。但最近几年，谷歌通过开发机器翻译算法改变了传统的翻译过程，通过谷歌翻译从本质上改变了跨文化翻译交流。 阅读全文
将一种语言自动翻译成另一种语言一直以来都是难以攻克的问题。但最近几年，谷歌通过开发机器翻译算法改变了传统的翻译过程，通过谷歌翻译从本质上改变了跨文化翻译交流。 阅读全文
摘要：
极客公园创新大会在北京开幕，百度深度学习研究院（IDL）副院长余凯发表演讲，阐述大数据时代，人工智能与深度学习的发展。 阅读全文
2015年1月17日
摘要：
为什么梯度下降是取负梯度 阅读全文
摘要：
根据地址来让编译器自己帮你去算，首先把a强制转换为地址，然后找以c为首地址，偏移量为b的地址，就是a+b的值。
例如a=5,b=10
c=(char*) a,此时c的地址为0x00000005
c[b] 就是c的地址偏移sizeof(char)*b
最终得到了c[b]的地址就是0x0000000f，即通过int强制转换得到15 。 阅读全文
2013年5月24日
摘要：
信息论，不用多说，在很多领域都得到了应用，应该算是一个相对成熟的主题。PRML这一节里将介绍信息论的一些基本概念，主要是为了明白这些概念是怎么来的（如gain，entropy），代表什么含义。在书里没有具体的应用结合，后面可以单独简介一节关于决策树的方法，需要的信息论知识基本在这一节里面可以覆盖到。
章节1.6 Information Theory
直观的一种理解，当我们听到一个不太可能发生的事件时我们所接收的信息量要比听到一件习以为常的事件所接收的信息量大，如果我们听到了一件必然发生的事情那么我们接收到的信息就是0。让我们考察对于一个离散随机变量x，类似的出现那些概率很低的x取值时我们得到的信息量要大。 阅读全文
信息论，不用多说，在很多领域都得到了应用，应该算是一个相对成熟的主题。PRML这一节里将介绍信息论的一些基本概念，主要是为了明白这些概念是怎么来的（如gain，entropy），代表什么含义。在书里没有具体的应用结合，后面可以单独简介一节关于决策树的方法，需要的信息论知识基本在这一节里面可以覆盖到。
章节1.6 Information Theory
直观的一种理解，当我们听到一个不太可能发生的事件时我们所接收的信息量要比听到一件习以为常的事件所接收的信息量大，如果我们听到了一件必然发生的事情那么我们接收到的信息就是0。让我们考察对于一个离散随机变量x，类似的出现那些概率很低的x取值时我们得到的信息量要大。 阅读全文
2013年5月9日
摘要：
这一节的上半部分，我们结合一个盒子-水果抽取的问题，从随机可重复事件频率的角度理解了概率，这是经典的一种通过频率来理解概率的角度，接下来我们用贝叶斯角度来理解概率，重点关注不确定性。
有些事件称之为不确定事件，比如月亮是不是曾经围绕太阳旋转，北极的冰是否会在一百年后消失，这些事件都没办法通过重复事件来确定概率。但是我们可以通过其他一些手段来得到一些结果，比如我们可以通过观察每年冰层的消融比率来确定是否有可能消失。当然，人们会通过这些结果来指导未来的活动（decision），比如减少温室气体的排放，通过这些行为，我们需要重新评估冰层消失的可能。这里引出了从贝叶斯角度看概率。 阅读全文
这一节的上半部分，我们结合一个盒子-水果抽取的问题，从随机可重复事件频率的角度理解了概率，这是经典的一种通过频率来理解概率的角度，接下来我们用贝叶斯角度来理解概率，重点关注不确定性。
有些事件称之为不确定事件，比如月亮是不是曾经围绕太阳旋转，北极的冰是否会在一百年后消失，这些事件都没办法通过重复事件来确定概率。但是我们可以通过其他一些手段来得到一些结果，比如我们可以通过观察每年冰层的消融比率来确定是否有可能消失。当然，人们会通过这些结果来指导未来的活动（decision），比如减少温室气体的排放，通过这些行为，我们需要重新评估冰层消失的可能。这里引出了从贝叶斯角度看概率。 阅读全文
2013年4月25日
摘要：
今天开始学Pattern Recognition and Machine Learning (PRML)书，章节1.2，Probability Theory （上）
这一节是浓缩了整本书关于概率论的精华，突出一个不确定性（uncertainty）的理解。
首先从一个例子说起：有两个盒子，一个红色盒子里面有2个苹果（绿）+6个桔子（黄），一个蓝色盒子里面有3个苹果+1个桔子，具体可以见图1.9。随机挑选一个盒子，然后从盒子里随机拿出一个水果，观察是什么后放回原处，重复这个过程很多次。
我们定义挑选红色盒子的次数为总次数的40%，挑选蓝色盒子的次数为60%。在这个例子中，盒子的颜色是一个随机变量，我们称之为B，它有两个取值r（red）和b（blue）；水果也是一个随机变量，称之为F，它的取值是a（apple）和o（orange）。
首先 阅读全文
今天开始学Pattern Recognition and Machine Learning (PRML)书，章节1.2，Probability Theory （上）
这一节是浓缩了整本书关于概率论的精华，突出一个不确定性（uncertainty）的理解。
首先从一个例子说起：有两个盒子，一个红色盒子里面有2个苹果（绿）+6个桔子（黄），一个蓝色盒子里面有3个苹果+1个桔子，具体可以见图1.9。随机挑选一个盒子，然后从盒子里随机拿出一个水果，观察是什么后放回原处，重复这个过程很多次。
我们定义挑选红色盒子的次数为总次数的40%，挑选蓝色盒子的次数为60%。在这个例子中，盒子的颜色是一个随机变量，我们称之为B，它有两个取值r（red）和b（blue）；水果也是一个随机变量，称之为F，它的取值是a（apple）和o（orange）。
首先 阅读全文
2013年4月21日
摘要：
博士也快念完了，明年毕业，今年开始准备毕业相关的东西，感觉自己做machine learning 的research做的很散，论文发了些，却不系统。决心在毕业前好好补一下基础知识，我相信离开大学就很难有这样的机会了。以前我入门机器学习是看的《The Elements of Statistic Learning》的前半本书，（半本书看了半年，呵呵，比较累），书很不错。一直听说国外很多学校是用PRML这本书做教材的，自己一直当工具书翻，没有仔细看过，因此就打算看PRML这本书了。
尽量把看的内容写到blog中，我打算前面写的章节可以密集一些，当作基础复习，后面的topic可能会适当精选一些。下面的文字有一些是用原书中的句子翻译来的，但很多是我自己的话，毕竟我不是在翻译；其中的公式和图标，基本上会来自原书，毕竟我写只是blog，全自己写太消耗时间了 阅读全文
博士也快念完了，明年毕业，今年开始准备毕业相关的东西，感觉自己做machine learning 的research做的很散，论文发了些，却不系统。决心在毕业前好好补一下基础知识，我相信离开大学就很难有这样的机会了。以前我入门机器学习是看的《The Elements of Statistic Learning》的前半本书，（半本书看了半年，呵呵，比较累），书很不错。一直听说国外很多学校是用PRML这本书做教材的，自己一直当工具书翻，没有仔细看过，因此就打算看PRML这本书了。
尽量把看的内容写到blog中，我打算前面写的章节可以密集一些，当作基础复习，后面的topic可能会适当精选一些。下面的文字有一些是用原书中的句子翻译来的，但很多是我自己的话，毕竟我不是在翻译；其中的公式和图标，基本上会来自原书，毕竟我写只是blog，全自己写太消耗时间了 阅读全文
2012年11月29日
摘要：
Laplacian Eigenmaps[1] 看问题的角度和LLE有些相似，也是用graph的角度去构建数据之间的关系。
它的直观思想是希望相互间有关系的点（在图中相连的点）在降维后的空间中尽可能的靠近。Laplacian Eigenmaps可以反映出数据内在的流形结构。 阅读全文
Laplacian Eigenmaps[1] 看问题的角度和LLE有些相似，也是用graph的角度去构建数据之间的关系。
它的直观思想是希望相互间有关系的点（在图中相连的点）在降维后的空间中尽可能的靠近。Laplacian Eigenmaps可以反映出数据内在的流形结构。 阅读全文
