摘要： sotfmax 函数在机器学习和深度学习中有着广泛的应用， 主要用于多分类问题。 softmax 函数 1. 定义 假定数组V，那么第i个元素的softmax值为 也就是该元素的指数 除以 所有元素的指数和，取指数是为了使差别更大。 于是该数组的每个元素被压缩到(0,1)，并且和为1，其实就变成了概 阅读全文

摘要： 手写数字识别经典案例，旨在熟悉cnn网络结构，掌握tf编写cnn的方法。 手写数字识别任务比较简单，据资料显示 2层卷积2层全连接的网络结构，是目前识别率最高的cnn模型。 对于复杂的场景 1. 通常需要更多的辅助技术，如集成学习，学习率衰减，数据扩充， 集成学习和lr衰减没什么好说的，这里简单介绍 阅读全文

摘要： 官方解释 求未知参数点估计的一种重要方法。思路是设一随机试验在已知条件下，有若干个结果A，B，C，…，如果在一次试验中A发生了，则可认为在已知条件下最有利于A发生， 故应按照已知条件选择分布的参数，使发生A的概率最大。 通俗理解 1. 极大似然是用来求某种分布的参数的方法。那怎么求呢？ 2. 在某种 阅读全文

摘要： 缺失值算是决策树里处理起来比较麻烦的了，其他简单的我就不发布了。 阅读全文

摘要： 首先学习RNN需要一定的基础，即熟悉普通的前馈神经网络，特别是BP神经网络，最好能够手推。 所谓前馈，并不是说信号不能反向传递，而是网络在拓扑结构上不存在回路和环路。 而RNN最大的不同就是存在环路。 为什么需要RNN 1. 特征之间序列性 普通的神经网络的输入，具备样本独立同分布（iid）， 特征 阅读全文

摘要： 在学习RNN的时候，经常会用CNN来类比，过程中我发现自己对CNN有些地方理解的还不是很清楚。 疑惑1：CNN卷积层的神经元是什么样的？ CNN的卷积层包括各种概念，各种计算，但是我忽然发现，基本没人提到卷积层的神经元，而且在tensorflow编程中，也无需设置卷积层的神经元，这使得我们更加忽略了 阅读全文

摘要： 这部分许多内容要类比CNN来进行理解和解释，所以需要对CNN比较熟悉。 RNN的特点 1. 权值共享 CNN权值共享，RNN也有权值共享，在入门篇可以看到RNN结构图中，权重使用的是同样的字母 为什么要权值共享 a. 减少weight，减少计算量，这点其实比较好理解。 试想10X10的输入，全连接隐 阅读全文

摘要： 卷积神经网络真的挺难靠文字讲清楚的，一般需要大量图片来辅助理解，时间关系，我就不仔细讲了，这里记录一下大致的算法和注意点。 首先我概括一下卷积神经网络 卷积神经网络是通过卷积核进行特征提取，从一个样本身上利用很多个卷积核提取这个样本的很多特征，通过池化进行降维，然后利用普通的全连接神经网络进行训练。 阅读全文

摘要： 先学习几个英文单词 summary 汇总，摘要 scope 范围 我这是很早以前的笔记，后来有了博客才发布的，有些内容比较老，懒得改了。 先说明总体流程 暂时不管怎么编程，假设已经有了如下代码，可执行的。 # encoding:utf-8 import tensorflow as tf print( 阅读全文

摘要： Q-Learning和Sarsa一样是基于时序差分的控制算法，那两者有什么区别呢？ 这里已经必须引入新的概念 时序差分控制算法的分类：在线和离线 在线控制算法：一直使用一个策略选择动作和更新价值函数，如Sarsa 离线控制算法：两个策略，一个选择新的动作，一个更新价值函数，如Q-Learning Q 阅读全文