随笔分类 - 神经网络
摘要：1.softmax $$ softmax(x_i) = \frac{ \exp(x_i)}{\sum_{j} \exp(x_j)} $$ 2.cross entropy $$ H\left(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}\right )
阅读全文
摘要：1.模型 $$ \mathrm{Y} = \mathrm{WX} + b $$ 2.数据集 training set：已获得的，可用作模型训练的，带标签的数据集（对有监督模型来说） sample : 数据集中的一个样本 label : 标签 feature: 决定标签的特征 3.损失函数 $$ l^
阅读全文
摘要：使用官方的retrain.py文件，默认地址下载不了模型，并且在将下载好的本地模型载入也会出错，下面是另外一个版本的retrain.py文件，可以使用。 github源码：retrain.py Windows批处理文件： 测试重新训练好的模型：
阅读全文
摘要：''' ##卷积神经网络，两个卷积层：32和64个特征平面，两个全连接层1024和10个神经元 ''' #加载数据，设定batch mnist = input_data.read_data_sets('MNIST_data/',one_hot=True) batch_size = 100 n_batch = mnist.train.num_examples // batch_size #初始化...
阅读全文
摘要：首先梯度下降算法一共有三个变形：BGD, SGD , MBGD, 这三种形式的区别就是取决于我们用多少数据来计算目标函数的梯度. 1.BGD（Batch gradient descent） BGD 采用整个训练集的数据来执行一次更新： for i in range(nb_epochs ): para
阅读全文
摘要：在训练数据不够多，网络结构很复杂，或者overtraining时，可能会产生过拟合问题。 一般我们会将整个数据集分为训练集training data、validation data，testing data。这个validation data是什么？它其实就是用来避免过拟合的，在训练过程中，我们通常
阅读全文
摘要：在此我们以MSE作为代价函数： 其中， C表示代价 函数 ，x表示样本， y表示实际值， 表示实际值， 表示实际值， a表示输出值， 表示输出值， n表示样本的总数。为简单起见 表示样本的总数。为简单起见 表示样本的总数。 a=σ(z), z=∑W j*X j+bσ() 是激活函数 使用梯度下降法(
阅读全文
摘要：单层感知器由一个线性组合器和一个二值阈值元件组成。 输入是一个N维向量 x=[x1,x2,...,xn]，其中每一个分量对应一个权值wi，隐含层输出叠加为一个标量值： 随后在二值阈值元件中对得到的v值进行判断，产生二值输出： 可以将数据分为两类。实际应用中，还加入偏置，值恒为1，权值为b。这时，y输
阅读全文
