DL - 随笔分类 - AIengineer

CS231n 2016 通关第六章 Training NN Part2

摘要：本章节讲解参数更新 dropout 上节内容回顾与总结：模型过程：激活函数：注意理解各个函数的优缺点数据预处理：权重参数初始化：Xavier方法，使用较多。 batch normalization ： cross validation ：比较loss 结果，选择合适学习率本章知识点： P 阅读全文

posted @ 2016-06-09 12:58 AIengineer 阅读(526) 评论(0) 推荐(0) 编辑

CS231n 2016 通关第五、六章 Dropout 作业

摘要：Dropout的作用： cell 1 - cell 2 依旧 cell 3 Dropout层的前向传播核心代码： train 时： test 时：原理较为简单。 cell 4 反向传播：主要是计算偏导。核心代码: cell 5 对全连接网络使用Dropout 将相应的层加入到模型即可。附：阅读全文

posted @ 2016-06-08 21:49 AIengineer 阅读(427) 评论(0) 推荐(0) 编辑

CS231n 2016 通关第五、六章 Batch Normalization 作业

摘要：BN层在实际中应用广泛。上一次总结了使得训练变得简单的方法，比如SGD+momentum RMSProp Adam，BN是另外的方法。 cell 1 依旧是初始化设置 cell 2 读取cifar-10数据 cell 3 BN的前传相应的核心代码： running_mean running_va 阅读全文

posted @ 2016-06-07 21:40 AIengineer 阅读(796) 评论(0) 推荐(0) 编辑

CS231n 2016 通关第五、六章 Fully-Connected Neural Nets 作业

摘要：要求：实现任意层数的NN。每一层结构包含： 1、前向传播和反向传播函数；2、每一层计算的相关数值 cell 1 依旧是显示的初始设置 cell 2 读取cifar数据，并显示维度信息 cell 3 使用随机生成的数据，测试affine 前向传播函数结果： affine_forward(x, w, 阅读全文

posted @ 2016-06-04 21:21 AIengineer 阅读(1948) 评论(0) 推荐(0) 编辑

CS231n 2016 通关第五章 Training NN Part1

摘要：在上一次总结中，总结了NN的基本结构。接下来的几次课，对一些具体细节进行讲解。比如激活函数、参数初始化、参数更新等等。首先，课程做一个小插曲：经常使用已经训练好的模型》》Finetune network 具体例子：使用现成模型，修改部分层，使用现成的参数做初始参数。以caffe为例，其阅读全文

posted @ 2016-06-02 11:56 AIengineer 阅读(645) 评论(0) 推荐(0) 编辑

CS231n 2016 通关第四章-NN 作业

摘要：cell 1 显示设置初始化 cell 2 网络模型与数据初始化函数通过末尾的调用，生成了NN类，并生成了测试数据。类的初始化代码（cs231n/classifiers/neural_net.py）： cell 3 前向传播计算loss，得到的结果与参考结果对比，证明模型的正确性：结果对比：阅读全文

posted @ 2016-05-31 21:12 AIengineer 阅读(2441) 评论(0) 推荐(0) 编辑

CS231n 2016 通关第四章-反向传播与神经网络（第一部分）

摘要：在上次的分享中，介绍了模型建立与使用梯度下降法优化参数、梯度校验，以及一些超参数的经验。本节课的主要内容： 1==链式法则 2==深度学习框架中链式法则 3==全连接神经网络 1、链式法则目前我们所处的阶段：学习了SVM softmax两个模型或者算法，需要优化w》》梯度下降。上述公式的计算阅读全文

posted @ 2016-05-29 15:51 AIengineer 阅读(1150) 评论(0) 推荐(0) 编辑

CS231n 2016 通关第三章-Softmax 作业

摘要：在完成SVM作业的基础上，Softmax的作业相对比较轻松。完成本作业需要熟悉与掌握的知识： cell 1 设置绘图默认参数 cell 2 读取数据，并显示各个数据的尺寸：数据维度结果： cell 3 用for循环实现Softmax的loss function 与grad：对应的py文件的代码阅读全文

posted @ 2016-05-26 10:00 AIengineer 阅读(1738) 评论(0) 推荐(0) 编辑

CS231n 2016 通关第三章-SVM 作业分析

摘要：作业内容，完成作业便可熟悉如下内容： cell 1 设置绘图默认参数 cell 2 读取数据得到数组（矩阵）得到结果，之后会用到，方便矩阵运算： cell 3 对每一类随机选取对应的例子，并进行可视化：可视化结果： cell 4 将数据集划分为训练集，验证集。得到各个数据集的尺寸： cell 阅读全文

posted @ 2016-05-25 14:54 AIengineer 阅读(2086) 评论(0) 推荐(0) 编辑

CS231n 2016 通关第三章-SVM与Softmax

摘要：1 本节课对应视频内容的第三讲，对应PPT是Lecture3 2 本节课的收获熟悉SVM及其多分类问题熟悉softmax分类问题了解优化思想由上节课即KNN的分析步骤中，了解到做图像分类的主要步骤根据数据集建立模型得到loss function 根据loss function 对参数做优阅读全文

posted @ 2016-05-24 23:28 AIengineer 阅读(5721) 评论(0) 推荐(1) 编辑

CS231n 2016 通关第二章-KNN 作业分析

摘要：KNN作业要求： 1、掌握KNN算法原理 2、实现具体K值的KNN算法 3、实现对K值的交叉验证 1、KNN原理见上一小节 2、实现KNN 过程分两步： 1、计算测试集与训练集的距离 2、通过比较label出现比例的方式，确定选取的最终label 代码分析： cell1 - cell5 对数据的预处阅读全文

posted @ 2016-05-22 12:38 AIengineer 阅读(2369) 评论(1) 推荐(0) 编辑

CS231n 2016 通关第一章-内容介绍

摘要：第一节视频的主要内容： Fei-Fei Li 女神对Computer Vision的整体介绍。包括了发展历史中的重要事件，其中最为重要的是1959年测试猫视觉神经的实验。 In 1959 Harvard neurophysiologists David H. HubelOffsite Link an 阅读全文

posted @ 2016-05-21 14:50 AIengineer 阅读(499) 评论(0) 推荐(0) 编辑

加特征加正则

摘要：加特征加正则阅读全文

posted @ 2016-05-20 20:35 AIengineer 阅读(122) 评论(0) 推荐(0) 编辑

ML 徒手系列说明

摘要：徒手系列正确打开方式： 1、徒手撸公式 2、徒手撸代码阅读全文

posted @ 2016-05-20 20:34 AIengineer 阅读(202) 评论(0) 推荐(0) 编辑

caffe 入门实例2 如何写一个模型

摘要：占坑，记录如何写一个基于lenet5的模型，并进行测试。阅读全文

posted @ 2016-05-20 20:33 AIengineer 阅读(250) 评论(0) 推荐(0) 编辑

caffe 入门实例3 fine-turning

摘要：占坑，使用fine-turning初始化参数。。。阅读全文

posted @ 2016-05-20 20:33 AIengineer 阅读(367) 评论(0) 推荐(0) 编辑

caffe从入门到放弃

摘要：断断续续折腾ML近一年，写点博客记录这个坑。阅读全文

posted @ 2016-05-20 20:32 AIengineer 阅读(280) 评论(0) 推荐(0) 编辑

caffe 入门实例1 如何调参数

摘要：占坑，分析lenet5，记录调参过程阅读全文

posted @ 2016-05-20 20:32 AIengineer 阅读(265) 评论(0) 推荐(0) 编辑

LeNet-5结构分析及caffe实现————卷积部分

摘要：占坑，记录 1、lenet-5的结构以及部分原理 2、caffe对于lenet-5的代码结构图一图一是整个LeNet-5的结构图，要点有：convolutions、subsampling、full connection、gaussian connection。要点拆分： 1、convoluti 阅读全文

posted @ 2016-05-20 20:31 AIengineer 阅读(7462) 评论(0) 推荐(0) 编辑

AIengineer

随笔分类 - DL