摘要：
1：自编码原理 【注】无监督学习的数据是没有标签的一类数据。 【注】自编码原理实际就是数据通过网络训练（升维以及降维），重够数据本身。 【注】MINiST数据集就是binary input类型的输入，其也属于real-valued input。但是real-valued input不一定属于bina 阅读全文
摘要：
1：仅供参考： 【注】百万级参数为中级模型 阅读全文
摘要：
1：迁移学习的实现原理 【注】这里的new Classifier为新的分类器，也就是网络层中的全连接层nn.liner(input_size,out_size)这里的out_size为需要分类的数量，即out_size=num_catogary(需要分为几类) [注]总结：迁移学习，简而言之就是少量 阅读全文
摘要：
1：自定义数据集 [注]每一个文件中对应弄干张相同种类但是不同状态的图片。比如：若干张不同状态小狗的图片。 (1.1)初始化 class Pokemon(Dataset): def __int__(self,root,resize,mode): 【注】上图中第二张图片，sorted的位置错误，应该用 阅读全文
摘要：
1.windows系统下（gpu版） 一、安装anaconda Anacond的介绍Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。 因为包含了大量的科学包，Anaconda 的下载文件比较大（约 531 MB），如果只需要某些包， 阅读全文
摘要：
1：nn.LSTM [注]h_size=c_size 2：nn.LSTMCell 阅读全文
摘要：
1：LSTM记忆单元 2:LSTM记忆单元的3道门 （2.1）遗忘门 [注]f_t是遗忘门（可以理解为记忆单元的保留门）的开度由于经过了sigmoid函数取值在[0,1]之间。σ为sigmoid函数 【注】为记忆单元（注：记忆单元不再是h_t） (2.2)输入门 【注】i_t为输入门的开度，取值在【 阅读全文
摘要：
1：RNN训练难题：梯度爆炸以及梯度弥散 （1.1）原因 [注]由于W**k的存在导致梯度出现爆炸或者弥散 2：解决办法 （2.1）梯度爆炸的解决办法：梯度压缩 [注]可以通过对w的梯度进行压缩：(w.grad/||w.gard||)*threashold解决梯度爆炸的问题 【注】norm()函数可 阅读全文
摘要：
1：正弦曲线下一段波形的预测 （1.1）数据采样 [注]这里的x,y我没有理解是什么含义 2:网络结构的创建 3：train 4：test [注]ravel()为打平操作 [注]pred的形状为[b,seq,feature len],hidden_pre的形状为[b,h,h dim]这里的h dim 阅读全文
摘要：
1:RNN layer的计算 【注】这里W的shape为[hidden len,feature len],hidden len意思是每句话的当前单词需要用多少个不同的W向量进行提取特征（结果将feature len压缩成hidden len实现降维）。feature len的意思是由于每个单词由fe 阅读全文