随笔分类 - DL
摘要：GCN 傅里叶变换 卷积定理 拉普拉斯矩阵 参考资料： GCN总结
阅读全文
摘要：激活函数： 激活函数的作用： 梯度下降由基于链式规则的反向传播组成，链式规则用于获取权值变化以减少每次训练后的损失。 神经网络是利用梯度下降过程来训练的。 如果使用线性函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。加深神经网络的层数就没有什么意义了。线性函数的
阅读全文
摘要：Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系
阅读全文
摘要：普通的神经网络 普通神经网络有三个部分，输入层x，隐藏层h，输出层o CNN 循环神经网络（RNN） RNN的每一个时序是一个前馈神经网络，但是为了在每一个时刻都包含前边时序的信息，所以RNN的每个时序共享了隐藏层，即当前时刻的输入不仅包含了当前时刻的词，还包含了前一时刻的隐藏层的输出。
阅读全文
摘要：显存占用和GPU利用率是两个不一样的东西，显卡是由GPU计算单元和显存等组成的，显存和GPU的关系有点类似于内存和CPU的关系。 1.首先安装scalenepip install scalene Scalene 是一个 Python 的高性能 CPU内存分析器 用于Python脚本的CPU和内存分析
阅读全文
摘要：#### dataframe格式数据 1.读取数据： `data = pd.read_csv('D:/jupyter/data/mydata/vertex.csv', header = None)` 按行读取： ```python import csv with open('../file.csv'
阅读全文
摘要：深度学习（tensorflow）中的所有学习算法都必须 有一个 最小化或最大化一个函数，称之为损失函数（loss function），或“目标函数”、“代价函数”。 损失函数是衡量模型的效果评估。比如：求解一个函数最小点最常用的方法是梯度下降法（比如：全批量梯度下降 Batch GD、随机梯度下降
阅读全文
摘要：内置参数 参数属于模型内部的配置变量，它们通常在建模过程自动学习得出。如：线性回归或逻辑回归中的系数、支持向量机中的支持向量、神经网络中的权重。 reset_parameters()函数用来初始化参数 1.kaiming_uniform_按照均匀分布初始化tensor 2.kaiming_norma
阅读全文
摘要：防止过拟合的方法有哪些？ 过拟合现象就是模型在train data上表现很好，但是在test data上表现不好。在神经网络的loss中表现为train loss一直在下降，但是dev set上的loss在某个节点开始上升。 过拟合 == 泛化能力差 过拟合出现的原因： 训练数据太少，样本不足； 训
阅读全文
摘要：注意力机制（attention） 图片展示的Encoder-Decoder框架没有体现“注意力模型”，可以把它看做是注意力不集中分心模型。因为在生成目标句子的单词时，不论生成哪个单词，它们使用的输入句子的语义编码C都是一样的，没有任何区别。而语义编码C是由原句子中的每个单词经过Encoder编码产生
阅读全文