深度学习 - 随笔分类 - 吱吱了了

摘要：一、机器学习简介是什么？机器学习：给模型（函数）输入数据，输出结果。机器学习分类： 1）监督学习：即给定输入和输出以及输出，学习函数。 2）半监督学习：数据不够，有一部分数据有输入和输出，但有一部分没有输出。 3）无监督学习：只有输入没有输出。 4）迁移学习：可以有label也可以没有labe 阅读全文

posted @ 2021-07-13 00:20 吱吱了了阅读(468) 评论(0) 推荐(0) 编辑

Graph embedding（2）----- DeepWalk、Node2vec、LINE

摘要：一、DeepWalk （2014KDD） 1、思想随机游走+Word2vec 该算法使用随机游走(Random Walk)的方式在图中进行序列的采样. 在获得足够数量的满足一定长度的节点序列之后,就使用word2vec类似的方式,将每一个点看做单词,将点的序列看做是句子,进行训练. Random 阅读全文

posted @ 2020-04-20 16:59 吱吱了了阅读(5957) 评论(3) 推荐(1) 编辑

GNN图神经网络（1）

摘要：一、图传统的欧几里得空间数据：文本、图像、视频等【LSTM、CNN可训练】非欧几里得空间数据：图结构（包含对象和关系，如社交网络、电商网络、生物网络和交通网络等）【图卷积等技术可训练】 1、欧几里得空间也称欧式空间，二维、三维空间的一般化。将距离、长度和角度等概念转化成任意维度的坐标系。常见阅读全文

posted @ 2020-04-09 21:54 吱吱了了阅读(2997) 评论(0) 推荐(1) 编辑

池化层的几种实现方式

摘要：参考：https://blog.csdn.net/malefactor/article/details/51078135 一、CNN网络模型 NLP中CNN模型网络：二、Pooling操作 1、CNN中的Max Pooling Over Time操作（1）概念： MaxPooling Over 阅读全文

posted @ 2019-07-12 13:45 吱吱了了阅读(3597) 评论(0) 推荐(0) 编辑

NLP学习（2）----文本分类模型

摘要：实战:https://github.com/jiangxinyang227/NLP-Project 一、简介： 1、传统的文本分类方法：【人工特征工程+浅层分类模型】（1）文本预处理： ①（中文）文本分词正向/逆向/双向最大匹配; 基于理解的句法和语义分析消歧；基于统计的互信息/CRF方法；阅读全文

posted @ 2019-07-11 13:38 吱吱了了阅读(9275) 评论(0) 推荐(1) 编辑

train loss相关问题

摘要：一、train loss 收敛慢，把learning_rate调高二、train loss不下降： 1、观察数据中是否有异常样本或异常label导致数据读取异常2、调小初始化权重，以便使softmax输入的feature尽可能变小3、降低学习率，这样就能减小权重参数的波动范围，从而减小权重变大的可阅读全文

posted @ 2019-07-02 13:42 吱吱了了阅读(17653) 评论(0) 推荐(0) 编辑

Self-Attetion

摘要：四、self-attention 1、是什么？ attention机制通常用在encode与decode之间，但是self-attention则是输入序列与输出序列相同，寻找序列内部元素的关系即 K=V=Q。l例如《Attention Is All You Need》在编码器中使用self-atte 阅读全文

posted @ 2019-06-01 22:28 吱吱了了阅读(681) 评论(0) 推荐(0) 编辑

Attention-based Model

摘要：一、Attention与其他模型 1、LSTM、RNN的缺点：输入的Memory长度不能太长，否则参数会很多。采用attention可以输入长Memory，参数不会变多。 2、Sequence to Sequence Learning : 输入和输出的句子长度可以不一样，常用来做句子翻译。比如：阅读全文

posted @ 2019-05-27 00:40 吱吱了了阅读(1348) 评论(0) 推荐(0) 编辑

多种类型的神经网络（孪生网络）

摘要：目录：一、CPPN 二、孪生网络Siamese 三、改进的孪生网络四、Triplet Network 一、CPPN（Compositional Pattern Producing Network)复合模式生成网络 CPPN是一种基于遗传算法演化神经网络结构的生成式模型。 1、前言：一个圆的图像阅读全文

posted @ 2018-12-13 13:39 吱吱了了阅读(23723) 评论(2) 推荐(2) 编辑

RBM（受限玻尔兹曼机）和深层信念网络（Deep Brief Network）

摘要：目录：一、RBM 二、Deep Brief Network 三、Deep Autoencoder 一、RBM 二、Deep Brief Network 三、Deep Autoencoder 一、RBM 1、定义【无监督学习】 RBM记住三个要诀：1）两层结构图，可视层和隐藏层；【没输出层】2）层内阅读全文

posted @ 2018-12-13 12:09 吱吱了了阅读(2389) 评论(0) 推荐(0) 编辑

自编码器----Autoencoder

摘要：一、自编码器：降维【无监督学习】 PCA简介：【线性】原矩阵乘以过渡矩阵W得到新的矩阵，原矩阵和新矩阵是同样的东西，只是通过W换基。自编码：自动编码器是一种无监督的神经网络模型，它可以学习到输入数据的隐含特征，这称为编码(coding)，同时用学习到的新特征可以重构出原始输入数据，称之为解码(d 阅读全文

posted @ 2018-12-12 21:42 吱吱了了阅读(3204) 评论(0) 推荐(0) 编辑

序列模型（5）-----双向神经网络（BRNN）和深层循环神经网络（Deep RNN）

摘要：一、双向循环神经网络BRNN 采用BRNN原因：双向RNN，即可以从过去的时间点获取记忆，又可以从未来的时间点获取信息。为什么要获取未来的信息呢？判断下面句子中Teddy是否是人名，如果只从前面两个词是无法得知Teddy是否是人名，如果能有后面的信息就很好判断了，这就需要用的双向循环神经网络。阅读全文

posted @ 2018-12-04 20:14 吱吱了了阅读(8163) 评论(0) 推荐(0) 编辑

序列模型（4）----门控循环单元（GRU）

摘要：一、GRU 其中， rt表示重置门，zt表示更新门。重置门决定是否将之前的状态忘记。(作用相当于合并了 LSTM 中的遗忘门和传入门）当rt趋于0的时候，前一个时刻的状态信息ht−1会被忘掉，隐藏状态h^t会被重置为当前输入的信息。更新门决定是否要将隐藏状态更新为新的状态h^t（作用相当于 L 阅读全文

posted @ 2018-12-04 19:28 吱吱了了阅读(1484) 评论(0) 推荐(0) 编辑

序列模型（3）---LSTM（长短时记忆）

摘要：摘自https://www.cnblogs.com/pinard/p/6519110.html 一、RNN回顾略去上面三层，即o,L,y，则RNN的模型可以简化成如下图的形式：二、LSTM模型结构：整体模型：由于RNN梯度消失的问题，大牛们对于序列索引位置t的隐藏结构做了改进，可以说通过一些阅读全文

posted @ 2018-12-04 19:10 吱吱了了阅读(2395) 评论(0) 推荐(0) 编辑

随笔分类 - 深度学习

（7）李宏毅深度学习----总结

（6）李宏毅深度学习----卷积神经网络

（5）李宏毅深度学习----优化器和BN

（4）李宏毅深度学习---梯度下降和BP

（3）李宏毅深度学习---误差、偏差和方差

（2）李宏毅深度学习简介----回归

（1）李宏毅深度学习-----机器学习简介