深度学习算法 - 随笔分类 - nxf_rabbit75

摘要：一、RNN 1.展开图（1）假设

x^{(t)}

$x^{(t)}$ 为

t

$t$ 时刻系统的外部驱动信号，则动态系统的状态为

h^{(t)} = f (h^{(t - 1)}, x^{(t)}; θ)

$h^{(t)}=f(h^{(t-1)},x^{(t)};\theta)$ （2）当训练RNN根据过去预测未来时，网络通常要讲

h^{(t)}

$h^{(t)}$ 作为过去序列信息的一个有损的representatio 阅读全文

posted @ 2019-09-30 15:41 nxf_rabbit75 阅读(262) 评论(0) 推荐(0) 编辑

GCN总结

摘要：一、GCN简介 GNN模型主要研究图节点的表示（Graph Embedding），图边结构预测任务和图的分类问题，后两个任务也是基于Graph Embedding展开的。目前论文重点研究网络的可扩展性、动态性、加深网络。谱卷积有理论支持，但有时候会受到拉普拉斯算子的限制；而空间域卷积更加灵活，主要阅读全文

posted @ 2019-08-05 22:56 nxf_rabbit75 阅读(23709) 评论(2) 推荐(18) 编辑

Graph Embedding总结

摘要：图嵌入应用场景：可用于推荐，节点分类，链接预测（link prediction），可视化等场景一、考虑网络结构 1.DeepWalk （KDD 2014）（1）简介 DeepWalk = Random Walk + Skip-gram 论文链接作者：Bryan Perozzi, Rami Al 阅读全文

posted @ 2019-07-26 14:42 nxf_rabbit75 阅读(4874) 评论(0) 推荐(1) 编辑

RNN/LSTM/GRU/seq2seq公式推导

摘要：概括：RNN 适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM 和 GRU 采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM 和 GRU 被广泛地应用到语音识别、语音合成和自然语言处理等。 1. RNN RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将阅读全文

posted @ 2019-03-17 17:23 nxf_rabbit75 阅读(2616) 评论(0) 推荐(0) 编辑

卷积神经网络(四)--人脸识别与神经风格迁移

摘要：1. What is face recognition 首先简单介绍一下人脸验证（face verification）和人脸识别（face recognition）的区别。人脸验证：输入一张人脸图片，验证输出与模板是否为同一人，即一对一问题。人脸识别：输入一张人脸图片，验证输出是否为K个模板阅读全文

posted @ 2018-10-31 11:19 nxf_rabbit75 阅读(1182) 评论(0) 推荐(0) 编辑

卷积神经网络(三)--目标检测

摘要：本章介绍目标定位和目标检测（包含多目标检测）。 1. Object Localization 原始图片经过CONV卷积层后，Softmax层输出4 x 1向量，分别是：注意，class label也可能是概率。上述四个向量分别对应pedestrain，car，motorcycle和backgrou 阅读全文

posted @ 2018-10-30 22:32 nxf_rabbit75 阅读(2805) 评论(0) 推荐(0) 编辑

卷积神经网络(二)---深度卷积网络：实例

摘要：1. Classic networks （1）LeNet 5 该LeNet模型总共包含了大约6万个参数。当时Yann LeCun提出的LeNet 5模型池化层使用的是average pool，而且各层激活函数一般是Sigmoid或tanh。现在，一般池化层使用Max pool，激活函数用ReLU。阅读全文

posted @ 2018-10-29 09:29 nxf_rabbit75 阅读(1084) 评论(0) 推荐(0) 编辑

卷积神经网络(一)---基础

摘要：1. Computer Vision 机器视觉（Computer Vision）是深度学习应用的主要方向之一。一般的CV问题包括以下三类： Image Classification Object detection Neural Style Transfer 下图展示了一个神经风格转换（Neural 阅读全文

posted @ 2018-10-28 20:23 nxf_rabbit75 阅读(889) 评论(0) 推荐(0) 编辑

机器学习策略（二）---误差分析、训练集与开发测试集不相配怎么办、迁移学习/多任务学习、端到端深度学习

摘要：1.误差分析 1.1 误差分析当算法还没有到达human level时，你需要去分析算法带来的误差，并且决定接下去应该如何优化，从而减小误差。这个过程叫做误差分析。将设在猫狗分类的任务上，若dev set上的error有10%，此时你需要找出这些错误的case,然后统计猫错分成狗，和狗错分成阅读全文

posted @ 2018-10-28 10:48 nxf_rabbit75 阅读(2213) 评论(0) 推荐(0) 编辑

机器学习策略（一）---正交化、评估指标、优化指标、训练与测试集数据集大小、可避免误差

摘要：1.引言这一部分主要是学习怎样快速高效的优化机器学习项目，假如你想优化你的猫分类器系统，你可以：收集更多的数据增加数据的多样性梯度下降算法训练时间更长一些尝试不同的而优化算法，比如Adam 尝试规模更大或更小的网络结构尝试加入Dropout 加入L2正则修改网络结构，比如激活函数、隐藏阅读全文

posted @ 2018-10-27 10:19 nxf_rabbit75 阅读(1483) 评论(0) 推荐(0) 编辑

具有单隐藏层的二分类神经网络

摘要：搭建神经网络我们要搭建的神经网络模型如下图构建神经网络的一般方法是： 1. 定义神经网络结构（输入单元的数量，隐藏单元的数量等）。 2. 初始化模型的参数 3. 循环实施前向传播计算损失实现向后传播更新参数（梯度下降）我们要它们合并到一个nn_model() 函数中，当我们构建好了n 阅读全文

posted @ 2018-10-21 17:40 nxf_rabbit75 阅读(1818) 评论(0) 推荐(0) 编辑

神经网络前向后向传播（理论与实战）

摘要：建立神经网络的主要步骤是： 1. 定义模型结构（例如输入特征的数量） 2. 初始化模型的参数 3. 循环： 3.1 计算当前损失（正向传播） 3.2 计算当前梯度（反向传播） 3.3 更新参数（梯度下降）实现代码参考 [1]: https://blog.csdn.net/weixin_40920 阅读全文

posted @ 2018-10-20 21:56 nxf_rabbit75 阅读(1007) 评论(0) 推荐(0) 编辑

随笔分类 - 深度学习算法

搜索

最新随笔

随笔分类 (511)

阅读排行榜

推荐排行榜