随笔分类 - 深度学习
摘要：文章目录 1.数据结构分析（欧几里德和非欧几里德数据）2.inception V1 V2 V3 V4inception V1Inception V2BN 理解 Inception V3Inception V4 3.GNN简单理解4.GCN简单理解 1.数据结构分析（欧几里德和非欧几里德数据） 欧几里
阅读全文
摘要：文章目录 一：范数对比二：范数作用三：L0范数和L1范数之间的比较四：L1范数和L2范数的比较五：L1范数和L2范数之反向传播的理解 一：范数对比 L0范数: 指向量中非0的元素的个数。(L0范数很难优化求解) L1范数: 指向量中各个元素绝对值之和 L2范数: 指向量各元素的平方和然后求平方根 注
阅读全文
摘要：循环神经网络： https://blog.csdn.net/qq_37534947/article/details/108369828
阅读全文
摘要：文章目录 卷积神经网络 一、三个特点 二、卷积和互相关 三、卷积操作 四、反向传播 五、池化 六、增加输出单元的感受野 七、卷积网络发展历程 卷积神经网络 为什么引入卷积网络？主要是对于图片来说，全连接神经网络的几个弊端如下： 一、三个特点 稀疏交互/局部连接： 在全连接神经网络，一层的每个神经元和
阅读全文
摘要：深度模型优化与正则化： 网络优化 目的：经验风险最小化。对于低维来说，目的是逃离局部最优点；对于高维来说，则是逃离鞍点。 梯度下降 批量梯度下降、小批量梯度下降、随机批量梯度下降。 学习率 流程：学习率预热、学习率衰减、学习率周期调整、自适应学习率。 1）学习率预热：
阅读全文
摘要：前馈神经网络： https://blog.csdn.net/qq_37534947/article/details/107832979 补充： 人工神经网络的三大要素： 万能近似定理： 可以看到只需要一个线性输出层和一个隐藏层组成的神经网络就可以近似任何函数，但是规模可能巨大，随着深度的增加，网络的
阅读全文
摘要：深度学习的框架： 核心组件 张量、基于张量的相关操作、计算图、自动微分工具、cudnn等扩展包。 张量：多维数组，0维张量即标量、1维张量即矢量、2维张量即矩阵、3为张量矩阵数组、4为张量… 基于张量的相关操作： 计算图： 自动微分工具
阅读全文
摘要：一：绪论 人工智能：使一部机器人像人一样进行感知、认知、决策、执行的人工程序或系统。 标志事件表： 人工智能诞生：1956年的达特茅斯会议 三个层面：目前处于第二个 分类： 三起两落
阅读全文
摘要：一：主要流程 二：为什么需要序列模型？ 三：网络记忆能力 在RNN出现前，一些具有记忆能力的网络： 1）TDNN 2）自回归模型 四：循环神经网络 五：循环神经网络的计算图 六：序列模型解决的问题 七：BPTT（随时间反向传播）—重点 1）前向传播 2）反向传播 八：双向循环神经网络 九：长期依赖的
阅读全文
摘要：一：相关概念 二：主要流程 三：线性问题 四：非线性问题 五：激活函数-隐藏单元 导数：sigmoid y(1-y)、tanh 1-y的平方，其中y就是对应的激活函数。 六：激活函数–输出单元 七：损失函数 八：反向传播 例子： https://blog.csdn.net/weixin_383473
阅读全文
摘要：在分类中，首先对于Logistic回归: 从上图可以看出， 很明显，其输出f(x;wb)主要是一些连续的实数，可以用于线性回归，但是对于分类问题无法进行直接进行分类预测，这里需要引入非线性的决策函数g(.)—这里我认为就是激活函数，使其输出从连续的实数转换到一些离散的标签。 对于激活函数，可分为一下
阅读全文
