随笔分类 - 深度学习
摘要：目录1. 参考Batch Normalization理论作用 1. 参考 详解归一化、标准化、正则化以及batch normalization 论文 Batch Normalization BatchNorm层通常在激活函数之前应用。 它会自动计算每个特征的均值和方差，并根据小批量数据的统计信息进行
阅读全文
摘要：目录1. 参考2. 神经网络LogisticTanh函数Hard-Logistic函数和Hard-Tanh函数ReLU函数优点缺点带泄露的ReLU带参数的ReLUELU函数Softplus函数Swish函数MISHGELU 激活函数 1. 参考 邱锡鹏老师的《神经网络与深度学习》 2. 神经网络 �
阅读全文
摘要：目录1 参考2. 基础np.dotnp.outer 1 参考 “死亡”ReLUs 邱锡鹏老师的《神经网络与深度学习》 2. 基础 Sigmoid型函数的两端饱和， ReLU函数为左饱和函数，且在x > 0时导数为1，在一定程度上缓解了神经网络的梯度消失问题，加速梯度下降的收敛速度。 ReLU也是非线
阅读全文
摘要：1. 参考 https://blog.csdn.net/voiiid/article/details/114825246 https://blog.csdn.net/shizheng_Li/article/details/144140912 2. 半精度浮点fp16 这两种数据类型编程是经常遇见 双
阅读全文
摘要：目录1. 论文2. 代码 1. 论文 https://arxiv.org/pdf/2012.00364 2. 代码 Code is available at https://github.com/huawei-noah/Pretrained-IPT and https:gitee.com/minds
阅读全文
摘要：1. 环境配置 1.1 anconda配置环境 conda create -n DL_pytorch python=3.11 conda acticvate DL_pytorch conda deactivate conda env list conda remove -n DL_pytorch -
阅读全文
摘要：from __future__ import print_function import torch as t x = t.Tensor(5, 3) # 构建 (5, 3) 的矩阵，只是分配空间，未初始化 print(x) tensor([[1.0194e-38, 8.4490e-39, 1.046
阅读全文
摘要：PyTorch Basics import torch import numpy as np torch.manual_seed(1234) <torch._C.Generator at 0x21fe149e190> Tensors Scalar is a single number. Vector
阅读全文
摘要：目录1. 强化学习2. 马尔科夫链3. Q值和V值 1. 强化学习 首先我们需要明确，强化学习的任务是什么？ 这用大白话说：就是我们希望用强化学习的方式，使智能体获得独立自主地完成某种任务的能力。 智能体学习和工作的地方，我们就称为环境。 注意！所谓独立自主，就是智能体一旦启动，就不需要人指挥了。
阅读全文
摘要：目录1. 剪枝、聚类、量化协同2.知识蒸馏 1. 剪枝、聚类、量化协同 协同优化，即将剪枝、聚类、量化同时使用，用于减小模型体积、加速推理速度。 1 使用工具转换器的默认量化功能 2 有代表性的数据集可以进行整数量化 3 如果希望在GPU上加速模型，可以使用float16优化，或TensorRT 4
阅读全文
摘要：目录1. 什么是量化2 位宽，高精度浮点数的表示3. K-means 聚类量化4. 均匀/线性量化（linear quantization）5. Thresholding量化6. 何时量化聚类量化代码 1. 什么是量化 量化可以理解为：从连续到离散，针对parameters（W）、activatio
阅读全文
摘要：目录1. 模型压缩2. 神经网络剪枝4. 非结构化剪枝4. Pruning neurons结构化剪枝代码1模型的剪枝 这里针对整个模型进行剪枝使用TFLite创建一个压缩的模型使用TFLite创建一个压缩+量化的模型读取剪枝+量化的模型4. 结构化剪枝代码 1. 模型压缩 目的：使得模型体积更小，模
阅读全文
摘要：目录1. 原理2. 结构3. 代码实现RBM-014. 代码实现RBM-02 1. 原理 参考: https://bacterous.github.io/2018/05/22/Restricted Boltzmann Machine/ 受限玻尔兹曼机（Restricted Boltzmann Mac
阅读全文
摘要：目录1. 介绍2. 工作原理3. 代码 参考链接扩展： 书上看到了关于SOM的介绍，还比较全面: https://blog.csdn.net/rc15680632552/article/details/123892549 通过距离的计算，确定获胜神经元，winner take all，获胜神经元通过
阅读全文
摘要：目录 import numpy as np import tensorflow as tf import tensorflow.keras as K import matplotlib.pyplot as plt from tensorflow.keras.layers import Dense,
阅读全文
摘要：目录1. 张量的创建2. shape的操作2.1 tf.reshape2.2 tf.expand_dims2.3 tf.squeeze2.4 tf.transpose 转置3.数学运算reduce_sum reduce_mean reduce_max reduce_min 聚合操作4. 逻辑运算5.
阅读全文
摘要：目录1. 创建张量2. shape操作3. 数学运算4 逻辑运算5. 张量之间的操作6. 数据类型的转换7. 聚合(规约)操作8 argmax 1. 创建张量 tf.constant(value, dtype=None, shape=None, name='Const') tf.zeros(shap
阅读全文
摘要：目录1. 结构2. 代码解读 1. 结构 我画的： 2. 代码解读 导包 import nltk import numpy as np import re import shutil import tensorflow as tf import os import unicodedata from
阅读全文
摘要：目录1. 爱因斯坦求和的来源2. 求和表达式的规范3. 规则1：外部重复做乘积4. 规则2 内部重复把数取5. 规则3 从有到无要求和6. 规则4 重复默认要丢弃7. 把这个实现一下 加深理解 1. 爱因斯坦求和的来源 https://zhuanlan.zhihu.com/p/672346603 爱
阅读全文
