随笔分类 - 深度学习随笔
摘要：用AutoEncoder做一些有趣的事情 有人甚至做了Mask AutoEncoder之类的东西，第一次知道可以这样去恢复原数据，真的非常有意思。可以在这里也试一下AutoEncoder，下面用了mnist俩个数据集（一个最经典的、一个FashionMnist,只需要切换一下datasets那里的数
阅读全文
摘要：研究一下不同梯度下降的优化器和自己的优化器的比较（SGD,Momentum,AdaGrad,Adam） 参考：《深度学习入门：基于Python的理论与实现》 import matplotlib.pyplot as plt import numpy as np import latexify from
阅读全文
摘要：研究一下加速梯度下降的方法(试图找到一种不会收敛于局部最优的方法) 发现自己很久没有更新了,现在又在学习着机器学习的内容,正好对梯度下降这里比较感兴趣,因此写了一篇短短的ipynb来实现一下 另外:本文的代码都是基于python3.9 介绍: 本文章主要是对梯度下降(从一个简单的例子出发)的一些方法
阅读全文
摘要：
如何用markdown中的mermaid快速画出不好看的神经网络 用flowchart或graph😭 def gen_mm_nngraph(firstlayer_str,firstlayer_len,secondlayer_str,secondlayer_len,isformat=False):
阅读全文
如何用markdown中的mermaid快速画出不好看的神经网络 用flowchart或graph😭 def gen_mm_nngraph(firstlayer_str,firstlayer_len,secondlayer_str,secondlayer_len,isformat=False):
阅读全文
摘要：Weights Initialization (话说在前头，可能这才是深度学习中最重要的地方) What if you initialize weights to zero? 如果权重全部初始化为零，我们知道此时第一层所有的a都是对称的；这也就导致了后面我们得到的dW是每行都一样的（笔者认为此时如果
阅读全文
摘要：Gradient descent for neural networks 还是针对之前概览中的这个网络，并且考虑它做的是binary classification; 则我们现在来讨论其中的梯度下降方法, \[ Parameters(参数): \mathop{W^{[1]}}\limits_{(n^{
阅读全文
摘要：浅浅写一篇文章来了解一下分子及分母布局:-(对矩阵求偏导的看法) 在网上看了很多很多对矩阵求偏导的各种各样眼花缭乱的例子，但觉得还是不够深刻，本文尝试通过一个最简单的例子来说明清楚对矩阵求偏导的真正原理，以及需要了解的基础知识和更多的拓展知识： 最简单的例子引入 \[ 小康在学习神经网络时遇到一个求
阅读全文
摘要：
Activation functions 基本激活函数 \[ \text{We know that the value of sigmoid function must }\\ \text{between 0 and 1. But Andrew said that an activation }\\
阅读全文
Activation functions 基本激活函数 \[ \text{We know that the value of sigmoid function must }\\ \text{between 0 and 1. But Andrew said that an activation }\\
阅读全文
摘要：Vectorizing across multiple examples \[ So\; given\; input:\;x\\ \begin{align} \mathop{z^{[1]}}\limits_{(4,1)} &=\mathop{W^{[1]}}\limits_{(4,3)} \math
阅读全文
摘要：A quick overview of neural network of Andrew Ng 图1.简单的概览 \[ 对于[1],我们有\\ \rightarrow z^{[1]}=W^{[1]}x+b^{[1]} \rightarrow a^{[1]}=\sigma(z^{[1]})\\ 对于[
阅读全文
摘要：Explanation of logistic regression cost function \[ \begin{array}{c} \hat{y} = \sigma(w^Tx+b)\quad where\;\sigma(z) = \frac{1}{1+e^{-z}}\\ interpret \
阅读全文
摘要：import numpy as np a=np.array([1,2,3,4]) print(a) [1 2 3 4] import time # this code is to compare the vectorization and for-loops a=np.random.rand(100
阅读全文
