为什么CNN需要固定输入图像的尺寸
摘要：全连接层的输入是固定大小的，如果输入向量的维数不固定，那么全连接的权值参数的量也是不固定的，就会造成网络的动态变化，无法实现参数训练目的。 全连接层的计算其实相当于输入的特征图数据矩阵和全连接层权值矩阵进行内积，在配置一个网络时，全连接层的参数维度是固定的，所以两个矩阵要能够进行内积，则输入的特征图
阅读全文
posted @ 2020-05-28 09:13
随笔分类 - 李宏毅的深度学习笔记
semi-supervised 半监督
摘要：那今天我们只考虑有label的猫跟狗的data，画一个boundary，将猫跟狗的train data分开的话，你可能就会画在中间(垂直)。 那如果unlabel的分布长的像灰色的点这个样子的话，这可能会影响你的决定。虽然unlabel data只告诉我们了input，但unlabeled data
阅读全文
posted @ 2020-03-12 20:06
Ensemble 协同工作
摘要：Ensemble的框架 Ensemble的方法就是一种团队合作，好几个模型一起上的方法。 第一步：通常情况是有很多的classifier，想把他们集合在一起发挥更强大的功能，这些classifier一般是diverse的，这些classifier有不同的属性和不同的作用。 第二步：就是要把class
阅读全文
posted @ 2020-03-03 20:38
Recurrent neural network(RNN) 循环神经网络 （下）
摘要：有了这个loss function以后，对于training，也是用梯度下降来做。也就是说我们现在定义出了loss function(L)，我要update这个neural network里面的某个参数w，就是计算对w的偏微分， 偏微分计算出来以后，就用GD的方法去update里面的参数。在讲fee
阅读全文
posted @ 2020-03-02 14:44
Recurrent neural network(RNN) 循环神经网络 (上)
摘要：应用举例 我们假设订票系统听到用户说：“ I would like to arrive Taipei on November 2nd”，你的系统有一些slot(有一个slot叫做Destination，一个slot叫做time of arrival)，系统要自动知道这边的每一个词汇是属于哪一个slo
阅读全文
posted @ 2020-02-29 22:05
Explainable ML
摘要：定义： 不仅可以（分类），还要输出分类的理由是什么（局部），以及某一个分类的判断标准（全局） 局部： silence map. 把{x1.....xn}中每一个像素加一个偏移量之后，得到的y偏移量与x偏移相除，类似于微分的结果，表示成一张图片。可以看到图片上对与判断结果来说重要的部分。 全局： 对某
阅读全文
posted @ 2020-02-28 15:36
Fizz Buzz in tensorflow
摘要：code from keras.layers.normalization import BatchNormalization from keras.models import Sequential from keras.layers.core import Dense,Dropout,Activat
阅读全文
posted @ 2020-02-28 14:48
Tips for traing DNN (Adam,正则化,Dropout)
摘要：1。 一般的机器学习方法不会在train好的模型上检查training data的结果，因为DNN在training data上都没有办法获得很好的正确率， 所以要先回头看一下要对模型做什么修改，才能使得在training set上取得比较好的正确率。 2。 在training set获得好的结果，
阅读全文
posted @ 2020-02-28 13:22
Attack ML Models
摘要：Attack Training的Loss:固定x,修改θ,使y0接近ytrue. Non-targeted Attack的Loss:固定θ,修改x,使y‘远离ytrue. Targeted Attack的Loss:固定θ,修改x,使y‘远离ytrue且接近yfalse. 4个pixel,(RGB每个
阅读全文
posted @ 2020-02-26 10:53
win10 python3.7 Anaconda3 安装tensorflow+Keras
摘要：首先tensorflow 不支持python3.7,只能用tf1.9 也就是说：py3.7+ tf 1.9 +keras 2.2.0 才可以 https://docs.floydhub.com/guides/environments/这个链接可以查询不同版本应该下载那个 到Tensorflow支持P
阅读全文
posted @ 2020-02-25 14:10
Keras
摘要：分3步进行 Mini_batch 为什么要Mini_batch 166s 放到size=10,其实相当于10 epoch（也就是说也会50000updates） batch_size大的时候，用了平行运算(算10个examples 时间和1 example时间差不多)所以更快但是不能设置的太大，会卡
阅读全文
posted @ 2020-02-23 19:24
Convolutional neural network (卷积神经网络)
摘要：我们都知道CNN常常被用在影像处理上，当然也可以用一般的neural network来做影像处理，不一定要用CNN。比如说你想要做影像的分类， 那么你就是training一个neural network,input一张图片，那么你就把这张图片表示成里面的pixel，也就是很长很长的vector。ou
阅读全文
posted @ 2020-02-22 19:26
Anomaly Detection
摘要：这里我要强调一下什么叫做异常，机器到底要看到什么就是Anormaly。其实是取决你提供给机器什么样的训练数据 应用 1.若你有一个classifier，你希望这个classifier具有：看到不知道的数据会标上这是未知物的能力，这算是异常侦测的其中一种，又叫做Open-set Recognition
阅读全文
posted @ 2020-02-21 12:33
Backpropagation
摘要：链式法则 反向传播 计算偏导数 举个例子 case1 求出C对y1,y2的偏微分 就可以了
阅读全文
posted @ 2020-02-19 20:37
a brief introduction of deep learning
摘要：three steps for deep learning Step1：神经网络（Neural network） Step2：模型评估（Goodness of function） Step3：选择最优函数（Pick best function） neural network 手动连接神经元 如： 1
阅读全文
posted @ 2020-02-19 19:30
李宏毅深度学习第二次作业 Logistic regression 预测年薪超过50W
摘要：1 import pandas as pd 2 import numpy as np 3 ''' 4 整体和PM2.5差不多 5 参考博客：https://www.cnblogs.com/HL-space/p/10785225.html 6 https://www.cnblogs.com/tingt
阅读全文
posted @ 2020-02-18 18:46
logistic Regression
摘要：进行数学推导 逻辑回顾与线性回顾的差异 为什么logistic Regression 不能用square error Discriminative vs Generative 逻辑回归的方法称为Discriminative（判别） 方法；上一篇中用高斯来描述后验概率，称为 Generative（生成
阅读全文
posted @ 2020-02-17 18:18
classification
摘要：这样会认为class 1 ,class 2 接近，有某种关系但实际没有，那么multiple class 没有好的结果 理想的方法 下面计算各个概率 D：维度。下面的D=2 最大似然估计 每一个高斯分布都有可能产生这79个点 上面标明，结果不好。那么进行修改model 协方差矩阵与feature s
阅读全文
posted @ 2020-02-16 20:27
where does the error come from
摘要：偏差和方差 s1... s6应该都取平方 4种情况 因此simple model 对应的variance 小、 模型的复杂度对error 的影响变化图 处理高bias 只包含那些平滑的曲线，可能没包含target,导致影响bias .你刚开始用的test set存在bias ,然而真正的test s
阅读全文
posted @ 2020-02-15 18:29
