https://www.bilibili.com/video/av10156946/index_4.html#page=4
from IPython.display import FileLink
FileLink('文件位置')
--- 建立连接,将文件从服务器下载到电脑
import numpy as np
x=np.array([1,2,3,5,6,7,8,9])
np.clip(x,3,8)
Out[88]:
array([3, 3, 3, 5, 6, 7, 8, 8])
Elitic-第一家深度学习用于医疗,肺癌,真正难点不是技术而是现实问题,比如ct图片太大,如何让imagenet识别黑白模式,而网络代码差不多一样
可视化的重要性:
寻找对焦边缘-对角线的过滤器
寻找渐变色的过滤器
找寻圆形、边角、眼睛。。
Gobor filters
why finetuning:imagenet等已经学到了一些特征
从where一层开始微调:自己实验
how让激活向量处于正确的范围内:Xavier Initialization泽维尔初始化,nin和nout分别为当前权重矩阵的输入神经元个数和输出神经元个数,得到当前矩阵的标准差
lesson2代码:
loss导数:显示当权重改变时得到的值的变化
深度学习中不存在局部最小值,因为参数太多,不是三维而是上亿;局部最小值是对随机梯度下降中不发继续优化
如果倒数未知?:not worry,现代神经网络库都可以内部自动符号微分,只需要告诉它架构
深度学习中总是可以存在参数继续优化下去的 Sequential([Dense(输入的数,activation='softmax',input_shape=(输出的个数,))]) 一个输入,两个输出
狗和骨头与猫和狗共同出现的概率,前者更高 - imganet
bcolz:保存numpy数组快几乎不耗内存
VGG:224*224大小输入 notebook中: ??get_data ~ 就会展示函数细节,连接不同的batch
RMSprop:对SGD的一种微调
深度学习在矩阵从输入开始一步步所做的事情:在激活层进行非线性操作,
model.add\pop删除\summary
??vgg.finetune(batches)~细节~就是model.pop->model.add一个含有新分类数的Dense层-》mode.compile
keras中使用batches时要用model.fit_generator(batches,...)