摘要：
这篇论文提出了AlexNet，奠定了深度学习在CV领域中的地位。 1. ReLu激活函数 2. Dropout 3. 数据增强 网络的架构如图所示 包含八个学习层：五个卷积神经网络和三个全连接网络，并且使用了最大池化。 RELU非线性层 传统的神经网络的输出包括$tanh$ 和 $ y = (1+e 阅读全文
摘要：
总的来说这篇论文提出了ResNet架构，让训练非常深的神经网络(NN)成为了可能。 什么是残差？ “残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。”如果回归模型正确的话， 我们可以将残差看作误差的观测值。”更准确地，假设我们想要找一个 xx，使得 f(x)=bf(x)=b，给定一个 xx 阅读全文
摘要：
图像恢复的MAP推理公式： $\hat{x}\text{}=\text{}$arg min$_{x}\frac{1}{2}||\textbf{y}\text{}-\text{}\textbf{H}x||^{2}\text{}+\text{}\lambda\Phi(x)$ 正则化项$\Phi(x)$对 阅读全文
摘要：
一般的，image restoration(IR)任务旨在从观察的退化变量$y$(退化模型，如式子1)中，恢复潜在的干净图像$x$ $y \text{} =\text{}\textbf{H}x\text{}+\text{}v $ where $\textbf{H}$denotes 退化矩阵，$\te 阅读全文
摘要：
基于模型的优化方法(model-based optimization method): 小波变换、卡尔曼滤波、中值滤波、均值滤波； 优点：对于处理不同的逆问题都非常灵活；缺点：为了更好的效果而采用各种复杂的先验，非常地费时 基于判别式学习方式(discriminative learning meth 阅读全文
摘要：
判别学习算法：直接对问题进行求解，比如二分类问题，都是在空间中寻找一条直线从而把类别的样例分开，对于新的样例只要判断在直线的那一侧就可。 ==》这种直接求解的方法称为判别学习方法 生成学习算法：是对两个类别分别进行建模，用新的样例去匹配两个模型，匹配度较高的作为新的样例的类别； 应用：比如良性肿瘤与 阅读全文
摘要：
洛吉斯特回归模型的公式 求似然 应用梯度上升规则 如果要求 求出$\theta$的方法 牛顿方法 和梯度下降方法一样都是 求解空间进行搜索的方法 牛顿方法的推导过程 阅读全文
摘要：
$(x^{i},y^{i})$ example $h_{\theta}(x^{i})=$ 损失函数 $J(\theta) = 1/2SUM(h(x_{\theta}^{i}))$ 欠拟合和过拟合 一个线性模型 拟合房价曲线 $\theta_{0}+\theta_{1}x_{1}+......$ 多个 阅读全文
摘要：
监督学习：基于标记数据的学习 监督学习又举了两个例子：回归问题regression在连续数据上的模型构建问题 和 分类问题 classification 在离散数据上的问题 无监督学习：未标记的学习 经典方法是聚类cluster 应用：使用聚类算法对图像进行处理，聚类处理，使图像更为明显像素分组； 阅读全文
摘要：
然而 Deep CNN 对于其他任务还有一些致命性的缺陷。较为著名的是 up-sampling 和 pooling layer 的设计。这个在 Hinton 的演讲里也一直提到过。 主要问题有： Up-sampling / pooling layer (e.g. bilinear interpola 阅读全文