01 2018 档案
摘要：今天要分享的这篇论文是我个人最喜欢的论文之一，它的思想简单、巧妙，而且效果还相当不错。这篇论文借助数学上的 范数工具对图像进行平滑，同时保留重要的边缘特征，可以实现类似水彩画的效果（见下图）。 另外这篇论文的作者徐立也是一个相当高产的研究员。 论文的目的 所谓图像平滑，就是突出图像中
阅读全文
摘要：在一般的全联接神经网络中，我们通过反向传播算法计算参数的导数。BP 算法本质上可以认为是链式法则在矩阵求导上的运用。但 CNN 中的卷积操作则不再是全联接的形式，因此 CNN 的 BP 算法需要在原始的算法上稍作修改。这篇文章主要讲一下 BP 算法在卷积层和 pooling 层上的应用。 原始的 B
阅读全文
摘要：很久以前写过一篇 PCA 的小白 "教程" ，不过由于当时对 PCA 的理解流于表面，所以只是介绍了一下 PCA 的算法流程。今天在数图课上偶然听到 PCA 在图像压缩上的应用，突然明白了一点实质性的东西，这里趁热记录一波。 PCA 算法 首先还是简单回顾下 PCA 的算法流程。 我们把样本数据 $
阅读全文
摘要：这篇论文是要解决 person re identification 的问题。所谓 person re identification，指的是在不同的场景下识别同一个人（如下图所示）。这里的难点是，由于不同场景下的角度、背景亮度等等因素的差异，同一个人的图像变化非常大，因而不能使用一般的图像分类的方法。
阅读全文
摘要：Cross Domain Visual Matching，即跨域视觉匹配。所谓跨域，指的是数据的分布不一样，简单点说，就是两种数据「看起来」不像。如下图中，（a）一般的正面照片和各种背景角度下拍摄的照片；（b）摄像头不同角度下拍到的照片；（c）年轻和年老时的人脸照；（d）证件照和草图风格的人脸照，这
阅读全文
摘要：既然是概述，那么我也只会在文中谈一点关于 Word2Vec 的思想和大概的方法。对于这个算法，如果一开始学习就深入到算法细节中，反而会陷入局部极值点，最后甚至不知道这个算法是干嘛的。在了解算法大概的思路后，如果有进一步研究的必要，再去深究算法细节，这时一切都是水到渠成的。 先申明，由于我不是做 NL
阅读全文
摘要：GMM，即高斯混合模型（Gaussian Mixture Model），简单地讲，就是将多个高斯模型混合起来，作为一个新的模型，这样就可以综合运用多模型的表达能力。EM，指的是均值最大化算法（expectation maximization），它是一种估计模型参数的策略，在 GMM 这类算法中应用广
阅读全文
摘要：高中的时候我们便学过一维正态（高斯）分布的公式： 拓展到高维时，就变成： \[ N(\overline x | \overline
阅读全文
摘要：在之前的文章中，我们介绍了傅立叶变换的本质和很多基本性质，现在，该聊聊代码实现的问题了。 为了方便起见，本文采用的编程语言是 Python3，矩阵处理用 numpy，图像处理则使用 OpenCV3。 离散傅立叶变换 首先，回忆一下离散傅立叶变换的公式： $$ \begin{eqnarray} F(u
阅读全文
摘要：上一篇文章讲了傅立叶变换的本质。这篇文章会总结一下傅立叶变换的常用性质，公式巨多，慎入！慎入！ <! more 相关概念 首先，回顾一下傅立叶变换的公式： 频谱(spectrum)
阅读全文
摘要：关于傅立叶变换，知乎上已经有一篇很好的 "教程" ，因此，这篇文章不打算细讲傅立叶的物理含义，只是想从图像的角度谈一谈傅立叶变换的本质和作用。 本文假设读者已经熟知欧拉公式： 并且知道高数课本中给出的傅立叶变换公式：
阅读全文
摘要：在讨论最大似然估计之前，我们先来解决这样一个问题：有一枚不规则的硬币，要计算出它正面朝上的概率。为此，我们做了 10 次实验，得到这样的结果：[1, 0, 1, 0, 0, 0, 0, 0, 0, 1]（1 代表正面朝上，0 代表反面朝上）。现在，要根据实验得到的结果来估计正面朝上的概率，即模型的参
阅读全文
摘要：之前提到，深度神经网络在训练中容易遇到梯度消失/爆炸的问题，这个问题产生的根源详见之前的读书笔记。在 Batch Normalization 中，我们将输入数据由激活函数的收敛区调整到梯度较大的区域，在一定程度上缓解了这种问题。不过，当网络的层数急剧增加时，BP 算法中导数的累乘效应还是很容易让梯度
阅读全文
摘要：在神经网络的训练过程中，总会遇到一个很蛋疼的问题：梯度消失/爆炸。关于这个问题的根源，我在上一篇文章的读书笔记里也稍微提了一下。原因之一在于我们的输入数据（网络中任意层的输入）分布在激活函数收敛的区域，拿 sigmoid 函数举例： 如果数据分布在 [-4, 4] 这个区间两侧，sigmoid 函数
阅读全文
摘要：本文是根据 TensorFlow 官方 "教程" 翻译总结的学习笔记，主要介绍了在 TensorFlow 中如何共享参数变量。 教程中首先引入共享变量的应用场景，紧接着用一个例子介绍如何实现共享变量（主要涉及到 和`tf.get_variable()`两个接口），最后会介绍变量域 (Variable
阅读全文
摘要：最近在学习 SVM 的过程中，遇到关于优化理论中拉格朗日乘子法的知识，本文是根据几篇文章总结得来的笔记。由于是刚刚接触，难免存在错误，还望指出😁 另外，本文不会聊到深层次的数学推导，仅仅是介绍拉格朗日乘子法的内容，应用，以及个人对它的感性理解。 什么是拉格朗日乘子法 按照维基百科的定义，拉格朗日乘
阅读全文
摘要：(本文是根据 "neuralnetworksanddeeplearning" 这本书的第五章 "Why are deep neural networks hard to train?" 整理而成的读书笔记，根据个人口味做了删减) 在之前的笔记中，我们已经学习了神经网络最核心的 BP 算法，以及一些改
阅读全文
摘要：(本文是根据 "neuralnetworksanddeeplearning" 这本书的第三章 "Improving the way neural networks learn" 整理而成的读书笔记，根据个人口味做了删减) 上一章，我们介绍了神经网络容易出现的过拟合问题，并学习了最常用的正则化方法，以
阅读全文
摘要：(本文是根据 "neuralnetworksanddeeplearning" 这本书的第三章 "Improving the way neural networks learn" 整理而成的读书笔记，根据个人口味做了删减) 上一章，我们学习了改善网络训练的代价函数：交叉熵函数。今天要介绍神经网络容易遇
阅读全文
摘要：(本文是根据 "neuralnetworksanddeeplearning" 这本书的第三章 "Improving the way neural networks learn" 整理而成的读书笔记，根据个人口味做了删减) 上一章中，我们领略了神经网络中最重要的算法：后向传播算法(BP)。它使得神经网
阅读全文
摘要：(本文是根据 "neuralnetworksanddeeplearning" 这本书的第二章 "How the backpropagation algorithm works" 整理而成的读书笔记，根据个人口味做了删减) 在上一章的学习中，我们介绍了神经网络可以用梯度下降法来训练，但梯度的计算方法却
阅读全文
摘要：(本文是根据 "neuralnetworksanddeeplearning" 这本书的第一章 "Using neural nets to recognize handwritten digits" 整理而成的读书笔记，根据个人口味做了删减) 对于人类来说，识别下面的数字易如反掌，但对计算机而言，却不
阅读全文
摘要：今天分享的这篇论文是 SIGGRAPH 2015 的入选论文，标题比较长，但它做的事情其实很简单：通过一张图片，找到和这张图片最相似的 3D 形状👇。 论文的思路 一开始看到论文的结果图的时候，觉得这个想法还是很有新意的。由于我刚刚踏入图形学的领域，对这类技术的认识还比较肤浅，就在网上搜了下相关的
阅读全文
摘要：在上计算机视觉这门课的时候，老师曾经留过一个作业：识别一张 A4 纸上的手写数字。按照传统的做法，这种手写体或者验证码识别的项目，都是按照 定位 + 分割 + 识别 的套路。但凡上网搜一下，就能找到一堆识别的教程，分割的文章次之，而定位的文章就少之又少了。这其中的缘由也很简单：识别目前来说已经不是什
阅读全文
摘要：与 Selective Search 初次见面是在著名的物体检测论文 「Rich feature hierarchies for accurate object detection and semantic segmentation」，因此，这篇论文算是阅读 R CNN 的准备。 这篇论文的标题虽然
阅读全文
摘要：Bag of Feature 是一种图像特征提取方法，它借鉴了文本分类的思路（Bag of Words），从图像抽象出很多具有代表性的「关键词」，形成一个字典，再统计每张图片中出现的「关键词」数量，得到图片的特征向量。 Bag of Words 模型 要了解「Bag of Feature」，首先要知
阅读全文
摘要：TensorFlow 更新频率实在太快，从 1.0 版本正式发布后，很多 API 接口就发生了改变。今天用 TF 训练了一个 CNN 模型，结果在保存模型的时候居然遇到各种问题。Google 搜出来的答案也是莫衷一是，有些回答对 1.0 版本的已经不适用了。后来实在没办法，就翻了墙去官网看了下，结果
阅读全文
摘要：最近想做一个识别验证码的程序。目标其实很简单，就是识别出某网站验证码的字母和数字。 这种类型的验证码已经被做烂了，相应的破解程序也很多。但我只是想学习消遣一下。 我已经通过爬虫收集了某网站的大量验证码图片，并通过图像处理的方法把字母和数字分割出来（好在这类验证码比较简单，切割工作相对容易）。之后，便
阅读全文
摘要：今天发现一个用 numpy 随机化数组的技巧。 需求 我有两个数组（ ndarray ）：train_datasets 和 train_labels。其中，train_datasets 的每一行和 train_labels 是一一对应的。现在我要将数组打乱并用于训练，打乱后要求两者的行与行之间必须保
阅读全文
摘要：关于决策树，想必大部分人都已经耳熟能详了，这是一种用来预测行为的树状分叉结构。本文主要想总结一下最常用的决策树生成算法： "ID3" ， "C4.5" 以及 "CART" 。 构造的原则 熟悉决策树的你一定记得，决策树每个非叶子结点对应的其实是一个属性。比方说，想判断一个男生是不是 gay，我们首先
阅读全文
摘要：Bagging 和 Boosting 都属于机器学习中的元算法（meta algorithms）。所谓元算法，简单来讲，就是将几个较弱的机器学习算法综合起来，构成一个更强的机器学习模型。这种「三个臭皮匠，赛过诸葛亮」的做法，可以帮助减小方差（over fitting）和偏差（under fittin
阅读全文
摘要：相比 2D 中的旋转变换，3D 中的旋转变换复杂了很多。关于 2D 空间的旋转，可以看 "这篇文章" 。本文主要粗略地探讨一下 3D 空间中的旋转。 旋转的要素 所谓旋转要素就是说，我们只有知道了这些条件，才知道怎么旋转一个物体。回忆 2D 空间中的旋转，我们需要确定旋转中心、旋转角以及旋转方向才能
阅读全文
摘要：最近频繁在论文中看到「PCA」的影子，所以今天决定好好把「PCA」的原理和算法过程弄清楚。 「PCA」是什么 PCA，又称主成分分析，英文全称**「Principal Components Analysis」**。维基百科上的解释是：「PCA」是一种分析、简化数据集的技术，经常用于减少数据集的维数，
阅读全文
摘要：概念 协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。 这个解释摘自维基百科，看起来很是抽象，不好理解。其实简单来讲，协方差就是衡量两个变量相关性的变量。当协方差为正时，两个变量呈正相关关系（同增同减）；当协方差为负
阅读全文
摘要：概要 这篇文章中，我们来聊聊 OpenGL 中的坐标系统以及它们之间的转换。 （⚠️阅读本文需要有线性代数基础。） 坐标变换原理 首先，我们需要运用一点线性代数的知识，了解不同坐标系统变换的原理。 由于本文针对的是三维坐标，所以讨论的空间是 空间。 在标准三维坐标系中，我们通常用一个向量
阅读全文
摘要：最近在看图像风格化的论文的时候，频繁遇到 Bilateral Filter。google 一波后，发现并不是什么不得了的东西，但它的思想却很有借鉴意义。 简介 Bilateral Filter，中文又称「双边滤波器」。相比以往那些仅仅使用位置信息进行滤波的 filter，Bilateral Filt
阅读全文
