面试准备3——相关知识

1. 对深度学习相关神经网络理解深入，如DNN、CNN、RNN、GAN等；
2. 有深厚的理论研究背景和数据基础，熟悉EM、MCMC、LR、LDA、PCA、时间序列等数学方法；
3. 熟悉一种以上的深度学习的开源框架，如Caffe、TensorFlow、ARM AI Library、SNPE等；

---

https://blog.csdn.net/liutengjun_fudan/article/details/78286391

DNN

长短期记忆神经元（Long short term memory cells）用于克服循环神经元中信息快速流失的问题。

CNN：卷积神经网络（CNN：Convolutional neural networks）或深度卷积神经网络（DCNN：deep convolutional neural networks） 跟其它类型的神经网络大有不同。 它们主要用于处理图像数据，但可用于其它形式数据的处理，如语音数据。

池化是一种过滤掉细节的方式：一种常用的池化方式是最大池化，比如用2X2的像素，然后取四个像素中值最大的那个传递。为了让卷积神经网络处理语音数据，需要把语音数据切分，一段一段输入。在实际应用中，通常会在卷积神经网络后面加一个前馈神经网络，以进一步处理数据，从而对数据进行更高水平的非线性抽象。

 

RNN：循环神经网络（RNN：Recurrent neural networks）是具有时间联结的前馈神经网络：它们有了状态，通道与通道之间有了时间上的联系。 神经元的输入信息，不仅包括前一神经细胞层的输出，还包括它自身在先前通道的状态。

RNN可以在很多领域使用，因为大部分数据在形式上不存在时间线的变化，（不像语音或视频），它们能以某种序列的形式呈现出来。一张图片或一段文字可以一个像素或者一个文字地进行输入，因此，与时间相关的权重描述了该序列前一步发生了什么，而不是多少秒之前发生了什么。一般来说，循环神经网络是推测或补全信息很好的选择，比如自动补全。

 

 

 

 

GAN：生成式对抗网络（GAN：Generative adversarial networks）是一类不同的网络，它们有一对“双胞胎”：两个网络协同工作。

GAN可由任意两种网络组成（但通常是FF和CNN），其中一个用于生成内容，另一个则用于鉴别生成的内容。

鉴别网络（discriminating network）同时接收训练数据和生成网络（generative network）生成的数据。鉴别网络的准确率，被用作生成网络误差的一部分。这就形成了一种竞争：鉴别网络越来越擅长于区分真实的数据和生成数据，而生成网络也越来越善于生成难以预测的数据。这种方式非常有效，部分是因为：即便相当复杂的类噪音模式最终都是可预测的，但跟输入数据有着极为相似特征的生成数据，则很难区分。

训练GAN极具挑战性，因为你不仅要训练两个神经网络（其中的任何一个都会出现它自己的问题），同时还要平衡两者的运行机制。如果预测或生成相比对方表现得过好，这个GAN就不会收敛，因为它会内部发散。

 

LSTM:长短期记忆（LSTM：Long / short term memory）网络试图通过引入门结构与明确定义的记忆单元来解决梯度消失/爆炸的问题。

这更多的是受电路图设计的启发，而非生物学上某种和记忆相关机制。每个神经元都有一个记忆单元和三个门：输入门、输出门、遗忘门。 这三个门的功能就是通过禁止或允许信息流动来保护信息。

输入门决定了有多少前一神经细胞层的信息可留在当前记忆单元，输出层在另一端决定下一神经细胞层能从当前神经元获取多少信息。遗忘门乍看很奇怪，但有时候遗忘部分信息是很有用的：比如说它在学习一本书，并开始学一个新的章节，那遗忘前面章节的部分角色就很有必要了。

LSTM可用来学习复杂的序列，比如像莎士比亚一样写作，或创作全新的音乐。值得注意的是，每一个门都对前一神经元的记忆单元赋有一个权重，因此会需要更多的计算资源。

 

 

https://blog.csdn.net/zongzi13545329/article/details/63685816

MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。

MCMC采样.蒙特卡罗方法是一种随机模拟的方法

收敛到平稳分布,基于马氏链做采样的关键问题是如何构造转移矩阵P,使得平稳分布恰好是我们要的分布p(x)。

MCMC——Gibbs Sampling算法

 

LC-Logistic regression （逻辑回归）是一种非线性回归模型

https://www.cnblogs.com/webary/p/5063452.html

 

 

https://blog.csdn.net/buracag_mc/article/details/77620686

正则项(范数)的概念已经在博文中说过一次了，这里不再赘述。只八股一下两个正则项的特点吧：

L1范数：也称叫“稀疏规则算子”（Lasso Regularization）。为什么能稀疏呢？关键原因在于它能实现特征的自动选择。一般来说，训练集中的某些特征和输出 yiyi 之间并没有多大关系。在训练时引入这些特征，当然能获得更小的训练误差，但其泛化能力比较差，即造成过拟合！L1范数的引入就是为了实现特征自动选择，它会将没有信息的特征对应的权重置为0。

L2范数：在回归里面中又称岭回归”（Ridge Regression），也有的叫法为“权值衰减”(Weight Decay)。同样是为了解决过拟合问题，但与 L1 范数不同的是L2是使得特征对应的权重尽量的小，接近于0(但不会等于0)。而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。为什么呢?这里给出一个说法:参数越小，表示模型不会过分地学习训练集的某个特征，也即更不容易造成过拟合。

L1正则化（左图）更容易与突出的角相切，可以想象在高纬特征空间中，会有许多向外突出的角；L1倾向于使某些特征对应的参数变为0，因此能产生稀疏解。而 L2 使 w 接近0。