网易雷火 2019 春季人工智能工程师实习生笔试题
1. 定向选择、不定项选择和填空题
主要考察了卷积神经网络参数量计算、感知野计算、卷积后图像的大小计算、GAN 的损失函数、贝叶斯网络、L1 L2正则化、概率论、Python、Shell、数据库等知识，比较全面琐碎。
2. 编程题
3. 简答题
- SVM 对偶问题推导
支持向量机的基本模型为
\[\tag{1}\begin{cases} min \quad \frac{1}{2}||w||^2 \\
s.t. \quad y_i(w^Tx_i+b) \geqslant 1, \quad i=1,2,...m
\end{cases}\]
对上式的约束添加拉格朗日乘子 \(\alpha_i \geqslant 0\)，则该问题的拉格朗日函数可写为
\[\tag{2}L(w,b,\alpha)=\frac{1}{2}||w||^2+\sum_{i=1}^m\alpha_i(1-y_i(w^Tx_i+b))
\]
令 \(L(w,b,\alpha)\) 对 \(w\) 和 \(b\) 的偏导为零可得
\[\tag{3}w=\sum_{i=1}^m\alpha_iy_ix_i
\]
\[\tag{4}0=\sum_{i=1}^m\alpha_iy_i
\]
将 (3) 式代入到 (2) 式，并考虑 (4) 式的约束，就可以得到式 (1) 的对偶问题
\[\tag{5}\begin{cases} max \quad \displaystyle\sum_{i=1}^m\alpha_i-\frac{1}{2}\displaystyle \sum_{i=1}^m \sum_{j=1}^m\alpha_i \alpha_j y_iy_jx_i^Tx_j\\
s.t. \quad \displaystyle\sum_{i=1}^m\alpha_iy_i=0 \\
\quad \quad \alpha_i \geqslant 0, i=1,2,...m
\end{cases}\]
- Sigmoid 和 Relu 求导，Relu 相较 Sigmoid 优点，怎么解决梯度消失和爆炸
Sigmoid 函数
\[f(z) = \frac{1}{1+e^{-z}}
\]
\[f'(z) = \frac{e^{-z}}{(1+e^{-z})^2} = \frac{1}{1+e^{-z}} \cdot \frac{e^{-z}}{1+e^{-z}}=f(z) \cdot (1-f(z))
\]
Relu 函数
\[f(z) = max(0, z)
\]
\[ f'(z) =\begin{cases}
1 &\text{if } z>0 \\
0 &\text{if } z<0 \\
\end{cases}\]
Relu 相较 Sigmoid 梯度较大，神经网络收敛速度较快。
梯度消失：BN、引入残差网络
梯度爆炸：BN、梯度裁剪
- Dropout 为什么可以正则化，怎么反向传播
Dropout 每次会让一部分神经元随机失活，这样就不会让某一个神经元占据主导作用，也就是不会让某一个神经元的权重过大，从而可以避免过拟合。反向传播的时候我们只将梯度反向传播到那些激活的神经元上去即可。
获取更多精彩，请关注「seniusen」!
