简约机器学习复习笔记/速查手册

阅读过一些大家公布在网上自己的机器学习笔记，向这些作者至敬，深知总结和发布文章的不易。这篇文章与其他笔记不同，目的在于快速的帮助回忆起一些概念和算法/模型的结构，基本公式。所以，不会出现有大段的公式推导，更不会有大片的PPT和公式贴图。尽力将基本细节用最少的语言和图表描述清楚。

例如：帮助一些刚刚接触相关内容的同学，在他们学习过一段时间后，记忆变得比较模糊，便可以通过阅读这篇文章快速的回忆起相关的重点内容；对于一些已经有丰富经验或者工作的人来说，在想到相关概念但是又忘记了一些基本的细节的时候，可以通过这篇文章快速的找到自己需要的公式或者结构图。或者，突然想不起来Adam算法大概是怎么回事，可以通过大概看一眼文章的描述便可以想起主要思想。

真心的欢迎提出改进的建议和想法！

（持续更新中...）

文章目录：

• Activation Functions 常用的激活函数和对应的导数公式
• Gradient Descent 梯度下降
  • Computation Graph 计算图
  • Backpropagation 利用计算图来解释反向传播算法，如何求每个参数的导数
  • Gradients for L2 Regularization (weight decay) L2正则
  • Vanishing/Exploding Gradients 梯度爆炸，梯度衰减
  • Mini-Batch Gradient Descent 
  • Stochastic Gradient Descent
  • Choosing Mini-Batch Size 选择min-batch的大小
  • Gradient Descent with Momentum (always faster than SGD)
  • Gradient Descent with RMSprop
  • Adam (put Momentum and RMSprop together)
  • Learning Rate Decay Methods
  • Batch Normalization
• Parameters 参数相关
  • Learnable and Hyper Parameters 可以学习的参数以及神经网络中的超参数
  • Parameters Initialization 初始化参数的值
  • Hyper Parameter Tuning 超参数的调参
• Regularization
  • L2 Regularization (weight decay) L2正则
  • L1 Regularization L1正则
  • Dropout (inverted dropout)
  • Early Stopping
• Models
  • Logistic Regression
  • Multi-Class Classification (Softmax Regression)
  • Transfer Learning
  • Multi-task Learning
  • Convolutional Neural Network (CNN)
    • Filter/Kernel
    • Stride
    • Padding (valid and same convolutions)
    • A Convolutional Layer
    • 1*1 Convolution
    • Pooling Layer (Max and Average Pooling)
    • LeNet-5
    • AlexNet
    • VGG-16
    • ResNet (More Advanced and Powerful)
    • Inception Network
    • Object Detection
      • Classification with Localisation
      • Landmark Detection
      • Sliding Windows Detection Algorithm
      • Region Proposal (R-CNN)
      • YOLO Algorithm
    • Bounding Box Predictions (Basics of YOLO)
    • Intersection Over Union
    • Non-max Suppression
    • Anchor Boxes
  • Face Verification
    • One-Shot Learning (Learning a “similarity” function)
      • Siamese Network
      • Triplet Loss
    • Face Recognition/Verification and Binary Classification
  • Neural Style Transfer
• Sequence Models
  • Recurrent Neural Network Model
  • Gated Recurrent Unit (GRU)
    • GRU (Simplified)
    • GRU (Full)
  • Long Short Term Memory (LSTM)
  • Bidirectional RNN
  • Deep RNN Example
  • Word Embedding
    • One-Hot
    • Embedding Matrix ($\mathrm{EE)}$
    • Learning Word Embedding
    • Word2Vec & Skip-gram
    • Negative Sampling
    • GloVe Vector
  • Sequence to Sequence Model Example: Translation
    • Pick the most likely sentence (Beam Search)
      • Beam Search
      • Length Normalisation
      • Error Analysis in Beam Search (heuristic search algorithm)
    • Bleu Score
    • Combined Bleu
    • Attention Model
• Practical Tips 实战经验
  • Train/Dev/Test Dataset 如何分割训练集/开发集/测试集
  • Over/UnderFitting, Bias/Variance, Comparing to Human-Level Performance, Solutions 过拟合/欠拟合，解决流程等，与人性能的比较
  • Mismatched Data Distribution
  • Input Normalization
  • Use a Single Number Model Evaluation Metric
  • Error Analysis (Prioritize Next Steps) 错误分析