机器学习高阶训练营知识点一览
第一阶段 机器学习基础与凸优化
【核心知识点】
- KNN，Weighted KNN、近似KNN
- KD树，近似KD树、哈希算法、LSH
- 岭回归、LASSO、ElasticNet
- 正则：L1, L2, L-inifity Norm
- LR、GD、SGD、小批量SGD
- 凸集，凸函数、判定凸函数
- LP、QP、ILP、SDP问题
- Duality，Strong Duality、KKT条件
- 带条件/无条件优化问题、Projected GD
- 平滑函数、Convergence Analysis
第二阶段 SVM与集成模型
【核心知识点】
- Max-Margin与线性SVM构建
- Slack Variable以及条件的松弛
- SVM的Dual、Kernelized SVM
- Kernel Functions, Mercer 定理
- Kernelized LR/KNN/K-Means/PCA
- Bagging, Boosting, Stacking
- 信息论与决策树- 随机森林，完全随机森林
- 基于残差的提升树训练思想- GBDT与XGBoost
- 集成不同类型的模型
- VC理论， PAC Learning
第三阶段 无监督学习与序列模型
【核心知识点】
- K-means、GMM以及EM
- 层次聚类，DCSCAN，Spectral聚类算法
- 隐变量与隐变量模型、Partition函数
- 条件独立、D-Separation、Markov性质
- HMM以及基于Viterbi的Decoding
- Forward/Backward算法
- 基于EM算法的参数估计
- 有向图与无向图模型区别
- Log-Linear Model，逻辑回归，特征函数
- MEMM与Label Bias问题
- Linear CRF以及参数估计
第四阶段 深度学习
【核心知识点】
- 神经网络与激活函数
- BP算法、卷积层、Pooling层、全连接层
- 卷积神经网络、常用的CNN结构
- Dropout与Batch Normalization
- SGD、Adam、Adagrad算法
- RNN与梯度消失、LSTM与GRU
- Seq2Seq模型与注意力机制
- Word2Vec, Elmo, Bert, XLNet
- 深度学习中的调参技术
- 深度学习与图嵌入（Graph Embedding）
- Translating Embedding (TransE)
- Node2Vec
- Graph Convolutional Network
- Graph Neural Network
- Dynamic Graph Embedding
【部分案例讲解】
- 基于Seq2Seq和注意力机制的机器翻译
- 基于TransE和GCN的知识图谱推理
- 基于CNN的人脸关键点检测
第五阶段 推荐系统与在线学习
. 基于内容的推荐算法
. 基于协同过滤的推荐算法
. 矩阵分解
. 基于内容的Gradient Tree
. 基于深度学习的推荐算法
. 冷启动问题的处理
. Exploration vs Exploitation
. Multi-armed Bandit
. UCB1 algorithm，EXP3 algorithm
. Adversarial Bandit model
. Contexulalized Bandit
. LinUCB
. 使用Gradient Boosting Tree做基于 interaction 与 content的广告推荐
. 使用深度神经网络做基于interaction 与 content的推荐
. LinUCB做新闻推荐, 最大化rewards
第六阶段 贝叶斯模型
【核心知识点】
. 主题模型（LDA) 以及生成过程
. Dirichlet Distribution, Multinomial Distribution
. 蒙特卡洛与MCMC
. Metropolis Hasting与Gibbs Sampling
. 使用Collapsed Gibbs Sampler求解LDA
. Mean-field variational Inference
. 使用VI求解LDA
. Stochastic Optimization与Bayesian Inference
. 利用SLGD和SVI求解LDA
. 基于分布式计算的贝叶斯模型求解
. 随机过程与无参模型（non-parametric)
. Chinese Retarant Process
. Stick Breaking Process
. Stochastic Block Model与MMSB
. 基于SGLD与SVI的MMSB求解
. Bayesian Deep Learning模型
. Deep Generative Model
. 基于Bayesian LSTM的文本分析
. 使用无参主题模型做文本分类
. 基于贝叶斯模型实现小数量的图像识别
第七阶段 增强学习与其他前沿主题
【核心知识点】
. Policy Learning
. Deep RL
. Variational Autoencoder(VAE)与求解
. 隐变量的Disentangling
. 图像的生成以及Disentangling
. 文本的生成以及Disentangling
. Generative Adversial Network(GAN)
. CycleGan
. 深度学习的可解释性
. Deconvolution与图像特征的解释
. Layer-wise Propagation
. Adversial Machine Learning
. Purturbation Analysis
. Fair Learning
【部分案例讲解】:
. 基于GAN的图像生成
. 基于VAE的文本Style Transfer
. 可视化机器翻译系统
