数据科学导引（大纲）

• 线性回归（Linear Regression）
  • 求解方法
    • 最小二乘法
    • 极大似然估计法（MLE）
    • 梯度下降法
  • 推广
    • 多项式线性回归
    • 广义线性回归
  • 正则化
    • L1正则化（Lasso）
    • L2正则化（Ridge，岭回归）
  • 代码
• 分类（Classification）
  • 最近邻（Nearest Neighbor）
    • K Nearest Neigbor（K近邻，KNN）
      • kd树
  • 决策树（Decision Tree）
  • 感知机（Perceptron）
  • 逻辑回归（Logistic Regression）
  • 支持向量机（Support Vector Machine，SVM）
  • 神经网络（Neural Networks）
  • 朴素贝叶斯（Naive Bayes）
• 集成模型（Ensemble Models）
  • Bootstrap Aggregating（Bagging）
  • Boosting
  • Stacking
  • Bagging减少variance，Boosting减少bias？
• 聚类（Clustering）
  • K-means
  • 分层聚类（Hierarchical Clustering）
  • 谱聚类（Spectral Clustering）
  • 基于密度的聚类（Density-based Clustering）
  • 聚类的评判标准
• 降维（Dimensionality Reduction）
  • 线性降维方法
    • PCA（Principle Component Analysis）
    • LDA（Linear Discriminant Analysis）
    • ICA（Independent Component Analysis）
    • CCA（Canonical Correlation Analysis）
  • 非线性降维方法
    • 基于和函数的降维方法
    • 基于流形学习的降维方法