机器学习数学基础——简述
摘自:
一、数学知识的重要性
1.选择正确的算法
准确率、训练时间、模型复杂度、参数数量、特征数量
2.选择参数设置和验证策略
3.理解偏差-方差权衡,识别欠拟合、过拟合
4.估算正确的置信区间、不确定性
二、需要的数学知识
1.线性代数:%35
优化方法:主成分分析(PCA),奇异值分解,矩阵特征分解、LU分解、QR分解/因式分解、
对称矩阵、正交化/标准正交化、矩阵运算、投影、特征值和特征矢量、矢量空间,范数
2.概率论与统计学 %25
组合学、概率规则与公理、贝叶斯定理、随机变量、方差与预期、条件与联合分布标准分布(伯努利、二项式、多项式、均匀和高斯分布)、
矩母函数、最大似然估计(MLE)、先验与后验、最大后验概率估计(MAP)、采样方法
3.多变量微积分 %15
微积分、偏微分、矢量-值函数、方向梯度、海塞函数、雅可比行列式、拉普拉斯算子、拉格朗日分布
4.算法与复杂优化 %15
计算效率、可伸缩性、数据集的稀疏性
数据结构(二叉树、哈希运算、堆、栈)、动态编程、随机化、次线性算法、图表、梯度/随机梯度下降、对偶方法
5.其他 %10
实数与复数分析(集合与数列、拓扑、度量空间、单值与连续函数、极限、柯西核、傅里叶变换),
信息论(熵、信息增益),函数空间、数集