机器学习数学基础——简述

摘自:

https://www.ibm.com/developerworks/community/blogs/3302cc3b-074e-44da-90b1-5055f1dc0d9c/entry/the-mathematics-of-machine-learning?lang=en_us

一、数学知识的重要性

1.选择正确的算法

准确率、训练时间、模型复杂度、参数数量、特征数量

2.选择参数设置和验证策略

3.理解偏差-方差权衡,识别欠拟合、过拟合

4.估算正确的置信区间、不确定性

二、需要的数学知识

 

1.线性代数:%35

优化方法:主成分分析(PCA),奇异值分解,矩阵特征分解、LU分解、QR分解/因式分解、

对称矩阵、正交化/标准正交化、矩阵运算、投影、特征值和特征矢量、矢量空间,范数

2.概率论与统计学   %25

组合学、概率规则与公理、贝叶斯定理、随机变量、方差与预期、条件与联合分布标准分布(伯努利、二项式、多项式、均匀和高斯分布)、

矩母函数、最大似然估计(MLE)、先验与后验、最大后验概率估计(MAP)、采样方法

3.多变量微积分  %15

微积分、偏微分、矢量-值函数、方向梯度、海塞函数、雅可比行列式、拉普拉斯算子、拉格朗日分布

4.算法与复杂优化  %15

计算效率、可伸缩性、数据集的稀疏性

数据结构(二叉树、哈希运算、堆、栈)、动态编程、随机化、次线性算法、图表、梯度/随机梯度下降、对偶方法

5.其他  %10

实数与复数分析(集合与数列、拓扑、度量空间、单值与连续函数、极限、柯西核、傅里叶变换),

信息论(熵、信息增益),函数空间、数集

posted @ 2018-04-20 11:43  飞鸟先森  阅读(240)  评论(0编辑  收藏  举报