1.机器学习中的微积分和矩阵

极限：

函数 f 在 x₀ 处的极限为 L：limx→x₀ f(x) = L

精确描述:ϵ − δ 语言：对于任意的正数 ϵ > 0, 存在正数 δ, 使得任何满足 |x − x₀| < δ 的 x, 都有 |f(x) − L| < ϵ

极限中的无穷小阶数(Definition)：

**表示无穷小逼近的精确度，逼近速度

当x ->0 时：

　　如果lim x→0 f(x) = 0而且lim x→0 f(x)/xⁿ = 0 那么此时 f(x) 为n阶以上无穷小，计为f(x) = o(xⁿ ), x → 0（如果一个函数趋近于0的速度和xⁿ 趋近于0的速度一样那么我们称之为n阶以上的无穷小

　　如果 lim x→0 f(x) = 0 而且 lim x→0 f(x)/xⁿ 存在且不等于零，那么 此时 f(x) 为 n 阶无穷小，记为 f(x) = O(xⁿ ), x → 0 为了方便，在不至于引起误解的时候我们回省略掉 x → 0.

微分学：

微分学的核心思想：逼近

如果一个函数 f(x) 在 x₀ 附近有定义，而且存在极限 L = lim(x→x₀) (f(x) − f(x₀))/(x − x₀) . 那么 f(x) 在 x₀ 处可导且导数 f ′ (x₀) = L.等价定义,无穷小量表述: 线性逼近 如果存在一个实数 L 使得 f(x) 满足， f(x) = f(x₀) + L(x − x₀) + o(x − x₀), x → x₀. 那么 f(x) 在 x₀ 处可导且导数 f ′ (x₀) = L.

求导法则：