摘要：1,信息 \( i(x)=-log(p(x)) \) 事件x不确定性的度量，不确定性越大，信息量越大。 从信息编码角度，这是编码这一信息所需要的最小比特数(log以2为底，以e为底的叫做奈特)。 2,熵 \( H(X) = \sum_x{-p(x)log(p(x))} \) 随机变量X不确定的度量， 阅读全文

摘要：1，基本概念 （1）期望 \( E(X)=\sum_i{x_ip_i} \) important E(kX) = kE(X) E(X+Y) = E(X)+E(Y) 当X和Y相互独立：E(XY)=E(X)E(Y) (这个不能反向推哦) （2）方差 \( D(X)=\sum_i{(x_i-E(X))^2 阅读全文

摘要：前言：这里只罗列出一些重要的点，一来是知识点的梳理，二来便于查阅。 1.夹逼定理 英文叫做Squeeze theorem。维基百科是这样定义的： Let I be an interval having the point a as a limit point. Let f, g, and h be  阅读全文

摘要：目录： 机器学习中的微积分 机器学习中的概率与统计 机器学习中的矩阵论 阅读全文