摘要：
交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。 1 信息量 假设XX是一个离散型随机变量，其取值集合为χχ,概率分布函数p(x)=Pr(X=x),x∈χp(x)=Pr(X=x),x∈χ,则定义事件X=x0X=x0的信息量为： I(x0)=−log( 阅读全文
摘要：
机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归 阅读全文
摘要：
logistic回归是一种广义线性回归（generalized linear model），又叫对数几率回归（从后文中便可此名由来）,因此与多重线性回归分析有很多相同之处。这是一个分类模型而不是一个回归模型. 它们的模型形式基本上相同，都具有 w‘x+b，其中w和b是待求参数，其区别在于他们的因变量 阅读全文