摘要：
1 信息熵：信息量的期望，反映随机变量的不确定性 H(X)=-∑x→Xp(x)log(p(x)) H(X)=I(X;Y)+H(X|Y) 2 联合熵：表示多个随机变量一起发生的不确定性 H(X,Y)=-∑x->X∑y->Yp(x,y)log(p(x,y)) H(X,Y)=H(X)+H(Y|X) 3 条 阅读全文
摘要：
logistic回归边界形式为： θ0+θ1x1+θ2x2+...+θdxd=∑θixi =θTx 其中i=0,1,2,,,d(d为特征数） 分类预测函数为： hθ(x)=1/(1+exp(-θTx) hθ(x)表示类别为1的概率，可以得到如下： P(y=1|x)=hθ(x） 1 P(y=0|x)= 阅读全文
摘要：
给定由d个特征描绘的样本x=(x1;,x2;...;xd)，其中xi表示样本的第i个特征的取值，故预测函数的一般形式为 f(x)=w1x1+w2x2+...+wdxd+b 一般写成向量形式 f(x)=wx+b 首先讨论最简单的形式：一元线性回归模型，即数据集只含一个特征 f(xi)=wxi+b 模型 阅读全文