B-经济学-基尼指数

目录

• 基尼指数
• 一、基尼指数简介

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

基尼指数

一、基尼指数简介

基尼指数（gini coefficient）代表了模型的不纯度，基尼指数越小，则不纯度越低；基尼指数越大，则不纯度越高，这和信息增益比是相反的。

假设一个训练集有K$K$个类别，样本属于第k$k$个类别的概率为pk$p_k$，则它的基尼指数为

G(p)=∑k=1Kpk(1−pk)=1−∑k=1Kp2k$$G(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$

如果是二分类问题，其中一个分类的概率为p$p$，则它的基尼指数为

G(p)=2p(1−p)$$G(p)=2p(1-p)$$

对于某一个训练集D$D$，假设训练集有K$K$个类别，并且第k$k$个类别有Ck$C_k$个样本，则D$D$的基尼指数为

G(D)=1−∑k=1K(|Ck||D|)2$$G(D)=1-\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2$$

对于某一训练集D$D$，如果根据特征T$T$的某个特征值是否等于t$t$把D$D$分成两个子集D1$D_1$和D2$D_2$

D1={(x,y)∈D|A(x)=t},D2=D−D1$$D_1=\{(x,y)\in D|A(x)=t\},D_2=D-D_1$$

则D$D$的基尼指数为

G(D,A)=(|D1||D|)G(D1)+(|D2||D|)G(D2)$$G(D,A)=(\frac{|D_1|}{|D|})G(D_1)+(\frac{|D_2|}{|D|})G(D_2)$$

基尼指数G(D)$G(D)$表示D$D$的不确定性，基尼指数G(D,A)$G(D,A)$表示经过T=t$T=t$分割后D$D$的不确定性。基尼指数越大，样本集合的不确定性也就越大，不纯度越高。