摘要：香侬信息论 Shannon Information Theory 自信息(self-information)： $I(x)=-\log p(x)$ ，其中约定 $I(x)=0 \text{ if } p(x)=0$ ，以自然常数为底的对数时，信息单位为奈特(nats)，以2为底时单位为比特(bits 阅读全文