对数

一、对数定义

如果a的x次方等于N（a>0，且a不等于1），那么数x叫做以a为底N的对数（logarithm），记作x=logaN。其中，a叫做对数的底数，N叫做真数。

特别地，我们称以10为底的对数叫做常用对数（common logarithm），并记为lg。

称以无理数e（e=2.71828...）为底的对数称为自然对数（natural logarithm），并记为ln。

零没有对数。

在实数范围内，负数无对数。在复数范围内，负数是有对数的。

二、函数基本性质

1、过定点 ，即x=1时，y=0。

2、当  时，在  上是减函数；当  时，在 上是增函数。

三、为什么做对数变换

对数据做一些变换的目的是它能够让它符合我们所做的假设，使我们能够在已有理论上对其分析。

对数变换(log transformation)是特殊的一种数据变换方式，目的在于使数据的呈现方式接近我们所希望的前提假设，从而更好的进行统计推断。

但需要注意的是，数据是离散变量时进行对数变换要额外小心！

对数变换实例：

信息检索与数据挖掘的常用加权技术TF-IDF

 

TF(Term Frequency)表示词条在文档中出现的频率

 

　　假定在某个一共有一千词的网页中“原子能”、“的”和“应用”分别出现了 2 次、35 次 和 5 次，那么它们的词频就分别是 0.002、0.035 和 0.005。

 

　　我们将这三个数相加，其和 0.042 就是相应网页和查询“原子能的应用” 相关性的一个简单的度量。

　　上面的例子中，词“的”占了总词频的 80% 以上，而它对确定网页的主题几乎没有用。

　　我们称这种词叫“应删除词”（Stopwords)，也就是说在度量相关性是不应考虑它们的频率。

　　在汉语中，应删除词还有“是”、“和”、“中”、“地”、“得”等等几十个。

　　忽略这些应删除词后，上述网页的相似度就变成了0.007，其中“原子能”贡献了 0.002，“应用”贡献了 0.005。

　　在汉语中，“应用”是个很通用的词，而“原子能”是个很专业的词，后者在相关性排名中比前者重要。因此我们需要给汉语中的每一个词给一个权重，即为IDF

 

IDF是“逆文本频率指数” （Inverse document frequency 缩写为IDF），它的公式为log（D/Dw），其中D是全部网页数，Dw为关键词w在Dw个网页中出现过。

　　我们很容易发现，如果一个关键词只在很少的网页中出现，我们通过它就容易锁定搜索目标，它的权重也就应该大。

　　反之如果一个词在大量网页中出现，我们看到它仍然不很清楚要找什么内容，因此它应该小。

　　概括地讲，假定一个关键词 w在 Dw个网页中出现过，那么 Dw 越大，w的权重越小，反之亦然。

　　假定中文网页数D=10亿，应删除词“的”在所有的网页中都出现，即Dw＝10亿，那么它的IDF＝log(10亿/10亿）= log (1) = 0。

　　假定专用词“原子能”在两百万个网页中出现，即Dw＝200万，则它的权重IDF＝log(500) =2.7。

　　假定通用词“应用”，出现在五亿个网页中，它的权重IDF= log(2)= 0.3。

　　也就只说，在网页中找到一个“原子能”的比配相当于找到九个“应用”的匹配。

利用 IDF，上述相关性计算的公式就由词频的简单求和变成了加权求和，即 TF1*IDF1 +　TF2*IDF2 +... + TFN*IDFN。

在上面的例子中，该网页和“原子能的应用”的相关性为 0.002*2.7=0.0054，其中“原子能”贡献了 0.0054，而“应用”只贡献了0.005*0.3=0.0015。这个比例和我们的直觉比较一致了。

 

 

四、对数变换作用

　　1. 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于

　　在大规模语料库中，很多词的频率是非常大的数字。

　　2. 取对数后，可以将乘法计算转换称加法计算。

　　3. 某些情况下，在数据的整个值域中的在不同区间的差异带来的影响不同。例如，中文分词的mmseg算法，计算语素自由度时候就取了对数，这是因为，如果某两个字的频率分别都是

　　500，频率和为1000，另外两个字的频率分别为200和800，如果单纯比较频率和都是相等的，但是取对数后，log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为　　

　　2log500=5.39794, 后者为log200+log800=5.20411，这时前者的和更大，取前者。因为前面两个词频率都是500,可见都比较常见。后面有个词频是200,说明不太常见，所以选择前者

　　从log函数的图像可以看到，自变量x的值越小，函数值y的变化越快，还是前面的例子，同样是相差了300,但log500-log200>log800-log500，因为前面一对的比后面一对更小。

　　也就是说，对数值小的部分差异的敏感程度比数值大的部分的差异敏感程度更高。这也是符合生活常识的，例如对于价格，买个家电，如果价格相差几百元能够很大程度影响你决策，但是

　　你买汽车时相差几百元你会忽略不计了。

　　4. 取对数之后不会改变数据的性质和相关关系，但压缩了变量的尺度，例如800/200=4, 但log800/log200=1.2616，数据更加平稳，也消弱了模型的共线性、异方差性等。

　　5. 所得到的数据易消除异方差问题。

　　6. 在经济学中，常取自然对数再做回归，这时回归方程为 lnY=a lnX+b ，两边同时对X求导，1/Y*(DY/DX)=a*1/X, b=(DY/DX)*(X/Y)=(DY*X)/(DX*Y)=(DY/Y)/(DX/X) 这正好是弹性的定义。