Python中神秘的-5到256
注:本文不区分作为编程语言的Python和作为语言实现的Python。后者均默认为CPython。
了解他人对Python源代码的掌握情况,我喜欢问这样一个问题
请问,在Python中,256和257的主要区别是什么?
我期望的回答是
Python内部,对这两个数采取了不同的对象创建策略
1.做一个实验
我们知道,在一个对象的生存期内,可以用id()函数得到这个对象的唯一标识。即,id返回值相同的对象一定是同一个对象。
启动Python的交互模式(主流版本的Python 2和Python 3均可),输入以下语句并观察结果。
>>> a = 0
>>> b = 0
>>> id(a) == id(b)
True
>>> a = -5
>>> b = -5
>>> id(a) == id(b)
True
>>> a = -6
>>> b = -6
>>> id(a) == id(b)
False
>>> a = 256
>>> b = 256
>>> id(a) == id(b)
True
>>> a = 257
>>> b = 257
>>> id(a) == id(b)
False
>>> a = -1.0
>>> b = -1.0
>>> id(a) == id(b)
False
你也可以写一个带有for循环的脚本,更加全面的验证这样一个结论:
Python中,对于整数对象,如果其值处于[-5,256]的闭区间内,则值相同的对象是同一个对象
您有可能想到了,这也许和Python内部的某种机制有关。让我们更加深入的使用API来验证这个结论。
2. 使用Python API
以Python 2为例,可以使用这样的代码得到与Python脚本等价的结论:
#include <Python.h>
int main(int argc,char ** argv) {
PyObject *a,*b;
Py_SetProgramName(argv[0]);
Py_Initialize();
a = PyInt_FromLong(256);
b = PyInt_FromLong(256);
printf("a=%p,b=%p\n",a,b); //value should be the same
a = PyInt_FromLong(257);
b = PyInt_FromLong(257);
printf("a=%p,b=%p\n",a,b); //value should be different
Py_Finalize();
return 0;
}
如果使用Python3 ,PyInt_FromLong要替换为PyLong_FromLong。
从运行结果可以看到,从256产生的两个PyObject*,指向了内存中相同的地址,但是从257产生的PyObject则是相互独立的。
3.没有什么好奇怪的
为什么是-5到256之间的这200多个数?其实没有什么奇怪的,Python本身就是这样实现的。
让我们打开源代码一看究竟。首先看看Python2的实现方式。下面的代码是以本文写作时最新的2.7.14为例子的。
在Python自身的main函数里,会调用Py_Initialize这个函数初始化Python内部的一系列模块。(Modules/main.c,551行)。在初始化过程中,_PyInt_Init会被调用(Python/pythonrun.c,210行)。_PyInt_Init的唯一作用就是初始化small_ints数组(Objects/intobject.c,1452行):
int
_PyInt_Init(void)
{
PyIntObject *v;
int ival;
#if NSMALLNEGINTS + NSMALLPOSINTS > 0
for (ival = -NSMALLNEGINTS; ival < NSMALLPOSINTS; ival++) {
if (!free_list && (free_list = fill_free_list()) == NULL)
return 0;
/* PyObject_New is inlined */
v = free_list;
free_list = (PyIntObject *)Py_TYPE(v);
(void)PyObject_INIT(v, &PyInt_Type);
v->ob_ival = ival;
small_ints[ival + NSMALLNEGINTS] = v;
}
#endif
return 1;
}
我们看到了两个宏:NSMALLNEGINTS 和NSMALLPOSINTS 。在intobject.c的头部找到它们的定义:
#ifndef NSMALLPOSINTS
#define NSMALLPOSINTS 257
#endif
#ifndef NSMALLNEGINTS
#define NSMALLNEGINTS 5
#endif
从_PyInt_Init的实现上,我们可以看到被放入small_ints的数字范围是-5到256。因此,你可以通过修改源代码的方式,将这个范围任意的扩展。
如果你不对这两个宏进行改动,那么在Python启动的时候,会先创建一个200多PyObject大小的数组,默认的把-5从256的所有整数创建完毕。
我们知道,Python在遇到诸如 a = 5这样的语句的时候,最终会落到PyInt_FromLong这个函数里。我们看看这个函数是怎么写的(intobject.c,86行):
PyObject *
PyInt_FromLong(long ival)
{
register PyIntObject *v;
#if NSMALLNEGINTS + NSMALLPOSINTS > 0
if (-NSMALLNEGINTS <= ival && ival < NSMALLPOSINTS) {
v = small_ints[ival + NSMALLNEGINTS];
Py_INCREF(v);
#ifdef COUNT_ALLOCS
if (ival >= 0)
quick_int_allocs++;
else
quick_neg_int_allocs++;
#endif
return (PyObject *) v;
}
#endif
if (free_list == NULL) {
if ((free_list = fill_free_list()) == NULL)
return NULL;
}
/* Inline PyObject_New */
v = free_list;
free_list = (PyIntObject *)Py_TYPE(v);
(void)PyObject_INIT(v, &PyInt_Type);
v->ob_ival = ival;
return (PyObject *) v;
}
这段代码很容易读懂,首先判断字面量的范围是不是在-5到256之间,如果是,直接从small_ints里面取得缓存的对象,如果不是,再通过PyObject_New来创建一个新的对象。
Python3 的代码以此类推,相似的代码在longobject.c里面。
4. 为什么要这样做
主要还是性能上的考虑。由于创建一个新的对象是比较折腾的:在内存池中分配空间,赋予对象的类别并赋予其初始的值。从-5到256这些小的整数,在Python脚本中使用的非常频繁,又因为他们是不可更改的,因此只创建一次,重复使用就可以了。
有兴趣的读者可以把负责缓存边界的两个宏改小,或者让它们的和是负数以取消这个功能,看看日常的脚本是否有性能的变化。
5. 一点扩展……
考虑这样的命令:
>>> a,b = 400,400
>>> id(a) == id(b)
True
您知道是为什么吗?
以上内容转载自 知乎