谁说Python性能差的？-- 让python比awk快 （3）

在（2）中，提到了python字符串慢在了split函数。那既然已经知道这个bottleneck，现在就优化下。

初步思路是用C来定制一个提取第n列数的模块，然后替换我们的Python版本（1）中的split函数。

下面是一个简单代码（示例下而已，不够好，:-)），用cython。

目录下有两个文件，一个是tst.pyx, 一个是setup.py（cython要求的）。

tst.pyx代码：

from libc.stdlib cimport atol

cdef long field2number(char *arr, int index):
        cdef int cnt
        cdef int i
        cdef int start
        cdef int end

        cnt = 0
        i = 0

        while True:
                if arr[i] == ' ':
                        cnt += 1
                        if cnt == index - 1:
                                start = i
                                break
                i += 1

        i = i + 1
        while arr[i] != '\n' and arr[i] != ' ':
                i += 1
        end = i

        arr[end] = '\0'
        return atol(arr+start)

def getnumber(line,index):
        cdef char *p
        cdef int i
        p = line
        i = index
        return field2number(p,i)

setup.py代码：

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext

ext_modules=[
    Extension("tst",
              ["tst.pyx"],
              libraries=["m"]) # Unix-like specific
]

setup(
  name = "tst",
  cmdclass = {"build_ext": build_ext},
  ext_modules = ext_modules
)

编译模块：

$ python setup.py build_ext -i
running build_ext
skipping 'tst.c' Cython extension (up-to-date)
building 'tst' extension
gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fPIC -I/usr/include/python2.7 -c tst.c -o build/temp.linux-x86_64-2.7/tst.o
gcc -pthread -shared -Wl,-O1 -Wl,-Bsymbolic-functions -Wl,-Bsymbolic-functions -Wl,-z,relro build/temp.linux-x86_64-2.7/tst.o -lm -o /home/dog/dev/test/tst.so

修改的Python版本（1）：

import sys
from tst import getnumber

def data_sum():
        datasum = 0
        for line in sys.stdin:
                datasum += getnumber(line, 3)
        print datasum

if __name__ == "__main__":
        data_sum()

看看效果，数据还是（2）中的比较复杂一点的样本。

优化后的python：

$ time cat datas.txt |python datasumo.py
49976509700800

real 0m2.486s
user 0m2.400s
sys 0m0.196s

awk呢？

$ time cat datas.txt | awk '{ SUM += $3} END { print SUM }'
49976509700800

real 0m3.595s
user 0m3.496s
sys 0m0.276s

Python比awk还快，有木有？

当然上面的优化，在现实情况意义可能不是很大，毕竟有很多其他方面（维护，兼容等）的考虑。 

其实，做系统，关键要学会tradeoff，就是平衡各项要求和指标。交付周期，性能，bug数目不可能样样好。

所以，我一向喜欢开发速度快的工具，做到整个系统的快速迭代，不断演进。另外，我认为学习要深入，不要居于表面的各种

技巧。把原理搞通，算法扎实，整个计算机运行过程有个big picture。当实际用到某项技术时候，在更加广泛的研究他的方方面面，

这是我的经验，不敢别人也赞同:-)。