只需这个简单的两步，能大幅提高你的Python数据处理速度

 

在数据分析领域，最热门的莫过于Python和R语言。其中，数据分析库pandas是Python最经典的库之一。它使用一个二维的DataFrame来表示表格式的数据，相比较于Numpy，Pandas可以存储混合的数据结构，同时使用NaN来表示缺失的数据，而不用像Numpy一样要手工处理缺失的数据，并且Pandas使用轴标签来表示行和列。

一般来说，用pandas处理小于100兆的数据，性能不是问题。但当我们要处理大量数据时，如何优化DataFrame的操作就需要仔细斟酌了。

更多Python视频、源码、资料加群683380553免费获取

例子

我们想象一个例子，你要处理一个csv文件，你想要把数据清洗后输出到另一个dataframe中，做后续处理。一个简单的程序如下：

 

十分简单，不是吗？我们仅仅是把输入的dataframe（indf）扩展到输出outdf中去了。我们看一下运行时间：

Time spent: 0:01:58.830000

2分钟处理8000个单元，还行？这个远远不够，想象一下我们有10万个这样的csv要处理怎么办？那需要278天！怎么提高效能呢？

第一步

Dataframe的append效能很低，如果我们知道未来表的条目，预先分配好空间，将来直接向里面填入内容会快不少，我们来修改一下程序：

 

结果好了不少：

Time spent: 0:01:27.636000

少了半分钟，是不是就这样了呢？还远远不够。

第二步

Dataframe检索每一行有好几个操作:loc,iloc,ix,at。它们效能有什么差别吗？我们来试一下：

 

loc，iloc,ix看起来速度都差不多，at可是快了将近1000倍啊，可惜的是at只能选择某个单元而不是整行。没关系，我们来改一下程序：

 

结果大为改善：

Time spent: 0:00:07.850000

只有7秒，比以前快了12倍！更比开始的时候快了15倍多。

结论

如果目标数据集行数确定，我们应该先分配出来，在一项项填入而不是append，要做填空题而不是做补充题；尽量选择用at/iat而是不是方便的loc/iloc或者ix。

最后给大家一个思考题，为什么我在最后的程序里面加了个

outdf.loc[0] = indf.loc[0]

不加会怎么样？