7-感觉身体被掏空,但还是要学Pandas(下)

Posted on 2017-06-04 19:48  LoveAI  阅读(305)  评论(0编辑  收藏  举报

本周群主用了两天时间为浙师大的《旅游大数据分析师——Pandas数据清洗》课程备课,和Pandas来了一次深度亲密接触。现在做梦都是DataFrame变形:stack,unstack,pivot table……对Pandas有了全新的认识:原来它不只是提供类似表格的数据结构DataFrame这么简单,简直就是Excel+SQL的集大成者!而且拥有Python如此优雅的语法,真的可以说是“微言大义”,“玄之又玄,众妙之门”,“妙处难与君说”,此处省略1w字……(☆゚∀゚)

 

上周介绍了Pandas中的两种新的数据结构:Series(序列)和DataFrame(数据框),对于大型的数据集,比如存储在CSV文件里的数据,Pandas也提供了一系列完备的操作方法。还有时间序列,作为一种常用的索引,拥有丰富多变的函数。本次课简单直接,一言不合啪啪贴代码,请重点关注注释部分,信息量很大。强烈建议用文件传输助手发送到PC端观看,否则会因为眼瞎而厌学←_←

 

 

本节例子中的所有数据文件可在百度网盘下载:http://pan.baidu.com/s/1c9zL2e

 

3

操作大型数据集

 

 

说明:

1)根据所读取的数据文件编码格式设置encoding参数,如”utf8”,”ansi”,”gbk”等编码方式。

2)根据所读取的数据文件列之间的分隔方式设置delimiter参数,大于1个字符的分隔符被看作正则表达式,如一个或多个空格:”\s+”,tab符号:”\t”等。

 

 

 

 

4

时间序列

 

  • 基础知识

 

 

 

  • 温度vs时间序列例子

 

 

 

  • 提取1月温度数据

     

 

 

 

  • 按月分组

 

 

两次笔记无法涵盖Pandas的所有博大精深,但都是重要+必要的知识点,足够以后课程用了。现在我们一起翻越了两座高山:Numpy和Pandas,对后面的旅程是否更加踌躇满志呢ヾ(o◕∀◕)ノ下周将用matploblib进行数据可视化的探索,敬请期待……