利用pandas、Ipython来简化数据分析过程

  最近小爬我为了提升数据分析这块儿的技能,学习了pandas库作者Wes Mckinney的数据分析经典书籍《利用Python进行数据分析》,受益良多!里面涉及到Python语言基础、还有编程利器Ipython、Jupyter notebook的使用小技巧,数组分析工具Numpy以及pandas的基础入门和深入知识,甚至还包含绘图与可视化的相关知识。在学习过程中,小爬深刻感受到:工欲善其事必先利其器。有了好的工具加持,数据分析不再是难事!

小爬先说说之前不知道但在该书中提到的Ipython的一些技巧:

1、Tab补全

相较于标准python命令行,Ipython的提升之一就是tab补全功能。当在命令行输入表达式时,按下Tab键即可为任意变量(对象、函数等)搜索命名空间,与当前已输入的字符进行匹配:

   

Tab补全 在其他很多上下文场景中也有用。当输入任意路径时,按下Tab键将补全你的计算机文件系统中匹配你输入内容的值:

2、内省

在一个变量名的前后使用问号(?)可以显示一些关于该对象的重要信息:

比如我们想知道print函数的用法,就可以这样操作:

 

 假设有这么一个函数:

def  add_numbers(a,b):
  """
  Add two numbers together
  Returns
  -------
  the_sum:type of arguments
  """
  return a+b
 
使用?来显示文档字符串:

使用双问号甚至可以显示函数的源代码:

3、%run命令

可以在Ipython会话中使用%run命令运行任意的python程序文件,如:

4、中断运行中的代码

在任意代码运行时按下Ctrl-C,无论脚本运行到哪一步,都会引起keyboardInterrupt。除了一些特殊情况,这导致所有的python程序立即停止运行。

5、Ipython的常见快捷键

- Ctrl-P 或上箭头键   后向搜索命令历史中以当前输入的文本开头的命令
- Ctrl-N 或下箭头键   前向搜索命令历史中以当前输入的文本开头的命令
- Ctrl-R          按行读取的反向历史搜索(部分匹配)
- Ctrl-Shift-v      从剪贴板粘贴文本
- Ctrl-C        中止当前正在执行的代码
- Ctrl-A        将光标移动到行首
- Ctrl-E        将光标移动到行尾
- Ctrl-K        删除从光标开始至行尾的文本
- Ctrl-U        清除当前行的所有文本译注12
- Ctrl-F        将光标向前移动一个字符
- Ctrl-b        将光标向后移动一个字符
- Ctrl-L        清屏

  小爬再来说说Pandas,它所包含的数据结构和数据处理工具的设计使得在python中进行数据清洗和分析异常方便和快捷。

我们一般这样导入Pandas:

import pandas as pd

pandas中有两个非常有名的类Series Dataframe,如果只想导入这两个类,可以这样:

from pandas import Series,Dataframe


1、Series

Series是一维数组对象,它包含一个值序列,并且含数据标签,称为索引(Index):

我们可以通过values属性和Index属性分别获得Series对象的值和索引:

我们可以基于条件查找特定值:

它也可以逐元素进行简单运算:

我们还可以这样作逻辑判断:

我们甚至可以根据python字典快速生成一个Series对象:

 

 我们还可以用一个列表对象当成参数传给series对象当作索引(元素个数必须一致)

Series的索引可以通过按位置赋值的方式进行改变:

 

2、Dataframe

Dataframe表示的是矩阵的数据表,它包含已排序的列集合,每一列可以是不同的值类型,这跟我们熟悉的excel工作表太像了,所以很多原本用Excel来作的数据分析就可以使用Dataframe来处理,毕竟它的运算速度堪比数据库sql语句,比一般的excel计算快不少。

我们有多种方法去创建DataFrame,最常用的方法是利用包含等长度列表或Numpy数组的字典来生成DataFrame,产生的DataFrame会自动为Series分配索引,并且列会按照排序的顺序排列:

对于大型DataFrame,head方法将会只选出头部的五行:

 

 如果你指定了列的顺序,DataFrame的列会按照指定顺序排列:

我们可以指定DataFrame的索引:

DataFrame中的一列,可以将字典型标记或属性那样检索为Series:

  

我们也可以用df[字段名]表示法:

  

del方法可以用于移除之前新建的列:

mark,后续会再记录更多的pandas使用心得,并应用到实际的项目中!

 

posted @ 2019-05-21 15:35  NewJune  阅读(439)  评论(0编辑  收藏  举报