随笔分类 - python数据分析
摘要：将Timestamp转换为Period 通过使用to_period方法，可以将由时间戳索引的Series和DataFrame对象转换为以时期索引 rng=pd.date_range('1/1/2000',periods=3,freq='M') ts=Series(randn(3),index=rng
阅读全文
摘要：在处理很多数据的时候，我们都要用到时间的概念。比如时间戳，固定时期或者时间间隔。pandas提供了一组标准的时间序列处理工具和数据算法。 在python中datetime.datetime模块是用的最多的模块。比如使用datetime.datetime.now()就得到了当前的时间2018-04-1
阅读全文
摘要：在数据库中，我们可以对数据进行分类，聚合运算。例如groupby操作。在pandas中同样也有类似的功能。通过这些聚合，分组操作，我们可以很容易的对数据进行转换，清洗，运算。比如如下图，首先通过不同的键值进行分类，然后对各个分类进行求和运算。 我们来看实际的例子，首先生成一组数据如下 df=Data
阅读全文
摘要：在数据分析领域，最出名的绘图工具就是matlib。在Python同样有类似的功能。就是matplotlib。前面几章我们都在介绍数据的生成，整理，存储。那么这一章将介绍如果图形化的呈现这些数据。来看下面的代码 这个代码通过numpy生成50个随机数，然后进行求和，最后将50个数绘制成图像，k--代表
阅读全文
摘要：一：移除重复数据 DataFrame经常出现重复行，就像下面的这样 In [7]: data=DataFrame({'k1':['one']*3+['two']*4,'k2':[1,1,2,3,3,4,4]}) In [8]: data Out[8]: k1 k2 0 one 1 1 one 1 2
阅读全文
摘要：DataFrame合并： merge运算是将一个或多个键将行链接起来。来看下面的这个例子： In [5]: df1=DataFrame({'key':['b','b','a','c','a','a','b'],'data1':range(7)}) In [6]: df2=DataFrame({'ke
阅读全文
摘要：前面介绍了numpy和pandas的数据计算功能．但是这些数据都是我们自己手动输入构造的．如果不能将数据自动导入到python中，那么这些计算也没有什么意义．这一章将介绍数据如何加载以及存储． 首先来看读写文本格式的数据 pandas提供了一些用于将表格型数据读取为DataFrame对象的函数．如下
阅读全文
摘要：pandas对象拥有一组常用的数学和统计方法，大部分都属于约简和汇总统计，用于从Series中提取单个的值，或者从DataFrame中的行或列中提取一个Series。相比Numpy而言，Numpy都是基于没有缺失数据的假设而构建的。 来看一个简单的例子 In [6]: df=DataFrame([[
阅读全文
摘要：Pandas有两个主要的数据结构：Series和DataFrame． Series是一种类似于一维数组的对象，它由一组数据以及一组与之相关的数据标签构成．来看下它的使用过程 In [1]: from pandas import Series,DataFrame In [2]: import pand
阅读全文
摘要：Numpy最重要的一个特点就是N维数组对象。就是我们通常说的矩阵。通过Numpy可以对矩阵进行快速的运算。首先来看下创建方法. 通过array的方法将一个嵌套列表转换为2行4列的矩阵数组。通过shape可以看到矩阵的维度 In [1]: data=[[1,2,3,4],[5,6,7,8]] In [
阅读全文
摘要：在用python进行数据分析的时候，需要提前安装如下几个库： Numpy:是python进行科学计算的科学包 pandas:提供了能够快速便捷地处理结构化数据的大量数据结构和函数 matplotlib: 看名字和matlab有点像，matplotlib是用于绘制数据图表的python库 ipytho
阅读全文
