随笔分类 - 数据分析第三方库
专门研究python中常用的数据分析第三方库
摘要：时间序列（time series）数据是一种重要的结构化数据形式，应用于多个领域，包括金融学、经济学、生态学、神经科学、物理学等。时间序列数据的意义取决于具体的应用场景，主要有以下几种： 时间戳（timestamp），特定的时刻。 固定时期（period），如2007年1月或2010年全年。 时间间
阅读全文
摘要：对数据集进行分组并对各组应用一个函数（无论是聚合还是转换），通常是数据分析工作中的重要环节。在将数据集加载、融合、准备好之后，通常是计算分组统计或生成透视表。pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。 关系型数据库和SQL能够如此
阅读全文
摘要：在许多应用中，数据可能分散在许多文件或数据库中，存储的形式也不利于分析。本部分关注可以聚合、合并、重塑数据的方法。 1、层次化索引 层次化索引（hierarchical indexing）是pandas的一项重要功能，它使你能在一个轴上拥有多个（两个以上）索引级别。抽象点说，它使你能以低纬度形式处理
阅读全文
摘要：在数据分析和建模的过程中，相当多的时间要用在数据准备上：加载、清理、转换以及重塑上。这些工作会占到分析时间的80%或更多。有时，存储在文件和数据库中的数据的格式不适合某个特定的任务。研究者都选择使用编程语言（如Python、Perl、R或Java）或UNIX文本处理工具（如sed或awk）对数据格式
阅读全文
摘要：访问数据是使用本书所介绍的这些工具的第一步。这里会着重介绍pandas的数据输入与输出，虽然别的库中也有不少以此为目的的工具。 输入输出通常可以划分为几个大类：读取文本文件和其他更高效的磁盘存储格式，加载数据库中的数据，利用WEB API操作网络资源。 1、读写文本格式的数据 pandas提供了一些
阅读全文
摘要：上一个章节中我们主要是介绍了pandas两种数据类型的具体属性，这个章节主要介绍操作Series和DataFrame中的数据的基本手段。 一、基本功能 1、重新索引 pandas对象的一个重要方法是reindex，其作用是创建一个新对象，它的数据符合新的索引： import pandas as pd
阅读全文
摘要：利用Python进行数据分析-Pandas： 在Pandas库中最重要的两个数据类型，分别是Series和DataFrame。如下的内容主要围绕这两个方面展开叙述！ 在进行数据分析时，我们知道有两个基础的第三方库在数据处理时显得尤为重要，即分别为NumPy库和Pandas库，前面的章节我们对于Num
阅读全文
摘要：本章节主要介绍NumPy中的三个主要的函数，分别是随机函数、统计函数和梯度函数，以及一个较经典的用数组来表示图像的栗子！，希望大家能有新的收货，共同进步！ 一、np.random的随机函数(1) rand(d0,d1...,dn) 根据d0-dn创建随机数数组，浮点数，[0,1)均匀分布； rand
阅读全文
摘要：本章主要介绍的是数据的CSV文件存取和多维数据的存取。 一、数据的CSV文件存取 1、CSV的写文件： np.savetxt(frame, array, fmt='%.18e', delimiter=None) frame:文件、字符串或产生器，可以是.gz或.bz的压缩文件； array:存入文件
阅读全文
摘要：本章主要介绍的是ndarray数组的操作和运算！ 一、 ndarray数组的操作： 操作是指对数组的索引和切片。索引是指获取数组中特定位置元素的过程；切片是指获取数组中元素子集的过程。 1、一维数组的索引和切片与python的列表类似： 索引： import numpy as np a = np.a
阅读全文
摘要：在学习数据分析时，NumPy作为最基础的数据分析库，我们能够熟练的掌握它是学习数据分析的必要条件。接下来就让我们学习该库吧。 学习NumPy库的环境： python：3.6.6 编辑器：pycharm NumPy安装：在cmd命令下，直接使用pip语句，pip install NumPy即可！ Nu
阅读全文
