机器学习学习记录【持续更新】——pandas
pandas的简单介绍
pandas 是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具，很多机器学习框架都支持将 pandas 数据结构作为输入。
pandas的主要数据结构
DataFrame
可以将它想象成一个关系型数据表格，其中包含多个行和已命名的列。
创建DataFrame的方法可以是将映射 string 列名称的 dict 传递到它们各自的 Series，从而创建DataFrame对象。例如：
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
pd.DataFrame({ 'City name': city_names, 'Population': population })
但是在大多数情况下，需要将整个文件加载到 DataFrame 中。下面的示例加载了一个包含加利福尼亚州住房数据的文件：
california_housing_dataframe = pd.read_csv("https://download.mlcc.google.cn/mledu-datasets/california_housing_train.csv", sep=",")
DataFrame的几个常用的显示数据的方法：
- DataFrame.describe()，这个方法来显示关于 DataFrame 的统计信息。
- DataFrame.head(),它显示 DataFrame 的前几个记录。
- DataFrame.hist(),它将相关的特征的数量分布以条形统计图的方式显示出来。
Series
- 它是单一列。DataFrame 中包含一个或多个 Series，每个 Series 均有一个名称。
- 创建 Series 的一种方法是构建 Series 对象，例如：
pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
Pandas访问数据的方法
可以使用熟悉的 Python dict/list 指令访问 DataFrame 数据，例如：
输入：
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(type(cities['City name']))
cities['City name']
输出：
<class ‘pandas.core.series.Series’>
0 San Francisco
1 San Jose
2 Sacramento
Name: City name, dtype: object
输入：
print(type(cities[0:2]))
cities[0:2]
输出：
输入：
print(type(cities['City name'][1]))
cities['City name'][1]
输出：
‘San Jose’
Pandas操控数据的方法
- 可以向 Series 应用 Python 的基本运算指令。例如：
population / 1000.
- NumPy 是一种用于进行科学计算的常用工具包。pandas Series 可用作大多数 NumPy 函数的参数。例如：
输入：
import numpy as np
np.log(population)
输出：
0 13.655892
1 13.831172
2 13.092314
dtype: float64
- 对于更复杂的单列转换，可以使用 Series.apply。像 Python 映射函数一样，Series.apply 将以参数形式接受 lambda 函数，而该函数会应用于每个值。
- DataFrames 的修改方式也非常简单。例如，以下代码向现有 DataFrame 添加了两个 Series：
cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
cities
