Pandas处理excel

基本使用

pandas是一个用于数据处理和分析的python库，提供了许多数据结构，其中最常用的是DataFrame和Series。

创建 DataFrame：可以使用字典或二维数组来创建 
For example:
	import pandas as pd

	data = {'A': [1, 2, 3], 'B': [4, 5, 6]}
	df = pd.DataFrame(data)

去除整行为nan值的行
df = df.dropna(how='all')

将df数据转为字典
df.to_dict()

将df按照行数据转为列表
df.values.tolist()

读取和写入文件：
   pandas 支持多种文件格式，如 CSV、Excel 和 SQL 数据库
   可以使用 read_csv、read_excel 等方法来读取文件，使用 to_csv、to_excel 等方法来写入文件
   
   	import pandas as pd
	df = pd.read_csv('data.csv')
	df.to_csv('output.csv')

数据选择和过滤：
	可以使用 loc 和 iloc 方法来选择和过滤数据。loc 方法通过行、列的名称或标签来索引，而 iloc 方法则通过行、列的索引位置来寻找数据
	
	import pandas as pd

	df = pd.read_csv('data.csv')
	data1 = df.loc[0, 'A']
	data2 = df.iloc[0, 0]

数据处理：
	pandas 提供了许多方法来处理数据，如排序、分组和聚合。您可以使用 sort_values、groupby 和 agg 等方法来处理数据
	
	df = pd.read_csv('data.csv')
	df = df.sort_values(by='A')
	grouped = df.groupby('A')
	result = grouped.agg('sum')

read_excel常用参数

- io：文件路径或类似文件的对象。[一般直接写就文件名或路径即可]
- sheet_name：要读取的表格名称或索引，默认为 0，表示读取第一个表格。
- header：指定行数用来作为列名，数据开始行数。如果文件中没有列标题，则应该设置为 None。
- names：指定列名，如果文件中不包含列标题行，应该设置。
- index_col：指定某列作为行索引。
- usecols：返回一个数据子集，该列表中的值必须与文件中的列名相匹配或者是位置索引。
- skiprows：跳过指定行数的数据。
- nrows：读取指定行数的数据。
- na_values：指定哪些值应该被视为缺失值。

to_excel常用参数

- excel_writer：文件路径或类似文件的对象。
- sheet_name：要写入的表格名称，默认为 'Sheet1'。
- na_rep：缺失值的表示方式，默认为 ''。
- float_format：浮点数的格式字符串，例如 '{:.2f}'。
- columns：要写入的列，如果未指定，则写入所有列。
- header：是否写入列名，默认为 True。
- index：是否写入行索引，默认为 True。
- index_label：行索引的列名，如果未指定，则不写入行索引列名。
- startrow：起始行位置，默认为 0。startcol：起始列位置，默认为 0。

loc方法

loc 是 pandas 库中 DataFrame 对象的一个属性，它提供了一种基于标签的索引方法。可以使用 loc 来通过行标签和列标签来选择数据。

基本用法

	df.loc[row_label, column_label]
df 是一个 DataFrame 对象，row_label 是行标签，column_label 是列标签。可以使用逗号分隔的两个参数来指定要选择的行和列。

选择第一行第一列的数据

import pandas as pd

data = {'A': [1, 2, 3], 'B': [4, 5, 6]}
df = pd.DataFrame(data, index=['x', 'y', 'z'])
result = df.loc['x', 'A']   # result是1

选择多行或多列数据  【前两行数据】
data = {'A': [1, 2, 3], 'B': [4, 5, 6]}
df = pd.DataFrame(data, index=['x', 'y', 'z'])
result = df.loc[['x', 'y']]

多行和指定列数据  【前两行和两列】
data = {'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9]}
df = pd.DataFrame(data, index=['x', 'y', 'z'])
result = df.loc['x':'y', 'A':'B']

iloc方法

iloc 是 pandas 库中 DataFrame 对象的一个属性，它提供了一种基于位置的索引方法。可以使用 iloc 来通过行位置和列位置来选择数据

基本用法

df.iloc[row_position, column_position]
df 是一个 DataFrame 对象，row_position 是行位置，column_position 是列位置。可以使用逗号分隔的两个参数来指定要选择的行和列

选择第一行第一列的数据
import pandas as pd

data = {'A': [1, 2, 3], 'B': [4, 5, 6]}
df = pd.DataFrame(data)
result = df.iloc[0, 0]

选择多行或多列数据
import pandas as pd

data = {'A': [1, 2, 3], 'B': [4, 5, 6]}
df = pd.DataFrame(data)
result = df.iloc[0:2]

选择前两行前两列的数据
import pandas as pd

data = {'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9]}
df = pd.DataFrame(data)
result = df.iloc[0:2, 0:2]

常用操作

查询指定列名下对应的变量的索引，做删除和添加数据操作
index = df[df['column_name'] == 'variable'].index[0]
df.drop(index,inplace=True)   # inplace=True表示改变原数据
————————————————————————————————————————————————
使用 loc 方法来在指定的索引位置添加数据
df.loc[index, 'column_name'] = value  

多个列中添加数据
df.loc[index, ['column1', 'column2']] = {'column1': value1, 'column2': value2}
------------------------------------------------
查询指定列名下的变量对应的整行的值
value_list = df.loc[df['column_name'] == 'variable'].values[0] 

 # 将多个df写入同一个excel中
 使用pd.ExcelWriter方法
 【括号内必须是到excel的名字的路径！！！】
  with pd.ExcelWriter(os.path.join(self.save_path, 'data.xlsx')) as writer:
            df1.to_excel(writer, sheet_name='df1')
            df2.to_excel(writer, sheet_name='df2')

 给df的index排序【按照数据排序index】
 sort_index()
 
 ------------------------------------
 比较两个index和column完全一样的excel
 compare()
dict1 = {'A': [1, 2, 3], 'B': [2, 5, 7]}
dict2 = {'A': [1, 0, 3], 'B': [2, 5, 8]}

df1 = pd.DataFrame(dict1)
df2 = pd.DataFrame(dict2)

bool = df1.equals(df2)   # false

diff = df1.compare(df2)
 最后的结果是展示两个df中不同的地方，相同的地方写的是NaN