Pandas的crosstab函数
作者|Bex T.
编译|VK
来源|Towards Datas Science
介绍
我很喜欢DataCamp上的“Seaborn中间数据可视化”(Intermediate Data Visualization with Seaborn)这个课程。它教给新手非常棒的图表和方法。但说到热图，课程的老师不知怎么地引入了一个全新的pandas函数crosstab。然后，很快说：“crosstab是一个计算交叉表的有用函数…”
我就在那里不理解了。显然，我的第一反应是查看函数的文档。我刚开始觉得我可以处理Matplotlib的任何文档，但是…我错了。.
在我练习之后，我知道这是别人也会挣扎的事情。所以，我在这里写了一整篇文章。
在本文的最后一部分中，我讨论了为什么有些课程不教你像crosstab这样的高级函数。因为如果不在具体的环境下很难使用这样的函数，同时又保持示例的初学者级别。
此外，大多数课程使用小型或玩具数据集。在更复杂的数据科学环境中，这些复杂函数的好处更为明显，并且经常被更有经验的pandas用户使用。
在这篇文章中，我将教你如何使用crosstab以及如何在其他类似函数中选择它。
目录
-
简介
-
设置
-
crosstab基础知识
-
Pandas crosstab()与pivot_table()和groupby()的比较
-
Pandas crosstab()的进一步定制
-
Pandas crosstab()，多个组
你可以在这个GitHub repo上下载本文的notebook：https://github.com/BexTuychiev/medium_stories/tree/master/hardest_of_pandas2
设置
# 导入必要的库
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
# 忽略警告
import warnings
warnings.filterwarnings('ignore')
# 启用多单元输出
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = 'all'
对于示例数据，我将使用Seaborn内置的diamonds数据集。它足够大，并且有一些可以用crosstab()的变量：
diamonds = sns.load_dataset('diamonds')
diamonds.head()
crosstab()基础知识
与许多计算分组汇总统计信息的函数一样，crosstab()可以处理分类数据。它可用于将两个或多个变量分组，并为每组的给定值执行计算。当然，使用groupby()或pivot_table()可以执行此类操作，但正如我们稍后将要看到的，crosstab()为你的日常工作流程带来了许多好处。
函数接受两个或多个列表、pandas series 或dataframe，默认情况下返回每个组合的频率。我总是喜欢从一个例子开始，这样你可以更好地理解定义，然后我将继续解释语法。
crosstab()总是返回一个数据帧，下面是一个例子。dataframe是diamonds中两个变量的交叉表：cut和color。交叉表表示取一个变量，将其组显示为index，取另一个变量，将其组显示为columns。
pd.crosstab(index=diamonds['cut'], columns=diamonds['color'])
语法相当简单。index用于对变量进行分组，并将其显示为index(行)，对于列也是如此。如果没有给定聚合函数，则每个单元格将计算每个组合中的观察数。例如，左上角的单元格告诉我们，有2834颗颜色代码为D而且是理想切割的钻石，。
接下来，我们要查看每个组合的平均价格。crosstab()提供values参数来引入第三个要聚合的数值变量：
pd.crosstab(index=diamonds['cut'],
columns=diamonds['color'],
values=diamonds['price'],
aggfunc=np.mean).round(0)
现在，每个单元格包含了cut和color组合的平均价格。为了说明我们要计算平均价格，我们将price列传递给values。请注意，始终必须同时使用values和aggfunc。否则，你将得到一个错误。我还使用round()将答案四舍五入。
尽管它有点高级，但是当你将crosstab()表传递到seaborn的热图中时，你将充分利用crosstab()表的优点。让我们在热图中看到上表：
cross = pd.crosstab(index=diamonds['cut'],
columns=diamonds['color'],
values=diamonds['price'],
aggfunc=np.mean).round(0)
sns.heatmap(cross, cmap='rocket_r', annot=True, fmt='g');
seaborn可以自动将crosstab()表转换为热图。我将注释设置为True，并用颜色条显示热图。seaborn还为列和索引名添加了样式(fmt='g' 将数字显示为整数而不是科学计数)。
热图更容易解释。你不想让你的最终用户看到一张满是数字的表格。因此，我将在需要时将每个crosstab()结果放入热图中。为了避免重复，我创建了一个有用的函数：
def plot_heatmap(cross_table, fmt='g'):
fig, ax = plt.subplots(figsize=(8, 5))
sns.heatmap(cross_table,
annot=True,
fmt=fmt,
cmap='rocket_r',
linewidths=.5,
ax=ax)
plt.show();
Pandas crosstab()与pivot_table()和groupby()的比较
在我们继续讨论更有趣的内容之前，我想我需要澄清计算分组摘要统计的三个函数之间的区别。
我在本文的第一部分介绍了pivot_table()和groupby()的区别。对于crosstab()，这三者之间的区别在于语法和结果的形状。让我们使用这三种方法计算：
# 使用 groupby()
>>> diamonds.groupby(['cut', 'color'])['price'].mean().round(0)
cut color
Ideal D 2629.0
E 2598.0
F 3375.0
G 3721.0
H 3889.0
I 4452.0
J 4918.0
Premium D 3631.0
E 3539.0
F 4325.0
G 4501.0
H 5217.0
I 5946.0
J 6295.0
Very Good D 3470.0
E 3215.0
F 3779.0
G 3873.0
H 4535.0
I 5256.0
J 5104.0
Good D 3405.0
E 3424.0
F 3496.0
G 4123.0
H 4276.0
I 5079.0
J 4574.0
Fair D 4291.0
E 3682.0
F 3827.0
G 4239.0
H 5136.0
I 4685.0
J 4976.0
Name: price, dtype: float64
# 使用 pivot_table()
diamonds.pivot_table(values='price',
index='cut',
columns='color',
aggfunc=np.mean).round(0)
# 使用 crosstab()
pd.crosstab(index=diamonds['cut'],
columns=diamonds['color'],
values=diamonds['price'],
aggfunc=np.mean).round(0)
以上是pivot_table的输出
以上是crosstab的输出
我想你已经知道你最喜欢的了。grouppy()返回一个序列，而另两个返回相同的数据帧。但是，可以将groupby系列转换为相同的数据帧，如下所示：
grouped = diamonds.groupby(['cut', 'color'])['price'].mean().round(0)
grouped.unstack()
如果你不了解pivot_table()和unstack()的语法，我强烈建议你阅读本文的第一部分。
说到速度，crosstab()比pivot_table()快，但都比groupby()慢得多：
%%timeit
diamonds.pivot_table(values='price',
index='cut',
columns='color',
aggfunc=np.mean)
11.5 ms ± 483 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
%%timeit
pd.crosstab(index=diamonds['cut'],
columns=diamonds['color'],
values=diamonds['price'],
aggfunc=np.mean)
10.8 ms ± 344 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
%%timeit
diamonds.groupby(['cut', 'color'])['price'].mean().unstack()
4.13 ms ± 39.8 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
如你所见，即使使用unstack()链接，groupby()也比其他两个快3倍。这说明如果你只想分组和计算摘要统计信息，那么应该使用相同的groupby()。当我链接其他方法(如simple round()时，速度差甚至更大。
其余的比较主要是关于pivot_table()和crosstab()。如你所见，这两个函数的结果的形状是相同的。两者之间的第一个区别是crosstab()可以处理任何数据类型。
它可以接受任何类似数组的对象，比如列表、numpy数组、数据帧列(pandas series)。但是，pivot_table()只对dataframe有效。在一个很有帮助的StackOverflow中，我发现如果在数据帧上使用crosstab()，它会在后台调用pivot_table()。
接下来是参数。有些参数只存在于一个参数中，反之亦然。第一个最流行的是crosstab()的normalize。normalize接受以下选项(来自文档)：
-
如果传递了all或True，则将规范化所有值。
-
如果传递index，将规范化每一行。
-
如果传递columns，将规范化每个列。
让我们看一个简单的例子：
cross = pd.crosstab(index=diamonds['cut'],
columns=diamonds['color'],
normalize='all')
plot_heatmap(cross, fmt='.2%')
如果传递all，对于每个单元格，pandas计算总金额的百分比：
# 证明所有值加起来约等于1
>>> pd.crosstab(diamonds['cut'],
diamonds['color'],
normalize='all').values.sum()
1.0000000000000002
如果传递index或columns，则按列或按行执行相同的操作：
cross = pd.crosstab(diamonds['cut'],
diamonds['color'],
normalize='index')
plot_heatmap(cross, fmt='.2%')
以上是按行规范化
cross = pd.crosstab(diamonds['cut'], diamonds['color'], normalize='columns')
plot_heatmap(cross, fmt='.2%')
以上是按列规范化
在crosstab()中，还可以使用行名和列名直接在函数内更改索引和列名。之后不必手动执行。当我们一次按多个变量分组时，这两个参数非常有用，你将在后面看到。
参数fill_value只存在于pivot_table()中。有时，当你按许多变量分组时，不可避免地会出现不一致。在pivot_table()中，可以使用fill_value将它们更改为自定义值：
diamonds.pivot_table(index='color',
columns='cut',
fill_value=0)
但是，如果使用crosstab()，则可以通过在dataframe上链接fillna()来实现相同的效果：
pd.crosstab(diamonds['cut'], diamonds['color']).fillna(0)
Pandas crosstab()的进一步定制
crosstab()的另外两个有用参数是margins和margins_name(两者都存在于pivot_table()中)。设置为True时，边界计算每行和每列的和。我们来看一个例子：
pd.crosstab(index=diamonds['cut'],
columns=diamonds['clarity'],
margins=True)
pandas自动添加最后一行和最后一列，默认名称为All。margins_name可以控制名字：
pd.crosstab(index=diamonds['cut'],
columns=diamonds['clarity'],
margins=True,
margins_name='Total Number')
右下角的单元格将始终包含观察的总数，或者如果“normalize”设置为True，则为1：
pd.crosstab(index=diamonds['cut'],
columns=diamonds['clarity'],
margins=True,
margins_name='Total Percentage',
normalize=True)
请注意，如果将margins设置为True，则热图是无用的。
Pandas crosstab()，多组
对于index和columns参数，可以传递多个变量。结果将是一个具有多级索引的数据帧。这次我们插入所有的分类变量：
pd.crosstab(index=[diamonds['cut'], diamonds['clarity']],
columns=diamonds['color'])
对于index，我传递了color和cut。如果我把它们传递给列，结果将是一个包含40列的数据帧。如果你注意的话，多级索引如预期的那样命名为cut和clear。对于存在多级索引或列名的情况，crosstab()有方便的参数来更改它们的名称：
pd.crosstab(index=[diamonds['cut'], diamonds['clarity']],
columns=diamonds['color'],
rownames=['Diamond Cut', 'Clarity']).head()
传递相应名称的列表，以将索引名称更改为行名称。这个过程对于控制列名的colnames是相同的。
有一件事让我很惊讶，如果你把多个函数传递给aggfunc，pandas就会抛出一个错误。同样，StackOverflow上的伙计们认为这是一个bug，而且已经有6年多没有解决过了。
最后要注意的是，在pivot_table()和crosstab()中，都有一个dropna参数，如果设置为True，则会删除包含所有nan的列或行。
原文链接：https://towardsdatascience.com/meet-the-hardest-functions-of-pandas-part-ii-f8029a2b0c9b
欢迎关注磐创AI博客站：
http://panchuang.net/
sklearn机器学习中文官方文档：
http://sklearn123.com/
欢迎关注磐创博客资源汇总站：
http://docs.panchuang.net/
