摘要：
import pyarrow.parquet as pq from pyarrow import fs # 创建Hadoop文件系统对象 fs = fs.LocalFileSystem() hadoop_path = "hdfs://<your-hdfs-address>/<csv-file>" # 阅读全文
posted @ 2024-01-07 16:03
myrj
阅读(36)
评论(0)
推荐(0)
摘要：
删除空值 在一些情况下会删除有空值、缺失不全的数据，df.dropna可以执行这种操作： df.dropna() # 一行中有一个缺失值就删除 df.dropna(axis='columns') # 只保留全有值的列 df.dropna(how='all') # 行或列全没值才删除 df.dropn 阅读全文
posted @ 2024-01-01 19:46
myrj
阅读(113)
评论(0)
推荐(0)
摘要：
替换数据 replace方法可以对数据进行批量替换： s.replace(0, 5) # 将列数据中的0换为5 df.replace(0, 5) # 将数据中的所有0换为5 df.replace([0, 1, 2, 3], 4) # 将0～3全换成4 df.replace([0, 1, 2, 3], 阅读全文
posted @ 2024-01-01 19:19
myrj
阅读(304)
评论(0)
推荐(0)
摘要：
修改数值 在Pandas中修改数值非常简单，先筛选出需要修改的数值范围，再为这个范围重新赋值。 df.iloc[0,0] # 查询值 # 'Liver' df.iloc[0,0] = 'Lily' # 修改值 df.iloc[0,0] # 查看结果 # 'Lily' 以上修改了一个具体的数值，还可以 阅读全文
posted @ 2024-01-01 19:16
myrj
阅读(36)
评论(0)
推荐(0)
摘要：
指定列df.assign() df.assign(k=v)为指定一个新列的操作，k为新列的列名，v为此列的值，v必须是一个与原数据同索引的Series。今后我们会频繁用到它，它在链式编程技术中相当重要，因此这里专门介绍一下。我们平时在做数据探索分析时会增加一些临时列，如果新列全部使用赋值的方式生成， 阅读全文
posted @ 2024-01-01 17:22
myrj
阅读(410)
评论(0)
推荐(0)
摘要：
执行表达式df.eval() df.eval()与之前介绍过的df.query()一样，可以以字符的形式传入表 达式，增加列数据。下面以增加总分为例： # 传入求总分表达式 df.eval('total = Q1+Q3+Q3+Q4') ''' name team Q1 Q2 Q3 Q4 total 阅读全文
posted @ 2024-01-01 17:19
myrj
阅读(170)
评论(0)
推荐(0)
摘要：
增加行 可以使用loc[]指定索引给出所有列的值来增加一行数据。目前我们的df最大索引是99，增加一条索引为100的数据： # 新增索引为100的数据 df.loc[100] = ['tom', 'A', 88, 88, 88, 88] df ''' name team Q1 Q2 Q3 Q4 0 阅读全文
posted @ 2024-01-01 17:18
myrj
阅读(192)
评论(0)
推荐(0)
摘要：
追加合并 增加行数据的使用场景相对较少，一般是采用数据追加的模式。数据追加会在后续章节中介绍。 df.append()可以追加一个新行： df = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB')) df2 = pd.DataFrame([[5, 6 阅读全文
posted @ 2024-01-01 17:16
myrj
阅读(85)
评论(0)
推荐(0)
摘要：
删除 删除有两种方法，一种是使用pop()函数。使用pop()，Series会删除指定索引的数据同时返回这个被删除的值，DataFrame会删除指定列并返回这个被删除的列。以上操作都是实时生效的。 # 删除索引为3的数据 s.pop(3) # 93 s ''' 0 89 1 36 2 57 4 65 阅读全文
posted @ 2024-01-01 17:14
myrj
阅读(72)
评论(0)
推荐(0)
摘要：
删除空值 在一些情况下会删除有空值、缺失不全的数据，df.dropna可以执行 这种操作： df.dropna() # 一行中有一个缺失值就删除 df.dropna(axis='columns') # 只保留全有值的列 df.dropna(how='all') # 行或列全没值才删除 df.drop 阅读全文
posted @ 2024-01-01 17:11
myrj
阅读(73)
评论(0)
推荐(0)
浙公网安备 33010602011771号