11 2021 档案

摘要:一、介绍 通过 explode 可以实现列转行的功能。 explode 这个爆炸方法只能处理列表、元组、Series等类型。 二、实操 # 创建测试集 import pandas as pd df = pd.DataFrame({'Name':['吕布','貂蝉','赵云'], 'Hobby':[[ 阅读全文
posted @ 2021-11-30 23:42 Hider1214 阅读(3140) 评论(0) 推荐(0) 编辑
摘要:直接上代码。 lambda x: value1 if x % 2 == 0 else value2 data['col_new'] = data['col'].apply(lambda x: '全国' if x == 1 else ('广东' if x == 2 else '其他省份')) 阅读全文
posted @ 2021-11-21 22:53 Hider1214 阅读(1552) 评论(0) 推荐(0) 编辑
摘要:直接上代码。 df['percent'] = df['data'].astype(str) + '%' df['percent'] = df['data'].apply(lambda x: str(round(x, 2)) + '%') # apply不是矢量化的,针对大数据计算效率较低 阅读全文
posted @ 2021-11-21 22:50 Hider1214 阅读(223) 评论(0) 推荐(0) 编辑
摘要:一、介绍 利用 transform 可以高效地汇总数据,直白的说:增加一列汇总列。 一般情况下,transform 与 groupby 组合使用。 使用语法: Series.transform(func, axis=0, **kwargs) 二、实操 基础用法 import pandas as pd 阅读全文
posted @ 2021-11-21 21:49 Hider1214 阅读(911) 评论(0) 推荐(0) 编辑
摘要:一、背景 有这么一个原始数据,如下表: NO 日期 卡班号码 状态 使用车型 目的站 运输总重-KG 1 2020/5/1 MZZ1001 已发 2吨卡车 杭州 1500 2 2020/5/2 MZZ1001 未发 4吨卡车 杭州 3500 3 2020/5/3 MZZ1001 已到 6吨卡车 杭州 阅读全文
posted @ 2021-11-21 19:28 Hider1214 阅读(104) 评论(0) 推荐(0) 编辑
摘要:修改 jupyter notebook 配置文件即可实现。 1.配置文件路径 在 cmd 中查看 jupyter 的配置文件路径,一般都是 .jupyter 的文件夹。 jupyter --config-dir # C:\Users\Hider\.jupyter 2.打开文件 nbconfig/no 阅读全文
posted @ 2021-11-21 01:03 Hider1214 阅读(3697) 评论(0) 推荐(0) 编辑
摘要:1.设置类别 astype('category') 使用 pandas 可以设置和改变数据的类别。 import pandas as pd import numpy as np df = pd.DataFrame({'id':[1,2,3,4,5,6], 'grade':['a','b','b',' 阅读全文
posted @ 2021-11-21 00:54 Hider1214 阅读(2625) 评论(0) 推荐(0) 编辑
摘要:一、透视表 Excel 中有一个强大的功能 —— 数据透视表(pivot table)。 利用数据透视表可以快速的进行分类汇总,自由组合字段快速计算,而这些只需要拖拉拽就可以实现。 典型的数据格式是扁平的,只包含行和列,不方便总结信息。 而透视表可以快速抽取有用的信息。 在 Pandas 中,可以利 阅读全文
posted @ 2021-11-21 00:20 Hider1214 阅读(4180) 评论(0) 推荐(2) 编辑
摘要:一、介绍 日常数据分析中,难免需要将数据根据某个(或者多个)字段进行分组,求聚合值的操作,例如:求班级男女身高的平均值。可以通过 groupby 实现该需求。 初步认识:df.groupby('name').agg({'price':'sum'}).reset_index() 使用语法: Serie 阅读全文
posted @ 2021-11-17 01:12 Hider1214 阅读(979) 评论(0) 推荐(0) 编辑
摘要:一、介绍 data.describe() 即可很方便的输出数据的统计信息。 但还有更详细的使用方法: DataFrame.descirbe(percentiles=[0.1,0.2,0.5,0.75], include=None, exclude=None) 参数解释: percentiles -- 阅读全文
posted @ 2021-11-16 13:04 Hider1214 阅读(4700) 评论(0) 推荐(0) 编辑
摘要:一、介绍 Pandas.rank() 函数用于实现对数据的排序,包括顺序排序、跳跃排序和密集排序等。 使用方法: DataFrame.rank(axis=0, method='average', numeric_only=None, na_option='keep', ascending=True, 阅读全文
posted @ 2021-11-16 00:11 Hider1214 阅读(3312) 评论(0) 推荐(0) 编辑
摘要:一、背景 MySQL学习笔记:concat、concat_ws、group_concat —— 字符串连接 如何利用 Pandas 实现 SQL 中的 group_concat 操作? 二、实操 1.构造测试数据集 import pandas as pd import numpy as np df 阅读全文
posted @ 2021-11-14 23:59 Hider1214 阅读(1034) 评论(0) 推荐(0) 编辑
摘要:1.向上取整 math.ceil math.ceil() 严格遵循向上取整,所有小数都向着数值更大的方向取整。 import math math.ceil(-1.5) # -1 math.ceil(1.5) # 2 math.ceil(-0.9) # 0 2.向下取整 math.floor 同 ma 阅读全文
posted @ 2021-11-12 16:42 Hider1214 阅读(954) 评论(0) 推荐(0) 编辑
摘要:一、介绍 Python 中有个语法糖(syntactic sugar),就是 list comprehension,即“列表推导式”。 同样适用于 dict、set 等一系列可迭代的数据结构。 使用语法 out_list = [x for x in list if express_condition 阅读全文
posted @ 2021-11-04 17:53 Hider1214 阅读(994) 评论(0) 推荐(0) 编辑
摘要:一、笨办法:循环拼接 import pandas as pd import numpy as np df = pd.DataFrame({'user_id':['A','B','C','D','E'], 'v0':['high','tall','high','one','two'], 'v1':np 阅读全文
posted @ 2021-11-04 17:50 Hider1214 阅读(329) 评论(0) 推荐(0) 编辑
摘要:一、介绍 数据预处理时,有时需要将数据字段进行合并拼接,可以使用 str.cat() 方法实现。 使用语法 Series.str.cat(others=None, sep=None, na_rep=None, join='left') 参数说明 others -- 如果给定,则对应位置拼接;如果不给 阅读全文
posted @ 2021-11-04 17:49 Hider1214 阅读(2741) 评论(0) 推荐(0) 编辑
摘要:一、介绍 df.rename() 方法用于重命名数据框行列的标签,即行索引、列标签。 可以传入一个字典或者一个函数,常用于数据预处理。 使用语法 DataFrame.rename(mapper=None, index=None, columns=None, axis=None, copy=True, 阅读全文
posted @ 2021-11-04 17:48 Hider1214 阅读(6375) 评论(0) 推荐(0) 编辑
摘要:在机器学习中,经常会对数据进行分箱处理操作,即将一段连续的值切分为若干段,每一段的值当成一个分类。 这个将连续值转换成离散值的过程,就是分箱处理。 例如:把年龄划分为18岁以下、18-30岁、30-45岁、45-60岁、60岁以上等5个标签(类别)。 Pandas 包中的 cut 和 qcut 都可 阅读全文
posted @ 2021-11-01 16:56 Hider1214 阅读(8604) 评论(0) 推荐(0) 编辑
摘要:一、pd.filter函数 1.介绍 pd.filter 函数根据指定的索引标签对数据框行、或列进行数据筛选(子集查询)。 使用语法为: DataFrame.filter(items=None, like=None, -- str regex=None, -- str axis=None) 类似于 阅读全文
posted @ 2021-11-01 12:56 Hider1214 阅读(7036) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示