随笔分类 - Python
摘要：一、pd.filter函数 1.介绍 pd.filter 函数根据指定的索引标签对数据框行、或列进行数据筛选（子集查询）。 使用语法为： DataFrame.filter(items=None, like=None, -- str regex=None, -- str axis=None) 类似于
阅读全文
摘要：一、介绍 Python 中 os 模块包含普遍的操作系统功能。 可以处理文件、目录等操作。 二、常用语法 1.os.name 输出正在使用的平台。 import os os.name # 'nt' -- Windows # 'posix' -- Linux/Unix 2.os.getcwd() 输出
阅读全文
摘要：一、介绍 通过指定标签名称和相应的轴，或直接指定索引或列名称，删除行或列。 使用多索引时，可以通过指定级别来删除不同级别上的标签。 使用语法： pandas.DataFrame.drop(labels=None, axis=0, index=None, columns=None, level=Non
阅读全文
摘要：一、介绍 pandas.MultiIndex.droplevel 用于删除数据框指定的索引，或者列级别的索引。 使用语法： DataFrame.droplevel(self, level, axis=0) -- level 指定级别 -- axis=0 默认按索引 -- axis=1 按列 返回删除
阅读全文
摘要：一、介绍 类似于 range 产生等差数列，date_range 产生的是等差时间序列。 生成一个固定频率的时间索引，必须指定 start、end、periods 中的两个参数值，否则报错。 使用语法： pandas.date_range(start=None, end=None, periods=
阅读全文
摘要：日常工作中，可能遇到每天生产记录的日志数据，但并非每一天都会产生数据，中间可能间隔某几天为空，此时需要生成一个连续时间序列。应该怎么办？ 先构造一个连续的时间序列 将日志数据 left join 到生成的序列上 开始实操： import pandas as pd import numpy as np
阅读全文
摘要：MD5 算法严格上来说，不算是一种加密算法，而是一种哈希算法。 在 MD5 中没有密钥和密文的概念，没有解密一说。 MD5 是一种有损压缩，非对称加密算法，无法进行还原。 网上关于 MD5 的解密大部分都是码表匹对，而不是破解。 在 Python3 标准库中，已经移除了 md5， 关于 hash 加
阅读全文
摘要：pandas 中的 sort_values 函数类似于 SQL 中的 order by，可以将数据集依据特定的字段进行排序。 可根据列数据，也可以根据行数据排序。 一、介绍 使用语法为： df.sort_values(by='xxx', axis=0, ascending=True, inplace
阅读全文
摘要：一、问题提出 实现如图所示的转换。 二、解决问题 1.方法一：堆叠 # 构建测试数据 import pandas as pd df = pd.DataFrame({'name':['a', 'b,c'], 'age':[15, 16]}) print(df) df.set_index('age')[
阅读全文
摘要：drop_duplicates 方法实现对数据框 DataFrame 去除特定列的重复行，返回 DataFrame 格式数据。 一、使用语法及参数 使用语法： DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ig
阅读全文
摘要：字典是 Python 中很重要的数据类型，有很多内置函数需要了解。 1.dict.clear 清除字典中所有键值对。 dict = {'a':10, 'b':20, 'c':30} dict.clear() print(dict) # {} 2.dict.get 如果键存在于字典中，则返回该键的值。
阅读全文
摘要：最简单、直观的认识，将 yield 看做 return 对待，只是 return 返回一个值，而 yield 返回一个生成器。 要理解 yield 的作用，必须理解生成器是什么？ 在理解生成器之前，必须先理解迭代器。 一、迭代器 逐项读取列表，称为迭代。 mylist = [1, 2, 3] for
阅读全文
摘要：使用 scikit-learn 机器学习包实现最基础的线性回归模型。 安装 scikit-learn 包，或者 Anaconda 工具箱自带。 pip install scikit-learn 构建训练数据。 from random import randint train_set_limit =
阅读全文
摘要：原始数据为 csv 文件。 data ''' date,temperature,humidity 07/01/21,95,50 07/02/21,94,55 07/03/21,94,56 ''' 一、读取时指定索引列 默认索引从0开始，可通过 index_col 设置索引列。 import os o
阅读全文
摘要：np.ogrid 和 np.mgrid 函数相似，都是返回一个多维的 meshgrid， 区别是 ogrid 返回开放式，mgrid 返回密集式数组。 而数组中的元素依据 arange 方法来产生。 参数部分需要传入一个列表，例如：[a, b, step] ( a 表示起点，b 表示终点，step
阅读全文
摘要：一、np.select函数 1.介绍 np.select 函数根据某些条件筛选某些元素。 使用语法为： import numpy as np np.select(condlist, choicelist, default=0) # 返回列表 参数（必须写成“列表”的形式）： condlist --
阅读全文
摘要：一、总结 apply —— 应用在 dataFrame 上，用于对 row 或者 column 进行计算 applymap —— 应用在 dataFrame 上，元素级别的操作 map —— python 系统自带函数，应用在 series 上， 元素级别的操作 二、实操对比 构建测试数据框： im
阅读全文
摘要：要实现一个类似于 SQL 中的 case when 功能，为用户打上标签。 例如： select tj_month, name, online_time, case when online_time < 12 then '(3,12]' when online_time >= 12 and onli
阅读全文
摘要：SHOW MY CODE!! NO BB!! # -*- coding: utf-8 -*- """ Created on Fri Sep 17 16:32:54 2021 @author: Hider """ # 加载包 import pandas as pd import os os.chdir
阅读全文
摘要：在分类汇总数据中，stack() 和 unstack() 是进行层次化索引的重要操作。 层次化索引就是对索引进行层次化分类，包含行索引、列索引。 常见的数据层次化结构包含两种：表格（横表）、“花括号”（纵表）。 表格在行列方向上均有索引，花括号结构只有“列方向”上的索引。 其实，应用 stack()
阅读全文
