2020 年 11月随笔档案 - 小小喽啰

如何将list嵌套的list的[]去掉

摘要：比如说 a = [[1,2,3], [5, 2, 8], [7,8,9]] 我们需要将里面的[]去掉，但是又不删除任意元素如果list里里面的元素是数字，‘1’也是可以的，那么我们可以使用np.ravel a = [[1,2,3], [5, 2, 8], [7,8,9]] list(np.rave 阅读全文

posted @ 2020-11-30 20:55 小小喽啰阅读(2817) 评论(0) 推荐(1) 编辑

pandas 根据两个初始时间差生成对应行数

摘要：比如说，初始日期分别是20200101，20201201，我要生成如下代码如下： list1=[] #用于储存id list2=[] #用于储存date for i in range(len(tmp)): #生成时间序列 obs_list = [str(i.date()) for i in (pd 阅读全文

posted @ 2020-11-30 20:31 小小喽啰阅读(215) 评论(0) 推荐(0) 编辑

KL散度、JS散度和交叉熵

摘要：KL散度、JS散度和交叉熵三者都是用来衡量两个概率分布之间的差异性的指标 1. KL散度 KL散度又称为相对熵，信息散度，信息增益。KL散度是是两个概率分布 P 和 Q (概率分布P(x)和Q(x)) 之间差别的非对称性的度量。 KL散度是用来度量使用基于 Q 的编码来编码来自 P 的样本平均所需阅读全文

posted @ 2020-11-30 17:50 小小喽啰阅读(1424) 评论(0) 推荐(0) 编辑

np.dot()计算两个变量的乘积

摘要：np.dot()计算两个变量的乘积，返回的是一个值 import numpy as np np.dot(a, b, out=None) #该函数的作用是获取两个元素a,b的乘积. a,b可以是数组或者int print(np.dot(1,10)) #10 还可以 import numpy as np 阅读全文

posted @ 2020-11-28 15:53 小小喽啰阅读(392) 评论(0) 推荐(0) 编辑

numpy 相关统计

摘要：目录最小值/最大值极差（也就是最大值和最小值的差）分位数中位数均值加权平均值方差标准差协方差矩阵相关系数直方图 1.numpy.amin() 计算最小值 numpy.amin(a[, axis=None, out=None, keepdims=np._NoValue, init 阅读全文

posted @ 2020-11-28 14:49 小小喽啰阅读(280) 评论(0) 推荐(0) 编辑

sns.FacetGrid(),map用法

摘要：先看看一个例子 #类别变量的每个类别频数可视化 def count_plot(x, **kwargs): sns.countplot(x=x) x=plt.xticks(rotation=90) f = pd.melt(train, value_vars=['Sex','Embarked']) g 阅读全文

posted @ 2020-11-27 17:26 小小喽啰阅读(4663) 评论(0) 推荐(0) 编辑

df.to_dict()转化为字典数据

摘要：df.to_dict()里面参数可选（‘dict’, ‘list’, ‘series’, ‘split’, ‘records’, ‘index’） df = pd.DataFrame({'col1': [1, 2], 'col2': [0.5, 0.75]}, index=['row1', 'row 阅读全文

posted @ 2020-11-26 14:40 小小喽啰阅读(2433) 评论(0) 推荐(0) 编辑

机器学习模型偏差与拒绝推断的Python实现

摘要：幸存者偏差风险分析的本质是使用部分样本分布估计总体分布。在风险建模的过程中，普遍存在着幸存者偏差（Survivorship Bias）。其含义为，使用局部样本代替总体样本时，局部样本无法充分表征总体样本的分布信息，从而得到错误的总体估计在风控架构体系中，多次涉及样本被拒绝或客户流失等问题。由于风阅读全文

posted @ 2020-11-25 09:54 小小喽啰阅读(1550) 评论(0) 推荐(0) 编辑

df.drop()函数删除多行或者多列

摘要：函数用法从行或列中删除指定的标签通过指定标签名称和相应的轴，或直接指定索引或列名称，删除行或列。使用多索引时，可以通过指定级别来删除不同级别上的标签函数参数 DataFrame.drop(labels=None, axis=0, index=None, columns=None, level= 阅读全文

posted @ 2020-11-24 14:45 小小喽啰阅读(52188) 评论(0) 推荐(0) 编辑

决策树转为hivesql语句部署

摘要：首先生成一个决策树，然后画出决策树，再将决策树条件转化成hiveSQL语句进行部署，并非所有公司有部署决策树的环境，这时候可以使用SQL去部署首先创建一个dt_main.py，主要是决策树方面的，代码如下： #!/usr/bin/env python # coding: utf-8 # In[ ] 阅读全文

posted @ 2020-11-24 09:48 小小喽啰阅读(502) 评论(0) 推荐(0) 编辑

toad标准化评分库

摘要：toad是由厚本金融风控团队内部孵化，后开源并坚持维护的标准化评分卡库。其功能全面、性能稳健、运行速度快、问题反馈后维护迅速、深受同行喜爱。如果有些小伙伴没有一些标准化的信用评分开发工具或者企业级的定制化脚本，toad应该会极大的节省大家的时间 github主页：https://github.com 阅读全文

posted @ 2020-11-23 19:54 小小喽啰阅读(3651) 评论(6) 推荐(0) 编辑

Excel合并(拆分)

摘要：一、需要实现功能将多个Excel表，合并到一个Excel中（每个Excel中只有一个sheet表）；将多个Excel表，合并到一个Excel中（每个Excel中不只一个sheet表）；将一个Excel表中的多个sheet表合并，并保存到同一个excel；将一个Excel表，按某一列拆分成多张阅读全文

posted @ 2020-11-23 14:55 小小喽啰阅读(939) 评论(0) 推荐(1) 编辑

曼-惠特尼U检验以及Python实现

摘要：一、曼-惠特尼U检验的含义曼-惠特尼U检验又称“曼-惠特尼秩和检验”，英文（Mann-Whitney U test），是由H.B.Mann和D.R.Whitney于1947年提出的。它假设两个样本分别来自除了总体均值以外完全相同的两个总体，目的是检验这两个总体的均值是否有显著的差别，简单来说就是A 阅读全文

posted @ 2020-11-20 09:53 小小喽啰阅读(6793) 评论(0) 推荐(0) 编辑

plotly_express.pie()画饼图

摘要：plotly_express是一个功能很强大的可视化库，下面就简单介绍一下怎么使用px画交互式的饼图 import pandas as pd import plotly_express as px # 查看原始数据情况 df=pd.read_excel('leyoujia.xlsx') zone = 阅读全文

posted @ 2020-11-17 17:01 小小喽啰阅读(1373) 评论(0) 推荐(0) 编辑

透视表之后得到multiindex的列拉平变成一层

摘要：例如我们做透视表时，表头可能是多层的，得到了multiindex的列，我们需要将这些列拉平成一层，如下： table_cnt = pd.pivot_table(danbao_jigou_erji, values='creditlimitamount', index=['reportno'], col 阅读全文

posted @ 2020-11-13 14:26 小小喽啰阅读(463) 评论(0) 推荐(0) 编辑

两个list合成一个dict

摘要：有时我们需要这样的dict，key来自于一个list，value来自一个list，比如说df重新命名时，需要以字典传入时，下面介绍一下怎么使用 b=[1,2,3,4,5,6] a=list('abcd') dict(zip(a,b)) #{'a': 1, 'b': 2, 'c': 3, 'd': 4 阅读全文

posted @ 2020-11-13 14:21 小小喽啰阅读(282) 评论(0) 推荐(0) 编辑

Bar Chart Race画动态条形图

摘要：一、安装一个库「Bar Chart Race」，堪称Python界最强的动态可视化包。 GitHub地址：https://github.com/dexplo/bar_chart_race 文档地址：https://www.dexplo.org/bar_chart_race/ 目前主要有0.1和0. 阅读全文

posted @ 2020-11-12 09:31 小小喽啰阅读(4634) 评论(0) 推荐(0) 编辑

df处理一些中文和英文混在一起的例子

摘要：首先，我们看看下面的df的字段的例子很多时候，我们需要其中的数字，而文字对我们没有多大的作用，这时候需要我们去处理 import re # 方式1：通过自定义的函数，传给apply方法 def apply_size(x): return x.split("面积")[1].split("㎡")[0] 阅读全文

posted @ 2020-11-09 19:44 小小喽啰阅读(256) 评论(0) 推荐(0) 编辑

python 类的静态方法@staticmethod

摘要：一般来说，要使用某个类的方法，需要先实例化一个对象再调用方法。而使用@staticmethod或@classmethod，就可以不需要实例化，直接类名.方法名()来调用。这有利于组织代码，把某些应该属于某个类的函数给放到那个类里去，同时有利于命名空间的整洁。既然@staticmethod和@cla 阅读全文

posted @ 2020-11-06 14:25 小小喽啰阅读(2693) 评论(0) 推荐(0) 编辑

df根据某几列的值比较去赋值（构建新的一列）

摘要：比如说，前【2，5】列分别是每个学科的成绩，第1列是学号，我们找出每个学生的最高分的学科，则可以如下表达 def find_max(df): x = df.col1 y = df.col2 z = df.col3 n = df.col4 if min(x,y,z,n) == x: tmp = '数学阅读全文

posted @ 2020-11-06 10:41 小小喽啰阅读(775) 评论(0) 推荐(0) 编辑

df.index.get_level_values()复合索引指定搜索索引级数

摘要：此方法多用以复合索引的切片搜索函数如下 df.index.get_level_values(lever) lever：int or str，索引位置或者是索引的名称例子 import pandas as pd tuples = [('A','a'),('A','b'),('B','a'),('B 阅读全文

posted @ 2020-11-06 10:02 小小喽啰阅读(2566) 评论(0) 推荐(0) 编辑

DataFrame在任意处添加一列或者多列的方法

摘要：很多时候我们需要在任意处添加一列，而非末尾添加一列，下面就介绍一下几种方法 1.df.insert但是这个允许插入一列 one_hot.insert(0,'reportno',value=data_due_merge_cate['reportno']) DataFrame.insert（loc，co 阅读全文

posted @ 2020-11-05 10:47 小小喽啰阅读(17754) 评论(0) 推荐(0) 编辑

多级索引

摘要：一、创建多级索引 1、通过pd.MultiIndex.from_tuple或from_arrays 1.1直接从元组列表创建多重索引 tuples = [('A','a'),('A','b'),('B','a'),('B','b')] mul_index = pd.MultiIndex.from_t 阅读全文

posted @ 2020-11-05 10:09 小小喽啰阅读(728) 评论(0) 推荐(0) 编辑

风控模型6大核心指标（附代码）

摘要：目录 Part 1. 生成样本Part 2. 计算AUC、KS、GINIPart 3. PSIPart 4. 分数分布Part 5. 完整工程代码正文在我们开发完信用分模型后，经常需要计算如下的一些指标： ● 区分度的指标： ○ AUC ○ KS ○ GINI ● 稳定性的指标： ○ PSI ● 阅读全文

posted @ 2020-11-04 10:03 小小喽啰阅读(2236) 评论(0) 推荐(0) 编辑

df.div 除法

摘要：可实现除法函数参数 DataFrame.div(other, axis='columns', level=None, fill_value=None) 参数 other：标量，序列，系列或DataFrame axis：{0 or ‘index’, 1 or ‘columns’}，也就是按行除还是按阅读全文

posted @ 2020-11-04 09:18 小小喽啰阅读(982) 评论(0) 推荐(0) 编辑

pd.pivot_table 透视表

摘要：实现透视表功能参数如下： pandas.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_nam 阅读全文

posted @ 2020-11-03 20:47 小小喽啰阅读(716) 评论(0) 推荐(0) 编辑

搜索

常用链接

最新随笔

积分与排名

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论