金融量化学习---Python, MySQL, Pandas

这里用来记录一些在金融领域,尤其是银行相关的资金、债券、票据中应用到的数据管理与分析, 编程等心得或笔记,以及个人的一点小小兴趣(易经八卦、藏密禅修)等

导航

函数,lambda和apply用法

1 lambda
lambda原型为:lambda 参数:操作(参数)
lambda函数也叫匿名函数,即没有具体名称的函数,它允许快速定义单行函数,可以用在任何需要函数的地方。这区别于def定义的函数。

lambda与def的区别:
1)def创建的方法是有名称的,而lambda没有。
2)lambda会返回一个函数对象,但这个对象不会赋给一个标识符,而def则会把函数对象赋值给一个变量(函数名)。
3)lambda只是一个表达式,而def则是一个语句。
4)lambda表达式” : “后面,只能有一个表达式,def则可以有多个。
5)像if或for或print等语句不能用于lambda中,def可以。
6)lambda一般用来定义简单的函数,而def可以定义复杂的函数。

1.1 举最简单的例子

#单个参数的:
g = lambda x : x ** 2
print g(3)

9

#多个参数的:
g = lambda x, y, z : (x + y) ** z
print g(1,2,2)

9

1.2 再举一个普通的例子
将一个 list 里的每个元素都平方:

map( lambda x: x*x, [y for y in range(10)] )
这个写法要好过

def sq(x):
    return x * x
 
map(sq, [y for y in range(10)])
因为后者多定义了一个(污染环境的)函数,尤其如果这个函数只会使用一次的话。

进一步讲,匿名函数本质上就是一个函数,它所抽象出来的东西是一组运算。这是什么意思呢?类比

a = [1, 2, 3]
和

f = lambda x : x + 1
我们会发现,等号右边的东西完全可以脱离等号左边的东西而存在,等号左边的名字只是右边之实体的标识符。如果能习惯 [1, 2, 3] 单独存在,那么 lambda x : x + 1 也能单独存在其实也就不难理解了,它的意义就是给「某个数加一」这一运算本身。

现在回头来看 map() 函数,它可以将一个函数映射到一个可枚举类型上面。沿用上面给出的 a 和 f,可以写

map(f, a)
也就是将函数 f 依次套用在 a 的每一个元素上面,获得结果 [2, 3, 4]。现在用 lambda 表达式来替换 f,就变成:

map( lambda x : x + 1, [1, 2, 3] )
会不会觉得现在很一目了然了?尤其是类比

a = [1, 2, 3]
r = []
for each in a:
    r.append(each+1)
2 Apply
Python中apply函数的格式为:apply(func,*args,**kwargs)

当然,func可以是匿名函数。

用途:当一个函数的参数存在于一个元组或者一个字典中时,用来间接的调用这个函数,并将元组或者字典中的参数按照顺序传递给参数

解析:args是一个包含按照函数所需参数传递的位置参数的一个元组,简单来说,假如A函数的函数位置为 A(a=1,b=2),那么这个元组中就必须严格按照这个参数的位置顺序进行传递(a=3,b=4),而不能是(b=4,a=3)这样的顺序。kwargs是一个包含关键字参数的字典,而其中args如果不传递,kwargs需要传递,则必须在args的位置留空。

apply的返回值就是函数func函数的返回值。

2.1 举例
   def function(a,b):  
        print(a,b)  
    apply(function,('good','better'))  
    apply(function,(2,3+6))  
    apply(function,('cai','quan'))  
    apply(function,('cai',),{'b':'caiquan'})  
    apply(function,(),{'a':'caiquan','b':'Tom'})  
输出结果:

('good', 'better')
(2, 9)
('cai', 'quan')
('cai', 'caiquan')
('caiquan', 'Tom')

有时候,函数的参数可能是DataFrame中的行或者列。

2.2 下面的例子是DataFrame中apply的用法
函数应用和映射
import numpy as np
import pandas as pd
df=pd.DataFrame(np.random.randn(4,3),columns=list('bde'),index=['utah','ohio','texas','oregon'])
print(df)

               b         d         e
utah   -0.667969  1.974801  0.738890
ohio   -0.896774 -0.790914  0.474183
texas   0.043476  0.890176 -0.662676
oregon  0.701109 -2.238288 -0.154442

将函数应用到由各列或行形成的一维数组上。DataFrame的apply方法可以实现此功能
f=lambda x:x.max()-x.min()
默认情况下会以列为单位,分别对列应用函数

t1=df.apply(f)
print(t1)
t2=df.apply(f,axis=1)
print(t2)
 
b    1.597883
d    4.213089
e    1.401566
dtype: float64
utah      2.642770
ohio      1.370957
texas     1.552852
oregon    2.939397
dtype: float64

除标量外,传递给apply的函数还可以返回由多个值组成的Series

def f(x):
    return pd.Series([x.min(),x.max()],index=['min','max'])
t3=df.apply(f)

从运行的结果可以看出,按列调用的顺序,调用函数运行的结果在右边依次追加
print(t3)

            b         d         e
min -0.896774 -2.238288 -0.662676
max  0.701109  1.974801  0.738890

元素级的python函数,将函数应用到每一个元素
将DataFrame中的各个浮点值保留两位小数

f=lambda x: '%.2f'%x
t3=df.applymap(f)
print(t3)

            b      d      e
utah    -0.67   1.97   0.74
ohio    -0.90  -0.79   0.47
texas    0.04   0.89  -0.66
oregon   0.70  -2.24  -0.15

注意,之所以这里用map,是因为Series有一个元素级函数的map方法。而dataframe只有applymap。

t4=df['e'].map(f)
print(t4)
 

utah     0.74
ohio     0.47
texas   -0.66
oregon  -0.15

小技巧:
1, 有一个 pandas.DataFrame df, 有ABCD四列,其中AB是索引列,C列的数据是str,部分前后有空格,现在用一段代码将C列数据上的空格删除

lam = lambda x:x.strip()
df['C']=df['C'].apply(lam)

2,pandas-如何得到某一个值所在的行
df[df['列名'].isin([相应的值])]

其它例子

试图根据像这样的数据框中的人的大小来推断分类:

Size
1     80000
2     8000000
3     8000000000

希望它看起来像这样:

Size        Classification
1     80000       <1m
2     8000000     1-10m
3     8000000000  >1bi

理想的过程是应用这样的lambda函数:

df['Classification']=df['Size'].apply(lambda x: "<1m" if x<1000000 else "1-10m" if 1000000<x<10000000 else ...)

检查了几个关于lambda函数中的多个ifs的帖子,here is an example link,但是这个synthax在多个ifs语句中由于某种原因不适合我,但是它在单个if条件下工作.

所以我尝试了这个“非常优雅”的解决方案:

df['Classification']=df['Size'].apply(lambda x: "<1m" if x<1000000 else pass)
df['Classification']=df['Size'].apply(lambda x: "1-10m" if 1000000 < x < 10000000 else pass)
df['Classification']=df['Size'].apply(lambda x: "10-50m" if 10000000 < x < 50000000 else pass)
df['Classification']=df['Size'].apply(lambda x: "50-100m" if 50000000 < x < 100000000 else pass)
df['Classification']=df['Size'].apply(lambda x: "100-500m" if 100000000 < x < 500000000 else pass)
df['Classification']=df['Size'].apply(lambda x: "500m-1bi" if 500000000 < x < 1000000000 else pass)
df['Classification']=df['Size'].apply(lambda x: ">1bi" if 1000000000 < x else pass)

可以看出“pass”似乎也不适用于lambda函数:

df['Classification']=df['Size'].apply(lambda x: "<1m" if x<1000000 else pass)
SyntaxError: invalid syntax

关于Pandas中apply方法中lambda函数内多个if语句的正确synthax的任何建议?多线或单线解决方案对我有用.

这是一个可以构建的小例子:
基本上,lambda x:x ..是函数的短单行.真正需要的是一个你可以轻松重建的功能.

import pandas as pd

# Recreate the dataframe
data = dict(Size=[80000,8000000,800000000])
df = pd.DataFrame(data)

# Create a function that returns desired values
# You only need to check upper bound as the next elif-statement will catch the value
def func(x):
    if x < 1e6:
        return "<1m"
    elif x < 1e7:
        return "1-10m"
    elif x < 5e7:
        return "10-50m"
    else:
        return 'N/A'
    # Add elif statements....

df['Classification'] = df['Size'].apply(func)

print(df)

返回:

Size Classification
0      80000            <1m
1    8000000          1-10m
2  800000000            N/A

3 参考文献
【1】Lambda 表达式有何用处?如何使用?
https://www.zhihu.com/question/20125256
【2】python DataFrame的apply方法
https://blog.csdn.net/u013385362/article/details/79155573
【3】pandas官方文档
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.html

posted on 2020-10-14 21:00  chengjon  阅读(4439)  评论(0编辑  收藏  举报