随笔分类 - 编程语言
Python、Scala、Java等
摘要：一.简介 Spark的自定义udf和udaf是为了提供函数扩展，Spark本身提供了几十上百个算子，在数据分析的各个方面的常用计算方式都有提到，但计算场景千差万别，算子也不会面面俱到，如何在单机或集群上定义函数就是要重点关注的地方。特别是在集群模式中，函数需要使用spark注册才能在各个节点上使用，
阅读全文
摘要：一.概述 高阶函数，就是一个函数可以接收另一个函数作为参数的函数,scala与之类似。 二.导入基础包 import random from functools import reduce 三.自定义高阶函数 #定义普通函数，自动生成列表 def getList(): hList = list(ra
阅读全文
摘要：一.isinstance&type isinstance()函数用来判断一个对象是否是一个已知类型的数据，类似于type()。 isinstance()和type()的区别： 1.type()不会认为子类是一种父类类型，不考虑继承关系。 2.isinstance()会认为子类是一种父类类型，考虑继承
阅读全文
