muyue123

摘要： 1:sparksql中无法批量删除hive分区 spark.sql("alter table spd_trancare_mid.tmp_package_info_from_s3 drop partition(dt<=20200319)") #报错 print('end') 2:spark运行时出现如 阅读全文

摘要： 闭包：延伸了作用域的函数，包含函数定义体中引用，但是不在定义体中定义的非全局变量。有3个要素—— 1：嵌套函数;2：内部函数引用了外部函数的局部变量；3：外部函数的返回值是内部函数的引用。 # 例子，来自《流畅的python》 def make_averager(): series=[] def a 阅读全文

摘要： python变量引用顺序：从当前作用域开始寻找变量，如果没找到就往上一层作用域寻找，没找到就再上一层......即：当前作用域局部变量->外层作用域变量->再外层作用域变量->......->当前模块全局变量->pyhton内置变量。 global:全局变量 nonlocal:外层嵌套函数的变量 使 阅读全文

摘要： (1) FROM:对FROM子句中的左表<left_table>和右表<right_table>执行笛卡儿积，产生虚拟表VT1;(2) ON: 对虚拟表VT1进行ON筛选，只有那些符合<join_condition>的行才被插入虚拟表VT2;(3) JOIN: 如果指定了OUTER JOIN(如LE 阅读全文

摘要： #spark.sql中的shuffle.partitions的个数，默认为200 spark.sql.shuffle.partitions=50 #存储和计算所占比例，默认为0.6spark.storage.memoryFraction=0.3 #拉取失败的最大重试次数，默认3次 #本地化等待的时长 阅读全文

摘要： PIVOT 用户将多行转换成列。如果需要转换特定的行，则将行的值做为列表参数传入。 from pyspark.sql import SparkSessionimport pyspark.sql.functions as Fspark = SparkSession.builder.master("lo 阅读全文

摘要： pyspark 实现的wordcount。 from pyspark.sql import SparkSession, DataFrame spark = SparkSession \ .builder \ .master("local[*]")\ .appName("PythonWordCount 阅读全文