11 2020 档案
摘要:* 获取 Mysql 表的数据** @param sqlContext* @param tableName 读取Mysql表的名字* @param proPath 配置文件的路径* @return 返回 Mysql 表的 DataFrame*/def readMysqlTable(sqlContex
阅读全文
摘要:通用可选参数: --master MASTER_URL, 可 以 是 spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local --deploy-mode DEPLOY_MODE, Driver 程序运行的
阅读全文
摘要:'''列表迭代的本质:__iter()__函数返回一个迭代器,然后可以调用迭代器上的next方法''' arr = [1,2,3,4,5] arr_iterator = arr.__iter__() print(arr_iterator.__next__()) print(next(arr_iter
阅读全文
摘要:替换“-”和多个空格 select regexp_replace('a-b cd','-|\\s+','')
阅读全文
摘要:yarn application -listyarn logs -applicationId application_1493700892407_0007
阅读全文
摘要:df = spark.sql( "select 100 as c1,Array(struct(1,2)) as a" " union all" " select 50 as c1,Array(struct(3,4)) as a" ) def test_udf(c): return c+1 spark
阅读全文