11 2020 档案

摘要:* 获取 Mysql 表的数据** @param sqlContext* @param tableName 读取Mysql表的名字* @param proPath 配置文件的路径* @return 返回 Mysql 表的 DataFrame*/def readMysqlTable(sqlContex 阅读全文
posted @ 2020-11-27 11:30 muyue123 阅读(161) 评论(0) 推荐(0) 编辑
摘要:通用可选参数: --master MASTER_URL, 可 以 是 spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local --deploy-mode DEPLOY_MODE, Driver 程序运行的 阅读全文
posted @ 2020-11-25 15:58 muyue123 阅读(5778) 评论(0) 推荐(0) 编辑
摘要:'''列表迭代的本质:__iter()__函数返回一个迭代器,然后可以调用迭代器上的next方法''' arr = [1,2,3,4,5] arr_iterator = arr.__iter__() print(arr_iterator.__next__()) print(next(arr_iter 阅读全文
posted @ 2020-11-25 11:09 muyue123 阅读(111) 评论(0) 推荐(0) 编辑
摘要:替换“-”和多个空格 select regexp_replace('a-b cd','-|\\s+','') 阅读全文
posted @ 2020-11-18 16:38 muyue123 阅读(46) 评论(0) 推荐(0) 编辑
摘要:yarn application -listyarn logs -applicationId application_1493700892407_0007 阅读全文
posted @ 2020-11-18 14:00 muyue123 阅读(970) 评论(0) 推荐(0) 编辑
摘要:df = spark.sql( "select 100 as c1,Array(struct(1,2)) as a" " union all" " select 50 as c1,Array(struct(3,4)) as a" ) def test_udf(c): return c+1 spark 阅读全文
posted @ 2020-11-16 20:08 muyue123 阅读(447) 评论(0) 推荐(0) 编辑