02 2019 档案

sparksql jdbc数据源
摘要：用的本地模式,pom.xml中添加了mysql驱动包,mysql已经开启,写入的时候发现用format("jdbc").save()的方式发现会有does not allow create table as select的异常,于是去官方文档上发现了使用jdbc()的方式,测试 正常,说明下Prop 阅读全文
posted @ 2019-02-19 14:39 tele 阅读(1248) 评论(0) 推荐(0)
sparksql hive作为数据源
摘要：根据官方文档的说法,要把hive-site.xml,core-site.xml,hdfs-site.xml拷贝到spark的conf目录下,保证mysql已经启动 java scala 阅读全文
posted @ 2019-02-18 20:23 tele 阅读(697) 评论(0) 推荐(0)
sparksql json 合并json数据
摘要：java scala 阅读全文
posted @ 2019-02-17 17:06 tele 阅读(1362) 评论(0) 推荐(0)
sparksql parquet 合并元数据
摘要：java scala 阅读全文
posted @ 2019-02-17 14:04 tele 阅读(872) 评论(0) 推荐(0)
sparksql parquet 分区推断Partition Discovery
摘要：网上找的大部分资料都很旧,最后翻了下文档只找到了说明 大概意思是1.6之后如果想要使用分区推断就要设置数据源的basePath,因此代码如下 java (注意basePath与实际的parquet文件的路径,basePath是分区推断列之前的路径) scala scala的版本用的本地路径,测试发现 阅读全文
posted @ 2019-02-15 20:08 tele 阅读(1119) 评论(0) 推荐(0)
sparksql load/save
摘要：java scala 阅读全文
posted @ 2019-02-14 22:08 tele 阅读(408) 评论(0) 推荐(0)
python list
摘要：1 # list是有序的 2 3 # 创建list 4 myList = ["123", 1234, "ok", "hello"] 5 6 # 使用dir()函数查看有哪些该对象有哪些方法 __xx__是python提供的内置方法/属性 7 print(dir(myList)) 8 9 # 增加元素 10 11 # 在指定位置添加元素 12 my... 阅读全文
posted @ 2019-02-14 22:02 tele 阅读(358) 评论(0) 推荐(0)
sparksql 动态设置schema将rdd转换成dataset/dataframe
摘要：java scala 阅读全文
posted @ 2019-02-13 17:48 tele 阅读(1526) 评论(0) 推荐(0)
sparksql 用反射的方式将rdd转换成dataset/dataframe
摘要：java scala 阅读全文
posted @ 2019-02-13 16:44 tele 阅读(573) 评论(0) 推荐(0)
sparksql dataset
摘要：java scala 阅读全文
posted @ 2019-02-12 19:06 tele 阅读(838) 评论(0) 推荐(0)