2020 年 5月 7 日随笔档案 - lshan

2020年5月7日

摘要：如果是大表, 会出现OOM 原本是这样，直接写Table名称，就会读整张Table .option("dbtable", "test_table")可以改写成：.option("dbtable", "(select * from test_table where dt >= '2017-05-01' 阅读全文

posted @ 2020-05-07 23:39 lshan 阅读(811) 评论(0) 推荐(0) 编辑

sprongboot 解决spark报错：Failed to locate the winutils binary in the hadoop binary path

摘要： 1.下载hadoop-common-2.2.0-bin并解压到某个目录 https://github.com/srccodes/hadoop-common-2.2.0-bin 2.设置hadoop.home.dir System.setProperty("hadoop.home.dir", "D:\ 阅读全文

posted @ 2020-05-07 21:26 lshan 阅读(310) 评论(0) 推荐(0) 编辑

springboot 整合spark

摘要：参考：https://my.oschina.net/woter/blog/1843755 依赖： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instan 阅读全文

posted @ 2020-05-07 13:38 lshan 阅读(4679) 评论(1) 推荐(0) 编辑