摘要: 1、读取Mysql数据 object JdbcRddDemo { def getConn() = { Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("jdbc:mysql://hado 阅读全文
posted @ 2020-05-10 15:50 知晓的老巢 阅读(590) 评论(0) 推荐(0) 编辑
摘要: 广播变量 应用场景:在提交作业后,task在执行的过程中, 有一个或多个值需要在计算的过程中多次从Driver端拿取时,此时会必然会发生大量的网络IO, 这时,最好用广播变量的方式,将Driver端的变量的值事先广播到每一个Worker端, 以后再计算过程中只需要从本地拿取该值即可,避免网络IO,提 阅读全文
posted @ 2020-05-10 11:11 知晓的老巢 阅读(1499) 评论(0) 推荐(0) 编辑