2024.6.14
对 hive 本地mysql 远程 mysql 的读取
public class SparkSQL07_Source_MySQL {
public static void main(String[] args) {
// TODO 构建环境对象
// Spark在结构化数据的处理场景中对核心功能,环境进行了封装
// 构建SparkSQL的环境对象时,一般采用构建器模式
// 构建器模式: 构建对象
final SparkSession sparkSession = SparkSession
.builder()
.master("local[*]")
.appName("SparkSQL")
.getOrCreate();
Properties properties = new Properties();
properties.setProperty("user", "root");
properties.setProperty("password", "123456");
// json.write()
// // 写出模式针对于表格追加覆盖
// .mode(SaveMode.Append)
// .jdbc("jdbc:mysql://hadoop102:3306","gmall.testInfo",properties);
// Dataset<Row> jdbc = sparkSession.read()
// .jdbc("jdbc:mysql://node1:3306/hive?useSSL=false&useUnicode=true&characterEncoding=UTF-8&allowPublicKeyRetrieval=true", "AUX_TABLE", properties);
Dataset<Row> jdbc = sparkSession.read()
.jdbc("jdbc:mysql://localhost:3306/endwork?useSSL=false&useUnicode=true&characterEncoding=UTF-8&allowPublicKeyRetrieval=true&serverTimezone=Asia/Shanghai", "t2", properties);
// jdbc.write()
// .jdbc("jdbc:mysql://localhost:3306/endwork?useSSL=false&useUnicode=true&characterEncoding=UTF-8&allowPublicKeyRetrieval=true&serverTimezone=Asia/Shanghai", "activity_info_test", properties);
jdbc.show();
// TODO 释放资源
sparkSession.close();
}
}
但是今天 启动hive的时候 出了点问题 ??