初识spark 之 读写MySql数据

需求

1、使用spark读取MySql库数据；
2、使用spark读取MySql库数据，并写入另一张表。

实现代码

 1 package com.lzh.sql.数据加载保存
 2 
 3 import org.apache.spark.SparkConf
 4 import org.apache.spark.sql.{SaveMode, SparkSession}
 5 
 6 object conMySql {
 7   def main(args: Array[String]): Unit = {
 8     val sparkConf = new SparkConf().setMaster("local[*]").setAppName("conMySql")
 9     val spark = SparkSession.builder().config(sparkConf).getOrCreate()
10 
11     // 读取MySql数据
12     val df = spark.read
13       .format("jdbc")
14       .option("url", "jdbc:mysql://bigdata01:3336/hive") // dbc:mysql://地址:端口/数据库名
15       .option("driver", "com.mysql.jdbc.Driver") // 驱动，固定
16       .option("user", "root") // 用户
17       .option("password", "123") // 密码
18       .option("dbtable", "tmp_20220531") // 表
19       .load()
20 
21     // 保存数据到MySql
22     df.write
23       .format("jdbc")
24       .option("url", "jdbc:mysql://bigdata01:3336/hive") // dbc:mysql://地址:端口/数据库名
25       .option("driver", "com.mysql.jdbc.Driver") // 驱动，固定
26       .option("user", "root") // 用户
27       .option("password", "123") // 密码
28       .option("dbtable", "tmp_20220531_2") // 追加到表，若表不存在，则新建。
29       .mode(SaveMode.Append) // 数据保存模式，追加
30       .save()
31   }
32 }

 

posted on 2022-05-31 16:54  Simple-Sir  阅读(584)  评论(0)  编辑  收藏  举报

导航