SparkSQL 通过jdbc连接数据库/通过hive读写数据

通过jdbc连接数据库

spark-shell 带参数启动

?

1 2 3

spark-shell \ --jars /usr/spark/jars/mysql-connector-java-5.1.49-bin.jar \ --driver-class-path /usr/local/spark/jars/mysql-connector-java-5.1.40-bin.jar

插入和查询数据

+ View Code?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

import java.util.Properties import org.apache.spark.sql.types._ import org.apache.spark.sql.Row  //从Mysql中读取数据 val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/sparktest").option("driver","com.mysql.jdbc.Driver").option("dbtable", "employee").option("user", "root").option("password", "root123").load()   //下面我们设置两条数据表示两个学生信息 val studentRDD = spark.sparkContext.parallelize(Array("3 Rongcheng M 26","4 Guanhua M 27")).map(_.split(" "))    //下面要设置模式信息 val schema = StructType(List(StructField("id", IntegerType, true),StructField("name", StringType, true),StructField("gender", StringType, true),StructField("age", IntegerType, true)))    //下面创建Row对象，每个Row对象都是rowRDD中的一行 val rowRDD = studentRDD.map(p => Row(p(0).toInt, p(1).trim, p(2).trim, p(3).toInt))    //建立起Row对象和模式之间的对应关系，也就是把数据和模式对应起来 val studentDF = spark.createDataFrame(rowRDD, schema)    //下面创建一个prop变量用来保存JDBC连接参数 val prop = new Properties() prop.put("user", "root") //表示用户名是root prop.put("password", "root123") //表示密码是hadoop prop.put("driver","com.mysql.jdbc.Driver") //表示驱动程序com.mysql.jdbc.Driver    //下面就可以连接数据库，采用append模式，表示追加记录到数据库spark的student表中 studentDF.write.mode("append").jdbc("jdbc:mysql://localhost:3306/sparktest", "sparktest.employee", prop)

通过hive读写数据