摘要： 代码如下： val conf = new SparkConf().setAppName("testMysqlToHiveJdbc") .setMaster("local") val spark = SparkSession.builder() .config(conf) .enableHiveSup 阅读全文

摘要： 很多人在spark中使用默认提供的jdbc方法时，在数据库数据较大时经常发现任务 hang 住，其实是单线程任务过重导致，这时候需要提高读取的并发度。 下文以 mysql 为例进行说明。 在spark中使用jdbc 在 spark-env.sh 文件中加入: export SPARK_CLASSPA 阅读全文