05 2020 档案

Spark Sql之Catalog
摘要：基于版本：Spark 2.2.0 把一些概念搞清楚，Spark轮廓就清晰了。 什么是Catalog，中文翻译目录，那啥叫目录呢？下面是百度百科的解释： `目录，是指书籍正文前所载的目次，是揭示和报道图书的工具。目录是记录图书的书名、著者、出版与收藏等情况，按照一定的次序编排而成，为反映馆藏、指导阅读 阅读全文
posted @ 2020-05-21 18:29 大葱拌豆腐 阅读(1353) 评论(0) 推荐(0) 编辑
spark通过jdbc读取数据库的并行（转载）
摘要：代码如下： val conf = new SparkConf().setAppName("testMysqlToHiveJdbc") .setMaster("local") val spark = SparkSession.builder() .config(conf) .enableHiveSup 阅读全文
posted @ 2020-05-13 14:10 大葱拌豆腐 阅读(2048) 评论(0) 推荐(0) 编辑
spark jdbc读取并发度优化
摘要：很多人在spark中使用默认提供的jdbc方法时，在数据库数据较大时经常发现任务 hang 住，其实是单线程任务过重导致，这时候需要提高读取的并发度。 下文以 mysql 为例进行说明。 在spark中使用jdbc 在 spark-env.sh 文件中加入: export SPARK_CLASSPA 阅读全文
posted @ 2020-05-13 13:59 大葱拌豆腐 阅读(1949) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示