01 2021 档案

spark读取写入jdbc.,Caused by: java.lang.NoSuchMethodException: org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper.<init>()
摘要：df.write .option("truncate", "true") .option("driver", mysqlDriver) .mode(SaveMode.Overwrite).jdbc(url, table, pro) 需要配置某个jdbc类型驱动driver,option("drive 阅读全文
posted @ 2021-01-26 14:32 夜半钟声到客船 阅读(947) 评论(0) 推荐(0) 编辑
spark读取hive表,org.apache.spark.sql.AnalysisException: Unsupported data source type for direct query on files: hive;
摘要：异常出现:spark读取hive表时,spark.read.table(hive.test) hdp版本的spark默认的catalog是spark，配置项 metastore.catalog.default 默认值是spark，即读取SparkSQL自己的metastore_db。所以才会出现上述 阅读全文
posted @ 2021-01-26 14:24 夜半钟声到客船 阅读(742) 评论(1) 推荐(0) 编辑
spark使用jdbc批次提交方式写入phoniex的工具类
摘要：一、需求:spark写入phoniex 二、实现方式 1.官网方式 dataFrame.write .format("org.apache.phoenix.spark") .mode("overwrite") .option("table", table) .option("zkUrl", zkUr 阅读全文
posted @ 2021-01-22 15:00 夜半钟声到客船 阅读(741) 评论(0) 推荐(0) 编辑
livy提交spark应用
摘要：spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中 1.客户端提交的方式 http://livy.incubator.apache.org/docs/latest/programmatic-ap 阅读全文
posted @ 2021-01-07 20:43 夜半钟声到客船 阅读(1175) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示