随笔- 59 文章- 0 评论- 1 阅读- 43235

03 2021 档案

摘要：背景 sparkJDBC在写入时提供了overwrite模式。当写入数据之前，会将之前的表drop掉，然后根据DataFrame类型推断生成Create语句新建一张表。在某些小众的数据库，spark内部没有提供对应的方言。这是spark会使用一个NoopCommon的默认方言，这时候很容易推断错误阅读全文

posted @ 2021-03-31 09:36 周周周文阳阅读(898) 评论(0) 推荐(1) 编辑

【spark】连接ClickHouse最优方案调研

摘要：Spark JDBC方案查询下垂研究: spark jdbc连接mysql: context.sparkSession.read.format("jdbc").options(config.toSparkJDBCMap).load().selectExpr("title").filter("pho 阅读全文

posted @ 2021-03-11 11:46 周周周文阳阅读(1977) 评论(0) 推荐(0) 编辑

【Flink】kerberos认证下各种方式连接elasticsearch研究与方案

摘要：kerberos，一种反人类的安全验证模式，在大数据领域居然用的很多。 elasticsearch，一种存储引擎。目前研究下来，flink和spark都是居于http方式去读写的。 HttpClient方式 public static HttpClient buildSpengoHttpClient 阅读全文

posted @ 2021-03-03 22:37 周周周文阳阅读(2675) 评论(0) 推荐(0) 编辑