06 2022 档案

SparkSQL Catalyst中的TreeNode

摘要：引言 Scala Product、case类和元组 case 关键字不仅可以推断出val，同时自动增加一些方法，那么增加了那些方法呢？你定义的case 类会混入scala.Product 特征，它提供了几个关于实例字段的通用方法。例如，对于Person 的实例： package cn.com.te 阅读全文

posted @ 2022-06-28 21:53 江东邮差阅读(200) 评论(0) 推荐(0) 编辑

【转】Spark2.1和2.2 SQL物理执行策略关键源码分析

摘要：1. 文章开始之前先附上一句SQL，使用tpc-ds的表结构，我们围绕这句SQL讲。 SQL： SQL> select avg(cs_ext_discount_amt) from catalog_sales, date_dim where d_date between '1999-02-22' a 阅读全文

posted @ 2022-06-28 12:07 江东邮差阅读(79) 评论(0) 推荐(0) 编辑

PostgreSQL位图计算 pg_roaringbitmap 插件

摘要：链接：位图计算 pg_roaringbitmap 插件（腾讯云）云数据库 PostgreSQL 提供 pg_roaringbitmap 插件，可以使用位图计算功能，提高查询性能。前提条件实例为云数据库 PostgreSQL 10、11、12、13 全新版本。背景信息 Roaring Bitm 阅读全文

posted @ 2022-06-23 10:21 江东邮差阅读(663) 评论(0) 推荐(0) 编辑

Mac系统使用homebrew安装组件时报错--fatal: not in a git directory Error: Command failed with exit 128: git

摘要：报错使用brew安装wget时报错 fatal: not in a git directory Error: Command failed with exit 128: git 解决办法 brew -v 查看会有两个提示，提示用户设置 homebrew-cask 和 homebrew-core 的阅读全文

posted @ 2022-06-15 22:17 江东邮差阅读(2684) 评论(0) 推荐(0) 编辑

[转]Spark自定义HBase数据源

摘要：转发原文：Spark自定义HBase数据源 Spark内置很多数据源，却没有HBase的数据源，需要调用rdd的api，如果能有下面这种方式就非常完美了： frame.write.format("hbase") .mode(SaveMode.Append) .option(ZK_HOST_HBASE 阅读全文

posted @ 2022-06-15 16:31 江东邮差阅读(185) 评论(0) 推荐(0) 编辑