摘要: Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引... 阅读全文
posted @ 2021-01-05 21:14 大数据技术与数仓 阅读(2162) 评论(1) 推荐(0) 编辑
摘要: 在上一篇分享Flink集成Hive之快速入门–以Flink1.12为例中,介绍了Flink集成Hive的进本步骤。本文分享,将继续介... 阅读全文
posted @ 2020-12-22 09:43 大数据技术与数仓 阅读(4985) 评论(0) 推荐(0) 编辑
摘要: 使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前,一些比较常见的大数据处理引擎,都无一例外兼容Hive。Flink从1... 阅读全文
posted @ 2020-12-21 09:37 大数据技术与数仓 阅读(2166) 评论(0) 推荐(0) 编辑
摘要: 公众号『大数据技术与数仓』,回复『资料』领取大数据资料包 基本语法 analytic_function_name([argum... 阅读全文
posted @ 2020-11-24 13:56 大数据技术与数仓 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 在之前的分享中,曾系统地介绍了Spark的基本原理和使用方式,感兴趣的可以翻看之前的分享文章。在本篇分享中,将介绍一个完整的项目案例... 阅读全文
posted @ 2020-11-23 13:29 大数据技术与数仓 阅读(1101) 评论(0) 推荐(0) 编辑
摘要: 本文分享主要是ClickHouse的数据导入方式,本文主要介绍如何使用Flink、Spark、Kafka、MySQL、Hive将数据... 阅读全文
posted @ 2020-11-18 10:18 大数据技术与数仓 阅读(6935) 评论(0) 推荐(2) 编辑
摘要: Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器,而是创建输入... 阅读全文
posted @ 2020-11-12 17:04 大数据技术与数仓 阅读(222) 评论(0) 推荐(0) 编辑
摘要: JOIN操作是非常常见的数据处理操作,Spark作为一个统一的大数据处理引擎,提供了非常丰富的JOIN场景。本文分享将介绍Spark... 阅读全文
posted @ 2020-11-03 22:17 大数据技术与数仓 阅读(4516) 评论(0) 推荐(4) 编辑
摘要: 介绍 tabix支持通过浏览器直接连接 ClickHouse,不需要安装其他软件,就可以访问ClickHouse,具有以下特点: ⾼... 阅读全文
posted @ 2020-10-26 10:10 大数据技术与数仓 阅读(1337) 评论(0) 推荐(0) 编辑
摘要: ClickHouse提供了许多数据类型,它们可以划分为基础类型、复合类型和特殊类型。我们可以在system.data_type_fa... 阅读全文
posted @ 2020-10-14 21:32 大数据技术与数仓 阅读(2862) 评论(0) 推荐(0) 编辑