09 2021 档案
摘要：hadoop 2.7.5 spark2.4.4 hive2.3.9 flink:1.13.1 jdk:1.8 scala：2.11.6 hudi:0.10.0 第一步： mvn archetype:generate \-DarchetypeGroupId=org.apache.flink \-Dar
阅读全文
摘要：CarbonData数据定义语言 创建表 这条命令可以用来创建一个CarbonData表，指定字段列表和表的属性。你还可以指定需要存储表的位置。 CREATE TABLE [IF NOT EXISTS] [db_name.]table_name[(col_name data_type , ...)]
阅读全文
摘要：使用案例 CarbonData在各种分析工作中都很有用。这里记录了CarbonData被使用的一些最典型的使用情况。 CarbonData用于但不限于以下方面 银行 o 欺诈检测分析 o 风险状况分析 o 作为一个拉链表来更新客户的每日余额 电信 o 检测VIP客户的信号异常以提供更好的客户体验 o
阅读全文
摘要：本教程提供了一个使用CarbonData的快速介绍。要学习本指南，请从CarbonData网站上下载一个打包的CarbonData版本。另外，也可以按照建立CarbonData的步骤来创建它。 先决条件 CarbonData支持Spark 2.4以下的版本。请从Spark网站下载Spark软件包。
阅读全文
摘要：ODS层-->DM层-->DWD层 第一步： 先构建ods_delta表（分区：日期，小时，分钟），开始源源不断写入ods_delta表中，只存储增量数据。 ods_delta表需要在原表基础上新增如下字段： cdc_record_id STRING COMMENT '唯一自增序列号', cdc_o
阅读全文
