上一页 1 2 3 4 5 6 7 8 9 ··· 33 下一页

2022年3月31日

ClickHouse-常用数据类型

摘要： 一、整型 固定长度的整型，包括有符号整型或无符号整型。 整型范围（-2n-1~2n-1-1）： Int8 - [-128 : 127]：对应Java byte-8bit Int16 - [-32768 : 32767]：对应Java short-16bit Int32 - [-2147483648 阅读全文

posted @ 2022-03-31 21:51 嘣嘣嚓 阅读(330) 评论(0) 推荐(0) 编辑

ClickHouse初始+安装

摘要： ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 一、特点 1.列式存储 对于列的聚合，计数，求和等统计操作优于行式存储 由于某一列的数据类型都是相同的，针对数据 阅读全文

posted @ 2022-03-31 21:32 嘣嘣嚓 阅读(254) 评论(0) 推荐(0) 编辑

2022年3月23日

Presto架构+安装

摘要： 一、框架概述 presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎。适用于交互式分析查询，数据量支持GB到PB字节 1.清洗的架构，是一个能够独立运行的系统，不依赖于任何其他外部系统。例如调度，presto自身提供了对集群的 阅读全文

posted @ 2022-03-23 22:54 嘣嘣嚓 阅读(205) 评论(0) 推荐(0) 编辑

2022年3月21日

Hudi-Flink CDC将MySQL数据写入hudi

摘要： CDC概念 CDC全称是Change data Cpature，即变更数据捕获，主要面向数据库的变更，是数据库领域非常常见的技术，主要用于捕获数据库的一些变更，然后可以把变更数据发送到下游。 CDC类型 1.基于查询的，客户端会通过SQL方式查询源库表变更数据，然后对外发送。 2.基于日志的，这也是 阅读全文

posted @ 2022-03-21 22:10 嘣嘣嚓 阅读(2098) 评论(2) 推荐(0) 编辑

2022年3月10日

Hudi-Flink SQL实时读取kafka数据写入Hudi表

摘要： 0.进入shell ./sql-client.sh embedded shell 1.建表关联kafka CREATE TABLE order_kafka_source( `orderId` STRING, `userId` STRING, `orderTime` STRING, `ip` STRI 阅读全文

posted @ 2022-03-10 22:33 嘣嘣嚓 阅读(664) 评论(0) 推荐(0) 编辑

Hudi-Flink SQL实时读取Hudi表数据

摘要： 代码如下（hudi表实时写入参考上一篇[Hudi-Flink消费kafka将增量数据实时写入Hudi]） package com.zhen.hudi; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.f 阅读全文

posted @ 2022-03-10 21:44 嘣嘣嚓 阅读(1273) 评论(0) 推荐(0) 编辑

2022年3月9日

Hudi-Flink消费kafka将增量数据实时写入Hudi(java)

摘要： 零、步骤 一、Flink SQL集成Kafka 1.创建topic(一分区一备份) flink-topic 2.准备flink-sql-connector-kafka_2.12-1.13.1.jar，放入flink/lib下 3.启动client,指定jar ./sql-client.sh embe 阅读全文

posted @ 2022-03-09 23:00 嘣嘣嚓 阅读(1986) 评论(0) 推荐(0) 编辑

2022年3月8日

Hudi-集成Flink(Flink操作hudi表)

摘要： 一、安装部署Flink 1.12 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 1.准备tar包 flink-1.13.1-bin-scala_2.12.tgz 2.解压 t 阅读全文

posted @ 2022-03-08 22:22 嘣嘣嚓 阅读(1628) 评论(0) 推荐(0) 编辑

2022年3月7日

Hudi-SparkSQL增删改查Hudi表

摘要： 进入spark-sql shell ./spark-sql --master local[2] --jars /Users/FengZhen/Desktop/Hadoop/spark/spark-3.0.3-bin-hadoop2.7/jars/spark-avro_2.12-3.0.3.jar,/ 阅读全文

posted @ 2022-03-07 21:41 嘣嘣嚓 阅读(3239) 评论(0) 推荐(0) 编辑

2022年3月3日

Hudi-StructuredStreaming流式写入Hudi

摘要： 场景 实时产生的数据写入到Kafka，由Spark实时读取Kafka的数据，写入hudi 实现 package com.zhen.hudi.streaming import com.zhen.hudi.didi.SparkUtils import org.apache.hudi.DataSource 阅读全文

posted @ 2022-03-03 22:59 嘣嘣嚓 阅读(461) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 9 ··· 33 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示