关闭页面特效
随笔分类 - 数据湖之iceberg技术
实践数据湖iceberg 第五课 hive catalog特点
摘要：前言 不以完美记录做为目标。以记录自己学习过程为主线，进行记录，记录通过实践，来了解原理，并把这个实践过程分享给后来需要学习的同学。 本节：了解hive catalog与hadoop catalog的区别，进行认识 1. 建立 hive catalog，建表 创建hive_catalog与表 CRE
阅读全文
实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）
摘要：前言 之前使用flink1.11.6 iceberg0.11 没写成功，升级flink到1.12.7 升级后版本： flink-1.12.7-bin-scala_2.12 flink-sql-connector-hive-2.3.6_2.12-1.12.7.jar kafka_2.12-2.4.1
阅读全文
实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg
摘要：环境说明 从实践中了解hive catalog 的特点 环境说明： flink1.11.6 iceberg 0.11 kafka2.12_2.4.1 1. 启动带hive和kafka功能的flink-sql [root@hadoop101 software]# bin/sql-client.sh e
阅读全文
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式
摘要：前言 iceberg底层是如何管理数据，具体每次数据变更，在底层数据结构上发生哪些变化？ 本文主要解答这个问题。 观察的方法是： 1.建立catalog, hdfs截图 2.创建表，hdfs截图 3.insert一条数据，hdfs截图，观察元数据和数据的变更 4.再insert一条数据，hdfs截图
阅读全文
数据湖实践第一课 flink+iceberg入门
摘要：前言 数据胡越来越热门，我也开始探索数据湖在公司落地，把数据湖实践入门、填坑做个记录，也方便以后大家入门 一、数据湖iceberg实践环境说明 1.hadoop版本 社区版 2.7.2 2. hive版本 2.3.6 3. flink版本1.11.6 目前flink出来flink1.14.2，但先选
阅读全文
