2022年4月16日
摘要：
前言 不以完美记录做为目标。以记录自己学习过程为主线，进行记录，记录通过实践，来了解原理，并把这个实践过程分享给后来需要学习的同学。 本节：了解hive catalog与hadoop catalog的区别，进行认识 1. 建立 hive catalog，建表 创建hive_catalog与表 CRE 阅读全文
摘要：
前言 之前使用flink1.11.6 iceberg0.11 没写成功，升级flink到1.12.7 升级后版本： flink-1.12.7-bin-scala_2.12 flink-sql-connector-hive-2.3.6_2.12-1.12.7.jar kafka_2.12-2.4.1 阅读全文
摘要：
环境说明 从实践中了解hive catalog 的特点 环境说明： flink1.11.6 iceberg 0.11 kafka2.12_2.4.1 1. 启动带hive和kafka功能的flink-sql [root@hadoop101 software]# bin/sql-client.sh e 阅读全文
摘要：
前言 iceberg底层是如何管理数据，具体每次数据变更，在底层数据结构上发生哪些变化？ 本文主要解答这个问题。 观察的方法是： 1.建立catalog, hdfs截图 2.创建表，hdfs截图 3.insert一条数据，hdfs截图，观察元数据和数据的变更 4.再insert一条数据，hdfs截图 阅读全文
摘要：
前言 数据胡越来越热门，我也开始探索数据湖在公司落地，把数据湖实践入门、填坑做个记录，也方便以后大家入门 一、数据湖iceberg实践环境说明 1.hadoop版本 社区版 2.7.2 2. hive版本 2.3.6 3. flink版本1.11.6 目前flink出来flink1.14.2，但先选 阅读全文
