大码王 - 博客园

2022年4月16日

实践数据湖iceberg 第三课在sqlclient中，以sql方式从kafka读数据到iceberg

摘要：环境说明从实践中了解hive catalog 的特点环境说明： flink1.11.6 iceberg 0.11 kafka2.12_2.4.1 1. 启动带hive和kafka功能的flink-sql [root@hadoop101 software]# bin/sql-client.sh e 阅读全文

posted @ 2022-04-16 14:07 大码王阅读(149) 评论(0) 推荐(0) 编辑

实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式

摘要：前言 iceberg底层是如何管理数据，具体每次数据变更，在底层数据结构上发生哪些变化？本文主要解答这个问题。观察的方法是： 1.建立catalog, hdfs截图 2.创建表，hdfs截图 3.insert一条数据，hdfs截图，观察元数据和数据的变更 4.再insert一条数据，hdfs截图阅读全文

posted @ 2022-04-16 11:34 大码王阅读(215) 评论(0) 推荐(0) 编辑

数据湖实践第一课 flink+iceberg入门

摘要：前言数据胡越来越热门，我也开始探索数据湖在公司落地，把数据湖实践入门、填坑做个记录，也方便以后大家入门一、数据湖iceberg实践环境说明 1.hadoop版本社区版 2.7.2 2. hive版本 2.3.6 3. flink版本1.11.6 目前flink出来flink1.14.2，但先选阅读全文

posted @ 2022-04-16 11:28 大码王阅读(533) 评论(0) 推荐(0) 编辑

2021年9月23日

window下安装clickhouse

摘要：导读随着互联网技术的发展，海量数据已经成为公司决策分析的重要来源，ClickHouse有着大数据入门和低学习成本(支持SQL)的优势，故开启了第一篇环境搭建。希望能降低ClickHouse的入门门槛。环境及工具 Windows10专业版(64位)：Windows其他版本可能会有其他问题，建议使用阅读全文

posted @ 2021-09-23 10:05 大码王阅读(3850) 评论(0) 推荐(1) 编辑

2021年6月15日

离线数仓脚本封装dwd_stat_sdk_log_inc_h_common.sh

该文被密码保护。阅读全文

posted @ 2021-06-15 10:46 大码王阅读(0) 评论(0) 推荐(0) 编辑

离线数仓脚本封装push_service_alarm.py

该文被密码保护。阅读全文

posted @ 2021-06-15 10:44 大码王阅读(0) 评论(0) 推荐(0) 编辑

离线数仓脚本封装mail_long_content.py

该文被密码保护。阅读全文

posted @ 2021-06-15 10:43 大码王阅读(0) 评论(0) 推荐(0) 编辑

离线数仓脚本封装mail.py

该文被密码保护。阅读全文

posted @ 2021-06-15 10:41 大码王阅读(0) 评论(0) 推荐(0) 编辑

离线数仓脚本封装location.ini

该文被密码保护。阅读全文

posted @ 2021-06-15 10:23 大码王阅读(0) 评论(0) 推荐(0) 编辑

离线数仓脚本封装export.ini

该文被密码保护。阅读全文

posted @ 2021-06-15 10:22 大码王阅读(0) 评论(0) 推荐(0) 编辑

离线数仓脚本封装dc_export.ini

该文被密码保护。阅读全文

posted @ 2021-06-15 10:18 大码王阅读(0) 评论(0) 推荐(0) 编辑

离线数仓脚本封装DayGen.ini

该文被密码保护。阅读全文

posted @ 2021-06-15 10:17 大码王阅读(0) 评论(0) 推荐(0) 编辑

离线数仓脚本封装common.sh

该文被密码保护。阅读全文

posted @ 2021-06-15 10:13 大码王阅读(0) 评论(0) 推荐(0) 编辑

2021年5月27日

Java操作数据库指南(之一)

摘要：一、java实现关系型数据库操作 1、java操作mysql增删改查 1、帮助类 package com.gr.DBHerpel; import java.sql.*; //导包 /** * ClassName: DBHerpel * @Description: TODO 数据库辅助类 * @aut 阅读全文

posted @ 2021-05-27 10:19 大码王阅读(227) 评论(0) 推荐(0) 编辑

2021年5月21日

css

该文被密码保护。阅读全文

posted @ 2021-05-21 11:39 大码王阅读(0) 评论(0) 推荐(0) 编辑

2021年5月20日

hive批量数据导入kafka(hive版udf函数实现)

该文被密码保护。阅读全文

posted @ 2021-05-20 18:04 大码王阅读(0) 评论(0) 推荐(0) 编辑

电商用户画像Flink+clickhouse版之代码实现(3)

该文被密码保护。阅读全文

posted @ 2021-05-20 14:59 大码王阅读(0) 评论(0) 推荐(0) 编辑