09 2021 档案

大数据Hive拉链表的设计与实现
摘要：目录 1 数据同步问题1.1 数据同步的场景1.2 数据同步的问题 2 拉链表的设计2.1 功能与应用场景2.2 实现过程 3... 阅读全文
posted @ 2021-09-19 17:53 赵广陆 阅读(708) 评论(1) 推荐(0) 编辑
大数据Hive窗口函数应用实例
摘要：目录 1 连续登陆用户1.1 需求1.2 分析1.3 建表1.4 方案一：自连接过滤实现1.5 方案二：窗口函数实现 2 级联累... 阅读全文
posted @ 2021-09-19 17:47 赵广陆 阅读(133) 评论(0) 推荐(0) 编辑
大数据Hive JSON数据处理
摘要：目录 1 应用场景2 处理方式3 JSON函数：get_json_object3.1 功能3.2 语法3.3 使用 4 JSON... 阅读全文
posted @ 2021-09-19 17:32 赵广陆 阅读(260) 评论(0) 推荐(0) 编辑
大数据Hive行列转换应用与实现
摘要：目录 1 工作应用场景2 行转列：多行转多列2.1 需求2.3 实现 3 行转列：多行转单列3.1 需求3.2 concat3.... 阅读全文
posted @ 2021-09-19 17:27 赵广陆 阅读(323) 评论(0) 推荐(0) 编辑
大数据Hive URL解析函数及侧视图
摘要：目录 1 实际工作需求2 URL的基本组成3 Hive中的URL解析函数3.1 数据准备3.2 需求3.3 parse_url3.... 阅读全文
posted @ 2021-09-19 17:20 赵广陆 阅读(353) 评论(0) 推荐(0) 编辑
大数据Hive多字节分隔符
摘要：目录 1 应用场景1.1 Hive中的分隔符1.2 特殊数据2.2 需求 3 解决方案一：替换分隔符3.1 方案概述3.2 程序... 阅读全文
posted @ 2021-09-19 17:05 赵广陆 阅读(298) 评论(0) 推荐(0) 编辑
大数据Hive函数高阶
摘要：目录 1 UDTF之explode函数1.1 explode语法功能1.2 explode函数的使用1.3 案例：NBA总冠军球队... 阅读全文
posted @ 2021-09-19 12:15 赵广陆 阅读(195) 评论(0) 推荐(0) 编辑
大数据Hive函数入门
摘要：目录 1 函数概述2 函数分类2.1 内置函数分类2.1.1 String Functions 字符串函数2.1.2 Date F... 阅读全文
posted @ 2021-09-19 12:06 赵广陆 阅读(141) 评论(0) 推荐(0) 编辑
大数据Hive内置运算符
摘要：目录 1 Hive内置运算符2 关系运算符3 算术运算符4 逻辑运算符 1 Hive内置运算符 随着Hive版本的不断发展，在H... 阅读全文
posted @ 2021-09-19 11:54 赵广陆 阅读(104) 评论(0) 推荐(0) 编辑
大数据Hive参数配置
摘要：目录 1 CLIs and Commands客户端和命令1.1 Hive CLI1.1.1 Batch Mode 批处理模式1.1... 阅读全文
posted @ 2021-09-19 11:48 赵广陆 阅读(107) 评论(0) 推荐(0) 编辑
大数据Hive Join连接查询
摘要：目录 1 join概念回顾2 Hive join语法2.1 规则树2.2 语法丰富 3 join查询数据环境准备4 Hive i... 阅读全文
posted @ 2021-09-19 11:38 赵广陆 阅读(198) 评论(0) 推荐(0) 编辑
大数据Flink VS Spark
摘要：目录 1 Flink VS Spark运行角色2 生态3 运行模型4 编程模型对比5 任务调度原理6 时间机制对比7 kafka ... 阅读全文
posted @ 2021-09-13 23:12 赵广陆 阅读(122) 评论(0) 推荐(0) 编辑
大数据Flink内存管理
摘要：目录 1 内存管理问题引入2 内存划分3 堆外内存4 序列化与反序列化5 操纵二进制数据6 总结-面试 1 内存管理问题引入 F... 阅读全文
posted @ 2021-09-13 23:08 赵广陆 阅读(196) 评论(0) 推荐(0) 编辑
大数据Flink性能优化
摘要：目录 1 History Server性能优化2 序列化3 复用对象4 数据倾斜 1 History Server性能优化 fl... 阅读全文
posted @ 2021-09-13 23:07 赵广陆 阅读(150) 评论(0) 推荐(0) 编辑
大数据Flink Metrics监控
摘要：目录 1 什么是 Metrics？1.1 Metrics介绍1.2 Metric Types 2 WebUI监控3 REST A... 阅读全文
posted @ 2021-09-13 23:05 赵广陆 阅读(811) 评论(0) 推荐(0) 编辑
大数据FlinkSQL整合Hive
摘要：目录 1 介绍2 集成Hive的基本方式3 准备工作4 SQL CLI5 代码演示 1 介绍 https://ci.apache... 阅读全文
posted @ 2021-09-13 23:02 赵广陆 阅读(320) 评论(0) 推荐(0) 编辑
大数据Flink Streaming File Sink与File Sink
摘要：目录 1 介绍1.1 场景描述1.2 Bucket和SubTask、PartFile 2 案例演示3 File Sink介绍3.... 阅读全文
posted @ 2021-09-13 22:57 赵广陆 阅读(406) 评论(0) 推荐(0) 编辑
大数据Flink异步IO
摘要：目录 1 介绍1.1 异步IO操作的需求1.2 使用Aysnc I/O的前提条件1.3 Async I/O API 2 案例演示... 阅读全文
posted @ 2021-09-13 22:55 赵广陆 阅读(243) 评论(0) 推荐(0) 编辑
大数据Flink End-to-End Exactly-Once
摘要：目录 1 流处理的数据处理语义1.1 At-most-once-最多一次1.2 At-least-once-至少一次1.3 Exa... 阅读全文
posted @ 2021-09-13 22:50 赵广陆 阅读(130) 评论(0) 推荐(0) 编辑
大数据Flink双流Join
摘要：目录 1 介绍2 Window Join3 Interval Join4 代码演示5 代码演示 1 介绍 https://ci.... 阅读全文
posted @ 2021-09-13 22:43 赵广陆 阅读(192) 评论(0) 推荐(0) 编辑
大数据Flink BroadcastState
摘要：目录 1 BroadcastState介绍2 需求-实现配置动态更新3 编码步骤4 代码实现 1 BroadcastState介... 阅读全文
posted @ 2021-09-13 22:40 赵广陆 阅读(83) 评论(0) 推荐(0) 编辑
Mysql主从复制搭建
摘要：目录 1. 环境信息2. 安装mysql数据库3. 配置主从同步4. 配置从服务器登录主服务器的账号授权5. 从服务器的配置（my... 阅读全文
posted @ 2021-09-12 13:06 赵广陆 阅读(55) 评论(0) 推荐(0) 编辑
大数据Flink实现订单自动好评
摘要：目录 1 需求2 数据3 编码步骤4 代码实现5 效果 1 需求 在电商领域会有这么一个场景，如果用户买了商品，在订单完成之后... 阅读全文
posted @ 2021-09-10 22:54 赵广陆 阅读(175) 评论(0) 推荐(0) 编辑
大数据Flink实时大屏统计
摘要：目录 1 需求2 数据3 编码步骤:4 代码实现5 效果 1 需求 Flink模拟双十一实时大屏统计 在大数据的实时处理中，实... 阅读全文
posted @ 2021-09-10 22:54 赵广陆 阅读(556) 评论(0) 推荐(0) 编辑
大数据Flink容错机制
摘要：目录 1 Checkpoint1.1 State Vs Checkpoint1.2 Checkpoint执行流程1.2.1 简单流... 阅读全文
posted @ 2021-09-10 22:54 赵广陆 阅读(128) 评论(0) 推荐(0) 编辑
大数据Flink状态管理
摘要：目录 1 Flink中的有状态计算2 无状态计算和有状态计算2.1 无状态计算2.2 有状态计算3 有状态计算的场景 4 状态的... 阅读全文
posted @ 2021-09-10 22:54 赵广陆 阅读(81) 评论(0) 推荐(0) 编辑
大数据Flink Time与Watermaker
摘要：目录 1 Time分类2 EventTime的重要性2.1 示例12.2 示例22.3 示例32.4 示例42.5 总结 3 W... 阅读全文
posted @ 2021-09-10 22:54 赵广陆 阅读(76) 评论(0) 推荐(0) 编辑
大数据Flink Window操作
摘要：目录 1. Flink四大基石2. Flink-Window操作2.1 为什么需要Window2.2 Window的分类2.2.1... 阅读全文
posted @ 2021-09-09 22:18 赵广陆 阅读(94) 评论(0) 推荐(0) 编辑
大数据Flink Transformation
摘要：目录 1 官网API列表2 基本操作-略2.1 map2.2 flatMap2.3 keyBy2.4 filter2.5 sum2... 阅读全文
posted @ 2021-09-08 22:00 赵广陆 阅读(49) 评论(0) 推荐(0) 编辑
大数据Flink Sink
摘要：目录 1 预定义Sink1.1 基于控制台和文件的Sink 2 自定义Sink2.1 MySQL 3. Connectors3... 阅读全文
posted @ 2021-09-08 21:55 赵广陆 阅读(148) 评论(0) 推荐(0) 编辑
大数据Flink Source
摘要：目录 1 预定义Source1.1 基于集合的Source1.2 基于文件的Source1.3 基于Socket的Source ... 阅读全文
posted @ 2021-09-08 21:00 赵广陆 阅读(112) 评论(0) 推荐(0) 编辑
大数据Spark Continuous Processing
摘要：目录 1 连续处理概述2 编程实现3 支持查询 1 连续处理概述 连续处理（Continuous Processing）是Spa... 阅读全文
posted @ 2021-09-03 19:14 赵广陆 阅读(81) 评论(0) 推荐(0) 编辑
大数据Spark物联网设备数据分析
摘要：目录 1 设备监控数据1.1 创建 Topic1.2 模拟数据 2 基于DataFrame分析3 基于SQL分析4 时间概念5 ... 阅读全文
posted @ 2021-09-03 19:14 赵广陆 阅读(358) 评论(0) 推荐(1) 编辑
大数据Spark Structured Streaming集成 Kafka
摘要：目录 1 Kafka 数据消费2 Kafka 数据源3 Kafka 接收器3.1 配置说明3.2 实时数据ETL架构3.3 模拟基... 阅读全文
posted @ 2021-09-03 19:14 赵广陆 阅读(657) 评论(0) 推荐(0) 编辑
大数据Spark偏移量管理
摘要：目录 1 重构代码2 Checkpoint 恢复3 MySQL 存储偏移量3.1 编写工具类3.2 加载和保存偏移量 1 重构... 阅读全文
posted @ 2021-09-03 19:13 赵广陆 阅读(232) 评论(0) 推荐(0) 编辑
大数据Spark实时搜索日志实时分析
摘要：目录 1 业务场景2 初始化环境2.1 创建 Topic2.2 模拟日志数据2.3 StreamingContextUtils 工... 阅读全文
posted @ 2021-09-01 22:03 赵广陆 阅读(403) 评论(0) 推荐(0) 编辑