04 2024 档案

Paimon数据湖
摘要：1.数据湖三足鼎立 https://cloud.tencent.com/developer/article/2397256 什么是数据湖？ 集中的存储 多种格式的数据源无需结构化处理 不同类型的分析加工 为什么需要？ lambda架构 基于hive的离线+基于kafka的实时 两条链路数据不一致 批 阅读全文
posted @ 2024-04-25 19:07 小花生hadoop 阅读(419) 评论(0) 推荐(0) 编辑
Doris安装使用
摘要：1. 整体架构 2. 安装部署 2.1 资源规划 实例名称 端口名称 默认端口 通信方式 说明 FE http_port 8030 -> 8034 用户/FE<--> FE FE上的http端口 web管理界面 BE webserver_port 8040 -> 8041 BE<-->FE BE上的 阅读全文
posted @ 2024-04-25 13:47 小花生hadoop 阅读(1599) 评论(0) 推荐(0) 编辑
Flink生产问题记录
摘要：1.集群有2个flink版本,用application方式启动报错 Caused by: java.lang.ClassCastException: cannot assign instance of org.apache.commons.collections.map.LinkedMap to f 阅读全文
posted @ 2024-04-23 23:02 小花生hadoop 阅读(70) 评论(0) 推荐(0) 编辑
代理问题
摘要：背景 ： 腾讯云EMR集群只有主节点master1可以访问外网，其他计算节点间互通，但是不能访问外网。现在有一个flink需求是调用外网接口，在计算节点运行程序会报超时连接。 解决： 通过配置代理，将计算节点上的外网请求转发到主节点master1上，统一通过master1访问。 https://cl 阅读全文
posted @ 2024-04-23 16:57 小花生hadoop 阅读(8) 评论(0) 推荐(0) 编辑
Filebeat配置
摘要：# 1.安装 yum install filebeat # 或者 tar -zxvf filebeat-8.12.0-linux-x86_64.tar.gz -C /etc/filebeat mv filebeat-8.12.0-linux-x86_64 filebeat # 2.修改配置 vim 阅读全文
posted @ 2024-04-23 15:52 小花生hadoop 阅读(121) 评论(0) 推荐(0) 编辑
Flink入门
摘要：1. Flink架构 1.1 Flink的角色 Client:获取、转换、提交代码给jm. JM:对job做任务调度，再对job进一步处理转换，然后分发给TM. TM:数据处理. 1.2 部署模式 Standalone #1.配置web访问的IP vim flink-conf.yaml rest.a 阅读全文
posted @ 2024-04-03 14:49 小花生hadoop 阅读(70) 评论(0) 推荐(0) 编辑
Flink源码
摘要：1.源码编译 flink-1.19 jdk-1.8 scala-2.12 mvm-3.86 自定义日志：注意修改8081端口，可能被占用；windows日志的路径命名不能包含:，要改名 自定义jar 2. Pekko Akka、Pekko 用于构建高并发、分布式、可容错、事件驱动的开发库，基于Act 阅读全文
posted @ 2024-04-03 14:25 小花生hadoop 阅读(82) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示