摘要: 本文目标 使用FLinkCDC实时同步源表和目标表。 为了减少依赖,本文只用到了MySQL+FLinkCDC,源表和目标表都在MySQL内,FLink数据抽取和入库,没有经过Kafka。 部署启动 相关程序 flink-1.14.6-bin-scala_2.12.tgz #flink主程序 flin 阅读全文
posted @ 2022-12-03 20:57 大雨点 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 本文目标 debezium,简称dbz,伪装为MySQL从库,当主库发生变化后,主库会主动将变化的信息同步到dbz内,dbz将收到的信息转为JSON推送到Kafka内。 安装JDK11 yum -y install java-11-openjdk-devel 解压部署 tar xfz debeziu 阅读全文
posted @ 2022-12-03 20:55 大雨点 阅读(213) 评论(0) 推荐(1) 编辑
摘要: 本文目标 部署Kafka,用来作为数据同步通道 启动kafka tar xfz kafka_2.12-3.3.1.tgz cd kafka_2.12-3.3.1/bin ./zookeeper-server-start.sh -daemon ../config/zookeeper.propertie 阅读全文
posted @ 2022-12-03 20:54 大雨点 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 本文目标 部署一个MySQL测试库,并且设置为master,启用binlog,用来作为数据同步的源库 MySQL8开启binlog 参考:https://debezium.io/documentation/reference/2.0/connectors/mysql.html#enable-mysq 阅读全文
posted @ 2022-12-03 20:53 大雨点 阅读(60) 评论(0) 推荐(0) 编辑
摘要: 流式同步测试总架构图说明 准备基础测试环境 内网环境同步(MySQL+FlinkCDC) 异地环境同步(MySQL+Kafka+PostgreSQL) 相关实现参加本文相关文章 阅读全文
posted @ 2022-12-03 20:52 大雨点 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 本文目标 制作一个MySQL8的绿色版,以后解压即用,方便进行测试部署。 默认用户名root,密码root,仅限本机登录 默认用户名test,密码test,任意机器登录 默认数据库test 注意弱口令风险 下载原版MySQL8 mysql-8.0.31-el7-x86_64.tar.gz https 阅读全文
posted @ 2022-12-02 11:02 大雨点 阅读(156) 评论(0) 推荐(0) 编辑
摘要: Lambda 架构 Lambda 架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线计算与实时计算,融合不可变性、读写分离和复杂性隔离等原则,可集成Hadoop, Kafka, Spark,Storm等各类 阅读全文
posted @ 2017-05-11 09:21 大雨点 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 阅读全文
posted @ 2016-08-29 18:03 大雨点 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hor 阅读全文
posted @ 2016-08-26 09:41 大雨点 阅读(17) 评论(0) 推荐(0) 编辑
摘要: CDH 特性 免费版 付费版 Deployment, Configuration & Management 系统管理 Automated Deployment & Hadoop Readiness Checks 自动化部署及快速检查 • • Install the complete CDH stac 阅读全文
posted @ 2016-08-26 09:41 大雨点 阅读(69) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示