乌云散尽

摘要： flinkcdc mysql到kafka import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.environment.StreamExec 阅读全文

摘要： package com.byd.bigdata.spark.job.cyb; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.security.U 阅读全文

摘要： 文件合并，大文件IOUtils等的操作，本地文件系统的获取，文件合并上传，合并下载等操作 package com.byd.bigdata.spark.job; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop. 阅读全文

摘要： 1、现象 spark数据倾斜，有两种表现： 大部分的task，都执行的特别特别快，刷刷刷，就执行完了（你要用client模式，standalone client，yarn client，本地机器主要一执行spark-submit脚本，就会开始打印log），task175 finished；剩下几个t 阅读全文

摘要： Idea打包方式 打一个empty只包含编译文件的包，artifact > 点击+ > jar > Empty > Output layout > 选择相关模块下的 complie output即可 打包一个Empty包含编译文件和依赖的包，artifact > 点击+ > jar > Empty 阅读全文

摘要： Canal介绍原理 Canal是阿里巴巴开源的一款主要用于数据库同步业务的项目，基于数据库的日志解析，获取增量变更进行同步，衍生出了Canal增量订阅&消费的实时数据库同步。 基本原理： 1、canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master 阅读全文

摘要： 目标是搭建三节点kafka环境 依赖于上一章搭建的zk集群参考步骤 下载kafka软件 Kafka官网 解压kafka_2.13-2.8.1.tgz文件，重名名为kafka_2.13-2.8.1-0 配置config下的server.properties文件 #唯一标识 broker.id=0 #监 阅读全文

摘要： 目标是搭建3节点zk集群 下载与搭建zookeeper软件 先​​​​​zookeeper官网 下载软件 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz 阅读全文

摘要： Hive日期时间函数 在impala上执行的几种结果，供参考 select to_date(concat(substr(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),1,8),'01')) select current_timestamp() --2022 阅读全文

摘要： 目的是实现oracle连接查询 引入maven相关依赖 编写spark相关代码 遇到的问题 引入相关依赖,完整的pom文件 点击cdp的配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/ 阅读全文