摘要: 一、下载安装 下载地址:https://xclient.info/search/s/charles/ 文件密码:xclient.info 二、激活 Name: Just For Testing Serial: 230ADA2020DFBD108E 三、 配置 3.1 证书安装 Help->ssl p 阅读全文
posted @ 2021-11-28 15:45 黑水滴 阅读(502) 评论(0) 推荐(0) 编辑
摘要: 一、常用参数 1、proc.cpu.util 2、proc.mem.util 3、proc.num 进程个数ps ef|grep /apps/srv/pipeline/partition-loader 阅读全文
posted @ 2021-10-27 15:14 黑水滴 阅读(71) 评论(0) 推荐(0) 编辑
摘要: 一、常用命令 1.1 打包 mvn clean package -DskipTests 指定环境 mvn clean install -Dmaven.test.skip=true -Pprod-tx 仅打包指定模块 mvn -U clean package install -Ptest -Dmave 阅读全文
posted @ 2021-10-09 11:16 黑水滴 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 一、内核设置 1.1 永久修改 配置文件:/etc/sysctl.conf 修改后加载:sysctl -p 1.2 临时修改,重启后失效 sysctl -w net.ipv4.tcp_mem="379008 505344 758016" 1.3 查看配置是否生效 如:修改net.unix.max_d 阅读全文
posted @ 2021-10-08 15:22 黑水滴 阅读(50) 评论(0) 推荐(0) 编辑
摘要: 一、Flink底层通信技术 Akka + Netty Akka:它是基于协程的,基于scala的偏函数 Netty:相比更加基础一点,可以为不同的应用层通信协议(RPC,FTP,HTTP等)提供支持 1.1 Akka 简介,Flink叫 XXXGateWay 组件介绍 (1)ActorSystem 阅读全文
posted @ 2021-09-30 16:37 黑水滴 阅读(64) 评论(0) 推荐(0) 编辑
摘要: 一、分组简介 RegionServer Group 通过对 RegionServer 进行分组,不同的 RegionServer 分到不同的组。每个组可以按需挂载不同的表,并且当组内的表发生异常后,Region 不会迁移到其他的组。这样,每个组就相当于一个逻辑上的子集群,通过这种方式达到资源隔离的效 阅读全文
posted @ 2021-09-30 11:07 黑水滴 阅读(316) 评论(0) 推荐(0) 编辑
摘要: 一、简介 下载源码:git clone https://github.com/alibaba/canal.git canal.adapter: 作用1:对接上游消息,包括kafka、rocketmq、canal-server 作用2:实现mysql数据的增量同步 作用3:实现mysql数据的全量同步 阅读全文
posted @ 2021-09-24 19:57 黑水滴 阅读(784) 评论(0) 推荐(0) 编辑
摘要: 一、内存Job管理模式yarn-per-job 使用介绍:常用的模式 二、内存集中管理模式yarn-session 使用介绍:当作业很少并且都较小,能快速执行完成时,可以使用。否则一般不会使用该模式 第一步:yarn-session.sh(开辟资源) 第二步:flink run(提交任务) 阅读全文
posted @ 2021-09-10 18:47 黑水滴 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 一、参数介绍 作业模式:yarn-per-job 基本参数 描述 -ynm(Custom Yarnname) 自定义的Yarn名字 -yqu 指定Yarn队列名 -yn (TaskManager) Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个Ta 阅读全文
posted @ 2021-09-10 16:54 黑水滴 阅读(2213) 评论(0) 推荐(0) 编辑
摘要: 一、查看文件 1、查看目录下文件 hdfs dfs -ls /user/hadoopDemo 2、查看文件内容 hdfs dfs -cat /user/hadoopDemo/hadoop/output hdfs dfs -text /user/hive/47-0000000001407771492 阅读全文
posted @ 2021-09-07 19:57 黑水滴 阅读(376) 评论(0) 推荐(0) 编辑