Robots2

摘要： 一、ResourceManager ResourceManager中的调度器负责资源的分配 二、NodeManager NodeManager则负责资源的供给和隔离 ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）后，NodeManager需按照 阅读全文

摘要： 一、调度器简介 Fair Scheduler称为公平调度器，是Apache YARN内置的调度器。公平调度器主要目标是实现YARN上运行的应用能公平的分配到资源，其中各个队列使用的资源根据设置的权重（weight）来实现资源的公平分配。Capacity Scheduler称为容量调度器，是Apach 阅读全文

摘要： 一、 二、常见问题排查 1、数据反压 背压(Backpressure)机制排查 点击JobName 点击某个算子 点击Backpressure查看，状态为HIGH时，则存在数据反压问题 注：若流程为A->B->C->D->E->F ，BCDEF出现反压(即这里status为high)，则表示A处理流 阅读全文

摘要： 一、JobManager内存 JobManager 是 Flink 集群的控制单元。 它由三种不同的组件组成：ResourceManager、Dispatcher 和每个正在运行作业的 JobMaster。 配置 JobManager 内存最简单的方法就是进程的配置总内存。 本地执行模式下不需要为 阅读全文

摘要： 前言：异步编程是让程序并发运行的一种手段，使用异步编程可以大大提高我们程序的吞吐量，减少用户的等待时间。在Java并发编程中实现异步功能，一般是需要使用线程或者线程池。而实现一个线程，要么继承Thread类，要么实现Runnable接口，然后在run方法中写具体的业务逻辑代码。开发Spring的大神 阅读全文

摘要： 一、常用拉取提交代码 1、拉取代码 基本拉取：git clone [git地址] 拉取并保存账号：git clone https://账号:密码@gitee.com/robots2/test.git 2、本地修改代码后查看调整 git pull：获取当前分支最新代码 git pull origin 阅读全文

摘要： 一、常用日志框架 Log4j：Apache的一个开源项目，可以控制日志信息输送的目的地是控制台、文件、GUI组件等，可以控制每一条日志的输出格式，这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。虽然已经停止维护了，但目前绝大部分企业都是用的log4j。 LogBack：是Log4j 阅读全文

摘要： 一、dbeaver导出数据表到csv后数据乱码 按如下方式导出即可 勾选插入BOM即可 Excel在读取csv的时候是通过读取文件头上的bom来识别编码的，如果文件头无bom信息，则默认按照unicode编码读取。这个bom是微软自己定义的一种文件头部协定，存储内容就是标识文件编码的信息，这个BOM 阅读全文

摘要： 一、常用java命令 1、运行程序，指定主类 java -cp glink-upload.jar com.baijia.code.UploadSourceInfo 阅读全文

摘要： 一、系统设计的一些原则海恩法则 事故的发生是量积累的结果再好的技术、在完美的规章，在实际操作层面也无法取代人自身的素质和责任心 墨菲定律 任何事情都没有表面看起来那么简单所有事情的发展都会比你预计的时间长会出错的事总会出错如果你担心某种情况发生，那么它更有可能发生 二、软件架构中的高可用设计 2.1 阅读全文