摘要：
一、背景 在接口开发过程中，我们通常不能暴露一个接口给第三方随便调用，要对第三方发来参数进行校验，看是不是具有访问权限。 名词介绍： 1、appId: 应用id，用户自定义命名，如：*-access-token 2、appSecret：安全密钥，服务端通过uuid生成，然后发送给调用方 3、sign 阅读全文
摘要：
一、ResourceManager ResourceManager中的调度器负责资源的分配 二、NodeManager NodeManager则负责资源的供给和隔离 ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）后，NodeManager需按照 阅读全文
摘要：
一、调度器简介 Fair Scheduler称为公平调度器，是Apache YARN内置的调度器。公平调度器主要目标是实现YARN上运行的应用能公平的分配到资源，其中各个队列使用的资源根据设置的权重（weight）来实现资源的公平分配。Capacity Scheduler称为容量调度器，是Apach 阅读全文
摘要：
一、 二、常见问题排查 1、数据反压 背压(Backpressure)机制排查 点击JobName 点击某个算子 点击Backpressure查看，状态为HIGH时，则存在数据反压问题 注：若流程为A->B->C->D->E->F ，BCDEF出现反压(即这里status为high)，则表示A处理流 阅读全文
摘要：
一、JobManager内存 JobManager 是 Flink 集群的控制单元。 它由三种不同的组件组成：ResourceManager、Dispatcher 和每个正在运行作业的 JobMaster。 配置 JobManager 内存最简单的方法就是进程的配置总内存。 本地执行模式下不需要为 阅读全文
摘要：
前言：异步编程是让程序并发运行的一种手段，使用异步编程可以大大提高我们程序的吞吐量，减少用户的等待时间。在Java并发编程中实现异步功能，一般是需要使用线程或者线程池。而实现一个线程，要么继承Thread类，要么实现Runnable接口，然后在run方法中写具体的业务逻辑代码。开发Spring的大神 阅读全文
摘要：
一、常用拉取提交代码 1、拉取代码 基本拉取：git clone [git地址] 拉取并保存账号：git clone https://账号:密码@gitee.com/robots2/test.git 2、本地修改代码后查看调整 git pull：获取当前分支最新代码 git pull origin 阅读全文
摘要：
一、常用日志框架 Log4j：Apache的一个开源项目，可以控制日志信息输送的目的地是控制台、文件、GUI组件等，可以控制每一条日志的输出格式，这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。虽然已经停止维护了，但目前绝大部分企业都是用的log4j。 LogBack：是Log4j 阅读全文
摘要：
一、dbeaver导出数据表到csv后数据乱码 按如下方式导出即可 勾选插入BOM即可 Excel在读取csv的时候是通过读取文件头上的bom来识别编码的，如果文件头无bom信息，则默认按照unicode编码读取。这个bom是微软自己定义的一种文件头部协定，存储内容就是标识文件编码的信息，这个BOM 阅读全文