摘要:
一、背景 在接口开发过程中,我们通常不能暴露一个接口给第三方随便调用,要对第三方发来参数进行校验,看是不是具有访问权限。 名词介绍: 1、appId: 应用id,用户自定义命名,如:*-access-token 2、appSecret:安全密钥,服务端通过uuid生成,然后发送给调用方 3、sign 阅读全文
摘要:
一、ResourceManager ResourceManager中的调度器负责资源的分配 二、NodeManager NodeManager则负责资源的供给和隔离 ResourceManager将某个NodeManager上资源分配给任务(这就是所谓的“资源调度”)后,NodeManager需按照 阅读全文
摘要:
一、调度器简介 Fair Scheduler称为公平调度器,是Apache YARN内置的调度器。公平调度器主要目标是实现YARN上运行的应用能公平的分配到资源,其中各个队列使用的资源根据设置的权重(weight)来实现资源的公平分配。Capacity Scheduler称为容量调度器,是Apach 阅读全文
摘要:
一、 二、常见问题排查 1、数据反压 背压(Backpressure)机制排查 点击JobName 点击某个算子 点击Backpressure查看,状态为HIGH时,则存在数据反压问题 注:若流程为A->B->C->D->E->F ,BCDEF出现反压(即这里status为high),则表示A处理流 阅读全文
摘要:
一、JobManager内存 JobManager 是 Flink 集群的控制单元。 它由三种不同的组件组成:ResourceManager、Dispatcher 和每个正在运行作业的 JobMaster。 配置 JobManager 内存最简单的方法就是进程的配置总内存。 本地执行模式下不需要为 阅读全文
摘要:
前言:异步编程是让程序并发运行的一种手段,使用异步编程可以大大提高我们程序的吞吐量,减少用户的等待时间。在Java并发编程中实现异步功能,一般是需要使用线程或者线程池。而实现一个线程,要么继承Thread类,要么实现Runnable接口,然后在run方法中写具体的业务逻辑代码。开发Spring的大神 阅读全文
摘要:
一、常用拉取提交代码 1、拉取代码 基本拉取:git clone [git地址] 拉取并保存账号:git clone https://账号:密码@gitee.com/robots2/test.git 2、本地修改代码后查看调整 git pull:获取当前分支最新代码 git pull origin 阅读全文
摘要:
一、常用日志框架 Log4j:Apache的一个开源项目,可以控制日志信息输送的目的地是控制台、文件、GUI组件等,可以控制每一条日志的输出格式,这些可以通过一个配置文件来灵活地进行配置,而不需要修改应用的代码。虽然已经停止维护了,但目前绝大部分企业都是用的log4j。 LogBack:是Log4j 阅读全文
摘要:
一、dbeaver导出数据表到csv后数据乱码 按如下方式导出即可 勾选插入BOM即可 Excel在读取csv的时候是通过读取文件头上的bom来识别编码的,如果文件头无bom信息,则默认按照unicode编码读取。这个bom是微软自己定义的一种文件头部协定,存储内容就是标识文件编码的信息,这个BOM 阅读全文