09 2020 档案
摘要:@PostConstruct注解好多人以为是Spring提供的。其实是Java自己的注解。 Java中该注解的说明:@PostConstruct该注解被用来修饰一个非静态的void()方法。被@PostConstruct修饰的方法会在服务器加载Servlet的时候运行,并且只会被服务器执行一次。Po
阅读全文
摘要:常用shell脚本操作命令 shell脚本在zookeeper安装根目录的bin/路径下。 启动zk : bin/zkServer.sh start 查看ZK服务状态: bin/zkServer.sh status 停止ZK服务: bin/zkServer.sh stop 重启ZK服务: bin/z
阅读全文
摘要:今天继续分析海豚调度的源码 上回分析的是dolphinscheduler-service模块zookeeper相关的代码 这回分析是dolphinscheduler-server模块zookeeper相关的代码 ZkMasterClient master服务zk客户端类 类继承的关系如下: 这个类的
阅读全文
摘要:在项目中使用到Apache Curator Framework连接Zookeeper 3.4.5服务器,使用的Curator Framework版本是4.3.0 <dependency> <groupId>org.apache.curator</groupId> <artifactId>curato
阅读全文
摘要:项目结构 模块 dolphinscheduler-ui 前端页面模块 dolphinscheduler-server 核心模块。包括master/worker等功能 dolphinscheduler-common 公共模块。公共方法或类 dolphinscheduler-api Restful接口。
阅读全文
摘要:系统架构设计 在对调度系统架构说明之前,我们先来认识一下调度系统常用的名词 1.名词解释 DAG: 全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无后继节点为止。举例如下图: dag示例 流程定义:通
阅读全文
摘要:应用场景举例: 执行A项目的方法,需要调用B项目、C项目、D项目的接口方法。 需求: 异步调用B、C、D项目的接口方法,且每个接口都调用结束后,A项目的方法才可以结束。 注:如果需要获取接口返回结果,可以使用缓存(key,value)保存。线程只支持线程外的静态参数传递,不严谨。 package c
阅读全文
摘要:需要了解2个概念:内部类和静态修饰符static1)首先,用内部类是因为内部类与所在外部类有一定的关系,往往只有该外部类调用此内部类。所以没有必要专门用一个Java文件存放这个类。2)静态都是用来修饰类的内部成员的。比如静态方法,静态成员变量,静态常量。它唯一的作用就是随着类的加载(而不是随着对象的
阅读全文
摘要:spring boot InitializingBean接口使用总结 被spring管理 实现InitializingBean接口 重写afterPropertiesSet方法 InitializingBean接口为bean提供了初始化方法的方式,它只包括afterPropertiesSet方法,凡
阅读全文
摘要:第一步:添加maven依赖,编写pom.xml文件 <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>1.2.3</version> </dependenc
阅读全文
摘要:使用maven-assembly-plugin进行配置分离 assembly.xml配置文件 配置文件内容 <?xml version="1.0" encoding="UTF-8"?> <assembly> <!-- 可自定义,这里指定的是项目环境 --> <!-- xxx.tar.gz --> <
阅读全文
摘要:1. 第一步检测语法是否正确 @Value("${hdfs.name}")private String hdfs; 2.第二步检测配置文件中是否有进行配置(application.properties) hdfs.name=jilin 3.第三步检测是否增加了@Component注解 注意:在spr
阅读全文
摘要:首先,Java中的getResourceAsStream有以下几种: 1. Class.getResourceAsStream(String path) : path 不以’/'开头时默认是从此类所在的包下取资源,以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径,最终
阅读全文
摘要:需求: 孙悟空 白羊座 A沙悟净 射手座 A宋松松 白羊座 B猪八戒 白羊座 A小凤姐 射手座 A 转换成以下格式: 白羊座,A 孙悟空|猪八戒白羊座,B 宋松松射手座,A 沙悟净|小凤姐 思路:表的行转列 知识点:concat(string1,string2) string1和string2需要是
阅读全文
摘要:需求: 《疑犯》 悬疑,动作,科幻,爱情《lie to me》 悬疑,警匪,动作,心理,剧情《战狼》 战争,动作,灾难 转成如下格式: 《疑犯》 悬疑《疑犯》 动作《疑犯》 科幻《疑犯》 爱情《lie to me》 悬疑《lie to me》 警匪《lie to me》 动作《lie to me》
阅读全文
摘要:java编译器把Unreachable statement标记为运行时错误,一个Unreachable statement就是编译器决定永远不会执行它。 下面的几种情况会出现 Unreachable statement: (0)在while(true)循环后面 (1)在reutrn语句后写语句。 (
阅读全文
摘要:作为数据分析中经常进行的join 操作,传统DBMS 数据库已经将各种算法优化到了极致,而对于hadoop 使用的mapreduce 所进行的join 操作,去年开始也是有各种不同的算法论文出现,讨论各种算法的适用场景和取舍条件,本文讨论hive 中出现的几种join 优化,然后讨论其他算法实现,希
阅读全文