摘要：
Table API官方文档参考 https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/tableapi/ RowKind 自定义修改debezium-json format Flink 1.11.1:flink CDC 阅读全文
摘要：
参考kafka官方文档，版本1.0.x http://kafka.apache.org/10/documentation.html#consumerapi 依赖，选择 Cloudera Rel 中的 1.0.1-kafka-3.1.0 <dependency> <groupId>org.apache 阅读全文
摘要：
使用idea来开发spring-boot项目，对于community版本的idea，由于没有spring-boot插件，所有对于开发spring-boot的web项目来说不是很方便，所以安装Ultimate版本的idea，使用的版本是2017.1.6版本 参考 : https://blog.csdn 阅读全文
摘要：
Timer类是一种线程设施，可以用来实现在某一个时间或某一段时间后安排某一个任务执行一次或定期重复执行。 该功能要与TimerTask类配合使用。TimerTask类用来实现由Timer安排的一次或重复执行的某一任务。 import java.text.SimpleDateFormat; impor 阅读全文
摘要：
程序中应用正则表达式则必须依靠Ｐattern类和Ｍatcher类，这两个类都是在java.util.regex包中定义。 Pattern类的主要作用是进行正则规范的编写。 Ｍatcher类主要是执行规范，验证一个字符串是否符合其规范。 import java.util.regex.Pattern; 阅读全文
摘要：
在java.util包中提供了Observable类和Observer接口，使用它们即可完成观察者模式。 多个观察者都在关注着价格的变化，只要价格一有变化，则所有的观察者会立即有所行动。 import java.util.Observable; import java.util.Observer; 阅读全文
摘要：
代理模式是一种设计模式，提供了对目标对象额外的访问方式，即通过代理对象访问目标对象，这样可以在不修改原目标对象的前提下，提供额外的功能操作，扩展目标对象的功能。 1.静态代理： 在编译时就已经实现，编译完成后代理类是一个实际的class文件 静态代理的方式：创建一个接口，然后创建被代理的类实现该接口 阅读全文
摘要：
清华镜像站 https://mirrors.tuna.tsinghua.edu.cn/ubuntu/pool/main/h/haproxy/ 下载haproxy https://mirrors.tuna.tsinghua.edu.cn/ubuntu/pool/main/h/haproxy/hapro 阅读全文
摘要：
1. 安装filebeat，选择tar包安装方式，下载并解压 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.7.0-linux-x86_64.tar.gz tar -zxvf filebeat-7.7.0- 阅读全文
摘要：
1.kudu已经包含在cdh的parcels中了，所以直接添加服务 2.选择kudu，然后安装 3.在impala中配置kudu，然后重启 参考：CDH5.16.1 安装配置Kudu 如果安装的时候报错如下 parceltagoversatisfiedexception: Multiple parc 阅读全文
摘要：
参考：Yarn 监控 - 监控任务运行状态 （包括Spark，MR 所有在Yarn中运行的任务） //获取任务的applicationId public static String getAppId(String jobName) throws IOException { Configuration 阅读全文
摘要：
参考： http://wuchong.me/blog/2016/04/26/flink-internals-how-to-handle-backpressure/ 阅读全文
摘要：
和thrift这种每个字段有id的序列化框架不同，avro在schema变更（schema evolution）的时候，需要注意不能 阅读全文
摘要：
在使用mybatis-generator自动生成mapper代码的时候，对于基本的增删改查方法可以通过继承通用mapper的方式进行简化，参考：MyBatis 通用 Mapper 5. 高级用法 mapper接口，参考：Mapper 接口大全 1.依赖 <!-- mybatis --> <depen 阅读全文
摘要：
在nexus界面上可以手动上传release和hosted的包，但是无法手动上传snapshots的包 需要使用 mvn deploy 来上传snapshots包，比如 mvn deploy:deploy-file -DgroupId=org.apache.impala -DartifactId=i 阅读全文
摘要：
1.docker部署MySQL amd64的机器可以使用centos的MySQL5.7的镜像：https://hub.docker.com/r/centos/mysql-57-centos7/ arm64和amd64的机器也可以使用MySQL8.0的镜像：https://hub.docker.com 阅读全文
摘要：
查看容器的网络模式 docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 3f6822d8f262 confluentinc/cp-schema-registry:latest "/etc/confluent/dock… 阅读全文
摘要：
Spring Security是提供了认证，鉴权以及其他的安全特性的java框架，下面是Spring Security的使用教程 1.引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-bo 阅读全文
摘要：
flink内存分布 task manager 参考：Flink重点难点：Flink任务综合调优(Checkpoint/反压/内存) 1.堆外内存不足：java.lang.OutOfMemoryError: Direct buffer memory 报错如下 Caused by: java.lang. 阅读全文
摘要：
1.配置ssh configuration 2.给项目配置远程python环境 2.配置python interpreter以及代码同步的路径 最后选择remote的python环境来运行代码 remote的python环境上有显卡，可以成功查询到 参考：Pycharm远程调试及远程虚拟环境（包括D 阅读全文
摘要：
引入joda-time <!--jodatime--> <dependency> <groupId>joda-time</groupId> <artifactId>joda-time</artifactId> <version>2.10</version> </dependency> 1.字符串转j 阅读全文
摘要：
泛型就是指在对象建立时不指定类中属性的具体类型，而由外部在声明及实例化对喜爱时指定类型。 在泛型的指定中无法指定基本数据类型的，必须设置成一个类，这样在设置一个数字时就必须使用包装类。 class Point<T>{ //此处T可以是任意的标识符号，T是type的简称 private T var; 阅读全文
摘要：
DAG参数含义 https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/dag/index.html 阅读全文
摘要：
多个线程要操作同一资源时就有可能出现资源的同步问题。 同步就是指多个操作在同一个时间段内只能有一个线程进行，其他线程要等待此线程完成之后才可以继续执行。 解决资源共享的同步操作，可以使用同步代码块和同步方法两种方式完成。 <1>同步代码块 所谓代码块就是指使用“{}"括起来的一段代码，根据其位置和声 阅读全文
摘要：
Flink学习笔记——远程debug flink任务 阅读全文
摘要：
Java进程与线程 进程是程序的一次动态执行过程，它经历了从代码加载、执行到执行完毕的一个完整过程，这个过程也是进程本身从产生、发展到最终消亡的过程。 多进程操作系统能同时运行多个进程(程序)，由于CPU具备分时机制，所以每个进程都能循环获得自己的CPU时间片。 多线程是指一个进程在执行过程中可以产 阅读全文
摘要：
private default protected public的访问控制权限 protected范例 transient关键字 当使用Serializable接口实现序列化操作时，如果一个对象中的某一属性不希望被序列化，则可以使用transient关键字进行声明 import java.io.Fi 阅读全文
摘要：
JSR-303提供了一些注解，将其放到属性上，可以限制这些属性的值。 参考：Spring MVC学习笔记——JSR303介绍及最佳实践 校验放在DTO层上，不要和数据库交互的model层混用 关于model，VO等的区别，参考：Spring MVC学习笔记——POJO和DispatcherServl 阅读全文
摘要：
1.对于机型不同的机器，可以通过角色组来进行统一归类管理 比如对于HDFS组件，有的机型的磁盘为12块，有的机型的磁盘为16块，那么可以通过角色组将配置一致的机器分到一起 在HDFS组件下，选择实例 再点击角色组，可以选择创建角色组 其中DataNode Default Group有100台，每台有 阅读全文
摘要：
在登陆界面ctrl+alt+F1进入tty界面，登陆账号，然后输入 dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P 可以参考Ubuntu14.04 卸载输入法后循环登录一直跳到登录界面 http://ijuer.com/blog/313. 阅读全文
摘要：
参考：一文讲清HBase存储结构 阅读全文
摘要：
Impala对于hive引擎的语法和hive原生的有些许不同，虽然使用hive的parser也能部分兼容，但是由于impala的parser是使用flex（Fast Lexical Analyzer Generator，快速词法分析生成器）和java cup（Java Constructor of 阅读全文
摘要：
用户可以根据自己的需要定义自己的异常类，定义异常类只需要继承Exception类即可 class MyException extends Exception{ //自定义异常类，继承Exception类 public MyException(String msg){ //构造方法接受异常信息 sup 阅读全文
摘要：
1.安装pyenv brew install pyenv 2.是否安装成功 pyenv -v pyenv 2.0.6 3.安装python3.8.10，2.7.15和miniconda3-4.7.12 pyenv install 3.8.10 pyenv install 2.7.15 pyenv i 阅读全文
摘要：
keepalive原理可以参考：Ubuntu安装keepalived 1. 首先需要安装keepalived sudo apt-get install keepalived 2. 编辑 /etc/keepalived/keepalived.conf 配置，参考：16.6 Configuring Si 阅读全文
摘要：
1. 进入pod，获取一个交互 TTY 并运行 /bin/bash kubectl exec -it <pod-name> -n <namespace> bash 参考：k8s 命令操作 2.创建namespace kubectl create ns xxxx 3.查看所有namespace下的po 阅读全文
摘要：
Hive支持使用avro serde作为序列化的方式，参考： https://cwiki.apache.org/confluence/display/hive/avroserde https://www.docs4dev.com/docs/zh/apache-hive/3.1.1/reference 阅读全文
摘要：
1. TransportNodesListGatewayMetaState.Request 获取各个节点的元信息的请求 2. TransportNodesListGatewayStartedShards.Request 获取started的shard的列表的请求 3. org.elasticsear 阅读全文
摘要：
1.抽象类： Java可以创建一种类专门用来当做父类，这种类称为“抽象类”。 “抽象类”的作用类似“模板”，其目的是要设计者依据它的格式来修改并创建新的类。但是不能直接由抽象类创建对象，只能通过抽象类派生出新的类，再由它来创建对象。 抽象类的定义及使用规则： <1>包含一个抽象方法的类必须是抽象类 阅读全文
摘要：
适配器设计模式，一个接口首先被一个抽象类先实现（此抽象类通常称为适配器类，比如下面的WindowAdapter），并在此抽象类中实现若干方法（但是这个抽象类中的方法体是空的），则以后的子类直接继承此抽象类，就可以有选择地覆写所需要的方法。 interface Window{ //定义Window接口 阅读全文