03 2016 档案
摘要:1.OpenTSDB CLI,参考 https://www.docs4dev.com/docs/zh/opentsdb/2.3/reference/user_guide-cli-index.html 2.OpenTSDB HTTP API,参考 https://www.docs4dev.com/do
阅读全文
摘要:解析 XML 有两种方式: SAX 和 DOM 。它们各有利弊。 DOM 是把 XML 文档全部装载到内存中,然后当成一树进行处理。其好处是当成树处理起来比较方便,但弊端是如果 XML 文件比较大时,会对内存消耗比较大; SAX 是逐行扫描 XML 文档,逐行解析,而且可以在处理 XML 文档过程中
阅读全文
摘要:1.哈夫曼树 给定N个权值作为N个叶子节点,构造一棵二叉树,若该树的带权路径长度(WPL)达到最小,称这样的二叉树为最优二叉树,也称为哈夫曼树(Huffman Tree)。 哈夫曼树是带权路径长度最短的树,权值较大的结点离根较近。 参考:霍夫曼树(参考该文章中的概念,其中代码不对) 2.树的带权路径
阅读全文
摘要:class DoublyLinkedList{ //双向链表 private Link_long first; private Link_long last; public DoublyLinkedList(){ //构造函数 this.first = null; this.last = null;
阅读全文
摘要:public class ListInsertSort_demo { public static void main(String[] args) { // TODO 自动生成的方法存根 int Size = 10; Link_long[] linkArray = new Link_long[Siz
阅读全文
摘要:class SortedList{ private Link_long first; public SortedList(){ //构造函数 first = null; } public void insert(long key){ Link_long newLink = new Link_long
阅读全文
摘要:class FirstLastList_long{ private Link_long first; private Link_long last; public FirstLastList_long() { //构造函数 this.first = null; this.last = null; }
阅读全文
摘要:class Link_long{ //链节点类 public long dData; public Link_long next; //链表中下一个节点的引用 public Link_long(long dData) { super(); this.dData = dData; } public v
阅读全文
摘要:class FirstLastList{ private Link first; private Link last; public FirstLastList() { //构造函数 this.first = null; this.last = null; } public boolean isEm
阅读全文
摘要:<1>链表 <2>引用和基本类型 <3>单链表 class Link{ //链节点类 public int iData; public double dData; public Link next; //链表中下一个节点的引用 public Link(int iData, double dData)
阅读全文
摘要:1.下载python3.8 cd ~/Download wget https://www.python.org/ftp/python/3.8.11/Python-3.8.11.tgz 解压 tar -zxvf Python-3.8.11.tgz 2.创建目录 cd /usr/local sudo m
阅读全文
摘要:class PriorityQueue{ private int maxSize; //队列的长度 private long[] queueArray; //创建队列的数组的引用 private int curNum; //创建当前元素的个数 public PriorityQueue(int s)
阅读全文
摘要:class Queue{ private int maxSize; //队列的长度 private long[] queueArray; //创建队列的数组的引用 private int front; //创建队头的引用 private int rear; //创建队尾的引用 private int
阅读全文
摘要:class Stack{ private int maxSize; //栈的长度 private long[] stackArray; //创建栈的数组的引用 private int top; //创建栈顶的引用 public Stack(int s) { //构造函数 this.maxSize =
阅读全文
摘要:import java.util.Arrays; class Arrays_Insert{ private int[] arrays; private int curNum; public Arrays_Insert(int max) { //建立一个max长度的空数组 super(); array
阅读全文
摘要:Servlet API中提供了一个Filter接口,Filter接口在javax.servlet.Filter包下面。开发web应用时,如果编写的Java类实现了这个接口,则把这个java类称之为过滤器Filter。 通过Filter技术,开发人员可以实现用户在访问某个目标资源之前,对访问的请求和响
阅读全文
摘要:1. 使用top命令查看进程的cpu占用,找到进程的pid 2.查看进程中cpu占用最高的线程 top -Hp pid−d1−n1该进程的pid是279,其十六进制表示为0x1173.打印进程的堆栈信息到文件jstack−l{pid} > jstack.log 4.在堆栈信
阅读全文
摘要:import java.util.Arrays; class Arrays_Select{ private int[] arrays; private int curNum; public Arrays_Select(int max) { //建立一个max长度的空数组 super(); array
阅读全文
摘要:package com.interview.sort; import java.util.Arrays; class ArraysBubble { private int[] arrays; private int curNum; public ArraysBubble(int max) { //建
阅读全文
摘要:import java.lang.reflect.Array; import java.nio.Buffer; import java.util.Arrays; import java.util.Random; class BinarySearch_Find{ private int[] temp;
阅读全文
摘要:在广告系统当中,ID是标识用户比较重要的手段, 1.安卓端 AdID:又称为Google advertising ID,海外安卓平台常用的设备标识符,每一台 Android设备都会被分配一个唯一的标识符,海外安卓平台的广告投放归因也主要依赖AdID。在国内,因google play在大陆地区无法使用
阅读全文
摘要:IDEA中运行spark报如下错误 Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.init(Lscala/Product;)V at org.apache.spark.SparkConf$Depreca
阅读全文
摘要:实现一个UDF函数可以继承 org.apache.hadoop.hive.ql.exec.UDF,也可以继承 org.apache.hadoop.hive.ql.udf.generic.GenericUDF 1.继承UDF,参考 https://docs.microsoft.com/en-us/az
阅读全文
摘要:1.DataFrame API读取avro文件 https://sparkbyexamples.com/spark/read-write-avro-file-spark-dataframe/ pom引入,spark2.4.0之后可以使用apache的spark-avro包,之前需要使用databri
阅读全文
摘要:1.缓冲区Buffer import java.nio.IntBuffer; //主类 //Function : IntBuffer_demo public class IntBuffer_demo { public static void main(String[] args) { // TODO
阅读全文
摘要:1.引入依赖 <!--parquet--> <dependency> <groupId>org.apache.parquet</groupId> <artifactId>parquet-avro</artifactId> <version>1.10.0</version> </dependency>
阅读全文
摘要:1.使用Flink SQL 如果使用的是flink sql的话,如果想要同步表到hive metastore的话,只需要在flink sql的建表语句中添加 hive_sync 相关的一些配置即可,如下 'hive_sync.enable' = 'true', 'hive_sync.mode' =
阅读全文
摘要:1.IP和InetAddress import java.net.InetAddress; public class InetAddress_demo { public static void main(String[] args) throws Exception{ // TODO 自动生成的方法
阅读全文
摘要:1.Flink CDC介绍 Flink CDC提供了一系列connector,用于从其他数据源获取变更数据(change data capture),其中的Flink MySQL CDC基于Debezium 官方文档 https://ververica.github.io/flink-cdc-con
阅读全文
摘要:1.在CDH管理页面进入parcels,下载GPLEXTRAS lintong@master:/opt/cloudera/parcel-repo$ ls | grep GPLEXTRAS GPLEXTRAS-5.16.2-1.cdh5.16.2.p0.8-xenial.parcel GPLEXTRA
阅读全文
摘要:Flink有两种基本类型的状态:托管状态(Managed State)和原生状态(Raw State)。两者的区别:Managed State是由Flink管理的,Flink帮忙存储、恢复和优化,Raw State是开发者自己管理的,需要自己序列化。 Managed State Raw State
阅读全文
摘要:Springboot可以使用Ehcache或者redis作为缓存 1.Ehcache缓存 参考:SpringBoot学习-(十八)SpringBoot整合EhCache 添加依赖,starter+ehcache <dependency> <groupId>org.springframework.bo
阅读全文
摘要:SpringBoot学习笔记——连接池
阅读全文
摘要:Mybatis默认情况下,只开启一级缓存,一级缓存只是相对于同一个SqlSession而言。 如果想要开启二级缓存,则需要在xml配置文件中添加 <cache/> 此外,还要求返回的POJO对象要实现Serializable接口
阅读全文
摘要:可以使用 @RestControllerAdvice 拦截异常并进行统一处理 1.首先定义统一的异常码 ResultCode, 其中code以HTTP code status为前缀,后缀为具体异常编号 message为异常消息,前端可以直接拿来显示给用户 import lombok.AllArgsC
阅读全文
摘要:对于接口的返回结果,需要有统一的结构,因为对于不用考虑流量费用的内部系统,对接口数据长度往往不太介意 开源项目的接口规范案例: 1.阿里云: 阿里云健康码引擎的response结构 ResponseResult ResponseResult代码 参考: https://github.com/aliy
阅读全文
摘要:import java.awt.Container; import java.awt.GridLayout; import java.awt.event.WindowAdapter; import java.awt.event.WindowEvent; import java.util.Vector
阅读全文
摘要:可以使用mock对springboot web接口进行测试 1.依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>t
阅读全文
摘要:import java.awt.event.WindowEvent; import java.awt.event.WindowListener; import javax.swing.JFrame; class MyWindowEventHandle implements WindowListene
阅读全文
摘要:统一的service接口基于统一的mapper,参考:Mybatis学习笔记——通用mapper 接口AbstractService<T> package com.example.demo.core.service; import java.util.List; public interface A
阅读全文
摘要:它是一种在运行时,动态地将代码切入到类的指定方法、指定位置上的编程思想。用于切入到指定类指定方法的代码片段叫做切面,而切入到哪些类中的哪些方法叫做切入点 AOP编程允许把遍布应用各处的功能分离出来形成可重用的组件 实现一个AOP可以分成下面几个步骤: 1.引入依赖 <dependency> <gro
阅读全文
摘要:1.索引预创建,避免在零点的时候对集群的master节点造成过大的压力 2.集群冷热分离 3.索引生命周期:所以预创建->热节点->warm节点->索引关闭->索引删除 参考:Elasticsearch集群优化实战 1.虚拟内存优化 修改 /etc/sysctl.conf配置文件,添加 vm.max
阅读全文
摘要:在Swing中使用的所有布局管理器都可以实现LayoutManager接口,在Swing中主要使用的5种布局管理器:FlowLayout、BorderLayout、GridLayout、CardLayout、绝对定位。 import java.awt.FlowLayout; import javax
阅读全文
摘要:swagger-ui用于给API添加文档,还支持API的请求调用,可以降低前后端联调的沟通成本 1.依赖 <!-- swagger2 --> <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</ar
阅读全文
摘要:使用一个标签 import java.awt.Color; import java.awt.Dimension; import java.awt.Point; import javax.swing.JFrame; import javax.swing.JLabel; public class JFr
阅读全文
摘要:1.JFrame 创建一个新的窗体 import java.awt.Color; import javax.swing.JFrame; //主类 //Function : JFrame_demo public class JFrame_demo { public static void main(S
阅读全文
摘要:参考 https://github.com/lupingqiu/metadata-scala-play 在project文件夹下添加 build.properties sbt.version=1.2.1 plugins.sbt // The Typesafe repository resolvers
阅读全文
摘要:在JDBC中提供了DatabaseMetaData和ResultSetMetaData接口来分析数据库的元数据。 DatabaseMetaData 使用DatabaseMetaData取得数据库的元信息 import java.io.File; import java.io.FileInputStr
阅读全文
摘要:在数据库中执行5条SQL语句,这些SQL语句本身需要保持一致,即要么同时成功,要么同时失败 事务基本操作 import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java
阅读全文
摘要:JDBC(Java Database Connectivity),Java数据库连接,提供了一种与平台无关的用于执行SQL语句的标准Java API,可以方便地实现多种关系型数据库的统一操作,它由一组用Java语言编写的类和接口组成。 JDBC的主要操作类及接口 JDBC 2.0 API 可滚动的结
阅读全文
摘要:MySQL存储过程是一个事先编译好并存储在数据库中的一组 SQL 语句集合,类似于程序中的子程序或函数。 存储过程可以接受参数、执行一系列 SQL 语句,并返回结果。存储过程可以大大简化复杂的查询和数据处理操作,并提高数据库性能和安全性。 假设有3张表,歌曲表song,歌手表singer,歌曲和歌手
阅读全文
摘要:建立一个过程,建立的时候要加DELIMITER // IN——只能输入,不能输出,修改之后保留修改的数据 INOUT——可以的输入,也可以输出,修改时输出的是修改后的数据,但是再次输出的时候是最先的数据 OUT——只能输出,不能输入 调用myproc存储过程 import java.io.File;
阅读全文
摘要:处理大数据对象 CLOB中可以存储海量文字 BLOB中可以存储海量二进制数据 如果程序中要想处理这样的大对象操作,则必须使用PreparedStatement完成,所有的内容要通过IO流的方式从大文本字段中保存和读取。 写入大文本数据 汉字的编码要改成gbk import java.io.File;
阅读全文
摘要:PreparedStatement接口是Statement的子接口,属于预处理操作,与直接使用Statement不同的是,PreparedStatement在操作时,是先在数据表中准备好了一条SQL语句,但是此SQL语句的具体内容暂时不设置,而是之后再进行设置。 使用PreparedStatemen
阅读全文
摘要:使用SQL中的SELECT语句可以查询出数据库的全部结果,在JDBC的操作中数据库的所有查询记录将使用ResultSet进行接收,并使用ResultSet显示内容。 从user表中查询数据 import java.sql.*; public class MySQL_demo { //定义MySQL的
阅读全文
摘要:连接数据库 import java.sql.*; public class MySQL_demo { //定义MySQL的数据库驱动程序 public static final String DBDRIVER = "org.gjt.mm.mysql.Driver"; //定义MySQL数据库的连接地
阅读全文
摘要:1.安装mysql-server sudo apt-get update sudo apt-get install mysql-server mysql-client 2.重新启动mysql服务 sudo service mysql restart 3.让apache支持mysql sudo apt
阅读全文
摘要:1.下载avro-tools.jar https://archive.apache.org/dist/avro/avro-1.10.1/java/ avro-tools.jar常用命令:Working with Apache Avro files in Amazon S3 也可以查看help jav
阅读全文
摘要:J2SE 5.0提供了很多新的特征。其中一个很重要的特征就是对元数据(Metadata)的支持。在J2SE 5.0中,这种元数据称为注解(Annotation)。 通过使用注解,程序开发人员可以在不改变原有逻辑的情况下,在源文件嵌入一些补充的信息。 系统内建的Annotation 在JDK1.5之后
阅读全文
摘要:进入impala shell,port为Impala Daemon Beeswax 端口 impala-shell -i ip:port -k 使用impala shell直接运行SQL impala-shell -i ip:port -k --quiet -B -d default -q "sel
阅读全文
摘要:事务管理在系统开发中是不可缺少的一部分,Spring提供了很好事务管理机制,主要分为编程式事务和声明式事务两种。 参考:一口气说出 6种,@Transactional注解的失效场景
阅读全文
摘要:如果要通过一个对象找到一个类的名称,此时就需要用到反射机制(反射技术是用来做框架的,一般情况下Java私有对象不能被访问,但是暴力反射可以访问私有对象)。 任何一个类如果没有明确地声明继承自哪个父类的时候,则默认继承Object类,所以getClass()方法是Object类中的。 文件在包java
阅读全文
摘要:1.*和&的区别 & 是取地址符号 , 即取得某个变量的地址 , 如 &a * 是指针运算符 , 可以表示一个变量是指针类型 , 也可以表示一个指针变量所指向的存储单元 , 也就是这个地址所存储的值 参考:Go中*和&区别 println打印对象只能打印出其指针,需要使用fmt.Printf,如下
阅读全文
摘要:在 Amazon EMR 版本 5.28.0 及更高版本中, Amazon EMR 默认情况下会在安装 Spark、Hive 或 Presto 时安装 Hudi 组件。 参考:创建安装了 Hudi 的集群 Amazon EMR的版本和hudi的版本对应可以参考文档:Hudi 发行版历史记录 可以使用
阅读全文
摘要:ACID ACID 是数据库事务管理的四个关键属性,用于确保数据在并发环境下的可靠性和一致性。 1.Atomicity(原子性) 原子性指的是一个事务中的所有操作要么全部执行成功,要么全部不执行。换句话说,事务是不可分割的最小单位。ACID模型的原子性主要涉及InnoDB事务。 例如,在银行转账操作
阅读全文
摘要:1.安装mongo客户端 参考:ubuntu安装mongodb-4.4(通过apt命令) 2.连接mongodb mongo ip:27017/db_name -u user_name -p 3.创建collection 参考:MongoDB 教程 use xx_db db.createCollec
阅读全文
摘要:airflow分布式部署所依赖的组件有mysql,redis,web-server,scheduler,worker等,可以将这些组件部署在不同的机器上,来减低单台机器的压力 单机安装请参考:Ubuntu16.04安装apache-airflow 然后在不同的机器上启动不同的组件 airflow w
阅读全文
摘要:1.Hudi概念 参考: 英文官方文档:https://hudi.apache.org/docs/concepts/ 中文官方文档:https://hudi.apache.org/cn/docs/0.9.0/concepts/ Apache Hudi架构设计和基本概念 1.Hudi表的存储类型 hu
阅读全文
摘要:Helm是k8s的包管理工具,使用helm可以简化k8s应用部署 在helm之前,在k8s上部署一个服务需要写多个配置文件,包括:deployment.yaml,service.yaml,ingress.yaml 而使用了helm之后,helm会提供一个模板,将这些yaml文件作为一个整体进行管理,
阅读全文
摘要:1.使用jmap命令生成内存快照文件(Heap Profile) jmap -dump:format=b,file=heap.hprof ${pid} 如果生成快照的时候遇到如下报错 Dumping heap to /mnt/tmp/heap.hprof ... Exception in threa
阅读全文
摘要:Presto的语法解析器是使用ANTLR生成的 PrestoDB的parser g4语法文件 https://github.com/prestodb/presto/blob/master/presto-parser/src/main/antlr4/com/facebook/presto/sql/pa
阅读全文
摘要:使用原生包管理工具安装kubectl 1.更新 apt 包索引,并安装使用 Kubernetes apt 仓库所需要的包 sudo apt-get update sudo apt-get install -y apt-transport-https ca-certificates curl 2.下载
阅读全文
摘要:kudu支持的数据类型 boolean 8-bit signed integer 16-bit signed integer 32-bit signed integer 64-bit signed integer date (32-bit days since the Unix epoch) uni
阅读全文
摘要:flink官方从1.8.0开始提供Table&SQL API,参考 https://github.com/apache/flink/tree/release-1.8.0/flink-table 如果想使用Flink SQL的话,可以参考官方的get start文档,如下 https://nightl
阅读全文
摘要:import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import org.omg.CORBA.portable.OutputStream; public class c
阅读全文
摘要:Java程序开启JMX的方法有2种: 第1种是在启动参数中添加如下配置 第2种是在环境变量中添加 官方JMX exporter https://github.com/prometheus/jmx_exporter jmxConnector.yaml配置如下 lowercaseOutputName:
阅读全文
摘要:1、net.core.somaxconn net.core.somaxconn是Linux中的一个kernel参数,表示socket监听(listen)的backlog上限。什么是backlog呢?backlog就是socket的监听队列,当一个请求(request)尚未被处理或建立时,他会进入ba
阅读全文
摘要:参考:三种客户端连接Presto 1.使用 presto-client pip install presto-client==0.302.0 查询 import presto # demo about the usage of presto-python-client conn = presto.d
阅读全文
摘要:Flink的部署方式有如下几种,本文主要介绍standalone模式 Yarn Mesos Docker/Kubernetes Standalone standalone模式的官方文档可以参考 https://nightlies.apache.org/flink/flink-docs-master/
阅读全文
摘要:kuberbetes-dashboard是K8S的管理工具,下面使用helm来进行部署,参考: https://artifacthub.io/packages/helm/k8s-dashboard/kubernetes-dashboard 首先添加源 helm repo add kubernetes
阅读全文
摘要:可以在chrome上安装 Simple WebSocket Client 插件来辅助调试websocket功能 websocket client发送数据 websocket server接收数据 参考:Spring-Boot快速集成WebSocket服务端 客户端(支持客户端消息同步回调) 在spr
阅读全文
摘要:HTTP和HTTPS区别 超文本传输协议(HTTP)是用于客户端-服务器通信的协议或一组通信规则。当您访问网站时,您的浏览器会向 Web 服务器发送 HTTP 请求,该服务器将以 HTTP 响应进行响应。Web 服务器将以纯文本形式与您的浏览器交换数据。简而言之,HTTP 协议是为网络通信提供支持的
阅读全文
摘要:官方文档:https://prometheus.io/docs/prometheus/latest/getting_started/ 其他参考:CentOS7安装部署Prometheus+Grafana 1.安装Prometheus 官方网站下载二进制安装包:https://prometheus.i
阅读全文
摘要:官方地址下载,有mac,windows和linux版本 https://www.kafkatool.com/download.html 1.查看kafka topic中的数据(支持byte,string和avro) 安装后添加kafka集群的地址,可以选择使用zk地址或者kafka的broker地址
阅读全文
摘要:Table API官方文档参考 https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/tableapi/ RowKind 自定义修改debezium-json format Flink 1.11.1:flink CDC
阅读全文
摘要:参考kafka官方文档,版本1.0.x http://kafka.apache.org/10/documentation.html#consumerapi 依赖,选择 Cloudera Rel 中的 1.0.1-kafka-3.1.0 <dependency> <groupId>org.apache
阅读全文
摘要:使用idea来开发spring-boot项目,对于community版本的idea,由于没有spring-boot插件,所有对于开发spring-boot的web项目来说不是很方便,所以安装Ultimate版本的idea,使用的版本是2017.1.6版本 参考 : https://blog.csdn
阅读全文
摘要:Timer类是一种线程设施,可以用来实现在某一个时间或某一段时间后安排某一个任务执行一次或定期重复执行。 该功能要与TimerTask类配合使用。TimerTask类用来实现由Timer安排的一次或重复执行的某一任务。 import java.text.SimpleDateFormat; impor
阅读全文
摘要:程序中应用正则表达式则必须依靠Pattern类和Matcher类,这两个类都是在java.util.regex包中定义。 Pattern类的主要作用是进行正则规范的编写。 Matcher类主要是执行规范,验证一个字符串是否符合其规范。 import java.util.regex.Pattern;
阅读全文
摘要:在java.util包中提供了Observable类和Observer接口,使用它们即可完成观察者模式。 多个观察者都在关注着价格的变化,只要价格一有变化,则所有的观察者会立即有所行动。 import java.util.Observable; import java.util.Observer;
阅读全文
摘要:代理模式是一种设计模式,提供了对目标对象额外的访问方式,即通过代理对象访问目标对象,这样可以在不修改原目标对象的前提下,提供额外的功能操作,扩展目标对象的功能。 1.静态代理: 在编译时就已经实现,编译完成后代理类是一个实际的class文件 静态代理的方式:创建一个接口,然后创建被代理的类实现该接口
阅读全文
摘要:清华镜像站 https://mirrors.tuna.tsinghua.edu.cn/ubuntu/pool/main/h/haproxy/ 下载haproxy https://mirrors.tuna.tsinghua.edu.cn/ubuntu/pool/main/h/haproxy/hapro
阅读全文
摘要:1. 安装filebeat,选择tar包安装方式,下载并解压 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.7.0-linux-x86_64.tar.gz tar -zxvf filebeat-7.7.0-
阅读全文
摘要:1.kudu已经包含在cdh的parcels中了,所以直接添加服务 2.选择kudu,然后安装 3.在impala中配置kudu,然后重启 参考:CDH5.16.1 安装配置Kudu 如果安装的时候报错如下 parceltagoversatisfiedexception: Multiple parc
阅读全文
摘要:参考:Yarn 监控 - 监控任务运行状态 (包括Spark,MR 所有在Yarn中运行的任务) //获取任务的applicationId public static String getAppId(String jobName) throws IOException { Configuration
阅读全文
摘要:参考: http://wuchong.me/blog/2016/04/26/flink-internals-how-to-handle-backpressure/
阅读全文
摘要:和thrift这种每个字段有id的序列化框架不同,avro在schema变更(schema evolution)的时候,需要注意不能
阅读全文
摘要:在使用mybatis-generator自动生成mapper代码的时候,对于基本的增删改查方法可以通过继承通用mapper的方式进行简化,参考:MyBatis 通用 Mapper 5. 高级用法 mapper接口,参考:Mapper 接口大全 1.依赖 <!-- mybatis --> <depen
阅读全文
摘要:在nexus界面上可以手动上传release和hosted的包,但是无法手动上传snapshots的包 需要使用 mvn deploy 来上传snapshots包,比如 mvn deploy:deploy-file -DgroupId=org.apache.impala -DartifactId=i
阅读全文
摘要:1.docker部署MySQL amd64的机器可以使用centos的MySQL5.7的镜像:https://hub.docker.com/r/centos/mysql-57-centos7/ arm64和amd64的机器也可以使用MySQL8.0的镜像:https://hub.docker.com
阅读全文
摘要:查看容器的网络模式 docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 3f6822d8f262 confluentinc/cp-schema-registry:latest "/etc/confluent/dock…
阅读全文
摘要:Spring Security是提供了认证,鉴权以及其他的安全特性的java框架,下面是Spring Security的使用教程 1.引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-bo
阅读全文
摘要:flink内存分布 task manager 参考:Flink重点难点:Flink任务综合调优(Checkpoint/反压/内存) 1.堆外内存不足:java.lang.OutOfMemoryError: Direct buffer memory 报错如下 Caused by: java.lang.
阅读全文
摘要:1.配置ssh configuration 2.给项目配置远程python环境 2.配置python interpreter以及代码同步的路径 最后选择remote的python环境来运行代码 remote的python环境上有显卡,可以成功查询到 参考:Pycharm远程调试及远程虚拟环境(包括D
阅读全文
摘要:引入joda-time <!--jodatime--> <dependency> <groupId>joda-time</groupId> <artifactId>joda-time</artifactId> <version>2.10</version> </dependency> 1.字符串转j
阅读全文
摘要:泛型就是指在对象建立时不指定类中属性的具体类型,而由外部在声明及实例化对喜爱时指定类型。 在泛型的指定中无法指定基本数据类型的,必须设置成一个类,这样在设置一个数字时就必须使用包装类。 class Point<T>{ //此处T可以是任意的标识符号,T是type的简称 private T var;
阅读全文
摘要:DAG参数含义 https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/dag/index.html
阅读全文
摘要:多个线程要操作同一资源时就有可能出现资源的同步问题。 同步就是指多个操作在同一个时间段内只能有一个线程进行,其他线程要等待此线程完成之后才可以继续执行。 解决资源共享的同步操作,可以使用同步代码块和同步方法两种方式完成。 <1>同步代码块 所谓代码块就是指使用“{}"括起来的一段代码,根据其位置和声
阅读全文
摘要:Flink学习笔记——远程debug flink任务
阅读全文
摘要:Java进程与线程 进程是程序的一次动态执行过程,它经历了从代码加载、执行到执行完毕的一个完整过程,这个过程也是进程本身从产生、发展到最终消亡的过程。 多进程操作系统能同时运行多个进程(程序),由于CPU具备分时机制,所以每个进程都能循环获得自己的CPU时间片。 多线程是指一个进程在执行过程中可以产
阅读全文
摘要:private default protected public的访问控制权限 protected范例 transient关键字 当使用Serializable接口实现序列化操作时,如果一个对象中的某一属性不希望被序列化,则可以使用transient关键字进行声明 import java.io.Fi
阅读全文
摘要:JSR-303提供了一些注解,将其放到属性上,可以限制这些属性的值。 参考:Spring MVC学习笔记——JSR303介绍及最佳实践 校验放在DTO层上,不要和数据库交互的model层混用 关于model,VO等的区别,参考:Spring MVC学习笔记——POJO和DispatcherServl
阅读全文
摘要:1.对于机型不同的机器,可以通过角色组来进行统一归类管理 比如对于HDFS组件,有的机型的磁盘为12块,有的机型的磁盘为16块,那么可以通过角色组将配置一致的机器分到一起 在HDFS组件下,选择实例 再点击角色组,可以选择创建角色组 其中DataNode Default Group有100台,每台有
阅读全文
摘要:在登陆界面ctrl+alt+F1进入tty界面,登陆账号,然后输入 dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P 可以参考Ubuntu14.04 卸载输入法后循环登录一直跳到登录界面 http://ijuer.com/blog/313.
阅读全文
摘要:参考:一文讲清HBase存储结构
阅读全文
摘要:Impala对于hive引擎的语法和hive原生的有些许不同,虽然使用hive的parser也能部分兼容,但是由于impala的parser是使用flex(Fast Lexical Analyzer Generator,快速词法分析生成器)和java cup(Java Constructor of
阅读全文
摘要:用户可以根据自己的需要定义自己的异常类,定义异常类只需要继承Exception类即可 class MyException extends Exception{ //自定义异常类,继承Exception类 public MyException(String msg){ //构造方法接受异常信息 sup
阅读全文
摘要:1.安装pyenv brew install pyenv 2.是否安装成功 pyenv -v pyenv 2.0.6 3.安装python3.8.10,2.7.15和miniconda3-4.7.12 pyenv install 3.8.10 pyenv install 2.7.15 pyenv i
阅读全文
摘要:keepalive原理可以参考:Ubuntu安装keepalived 1. 首先需要安装keepalived sudo apt-get install keepalived 2. 编辑 /etc/keepalived/keepalived.conf 配置,参考:16.6 Configuring Si
阅读全文
摘要:1. 进入pod,获取一个交互 TTY 并运行 /bin/bash kubectl exec -it <pod-name> -n <namespace> bash 参考:k8s 命令操作 2.创建namespace kubectl create ns xxxx 3.查看所有namespace下的po
阅读全文
摘要:Hive支持使用avro serde作为序列化的方式,参考: https://cwiki.apache.org/confluence/display/hive/avroserde https://www.docs4dev.com/docs/zh/apache-hive/3.1.1/reference
阅读全文
摘要:1. TransportNodesListGatewayMetaState.Request 获取各个节点的元信息的请求 2. TransportNodesListGatewayStartedShards.Request 获取started的shard的列表的请求 3. org.elasticsear
阅读全文
摘要:1.抽象类: Java可以创建一种类专门用来当做父类,这种类称为“抽象类”。 “抽象类”的作用类似“模板”,其目的是要设计者依据它的格式来修改并创建新的类。但是不能直接由抽象类创建对象,只能通过抽象类派生出新的类,再由它来创建对象。 抽象类的定义及使用规则: <1>包含一个抽象方法的类必须是抽象类
阅读全文
摘要:适配器设计模式,一个接口首先被一个抽象类先实现(此抽象类通常称为适配器类,比如下面的WindowAdapter),并在此抽象类中实现若干方法(但是这个抽象类中的方法体是空的),则以后的子类直接继承此抽象类,就可以有选择地覆写所需要的方法。 interface Window{ //定义Window接口
阅读全文
摘要:工厂模式的核心思想就是把创建对象和使用对象解藕,由工厂负责对象的创建,而用户只能通过接口来使用对象,这样就可以灵活应对变化的业务需求,方便代码管理、避免代码重复。 1.工厂设计模式的例子:水果,苹果和橘子 程序在接口和子类之间加入一个过渡类,通过此过渡类端取得接口的实例化对象,一般都会称这个过渡端为
阅读全文
摘要:参考:[译] HTTP 的进化 - 0.9、1.0、1.1、Keep-Alive、Upgrade 和 HTTPS
阅读全文
摘要:多态性在面向对象中主要有两种体现: <1>方法的重载与覆写 <2>对象的多态性 向上转型:子类对象-->父类对象,向上转型会自动完成 向下转型:父类对象-->子类对象,向下转型时,必须明确地指明转型的子类类型 对象的向上转型 虽然使用的父类对象调用fun1方法,但是实际上调用的方法是被子类覆写过的方
阅读全文
摘要:operator用于产生特定的DAG节点 https://airflow.apache.org/docs/apache-airflow/stable/python-api-ref.html#operators 下面是常用的operator及其用法 BaseOperator https://airfl
阅读全文
摘要:sensor也是airflow的一种operator,用于检测某个条件是否达到。如果条件满足,sensor将会执行成功;如果条件不满足,sensor将会重试,直到超时,task超时的时候状态就位skipped。 下面是常用的几种sensor: The FileSensor: Waits for a
阅读全文
摘要:二叉树:查找时间复杂度:最好:,最差。最差情况是所有的数据全部在一端时。 二叉搜索树(二叉排序树、二叉查找树):查找时间复杂度:最好:,最差。最差情况是所有的数据全部在一端时。 平衡二叉树:查找时间复杂度: 红黑树:查找删除插入时间复杂度: 红黑树是一种自平衡的二叉排序树,它是复杂的,但它的操作有着
阅读全文
摘要:Java是单继承,只能继承一个父类,但是可以实现多个接口 继承的子类不能直接访问父类中的私有属性,只能通过get和set方法来访问 在继承的操作中,子类对象在实例化之前必须首先调用父类中的构造方法后再调用子类自己的构造方法。 class person{ private String name; pr
阅读全文
摘要:1. 字符串转JsonObject JsonObject origJson = new JsonParser().parse(str).getAsJsonObject(); 2. JsonObject转字符串 String str = outputJson.toString(); 3. List转J
阅读全文