tonglin0325 - 博客园

2016年3月14日

摘要：官方地址下载，有mac，windows和linux版本 https://www.kafkatool.com/download.html 1.查看kafka topic中的数据（支持byte，string和avro）安装后添加kafka集群的地址，可以选择使用zk地址或者kafka的broker地址阅读全文

posted @ 2016-03-14 20:15 tonglin0325 阅读(2636) 评论(0) 推荐(0) 编辑

Flink学习笔记——Table和SQL API

摘要： Table API官方文档参考 https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/tableapi/ RowKind 自定义修改debezium-json format Flink 1.11.1:flink CDC 阅读全文

posted @ 2016-03-14 09:47 tonglin0325 阅读(391) 评论(0) 推荐(0) 编辑

2016年3月13日

Kafka学习笔记——Producer API

摘要：参考kafka官方文档，版本1.0.x http://kafka.apache.org/10/documentation.html#consumerapi 依赖，选择 Cloudera Rel 中的 1.0.1-kafka-3.1.0 <dependency> <groupId>org.apache 阅读全文

posted @ 2016-03-13 18:14 tonglin0325 阅读(216) 评论(0) 推荐(0) 编辑

spring-boot项目建立

摘要：使用idea来开发spring-boot项目，对于community版本的idea，由于没有spring-boot插件，所有对于开发spring-boot的web项目来说不是很方便，所以安装Ultimate版本的idea，使用的版本是2017.1.6版本参考 : https://blog.csdn 阅读全文

posted @ 2016-03-13 11:20 tonglin0325 阅读(153) 评论(0) 推荐(0) 编辑

Timer类和TimerTask类

摘要： Timer类是一种线程设施，可以用来实现在某一个时间或某一段时间后安排某一个任务执行一次或定期重复执行。该功能要与TimerTask类配合使用。TimerTask类用来实现由Timer安排的一次或重复执行的某一任务。 import java.text.SimpleDateFormat; impor 阅读全文

posted @ 2016-03-13 11:00 tonglin0325 阅读(406) 评论(0) 推荐(0) 编辑

Java——正则表达式

摘要：程序中应用正则表达式则必须依靠Ｐattern类和Ｍatcher类，这两个类都是在java.util.regex包中定义。 Pattern类的主要作用是进行正则规范的编写。Ｍatcher类主要是执行规范，验证一个字符串是否符合其规范。 import java.util.regex.Pattern; 阅读全文

posted @ 2016-03-13 09:43 tonglin0325 阅读(231) 评论(0) 推荐(0) 编辑

2016年3月12日

Java观察者设计模式

摘要：在java.util包中提供了Observable类和Observer接口，使用它们即可完成观察者模式。多个观察者都在关注着价格的变化，只要价格一有变化，则所有的观察者会立即有所行动。 import java.util.Observable; import java.util.Observer; 阅读全文

posted @ 2016-03-12 23:41 tonglin0325 阅读(219) 评论(0) 推荐(0) 编辑

SpringBoot学习笔记——动态代理

摘要：代理模式是一种设计模式，提供了对目标对象额外的访问方式，即通过代理对象访问目标对象，这样可以在不修改原目标对象的前提下，提供额外的功能操作，扩展目标对象的功能。 1.静态代理：在编译时就已经实现，编译完成后代理类是一个实际的class文件静态代理的方式：创建一个接口，然后创建被代理的类实现该接口阅读全文

posted @ 2016-03-12 21:36 tonglin0325 阅读(404) 评论(0) 推荐(0) 编辑

ubuntu16.04安装haproxy

摘要：清华镜像站 https://mirrors.tuna.tsinghua.edu.cn/ubuntu/pool/main/h/haproxy/ 下载haproxy https://mirrors.tuna.tsinghua.edu.cn/ubuntu/pool/main/h/haproxy/hapro 阅读全文

posted @ 2016-03-12 20:44 tonglin0325 阅读(304) 评论(0) 推荐(0) 编辑

Filebeat采集文本文件内容发送到kafka

摘要： 1. 安装filebeat，选择tar包安装方式，下载并解压 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.7.0-linux-x86_64.tar.gz tar -zxvf filebeat-7.7.0- 阅读全文

posted @ 2016-03-12 20:41 tonglin0325 阅读(466) 评论(0) 推荐(0) 编辑

CDH5.16安装kudu

摘要： 1.kudu已经包含在cdh的parcels中了，所以直接添加服务 2.选择kudu，然后安装 3.在impala中配置kudu，然后重启参考：CDH5.16.1 安装配置Kudu 如果安装的时候报错如下 parceltagoversatisfiedexception: Multiple parc 阅读全文

posted @ 2016-03-12 20:07 tonglin0325 阅读(230) 评论(0) 推荐(0) 编辑

yarn学习笔记——yarn api

摘要：参考：Yarn 监控 - 监控任务运行状态（包括Spark，MR 所有在Yarn中运行的任务） //获取任务的applicationId public static String getAppId(String jobName) throws IOException { Configuration 阅读全文

posted @ 2016-03-12 19:19 tonglin0325 阅读(933) 评论(0) 推荐(0) 编辑

2016年3月11日

Flink学习笔记——反压

摘要：参考： http://wuchong.me/blog/2016/04/26/flink-internals-how-to-handle-backpressure/ 阅读全文

posted @ 2016-03-11 23:31 tonglin0325 阅读(502) 评论(0) 推荐(0) 编辑

avro序列化框架的schema evolution

摘要：和thrift这种每个字段有id的序列化框架不同，avro在schema变更（schema evolution）的时候，需要注意不能阅读全文

posted @ 2016-03-11 23:12 tonglin0325 阅读(274) 评论(0) 推荐(0) 编辑

Mybatis学习笔记——通用mapper

摘要：在使用mybatis-generator自动生成mapper代码的时候，对于基本的增删改查方法可以通过继承通用mapper的方式进行简化，参考：MyBatis 通用 Mapper 5. 高级用法 mapper接口，参考：Mapper 接口大全 1.依赖  <depen 阅读全文

posted @ 2016-03-11 22:51 tonglin0325 阅读(242) 评论(0) 推荐(0) 编辑

上传snapshots jar包到nexus仓库

摘要：在nexus界面上可以手动上传release和hosted的包，但是无法手动上传snapshots的包需要使用 mvn deploy 来上传snapshots包，比如 mvn deploy:deploy-file -DgroupId=org.apache.impala -DartifactId=i 阅读全文

posted @ 2016-03-11 21:17 tonglin0325 阅读(738) 评论(0) 推荐(0) 编辑

MySQL学习笔记——binlog

摘要： 1.docker部署MySQL amd64的机器可以使用centos的MySQL5.7的镜像：https://hub.docker.com/r/centos/mysql-57-centos7/ arm64和amd64的机器也可以使用MySQL8.0的镜像：https://hub.docker.com 阅读全文

posted @ 2016-03-11 15:10 tonglin0325 阅读(224) 评论(0) 推荐(0) 编辑

docker学习笔记——网络模式

摘要：查看容器的网络模式 docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 3f6822d8f262 confluentinc/cp-schema-registry:latest "/etc/confluent/dock… 阅读全文

posted @ 2016-03-11 11:56 tonglin0325 阅读(250) 评论(0) 推荐(0) 编辑

SpringBoot学习笔记——spring security

摘要： Spring Security是提供了认证，鉴权以及其他的安全特性的java框架，下面是Spring Security的使用教程 1.引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-bo 阅读全文

posted @ 2016-03-11 11:50 tonglin0325 阅读(1454) 评论(0) 推荐(0) 编辑

2016年3月10日

Flink学习笔记——内存调优

摘要： flink内存分布 task manager 参考：Flink重点难点：Flink任务综合调优(Checkpoint/反压/内存) 1.堆外内存不足：java.lang.OutOfMemoryError: Direct buffer memory 报错如下 Caused by: java.lang. 阅读全文

posted @ 2016-03-10 23:33 tonglin0325 阅读(911) 评论(0) 推荐(0) 编辑

pycharm连接远程python环境

摘要： 1.配置ssh configuration 2.给项目配置远程python环境 2.配置python interpreter以及代码同步的路径最后选择remote的python环境来运行代码 remote的python环境上有显卡，可以成功查询到参考：Pycharm远程调试及远程虚拟环境（包括D 阅读全文

posted @ 2016-03-10 22:06 tonglin0325 阅读(360) 评论(0) 推荐(0) 编辑

使用joda-time处理时间

摘要：引入joda-time  <dependency> <groupId>joda-time</groupId> <artifactId>joda-time</artifactId> <version>2.10</version> </dependency> 1.字符串转j 阅读全文

posted @ 2016-03-10 17:13 tonglin0325 阅读(280) 评论(0) 推荐(0) 编辑

2016年3月9日

Java泛型

摘要：泛型就是指在对象建立时不指定类中属性的具体类型，而由外部在声明及实例化对喜爱时指定类型。在泛型的指定中无法指定基本数据类型的，必须设置成一个类，这样在设置一个数字时就必须使用包装类。 class Point<T>{ //此处T可以是任意的标识符号，T是type的简称 private T var; 阅读全文

posted @ 2016-03-09 11:06 tonglin0325 阅读(175) 评论(0) 推荐(0) 编辑

2016年3月8日

airflow学习笔记——DAG

摘要： DAG参数含义 https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/dag/index.html 阅读全文

posted @ 2016-03-08 17:49 tonglin0325 阅读(298) 评论(0) 推荐(0) 编辑

Java同步synchronized与死锁

摘要：多个线程要操作同一资源时就有可能出现资源的同步问题。同步就是指多个操作在同一个时间段内只能有一个线程进行，其他线程要等待此线程完成之后才可以继续执行。解决资源共享的同步操作，可以使用同步代码块和同步方法两种方式完成。 <1>同步代码块所谓代码块就是指使用“{}"括起来的一段代码，根据其位置和声阅读全文

posted @ 2016-03-08 11:45 tonglin0325 阅读(1791) 评论(0) 推荐(0) 编辑

2016年3月7日

Flink学习笔记——远程debug flink任务

摘要： Flink学习笔记——远程debug flink任务阅读全文

posted @ 2016-03-07 23:19 tonglin0325 阅读(434) 评论(0) 推荐(0) 编辑

Java多线程

摘要： Java进程与线程进程是程序的一次动态执行过程，它经历了从代码加载、执行到执行完毕的一个完整过程，这个过程也是进程本身从产生、发展到最终消亡的过程。多进程操作系统能同时运行多个进程(程序)，由于CPU具备分时机制，所以每个进程都能循环获得自己的CPU时间片。多线程是指一个进程在执行过程中可以产阅读全文

posted @ 2016-03-07 21:43 tonglin0325 阅读(436) 评论(0) 推荐(0) 编辑

Java关键字

摘要： private default protected public的访问控制权限 protected范例 transient关键字当使用Serializable接口实现序列化操作时，如果一个对象中的某一属性不希望被序列化，则可以使用transient关键字进行声明 import java.io.Fi 阅读全文

posted @ 2016-03-07 21:23 tonglin0325 阅读(198) 评论(0) 推荐(0) 编辑

SpringBoot学习笔记——校验

摘要： JSR-303提供了一些注解，将其放到属性上，可以限制这些属性的值。参考：Spring MVC学习笔记——JSR303介绍及最佳实践校验放在DTO层上，不要和数据库交互的model层混用关于model，VO等的区别，参考：Spring MVC学习笔记——POJO和DispatcherServl 阅读全文

posted @ 2016-03-07 17:33 tonglin0325 阅读(212) 评论(0) 推荐(0) 编辑

CDH学习笔记——角色组

摘要： 1.对于机型不同的机器，可以通过角色组来进行统一归类管理比如对于HDFS组件，有的机型的磁盘为12块，有的机型的磁盘为16块，那么可以通过角色组将配置一致的机器分到一起在HDFS组件下，选择实例再点击角色组，可以选择创建角色组其中DataNode Default Group有100台，每台有阅读全文

posted @ 2016-03-07 16:31 tonglin0325 阅读(2345) 评论(0) 推荐(0) 编辑

2016年3月6日

ubuntu删除输入法后，循环登陆

摘要：在登陆界面ctrl+alt+F1进入tty界面，登陆账号，然后输入 dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P 可以参考Ubuntu14.04 卸载输入法后循环登录一直跳到登录界面 http://ijuer.com/blog/313. 阅读全文

posted @ 2016-03-06 21:39 tonglin0325 阅读(357) 评论(0) 推荐(0) 编辑

HBase学习笔记——存储结构

摘要：参考：一文讲清HBase存储结构阅读全文

posted @ 2016-03-06 19:31 tonglin0325 阅读(185) 评论(0) 推荐(0) 编辑

2016年3月4日

使用Impala parser解析SQL

摘要： Impala对于hive引擎的语法和hive原生的有些许不同，虽然使用hive的parser也能部分兼容，但是由于impala的parser是使用flex（Fast Lexical Analyzer Generator，快速词法分析生成器）和java cup（Java Constructor of 阅读全文

posted @ 2016-03-04 23:28 tonglin0325 阅读(2753) 评论(6) 推荐(0) 编辑

Java自定义异常类

摘要：用户可以根据自己的需要定义自己的异常类，定义异常类只需要继承Exception类即可 class MyException extends Exception{ //自定义异常类，继承Exception类 public MyException(String msg){ //构造方法接受异常信息 sup 阅读全文

posted @ 2016-03-04 21:35 tonglin0325 阅读(405) 评论(0) 推荐(0) 编辑

mac安装多个版本python

摘要： 1.安装pyenv brew install pyenv 2.是否安装成功 pyenv -v pyenv 2.0.6 3.安装python3.8.10，2.7.15和miniconda3-4.7.12 pyenv install 3.8.10 pyenv install 2.7.15 pyenv i 阅读全文

posted @ 2016-03-04 19:56 tonglin0325 阅读(412) 评论(0) 推荐(0) 编辑

HAProxy+Keepalive实现HA

摘要： keepalive原理可以参考：Ubuntu安装keepalived 1. 首先需要安装keepalived sudo apt-get install keepalived 2. 编辑 /etc/keepalived/keepalived.conf 配置，参考：16.6 Configuring Si 阅读全文

posted @ 2016-03-04 16:37 tonglin0325 阅读(232) 评论(0) 推荐(0) 编辑

k8s学习笔记——基本命令

摘要： 1. 进入pod，获取一个交互 TTY 并运行 /bin/bash kubectl exec -it <pod-name> -n <namespace> bash 参考：k8s 命令操作 2.创建namespace kubectl create ns xxxx 3.查看所有namespace下的po 阅读全文

posted @ 2016-03-04 14:57 tonglin0325 阅读(588) 评论(0) 推荐(0) 编辑

Hive学习笔记——在Hive中使用AvroSerde

摘要： Hive支持使用avro serde作为序列化的方式，参考： https://cwiki.apache.org/confluence/display/hive/avroserde https://www.docs4dev.com/docs/zh/apache-hive/3.1.1/reference 阅读全文

posted @ 2016-03-04 14:15 tonglin0325 阅读(247) 评论(0) 推荐(0) 编辑

ElasticSearch学习笔记——Request请求的类型

摘要： 1. TransportNodesListGatewayMetaState.Request 获取各个节点的元信息的请求 2. TransportNodesListGatewayStartedShards.Request 获取started的shard的列表的请求 3. org.elasticsear 阅读全文

posted @ 2016-03-04 13:32 tonglin0325 阅读(3056) 评论(0) 推荐(0) 编辑

Java抽象类与接口的关系

摘要： 1.抽象类： Java可以创建一种类专门用来当做父类，这种类称为“抽象类”。 “抽象类”的作用类似“模板”，其目的是要设计者依据它的格式来修改并创建新的类。但是不能直接由抽象类创建对象，只能通过抽象类派生出新的类，再由它来创建对象。抽象类的定义及使用规则： <1>包含一个抽象方法的类必须是抽象类阅读全文

posted @ 2016-03-04 11:33 tonglin0325 阅读(168) 评论(0) 推荐(0) 编辑

tonglin0325.github.io

公告