摘要：
一、Flume 事务 流程图 Put 事务流程 doPut：将批数据先写入临时缓冲区 putList doCommit：检查 channel 内存队列是否足够合并 doRollback：channel 内存队列空间不足，回滚数据 Take 事务流程 doTake：将数据取到临时缓冲区 takeLis 阅读全文
摘要：
JPDA：Java 平台调试架构（Java Platform Debugger Architecture） 它是 Java 虚拟机为调试和监控虚拟机专门提供的一套接口。 一、JPDA https://docs.oracle.com/javase/8/docs/technotes/guides/jpd 阅读全文
摘要：
一、下载 https://www.navicat.com.cn/download/navicat-premium 二、安装 安装后先不要打开。 然后再打开 Navicat Premium，选择激活。 要输入许可证时点击 会自动填上许可证号，然后会激活失败，这时选择手动激活。 https://gith 阅读全文
摘要：
Exec source 适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooldir Source 能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控；而 Taildir Source 既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控。 一、创建配置文件 flume 阅读全文
摘要：
这三个都是自 JDK1.5 开始加入到 java.util.concurrent.atomic 下面的。他们都可以在 lock-free 的情况下以原子的方式更新对象引用。 一、AtomicReference 以原子方式更新对象引用。 static class User { private int 阅读全文
摘要：
使用 Flume 监听整个目录的文件，并上传至 HDFS。 一、创建配置文件 flume-dir-hdfs.conf https://flume.apache.org/FlumeUserGuide.html#spooling-directory-source # Name the component 阅读全文
摘要：
实时监控，并上传到 HDFS 中。 一、Flume 要想将数据输出到 HDFS，须持有 Hadoop 相关 jar 包 若 Hadoop 环境和 Flume 在同一节点，那么只要配置 Hadoop 环境变量即可，不需要复制相关 jar 包。 # 将相关包拷贝到 flume 的 lib 目录下 # c 阅读全文
摘要：
Flume 文档：https://flume.apache.org/FlumeUserGuide.html Flume 下载：https://archive.apache.org/dist/flume/ & https://flume.apache.org/download.html JDK 下载： 阅读全文
摘要：
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 一、架构 https://flume.apache.org/FlumeUse 阅读全文
摘要：
在安装 CDH 时，到 Install Parcels 这一步，分发 Parcels 一直过不去，界面一直报 Failure due to stall on seeded torrent，查看日志一直重复报 No hash WARN scm-web-412:com.cloudera.server.w 阅读全文
摘要：
这里以四台节点搭建 IPHostNameOS 192.168.8.5 h5（主） CentOS 7.5 192.168.8.6 h6（从） CentOS 7.5 192.168.8.7 h7（从） CentOS 7.5 192.168.8.8 h8（从） CentOS 7.5 一、节点基本配置 1. 阅读全文
摘要：
CAS（Compare and Swap），即比较并替换，实现并发算法时常用到的一种技术。 CAS 的思想很简单：三个参数，一个当前内存值 V、旧的预期值 A、即将更新的值 B，当且仅当预期值 A 和内存值 V 相同时，将内存值修改为 B 并返回 true，否则什么都不做，并返回 false。 和 阅读全文
摘要：
LockSupport 和 CAS 是 Java 并发包中很多并发工具控制机制的基础，它们底层其实都是依赖 Unsafe 实现。 LockSupport 提供 park() 和 unpark() 方法实现阻塞线程和解除线程阻塞。 每个使用 LockSupport 的线程都会与一个许可（permit） 阅读全文
摘要：
一、安装 https://nginx.org/en/download.html & https://mirrors.huaweicloud.com/nginx/ （三方带插件版）https://openresty.org/cn/download.html （淘宝基于 Nginx 的修改版）https 阅读全文
摘要：
Kafka Eagle 是一款开源的 Kafka 集群监控系统。 一、下载 https://download.kafka-eagle.org/ 二、安装 # 解压 tar -zxf /opt/kafka-eagle-bin-1.3.9.tar.gz -C /opt/ tar -zxf /opt/ka 阅读全文