摘要：
测试方法 1. 使用 python 的 Faker 第三方包伪造数据，写入文件 test.txt 2. 复制 test.txt 内容为 test2.txt ，将 test2.txt 的内容重定向到 test.txt 中，使 test.txt 的文件大小达到几G 3. 使用lzo lz4 zstd s 阅读全文
摘要：
端口 TCP协议 TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中， 阅读全文
摘要：
存储方式 |方式|方式来源|存储位置|优点|缺点| | | | | |自动提交|kafka|kafka|Spark应用从kafka中读取数据之后就自动提交|不是数据处理之后提交，无法控制| |异步提交|kafka|kafka|Spark应用从kafka中读取数据并处理好之后提交offset|如果ka 阅读全文
摘要：
环境相关命令 CPU 说明： 1. CPU消耗状况 | 显示项 | 说明 | | | | | us | 用户态的消耗 | | sy | 系统内核的消耗 | | ni | 调过ni值的进程的cpu us的消耗 | | id | cpu空闲 | | wa | iowait的消耗 | | hi | 硬中断 阅读全文
摘要：
线程的状态 NEW==》start()==》Runable Runable==》获取CPU==》Running Running==》yield()==》Runable Running==》Run()完成或异常退出==》Dead Running==》join(),sleep()==》Blocked B 阅读全文
摘要：
简介 单用户多点模式也称远程服务模式，用户非java客户端访问元数据库，在服务端启动MetaStoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库。 mysql安装以及配置 安装mysql apt默认安装，占据3306端口 安装机器 : dev01 配置hi 阅读全文
摘要：
前言 Apache HBase 是目前大数据系统中应用最为广泛的分布式数据库之一。我们经常面临向 HBase 中导入大量数据的情景，通常会选择使用标准的客户端 API 对 HBase 进行直接的操作，或者在MapReduce作业中使用 TableOutputFormat 作为输出。实际上，借助 HB 阅读全文
摘要：
hbase基于hue的查询语法 登录地址 https://hue ui.xiaoniangao.cn 界面操作说明 1. 进入hue中的hbase 2. 进入表的查询界面 3. 界面说明 查询语句 表示结束查询，可以不加 主键查询 1. 输入主键 说明：只输入主键查询 例1： 例2： 2. 根据主键 阅读全文
摘要：
使用hive连接hbase 前提说明：一个hive表指向一个hbase表，一对一，不能多对一 建立外部表 说明： 1. hive的表名可以自己定义 2. hive中的字段名可以自定义 3. 建表语句后面的 WITH SERDEPROPERTIES 指向hbase表中的字段，必须一一对应 4. 建表语 阅读全文
摘要：
hfile+compaction 原理 用户数据写入先写WAL，再写缓存，满足一定条件后缓存数据会执行flush操作真正落盘，形成一个数据文件 HFile 。太多数据文件会导致数据查询IO次数增多，因此HBase尝试着不断对这些文件进行合并，这个合并过程称为 Compaction 。 Com 阅读全文