摘要： Kafka之 API实战 一、环境准备 1）启动zk和kafka集群，在kafka集群中打开一个消费者 [hadoop1 kafka]$ bin/kafka-console-consumer.sh \ --zookeeper hadoop1:2181 --topic first 2）导入pom依赖 阅读全文

摘要： Kafka之工作流程分析 kafka核心组成 一、Kafka生产过程分析 1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。 1.2 阅读全文

摘要： Kafka之概述 一、消息队列内部实现原理 （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者 阅读全文

摘要： Kafka之安装 一、下载kafka 此博客只讲述kafka0.8和kafka1.0两个版本 更改kafka下的/home/bigdata/kafka/config/server.properties 1.1 kafka0.8版本 20行：broker.id=1 28行：host.name=hado 阅读全文

摘要： Oracle数据库查看用户状态 一、当前ORACLE用户的状态可查看视图DBA_USERS;一般情况下在使用的正常用户均处于OPEN状态 select username,account_status from dba_users; 二、ORACLE数据库用户有多种状态，可查看视图USER_ASTAT 阅读全文

摘要： linux压缩和解压文件命令 一、tar命令 解包：tar zxvf filename.tar 打包：tar czvf filename.tar dirname 二、gz命令 解压1：gunzip filename.gz 解压2：gzip -d filename.gz 压缩：gzip filenam 阅读全文

摘要： JVM性能调优 一、JVM内存模型及垃圾收集算法 1.1 根据Java虚拟机规范，JVM将内存划分为： New（年轻代） Tenured（年老代） 永久代（Perm） 其中New和Tenured属于堆内存，堆内存会从JVM启动参数（-Xmx:3G）指定的内存中分配，Perm不属于堆内存，有虚拟机直接 阅读全文

摘要： Hbase之命令 -- 查询数据量 hbase org.apache.hadoop.hbase.mapreduce.RowCounter '{namespaceName:tablename}' count '{namespaceName:tablename}' -- 表结构查询 describe " 阅读全文

摘要： Hbase之权限控制 -- 只读权限 grant '{userName}','R','{namespaceName:tableName}' -- 写入权限 grant '{userName}','W','{namespaceName:tableName}' -- 执行权限 grant '{userN 阅读全文

摘要： Hive之命令 说明：此博客只记录了一些常见的hql，create/select/insert/update/delete这些基础操作是没有记录的。 一、时间级 select day -- 时间 ,date_add(day,1 - dayofweek(day)) as week_first_day 阅读全文