摘要：
问题一： 启动storm时，发现kafka一直读取不了数据，但是查询时，仍有数据没有读取： 一直读取不了，看了下代码，是kafka消费时，一直读取不了数据： 查询，很符合kafka重复读取引起的问题。 详情见链接：Kafka重启Consumer后抓不到数据的问题 确实storm读取时是自动提交的，并 阅读全文
摘要：
B+树的应用场景：主要用在传统的行数据库中，因为查询速度快。但是如有有大量的数据需要查询时就暴露出其弊端。 LSM树的应用场景：Hbase就是使用了LSM树。 主要的实现方式：写数据时，第一步，写到预写日志中，目的是防止数据在写入时丢失； 第二步，将数据放入到内存中。 第三步，当内存的大小超过指定值 阅读全文
摘要：
问题描述： hbase表中有数据，而使用hbase的Client取数据的条数小于hbase实际的条数。并且在客户端是没有报错信息。 Bug1： 使用的是协处理器进行取数据的，说下协处理器的作用，在客户端对所取的数据进行处理后，再返回给客户端。这样可以减少数据的传输，提高查询速度。 客户端没有报错，找 阅读全文
摘要：
hive执行过程中报错，抓重点（黄色）： 大概是执行mapreduce的时候的错误： 查看了下mapreduce确实是执行了， 拉取mr错误日志： 看下黄色部分，可知是hbase的对应实体类错误。 原因：是修改了hbase数据字典表中的类型 -> 没有更新hive的jar包。 阅读全文
摘要：
转自：廖雪峰的官方网站 在Git中，删除也是一个修改操作，我们实战一下，先添加一个新文件test.txt到Git并且提交： $ git add test.txt $ git commit -m "add test.txt" [master b84166e] add test.txt 1 file c 阅读全文
摘要：
本文转自：https://www.cnblogs.com/lanqiu5ge/p/9405601.html#_label2 ， 会有很小的调整。 扩展阅读： http://blog.csdn.net/u012152619/article/category/6470028 http://www.cnb 阅读全文
摘要：
本文主要借鉴W3Cschool翻译的Hbase官方文档，非本人原创。 一： Hbase架构组成 1.1 Master： HMaster是主服务器（Master Server）的实现。主服务器负责监视群集中的所有RegionServer实例，并且是所有元数据更改的接口。在分布式集群中，Master通常 阅读全文
摘要：
一：hbase的存储形式 hbase的内部使用KeyValue的形式存在，其key是有rowkey:family:column:logTime，value是其存储的内容。 其在region的是大多以升序的形式排列，唯一的是logtime是以降序的形式进行排列。 所以，按照越靠近左边的信息越容易被检索 阅读全文
摘要：
一：hadoop安装 /etc/profile #在文件最后添加 export JAVA_HOME=/home/software/jdk1.7export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$JAVA_HOME/bin；$HADOOP_H 阅读全文
摘要：
一：介绍 内存管理解决的两个问题：给对象分配内存 和 回收分配给对象的内存； 二：内存分配图 包含新生代（Eden区和两个surivivor区，默认比值为8:1），老年代 和 永久代； 三：对象分配的策略 1-对象优先在Eden分配 当Eden区没有足够的空间时，虚拟机会发起一次Minor GC。在 阅读全文