高天流云

摘要： 使用HBase处理海量数据系列—Part4—Java API使用HBase处理海量数据系列—Part3—架构概览使用HBase处理海量数据系列—Part2—初步了解使用HBase处理海量数据系列—Part1—介绍Apache HBase 快照介绍之二：深入探索Apache HBase快照介绍HBas... 阅读全文

摘要： 原文连接：http://www.linuxidc.com/Linux/2013-11/92703.htm系统环境: LinuxCentOS-6.4-64bit在搭建MySQL过程中，默认的Root账户是只能在本机访问的，如果想通过其他机器访问Linux上的MySQL数据库，必然需要进行一番配置，接下... 阅读全文

摘要： 关于这个问题，网上提供了很多文章，但是可能会有不太明确的地方，我只在阐述一点：hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.... 阅读全文

摘要： 在hive状态下查询select * from test;没有任何错误，能够运行成功，但是运行 select name from test;或者select * from test where 1=1;不能运行成功，报错如下图：查了不少资料，说可能是hadoop版本问题，需要将http://mast... 阅读全文

摘要： 原文http://www.cnblogs.com/kivi/p/3224880.html版本说明Hadoop1.0.1HBase 0.94.9Hive 0.8.1一、Hive over HBase1. 拷贝hbase-0.94.9.jar、zookeeper-3.4.5.jar、protobuf-j... 阅读全文

摘要： Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类， 大致意思如图所示：Mapr框架安装完后，安装与配置hbase、hive。其中mapr框架的安装路径为/opt/maprHbase的安 阅读全文

摘要： 错误1： 排查问题通过查看HBase Master运行日志，结合客户端抛出异常的时刻，发现当时HBase集群内正在进行Region的Split和不同机器之间的Region Balance，那么，为什么会周期性频繁触发以上过程呢？而且是发生在压测期间（数据量与平时相比大几倍）。下面结合表的设计来分析... 阅读全文

摘要： 描述：内存溢出，堆不够用异常：14/03/26 23:11:36 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable14/03/26 23:11:36 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).14 阅读全文

摘要： Hadoop配置问题启动hadoop后，50070页面显示正常，Live Nodes:0 DFS Used:100%namenode log显示如下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-XXX/dfs/data: namenode namespaceID = 1009927204; datanode namespaceID = 785353449 at org.apache.hadoop.hd. 阅读全文

摘要： 错误情景：import sun.net.dns.ResolverConfiguration;import sun.net.util.IPAddressUtil;编译器提示Error解决方案：如果你用的是Eclipse 在preference->java->complier->errors/warning->deprecated and restricted API把 Forbidden reference 的Error改成warning 即可原因是：AudiStream 类在 sun.audio.*包下J2SE中的类大致可以划分为以下的各个包：java.*，javax. 阅读全文