摘要：
国内连接maven官方的仓库更新依赖库，网速一般很慢，收集一些国内快速的maven仓库镜像以备用。 ====================国内OSChina提供的镜像，非常不错=================== CN OSChina Central http://maven.oschina.n 阅读全文
摘要：
Spark集群搭建 1 Spark编译 1.1 下载源代码 git clone git://github.com/apache/spark.git b branch 1.6 1.2 修改pom文件 增加cdh5.0.2相关profile,如下： cdh5.0.2 2.3.0 cdh5.0.2 0.9 阅读全文
摘要：
[1] hadoop源码编译 [2] hadoop压缩配置 [3] hbase性能调优之压缩测试 阅读全文
摘要：
文章概述：1、顺序写2、顺序读3、随机写4、随机读5、SCAN数据0 性能测试工具hbase org.apache.hadoop.hbase.PerformanceEvaluationUsage: java org.apache.hadoop.hbase.PerformanceEvaluation ... 阅读全文
摘要：
为何要使用压缩，压缩可以是文件的大小减小很多，节省空间；另外压缩后的文件在传输时更节省带宽。所需软件：1）lzo2）hadoop-lzo3）maven安装编译：1）lzowgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar... 阅读全文
摘要：
为何要自行编译hadoop源码，往往是由于官方提供的hadoop发行版都是基于32位操作系统，在操作hadoop时会发生warn。准备软件：1）JDK2）Hadoop源码3）Maven4）Protobuf编译小结：1）JDK安装(略)2）必要依赖安装 sudo yum install -y g++... 阅读全文
摘要：
http://www.cnblogs.com/foreach-break/p/notes_about_distributed_system_and_The_log.html 阅读全文
摘要：
文章概览：1、前言2、Eclipse查看远程hadoop集群文件3、Eclipse提交远程hadoop集群任务4、小结1 前言 Hadoop高可用品台搭建完备后，参见《Hadoop高可用平台搭建》，下一步是在集群上跑任务，本文主要讲述Eclipse远程提交hadoop集群任务。2Eclipse查看... 阅读全文
摘要：
hadoop.tmp.dir：A base for other temporary directories.集群运行后，修改该配置项后，发现类似错误：2012-10-12 10:06:54,804 INFO org.apache.hadoop.hdfs.server.common.Storage: ... 阅读全文
摘要：
http://my.oschina.net/muou/blog/408543http://www.cnblogs.com/huligong1234/p/4137133.html 阅读全文
摘要：
文章概览：1、机器规划和预配置2、软件安装3、集群文件配置4、启动集群5、HA验证6、注意事项7、小结机器规划和预配置主机/进程NNDNRMNMZK(QP)ZKFCJNnna√√√√nns√√√√dn1√√√√dn2√√√dn3√√√软件安装所需工具：虚拟机CentOS-6.5，JDK-1.8，Ha... 阅读全文
摘要：
http://blog.debugo.com/namenode-ha/ 阅读全文
摘要：
http://blog.csdn.net/iloveyin/article/details/38235211 阅读全文
摘要：
http://www.aboutyun.com/blog-61-62.html 阅读全文
摘要：
hadoop高可用集群搭建小结1、Zookeeper集群搭建2、格式化Zookeeper集群 （注：在Zookeeper集群建立hadoop-ha，amenode的元数据)3、开启Journalmnode集群（注：两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行... 阅读全文