摘要： 1、Mapreduce程序需要打包作为作业提交到Hadoop集群环境运行，但是程序中有相关的依赖包，如果没有一起打包，会出现xxxxClass Not Found .2、在pom.xml文件标签同级目录添加标签。 org.apache.maven.plugins mav... 阅读全文

摘要： hadoop怎样提交多个第三方jar包？方案1：把所有的第三方jar和自己的class打成一个大的jar包，这种方案显然笨拙，而且更新升级比较繁琐。方案2：在你的project里面建立一个lib文件夹，然后把所有的第三方jar包放到里面去，hadoop会自动加载lib依赖里面的jar。http://... 阅读全文

摘要： 一、实验目标 编写Mapreduce程序，以Hbase表数据为Map输入源，计算结果输出到HDFS或者Hbase表中。在非CDH5的Hadoop集群环境中，将编写好的Mapreduce程序整个工程打成Jar包提交到Hadoop集群中运行。 本文记录实验过程中的遇到的问题及解决思路。 简单描述集群... 阅读全文

摘要： com.suntools1.8.0systemC:/Program Files/Java/jdk1.8.0_25/lib/tools.jar 阅读全文

摘要： 学习指南：http://git.oschina.net/progit/https://github.com/https://windows.github.com/http://msysgit.github.io/http://www.bootcss.com/p/git-guide/http://my... 阅读全文

摘要： 推荐书籍：《面向对象分析与设计(第3版)》、《UML精粹:标准对象建模语言简明指南(第3版)》推荐一：http://amateras.sourceforge.jp/cgi-bin/fswiki_en/wiki.cgi?page=AmaterasUML推荐二：： PlantUML : http://w... 阅读全文

摘要： InstallationDownload, extract and compile Redis with:$ wget http://download.redis.io/releases/redis-3.0.0.tar.gz$ tar xzf redis-3.0.0.tar.gz$ cd redis... 阅读全文

摘要： [root@Node1 ~]# hdfs dfs -put /home/test.txt /lab/input15/04/15 17:29:44 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.IOException:... 阅读全文

摘要： 1.Hadoop YARN产生背景 源于MapReduce1.0 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理这些集群，进而增加运维成本，而共享模式通常需要少数管理员即可完成多个框架的统一管理。 数据共享 随着数据量的暴增，跨集群间的数据移动不仅需花费更长的时间，且硬... 阅读全文

摘要： 数据块重分布sbin/start-balancer.sh -threshold percentage of disk capacityHDFS达到平衡状态的磁盘使用率偏差值值越低各节点越平衡，但消耗时间也更长 阅读全文