摘要：
不多说，直接上干货！ hadoop的分块有两部分。 第一部分就是数据的划分（即把File划分成Block），这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项进行划分。 这个就是默认的每个块64MB。数据划 阅读全文
摘要：
不多说，直接上干货！ 一、简介 eclipse可谓是Java开发界的神器，基本占据了大部分的Java开发市场，而且其官方还对其他语言提供支持，如C++，Ruby，JavaScript等等。为什么使用它？我想离不开下面的一些因素：1、开发界面简洁、大方。2、丰富的插件支持。3、为Java量身定做。4、 阅读全文
摘要：
不多说，直接上干货！ 如有这样的一条数据进来： 美团 3-5年经验 15-30k 北京 hadoop高级工程 Pattern.compile("[^0-9]").matcher(salary)Pattern.compile("[^0-9]").matcher(salary).replaceAll(" 阅读全文
摘要：
不多说，直接上干货！ 这个时候我们可以进入logs下的userlogs 备注：userlogs目录下有很多个以往运行的作业，我选择最新的最大编号的作业，就是我们当前运行作业的日志。然后找到stderr stdout syslog文件，stderr为作业错误日志，stdout作业输出日志，syslog 阅读全文
摘要：
不多说，直接上干货！ 我这里，以hadoop-2.6.0为例。 hadoop-n.x.y.tar.gz.mds，此mds文件是为了检验在下载和移动文件过程中文件的完整性。 通过验证文件的md5值去检验文件的完整性： $ cat ./hadoop-2.6.0.tar.gz.mds | grep 'MD 阅读全文
摘要：
不多说，直接上干货！ 我这里，以hadoop-2.6.0为例。 hadoop-n.x.y.tar.gz.mds，此mds文件是为了检验在下载和移动文件过程中文件的完整性。 通过验证文件的md5值去检验文件的完整性： $ cat ./hadoop-2.6.0.tar.gz.mds | grep 'MD 阅读全文