摘要：
一、工具 1、hadoop-2.6.0-src.tar 2、eclipse 3、maven 4、protoc二、下载源码地址：http://mirrors.hust.edu.cn/apache/hadoop/common/三、准备maven包：eclipse-maven3-plugi... 阅读全文
摘要：
Pig一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用hive。：）Pig是一种数据流语言，用来快速轻松的处理巨大的数据。Pig包... 阅读全文
摘要：
一、网络设置： 1、命令：vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:34:11:33 TYPE=Ethernet UUID=6a0e083b-7d65-4afe-9d6f-f42f976... 阅读全文
摘要：
Linux基础知识：1、时间:date +%Y-%m-%d 2、日历：cal 7 20153、计算机：bc quit退出4、功能补全键：Tab，输入任意字符后按此键可补全或列出对应命令，一下直接补全，两下列出所有 ls -al ~/.bash：列出该目录下以.bash开头的文件名5、按两下TAB键可... 阅读全文
摘要：
1、变量读取例：echo $PATH echo $(PATH)2、变量赋值：aa=asdf 注：等号左右没有空格3、查看所有环境变量：env4、当前线程的ID：echo $$5、自定义变量转为环境变量：export 变量名称（目的：子进程中该变量仍有效）6、read atest this is a ... 阅读全文
摘要：
一、数据完整性HDFS的数据完整性 1、hadoop自带一套原子操作用于IO操作； 2、HDFS数据完整性：会对写入的所有数据计算校验和，并在读取数据时验证校验和，针对每个io.bytes.per.checksum指定字节的数据计算校验和； 3、由于HDFS存储着每个数据块的复本，因为它可以通过数据... 阅读全文
摘要：
l 日期/时间设定比如将系统时间设定成1996年6月10日的命令如下。#date -s 06/10/96将系统时间设定成下午1点12分0秒的命令如下。#date -s 13:12:00l 网络时间同步ntpdate time.nist.gov 或rdate -stime.nist.govl时区修改#... 阅读全文
摘要：
1、hdfs namenode -format 后datanode无法启动解决办法：删除所有datanode节点下data.tmp.dir下目录2、running job 后卡住解决办法：如果是集群的话，集群时间要同步；cp /usr/share/zoneinfo/Asia/Shanghai /et... 阅读全文
摘要：
简介：本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。 读者通过本文中... 阅读全文
摘要：
一、#tar xzvf jdk-7u25-linux-i586.tar.gz#mkdir /usr/java/#cp -R jdk1.7.0_25 /usr/java/#vi /etc/profile二、export JAVA_HOME=/usr/java/jdk1.7.0_09export AND... 阅读全文