摘要：
Pig一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用hive。：）Pig是一种数据流语言，用来快速轻松的处理巨大的数据。Pig包... 阅读全文
摘要：
一、网络设置： 1、命令：vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:34:11:33 TYPE=Ethernet UUID=6a0e083b-7d65-4afe-9d6f-f42f976... 阅读全文
摘要：
Linux基础知识：1、时间:date +%Y-%m-%d 2、日历：cal 7 20153、计算机：bc quit退出4、功能补全键：Tab，输入任意字符后按此键可补全或列出对应命令，一下直接补全，两下列出所有 ls -al ~/.bash：列出该目录下以.bash开头的文件名5、按两下TAB键可... 阅读全文
摘要：
1、变量读取例：echo $PATH echo $(PATH)2、变量赋值：aa=asdf 注：等号左右没有空格3、查看所有环境变量：env4、当前线程的ID：echo $$5、自定义变量转为环境变量：export 变量名称（目的：子进程中该变量仍有效）6、read atest this is a ... 阅读全文
摘要：
一、数据完整性HDFS的数据完整性 1、hadoop自带一套原子操作用于IO操作； 2、HDFS数据完整性：会对写入的所有数据计算校验和，并在读取数据时验证校验和，针对每个io.bytes.per.checksum指定字节的数据计算校验和； 3、由于HDFS存储着每个数据块的复本，因为它可以通过数据... 阅读全文