摘要：
1.启动hive2.启动hive远程服务端口---- bin/hive --service hiveserver 50031 &3.在eclipse创建一个hadoop项目，导入 hadoop.jar,hive等相关的jar包至项目3.一个测试代码HiveTestCase.javaimport ja... 阅读全文
摘要：
前提准备1.hadoop运行正常方法1.下载pig-0.9.2.tar.gz 解压至 C:\cygwin\pig-0.9.22./etc/profile里配置 export PATH=$PATH;$HADOOP_HOME/bin (因为Pig是hadoop的一个客户端软件，需要调用hadoop的相关... 阅读全文
摘要：
secondarynamenode的作用就是用来做checkpoint---相当于对NameNode节点的元数据备份现在将secondarynamenode部署在另一台机器，是为了引入Zookeeper做自动切换具体方法如下1.修改conf/core-site.xml增加或修改 fs.checkpoint.period 3600 The number of seconds between two periodic checkpoints. fs.checkpoint.size 67108864 The size of the current edit log (in bytes) tha... 阅读全文
摘要：
1.源码位置SVN获取 http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.20.22.进入目录 ant 即可实现编译（保证ant安装正确，build.xml有此文件） 1.根据build.xml 会自动生成相应的class与jar3.手工生成相应的包hadoop-0.20.2-ant.jarhadoop-0.20.2-core.jarhadoop-0.20.2-examples.jarhadoop-0.20.2-test.jarhadoop-0.20.2-tools.jar比如手工生成hadoop-0.20.2-core. 阅读全文
摘要：
采用FACEBOOK的AvatarNode来实现Hadoop的双机热备功能具体如下一.环境机器Primary:192.168.17.130Standby/NFS:192.168.17.131AvatarDataNode:192.168.17.132软件hadoop-release-0.20.2编译生成的hadoop-0.20.2-highavailability.jar,hadoop-0.20.3-dev-core.jar两个更新包二.具体部署过程1.在192.168.17.130,192.168.17.131,192.168.17.132上创建如下目录/home/hadoop/share/h 阅读全文