摘要：
JDK版本的要求Hadoop 2.7 以及之后的版本，需要JDK 7；Hadoop 2.6 以及之前的版本，支持JDK 6；对于Hadoop1.x.x版本，只需要引入1个jar：hadoop-core对于Hadoop2.x.x版本，需要引入4个jar：hadoop-commonhadoop-hdfshadoop-mapreduce-client-corehadoop-clientjdk.tools... 阅读全文
摘要：
虚拟文件系统：initrd-2.6.18-194.el5.img希望添加网卡或SCSI等驱动步骤：解压initrd-2.6.18-194.el5.img；添加*.ko文件，并修改init可执行文件；重新打包生成initrd-2.6.18-194.el5.img；解压 initrd-2.6.18-194.el5.img查看initrd-2.6.18-194.el5.img的文件类型：它是一个gzip... 阅读全文
摘要：
下面是WordCount.java类package com.ll;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import o... 阅读全文
摘要：
我们使用之前搭建好的Hadoop环境，可参见：《【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式》http://www.cnblogs.com/ssslinppp/p/5923793.html 示例程序为《Hadoop权威指南3》中的获取最高温度的示例程序；数据准备输入数据为：sample.txt0067011990999991950051507004+68750+023... 阅读全文
摘要：
vi getNcdcBigData.sh内容如下：#!/bin/bashfor i in {1901..2014}docd /home/xxxx/hapood/ncdcwget --execute robots=off -r -np -nH --cut-dirs=4 -R index.html* ftp://ftp.ncdc.noaa.gov/pub/data/gsod/$i/done来自为知笔记... 阅读全文
摘要：
阅读目录概要章节1：安装java 1.6章节2：设置ssh无密码登录章节3：Hadoop的安装(在Hadoop用户下)章节4：配置Hadoop相关配置文件章节5：Hadoop启动章节6：Hadoop环境测试章节7：参考链接概要Hadoop有以下3种运行模式：独立（或本地）模式 ： 无需运行任何守护进程，所有程序都在同一个JVM上运行。在此模式下测试和调试MapReduce程序很方便，因此该模... 阅读全文
摘要：
安装java 1.6Centos6.8安装完成后，一般都安装了java，为了安装java1.6，需要卸载系统自带的java，主要步骤： 先安装java1.6，目的：为了防止先卸载系统自带java时，相关的依赖软件也被卸载； 卸载系统自带的java；具体步骤： 1. 查看系统自带java（为后面的卸载使用） rpm -qa | grep jdk // 显示的后面都需要卸载 ... 阅读全文
摘要：
介绍SVN分为客户端和服务端；服务端：常用的主要有2个，分别为：1. VisualSvn Server:免费，集成了Subsersion和Apache，安装使用非常简单；2. SubVersion:在Windows上安装起来比较麻烦；安装时，我们选择安装VisualSvn Server，不需要安装SubVersion；客户端：1. VisualSVN ：收费，不选择使用；2. TortoiseSV... 阅读全文
摘要：
1. 首先检查系统是否支持CPU虚拟化# egrep -o "svm|vmx" /proc/cpuinfo若显示如下类似信息，则说明支持CPU虚拟化vmxvmx...vmx说明：vmx：显示Intel处理器信息svm：显示AMD处理器信息如果VT（Virtualization Technology）选项未开启，需要reboot然后进入BIOS开启。2. 安装KVM需要的依赖包# apt-get i... 阅读全文
摘要：
# apt-get install tightvncserver vnc4server gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal# apt-get install xfce4 xfce4-goodies设置密码：# vncserver修改配置文件：# vi /root/.vnc/xstartup内容如下：#... 阅读全文