摘要:
环境配置:Ubuntu11.10,Hadoop1.0.0 安装ssh 1 apt-get install ssh 安装rsy 1 apt-get install rsync 配置ssh免密码登录 1 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 2 cat ~/. 阅读全文
摘要:
作为Hadoop程序员,他要做的事情就是: 1、定义Mapper,处理输入的Key-Value对,输出中间结果。2、定义Reducer,可选,对中间结果进行规约,输出最终结果。3、定义InputFormat 和OutputFormat,可选,InputFormat将每行输入文件的内容转换为Java类 阅读全文
摘要:
//批量添加20000条数据用时8秒。 try { String url = "jdbc:oracle:thin:@IP:1521:orcl"; // orcl为数据库的SID String user = "oracle"; String password = "oracle"; StringBuf 阅读全文
摘要:
https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar 2. 放入eclipse的插件目录。这里以Myeclipse8.5为例(貌似,myeclipse6. 阅读全文
摘要:
操作系统ubuntu11.10 单机模式 Hadoop版本:hadoop-0.20.1 Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃,让人郁闷) 第一步:先启动hadoop守护进程 具体参看:http://www.cn 阅读全文
摘要:
首先检查hadoop是否安装并配置正确然后建立WordCount.java文件里面保存package org.myorg;import java.io.IOException;import java.util.*;import org.apache.hadoop.fs.Path;import org 阅读全文