摘要：
自上周写了第一个HADOOP程序以来，一直没有对开发环境的搭建总结，现总结如下一、安装Cygwin1.安装路径c:/Cygwin2.下载路径X:/Cygwin/3.需要下载如下包 Net Category下的OpenSSL，OpenSSH; Base Category下的sed; Editors Category下的vim,Emacs; Devel Category下的subversion,binutils,gcc,gcc-mingw,gdb4.安装sshd服务 启动cygwin输入命令：ssh-host-config; 根据提示进行相应的操作直至安装完成，安装成功后立即启动名称为“CYGWI 阅读全文
摘要：
最近在试验HBASE,HIVE与应用程序的结合，故配置一下开发环境Hbase方法1.将hbase压抑至Cygwin目录下2.配置两个主要文件conf/hbase-site.xml conf/hbase-env.sh hbase.rootdir hdfs://127.0.0.1:9000/hbas... 阅读全文
摘要：
以下即是checkpoint过程：辅助Namenode请求主Namenode停止使用edits文件，暂时将新的写操作记录到一个新文件中，如edits.new。辅助Namenode节点从主Namenode节点获取fsimage和edits文件（采用HTTP GET）辅助Namenode将fsimage文件载入到内存，逐一执行edits文件中的操作，创建新的fsimage文件辅助Namenode将新的fsimage文件发送回主Namenode（使用HTTP POST）主Namenode节点将从辅助Namenode节点接收的fsimage文件替换旧的fsimage文件，用步骤1产生的edits.ne 阅读全文
摘要：
1.创建一个hadoop项目（导入hadoop相关包，hbase-0.90.5.jar，zookeeper-3.3.2.jar）2.创建测试数据(2.txt 上传至hdfs://127.0.0.1:9000/tmp/2.txt)1150,content,email,xx@gmail.com1152,... 阅读全文
摘要：
1.http://www.hadoopor.com/ 开发包2.http://apache.etoak.com/ 软件包3.http://svn.apache.org/repos/asf/ 源码4.http://hadoop.apache.org/common/docs/r0.20.2/cn/mapred_tutorial.html中文教程5.http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499112.html; HBASE访问说明6.http://blog.csdn.net/flyeagle88/article/details/754 阅读全文
摘要：
一.准备工作。1.eclipse,tomcat的安装，这个就不说了二.开始开发WEBSERVICE。1.new->other->web->Dynamic Web Project 我的项目名称Ws2.项目的右键Build Path->Configure Build Path->Java Build Path->Source->Default outer folder.原来是Ws/bulid/classes改成Ws/WebContent/WEB-INF/classes3.建立一个用于发布WEB服务的java类。public class SayHi {pub 阅读全文
摘要：
import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.h... 阅读全文
摘要：
方法与通过jsp请求Servlet来操作HBASE一样，只是把java转成webserivces 阅读全文
摘要：
1.在eclipse下创建一个动态的Web项目2.创建一个jsp与Servlet3.在Web项目的WEB-INF\lib导入如下包4.同时在Web项目的WEB-INF\目录 导入两个配置文件<1.hbase-default.xml--- hbase\src\main\resources\hbase-... 阅读全文
摘要：
环境准备1.hadoop运行正常2.mysql运行正常，能访问方法1.下载sqoop-1.4.1-incubating__hadoop-0.20.tar.gz安装至/sqoop-1.4.12.将mysql-connector-java-5.1.21-bin.jar复制至/sqoop-1.4.1/li... 阅读全文