摘要：
SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中 (3)导入导出的事务是以Mapper任务为单位。1、sqoop的安装步骤 1.... 阅读全文
摘要：
zookeeper服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。1、解压zookeeper-3.4.5.tar.gz 文件 执行命令：tar -zxvf zookeeper-3.4.5.tar.gz2、重命名文件夹 执行命令：mv zookeeper-3.4.5/ zk3、设... 阅读全文
摘要：
1、Hive 1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中... 阅读全文
摘要：
hbase的机群搭建过程集群结构，主节点(hmaster)是hadoop，从节点(region server)是hadoop1和hadoop21、解压缩、重命名、设置环境变量 export HBASE_HOME=/home/hadoop/app/hbase export PATH=.:$HADOO... 阅读全文
摘要：
1：配置静态IP地址重启网卡命令：service network restart验证：ifconfig2：修改主机名称 2.1、修改当前会话中的主机名命令：hostname hadoop 2.2、修改配置文件中的主机名：vi /etc/sysconfig/network验证：重启机器后查看主机名... 阅读全文
摘要：
给hadoop赋予sudo权限进入超级用户模式.也就是输入"su -",系统会让你输入超级用户密码,输入密码后就进入了超级用户模式.添加文件的写权限.也就是输入命令"chmod u+w /etc/sudoers".编辑/etc/sudoers文件.也就是输入命令"vim /etc/sudoers",... 阅读全文
摘要：
1. 前期准备：检查是否安装了SSH服务和rsync服务(rsync是一个远程数据同步工具，可以通过LAN/WLAN快速同步多台主机之间的文件)rpm -qa | grep opensshrpm -qa | grep rsync我的Centos 5.6下的显示：如果没有安装则执行一下安装：yum i... 阅读全文
摘要：
集群机器准备机器名机器IP用途hadoop192.168.147.100namenode、secondaryNamenode、JobTracterhadoop1192.168.147.101datanode、tacktracterhadoop2192.168.147.102datanode、tack... 阅读全文
摘要：
总的来说，正确的做法是优先通过配置文件，再在具体机器上进行相应进程的启动/停止操作。网上一些资料说在调整配置文件的时候，优先使用主机名而不是IP进行配置。总的来说添加/删除DataNode和TaskTracker的方法非常相似，只是操作的配置项和使用的命令有微小差异。1. DataNode1.0 配... 阅读全文
摘要：
1、机器准备，职责划分如下：机器名称IP地址NameNodeDataNodeJournalNodeZooKeeperZKFCHA-Cluster1HA-Cluster2Resource ManagerNode Managerhadoop01192.168.147.101Active√√nn1√had... 阅读全文