03 2013 档案

Hive安装配置以及整合HBase和hadoop
摘要：Hive安装配置以及整合1.基本说明 本文以mesos上安装hadoop为基础，有些地方与独立安装hadoop集群不同，请注意。 安装前提是已经正确完成了hadoop,Hbase的安装并且能够正常启动。(具体参照我前面的文章) 《HBASE安装教程》 《mesos上的hadoop集群安装教程》 官方文档:https://cwiki.apache.org/confluence/display/Hive/GettingStarted2.下载安装wget http://mirror.bjtu.edu.cn/apache/hive/hive-0.9.0/hive-0.9.0.tar.gz... 阅读全文
posted @ 2013-03-29 17:14 KaimingWan 阅读(2568) 评论(0) 推荐(0) 编辑
sqoop安装配置教程,以及从Oracle数据抽取数据的分析
摘要：sqoop安装教程1.使用背景以及介绍 Sqoop is a tool designed to transfer data between Hadoop and relational databases. You can use Sqoop to import data from arelational database management system (RDBMS) such as MySQL or Oracleinto the Hadoop Distributed File System (HDFS),transform the data in Hadoop MapReduce, a. 阅读全文
posted @ 2013-03-29 00:12 KaimingWan 阅读(1506) 评论(0) 推荐(0) 编辑
在Hadoop上安装HBase
摘要：Hbase快速安装1.准备工作1.1 确保已经正确安装hadoop详情可以参考我的一篇基于集群资源管理Mesos的hadoop安装教程地址： 《Mesos上安装Hadoop超详细部署攻略》1.2 我的配置说明　1.3 基本说明 我的所有程序均在hadoop用户下进行（除非必须要用root才切换）,所有的安装解压均在hadoop主目录。 有任何问题，都以官方文档为准：http://hbase.apache.org2.下载并且解压2.1 选择适合自己的Hbase版本 官方文档给出的对照关系如下我的hadoop是0.20.205的所以我选择了hbase-0.92.x的版本2.2 下载解压wge... 阅读全文
posted @ 2013-03-28 14:11 KaimingWan 阅读(2199) 评论(0) 推荐(0) 编辑
Mesos上安装Hadoop超详细部署攻略
摘要：内容原创，转载请注明，谢谢！第一章 基本介绍1.准备资料和情况说明。使用背景： a.希望在一个集群上配备两套计算框架。比如MPI STORM HADOOP SPARK。 b.CPU和内存资源的高效管理 c.需要细粒度的资源共享，使上层的框架实现特定的调度目标。 参考资料：主要是两部分，一部分是别人的两篇博客（国内说mesos结合hadoop估计也就这两篇了），还有就是GITHUB的官方文档。 博客资料：http://www.cnblogs.com/jasonkoo/category/398407.html http://blog.chinaunix.net/uid-2... 阅读全文
posted @ 2013-03-27 23:11 KaimingWan 阅读(8361) 评论(0) 推荐(1) 编辑
zookeeper快速安装配置
摘要：zookeeper安装1.准备工作我的机器配置如图：保证每台机器上的hosts文件正确在root下进行vi /etc/hostsmastersrv 192.168.4.100slavesrv1 192.168.4.101slavesrv2 192.168.4.102slavesrv3 192.168.4.1032.下载解压(在mastersrv上)wget http://apache.etoak.com/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gztar -zxvf zookeeper-3.4.5.tar.gz解压后权限可能不正确，请更... 阅读全文
posted @ 2013-03-27 10:43 KaimingWan 阅读(674) 评论(0) 推荐(0) 编辑