随笔分类 - Hadoop
关于Hadoop的学习
摘要:PAGERANK的SQL版本实现前提有安装好的数据库。mysql/oracle...之类都可(此处我选用了Oracle)。对PageRank算法已有一定的了解。脚本--Table1: GoogleMatrix_b1DROP TABLE GoogleMatrix_b1;CREATE TABLE GoogleMatrix_b1(POut varchar2(20),--链出,指向别人。PIn varchar2(20),--链入,被指向的人。Weight number --权重,pin的被叫分钟数);--Table2:GoogleMatrix_b2DROP TABLE GoogleMatrix_b2;
阅读全文
摘要:HIVE安装和配置前提Linux版本:CentOS6,JDK:1.6。已成功安装好Hadoop。Hadoop版本:0.20.2。以下只要在一个节点做,可以独立于Hadoop集群,此处我选择了之前配置的server端。已配置好JDK,HADOOP等相关配置。元数据库采用mysql,mysql中已建立hive用户,并授权。一、下载解压HIVE链接地址:http://apache.dataguru.cn/hive/hive-0.8.1/hive-0.8.1.tar.gz解压:tar -zxvf hive-0.8.1.tar.gz拷贝到hadoop目录下中:cp -r hive-0.8.1 /usr/
阅读全文
摘要:PIG安装与配置前提 已成功安装好Hadoop集群。 详见:http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html 以下只在一个结点做,PIG可以直接调用整个集群。此处我选择了独立于其他节点的Server(CentOS)节点。安装要求: Server节点要求。 ①已安装JDK。 ②已有HADOOP目录,并且其中的maters,slaves文件已做好配置. (最好可以直接拷贝集群中一个节点的HADOOP目录) PIG安装是比较容易的,相对于其他项目而言。(一)下载解压PIG Pig下载路径,下载0.9.2...
阅读全文
摘要:HADOOP安装过程(一) 硬件环境此次的作业,在之前的一个成功配置的基础之上,鉴于Ubuntu的操作系统,Server的占用内存比较小,启动较快,同时为了减轻机器的负担。做了如下的选择。操作系统虚拟机安装的系统虚机数CPURAMWin7Vmware 9Ubuntu 12.04LTS Server4台I3 23106GB(二)软件环境由于Ubuntu的预装的程序较少,所以我自行安装了SSH程序,Ubuntu需要修改更新源(加快下载软件速度),这里就不具体描述了,修改/etc/apt/sources.list此更新源为163的源。Hadoop版本JDK版本SSH0.20.2jdk-6u37-li
阅读全文
摘要:HBASE的安装前提:已成功安装好Hadoop。Hadoop版本:0.20.2以下现在一个节点做,配置好Hbase之后再拷贝到各个节点(每个节点都需要安装hbase)。一、下载解压Hbase链接地址:http://mirror.bjtu.edu.cn/apache/hbase/hbase-0.90.5/hbase-0.90.5.tar.gz注意:此处存在版本匹配问题,自行查找匹配的版本。解压:tar -zxvf hbase-0.90.5.tar.gz 拷贝到hadoop目录下中:cp -r hbase-0.90.5 /usr/hadoop/ 修改文件夹权限:chown -R hadoop:ha
阅读全文