随笔分类 - Hadoop
摘要：pig 0.10.0 的下载地址 http://labs.mop.com/apache-mirror/pig/pig-0.10.0/下载针对Ubuntu 的安装文件pig-0.10.0.tar.gz ，0.10.0 可以运行在Hadoop 0.20.x 的版本之上，下载安装pig 的版本要和自己在安装的hadoop版本匹配。把 pig-0.10.0 文件 放到Linux 系统的当前用户下，解压 pig-0.10.0 文件 tar -vxf pig-0.10.0.tar.gz配置环境变量 /etc/profile 可以使用vi 也可以使用 sudo gedit命令： sudo gedit /et
阅读全文
摘要：在创建一个表baobei_info后，给baobei_info 插入一些数据，他并不支持insert 这样的关系型数据库的操作，首先：我们在创建表时，row 分割符是使有 ":"，在file文件夹下新建一个baobei_info.txt 格式如：1:1002:90我们把这个baobei_info.txt 文件导入到数据库hive 表baobei_info 中。命令如下：load data local inpath '/home/liucheng/file/baobei_info.txt' overwrite into table baobei_info;如图
阅读全文
摘要：下载地址： http://mirrors.cnnic.cn/apache/hive/hive-0.8.1/hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive定义Hive[1] 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Had
阅读全文
摘要：package com.picc.test; import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URI;
import java.net.URL; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.f...
阅读全文
摘要：HDFS 简介 HDFS 是 hadoop Distributed file system 的缩写，意为hadoop 分布式文件系统。是基于流数据模式访问和处理超大文件的需求而开发的，运行在廉价的商用服务器上。 有以下特点： 处理超大文件，可以处理和存储PB级的数据，在yahoo 已经运行了4096个节点的集群了。 在hadoop file system 创建文件夹 ./bin/hadoop fs -mkdir input 把一个本地file文件夹下的文件上传到 新建的input文件夹下 hfs1.jpg ./bin/hadoop fs -put ~/file/student.txt inp.
阅读全文
摘要：package dataimport; import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase....
阅读全文
摘要：有这样一个实际的问题需要要通过hadoop的来解决一下。有一个学生成绩表，有学生姓名 和成绩格式如下zs 89
zs 100
ls 98
ls 100
zs 20
ww 89
ww 67
ls 30
ww 20一个学生 有多个科目，有不同的成绩。需要对每个同学的成绩求平均值。同时，把这个student.txt 上传到 hadoop的 file System 中。./bin/hadoop fs -put ~/file/student.txt代码如下：package com.picc.test; import java.io.IOException;
import java.util.Itera.
阅读全文
摘要：在安装hadoop 之前一定要先安装免登陆的 ssh.可以参看安装ssh 的例子。http://blog.csdn.net/liuc0317/article/details/8621879安装 hadoop 伪分布式 参看 http://blog.csdn.net/liuc0317/article/details/8613586写这篇blog 是见解 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html 的例子接下来我们开始学习hadoop 为给我们提供的 wordcount 的例子。第一步:查看一下 hadoop给我们
阅读全文
摘要：Java 访问 Hbase 的API第一步：要添加eclipse 对Hadoop的插件。1.复制 hadoop安装目录hadoop-0.20.203.0/contrib/eclipse-plugin/hadoop-eclipse-plugin-0.20.203.0.jar到eclipse安装目录下的plugins目录中。2.重启eclipse，配置hadoop installation directory。如果安装插件成功，打开Window-->Preferens，你会发现Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directo
阅读全文
摘要：Ubuntu 9.o 下安装 HbaseHbase 下载 地址 http://archive.apache.org/dist/hbase/hbase-0.90.4/解压 tar vxf hbase-0.90.4.tar.gz cd hbase-0.90.4单机版的配置配置一个目录现在你已经可以启动Hbase了。但是你可能需要先编辑conf/hbase-site.xml去配置hbase.rootdir，来选择Hbase将数据写到哪个目录 . hbase.rootdir file:///DIRECTORY/hbase 将DIRECTORY替换成你期望写文件的目...
阅读全文
摘要：以下是一些对Hadoop 技术的学习和说明的一些文章，在此列举一下。可以日后方便查询。Ubuntu11.10 正式版下载地址 http://ubuntu.cn99.com/ubuntu-releases/11.10/Hadoop 介绍 http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html http://www.searchtb.com/2011/01/understanding-hbase.htmlEclipse 下安装 Hadoop 插件 跑第一个Demo http://phz50.iteye.com/blog/9..
阅读全文
摘要：Ubuntu 下安装免登陆SSH先参看此博客操作 ，http://tech.it168.com/a2013/0127/1450/000001450989_1.shtml上边如果 可以解析网络地址也就可以顺利的安装了，上边的那个地址安装是 对的，不要怀疑有问题 呵呵 。我的网络解析不了。所以 我得自己 下载安装包来自己处理。有点麻烦，弄了挺长时间，给大家分享一下。首先请看一下 http://wenku.baidu.com/view/9f7153f9700abb68a982fb7c.html的操作，看仔细一点。首先我们下载安装包(和文档中说有版本有点不一样，不要紧，最终的都是正确的)：zlib-1
阅读全文
摘要：第一步： 把Hadoop 的安装文件下载到当前用户下，解压安装，命令如下： tar -xvf hadoop-0.20.2.tar.gz 第二步：配置 Hadoop 文件。 配置 Hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.6.0_11 配置 /conf/hafs-site.xml dfs.replication1配置 /conf/mapred-site.xml mapred.job.trackerlocalhost:9001第三步：进hadoop 的安装目录 cd hadoop-0.20.2/cd bin/ha...
阅读全文
