随笔分类 - Hadoop

Hadoop

摘要：1、hadoop运行的原理?xxxxxx2、mapreduce的原理?xxxxxx3、HDFS存储的机制?xxxxxx4、举一个简单的例子说明mapreduce是怎么来运行的 ?xxxxxx5、面试的人给你出一些问题,让你用mapreduce来实现？比如:现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。xxxxxx6、hadoop中Combiner的作用?xxxxxx 阅读全文

posted @ 2013-09-24 14:26 Ruthless 阅读(6445) 评论(1) 推荐(0) 编辑

在ubuntu下使用Eclipse搭建Hadoop开发环境

摘要：一、安装准备1、JDK版本：jdk1.7.0(jdk-7-linux-i586.tar.gz)2、hadoop版本：hadoop-1.1.1(hadoop-1.1.1.tar.gz)3、eclipse版本：Eclipse Java EE IDE for Web Developers.Version: Juno Service Release 1Build id: 20120920-0800(eclipse-jee-juno-SR1-linux-gtk.tar.gz)4、eclipse与hadoop集成插件：hadoop-eclipse-plugin-1.1.1.jar5、操作系统：ubuntu 阅读全文

posted @ 2013-06-21 11:27 Ruthless 阅读(17451) 评论(3) 推荐(1) 编辑

Ubuntu下伪分布式模式Hadoop的安装及配置

摘要：1、Hadoop运行模式Hadoop有三种运行模式，分别如下：单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注：前两种可以在单机运行，最后一种用于真实的集群环境，通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。2、Hadoop的安装及配置环境：Ubuntu10.10，Hadoop 0.21.0安装步骤如下：1、准备工作：1)、安装ssh server，如何安装ssh server请看http://www.tieguanyin168.com/index.php/ubuntu-ssh-1650.html。2)、安装sun jdk6，阅读全文

posted @ 2013-06-21 11:17 Ruthless 阅读(11129) 评论(1) 推荐(0) 编辑

hadoop包含哪些技术？

摘要：1、Hadoop包含哪些技术?Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie。 2、简介Common：在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS 阅读全文

posted @ 2013-06-21 11:12 Ruthless 阅读(3650) 评论(0) 推荐(2) 编辑

hadoop命令详解

摘要：一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名和位置信息。(2).如何创建archive?用法：hadoop archive -archiveName NAME <src>* <dest>命令选项：-archiveName NAME 阅读全文

posted @ 2013-06-21 11:09 Ruthless 阅读(27674) 评论(0) 推荐(3) 编辑

hadoop Shell命令详解

摘要：调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI路径详解点击这里。1、cat说明：将路径指定文件的内容输出到stdout。用法：hadoop fs -cat URI [URI …]范例：hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2hadoop fs -cat file:///file3/user/hadoop/file4返回值：成功返回0，失败返回-1。2、chgrp说明：改变文件所属的组。使用-R将使改变在目录结构下递归进行阅读全文

posted @ 2013-06-21 11:04 Ruthless 阅读(2147) 评论(0) 推荐(1) 编辑

hadoop异常

摘要：1. org.apache.pig.backend.executionengine.ExecException: ERROR 4010: Cannot find hadoop configurations in classpath (neither hadoop-site.xml nor core-site.xml was found in the classpath).If you plan to use local mode, please put -x local option in command line显而易见，提示找不到与hadoop相关的配置文件。所以我们需要把hadoop安装阅读全文

posted @ 2013-03-13 11:27 Ruthless 阅读(19349) 评论(1) 推荐(1) 编辑

hadoop整合纪要

摘要：版本：hadoop-1.1.1，hbase-0.94.3，hive-0.9.0一. 版本兼容1. hadoop-1.1.1与hbase-0.94.3$HADOOP_HOME/hadoop-core-*.*.*.jar和$HADOOP_HOME/lib/commons-configuration-*.*.jar拷贝到$HBASE_HOME/lib目录下，删除$HBASE_HOME/lib目录下的hadoop-core-*.jar，避免版本冲突和不兼容。2. hbase-0.94.3和hive-0.9.0$HIVE_HOME/lib/hbase-0.92.0.jar和$HIVE_HOME/lib/ 阅读全文

posted @ 2013-03-07 10:05 Ruthless 阅读(1016) 评论(0) 推荐(0) 编辑

随笔分类 - Hadoop

搜索

常用链接

我的标签

积分与排名

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论