2009年3月21日
Hadoop分布式文件系统：架构和设计要点
摘要： Hadoop分布式文件系统：架构和设计要点Hadoop分布式文件系统：架构和设计要点原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。3、HDFS以支持大数据集合为目标，一个存储在上面的典型文件大小一般都 阅读全文
posted @ 2009-03-21 13:44 searchDM 阅读(879) 评论(0) 推荐(1) 编辑
Hadoop 简介 云计算
摘要： Hadoop 简介 云计算Posted in 10gen, Amazon, EC2, Eucalyptus, Hadoop, LAMP, cloud computing, 未分类 on Sep 6th, 2008 No Comments Google和Amazon已经走在了云计算商业化的前面,在他们后面则是一群开源的云计算项目。这让我们多了一些选择,可以考虑... Hadoop 简介 Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File 阅读全文
posted @ 2009-03-21 13:42 searchDM 阅读(2110) 评论(1) 推荐(0) 编辑
Hadoop 初体验(转)
摘要： Hadoop 初体验Hadoop 支持 Linux 及 Windows 操作系统, 但其官方网站声明 Hadoop 的分布式操作在 Windows 上未做严格测试，建议只把 Windows 作为 Hadoop 的开发平台。在 Windows 环境上的安装步骤如下( Linux 平台类似，且更简单一些): (1)在 Windows 下，需要先安装 Cgywin, 安装 Cgywin 时注意一定要选择安装 openssh (在 Net category )。安装完成之后，把 Cgywin 的安装目录如 c:\cygwin\bin 加到系统环境变量 PATH 中，这是因为运行 Hadoop 要执行一 阅读全文
posted @ 2009-03-21 13:41 searchDM 阅读(3432) 评论(0) 推荐(0) 编辑
使用Linux 和Hadoop 进行分布式计算
摘要： 使用Linux 和Hadoop 进行分布式计算人们每天都依赖搜索引擎以从 Internet 的海量数据中找到特定的内容，但您曾经想过这些搜索是如何执行的吗？一种方法是 Apache 的 Hadoop，它是一个能够对海量数据进行分布式处理的软件框架。Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公司支持的 Ap... 阅读全文
posted @ 2009-03-21 13:41 searchDM 阅读(1655) 评论(0) 推荐(0) 编辑
Hadoop学习笔记二 安装部署
摘要： Hadoop学习笔记二 安装部署内容摘要：本文主要是以安装和使用hadoop-0.12.0为例，指出在部署Hadoop的时候容易遇到的问题以及如何解决。 　　硬件环境　　共有3台机器，均使用的FC5系统，Java使用的是jdk1.6.0。IP配置如下：dbrg-1：202.197.18.72dbrg-2：202.197.18.73dbrg-3：202.197.18.74　　这里有一点需要强调的就是... 阅读全文
posted @ 2009-03-21 13:40 searchDM 阅读(878) 评论(0) 推荐(0) 编辑
Hadoop学习笔记一 简要介绍
摘要： Hadoop学习笔记一 简要介绍内容摘要：Lucene并不是一个应用程序，而是提供了一个纯Java的高性能全文索引引擎工具包，它可以方便的嵌入到各种实际应用中实现全文搜索/索引功能。Nutch是一个应用程序，是一个以Lucene为基础实现的搜索引擎应用，Lucene为Nutch提供了文本搜索和索引的API，Nutch不光有搜索的功能，还有数据抓取的功能。 　　这里先大致介绍一下Hadoop.　　本... 阅读全文
posted @ 2009-03-21 13:40 searchDM 阅读(796) 评论(0) 推荐(0) 编辑
分布式计算开源框架Hadoop入门实践（三）
摘要： 分布式计算开源框架Hadoop入门实践（三）Hadoop基本流程　　一个图片太大了，只好分割成为两部分。根据流程图来说一下具体一个任务执行的情况。　　在分布式环境中客户端创建任务并提交。 　　InputFormat做Map前的预处理，主要负责以下工作：　　验证输入的格式是否符合JobConfig的输入定义，这个在实现Map和构建Conf的时候就会知道，不定义可以是Writable的任意子类。 　　... 阅读全文
posted @ 2009-03-21 13:39 searchDM 阅读(1126) 评论(0) 推荐(0) 编辑
分布式计算开源框架Hadoop入门实践（二）
摘要： 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了，不过这里既然写了就再多写一点，同时有一些细节需要注意的也说明一下，其实也就是这些细节会让人摸索半天。Hadoop可以单机跑，也可以配置集群跑，单机跑就不需要多说了，只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。　　环境　　7台普通的机器，操作系统都是Linux。内存和CPU就不说了，反正Had... 阅读全文
posted @ 2009-03-21 13:38 searchDM 阅读(1155) 评论(0) 推荐(0) 编辑
分布式计算开源框架Hadoop入门实践（一）
摘要： 内容摘要：Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。 　　在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计，在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单，... 阅读全文
posted @ 2009-03-21 13:37 searchDM 阅读(3637) 评论(2) 推荐(4) 编辑