Lucky-gril
积少成多,每天进步一点点。
摘要: hadoop本地库与系统版本不一致引起的错误解决方法 部署hadoop的集群环境为 操作系统 centos 5.8 hadoop版本为cloudera hadoop-0.20.2-cdh3u3集群中设置支持gzip lzo压缩后,在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的... 阅读全文
posted @ 2014-04-16 22:11 Lucky-gril 阅读(432) 评论(0) 推荐(0) 编辑
摘要: hadoop安装遇到的各种异常及解决办法 异常一:2014-03-13 11:10:23,665 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Al... 阅读全文
posted @ 2014-04-16 14:55 Lucky-gril 阅读(2424) 评论(0) 推荐(0) 编辑
摘要: 分布式文件系统介绍 分布式文件系统:Hadoop Distributed File System,简称HDFS。一、HDFS简介 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高 度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基. 阅读全文
posted @ 2014-04-04 17:25 Lucky-gril 阅读(376) 评论(0) 推荐(0) 编辑
摘要: Hadoop家族成员概述一、Hadoop简介1.1 什么是Hadoop? Hadoop是一个分布式系统基础架构,由Apache基金会所开发,目前Yahoo!是其最重要的贡献者。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS,用户可以在不了解分布式底层细节的情况下,开发分布式应用程序,充分利用集群的威力高速运算和存储。1.2 Hadoop的特点 高扩容能力:能可靠地存储和处理千兆字节(PB)的数据。 成本低:可以通过普通机器组成的服务器来分发以及处理数据,这些服务器群总计可达数千个节点,同时Hadoop是开源的。 高效率:.. 阅读全文
posted @ 2014-03-29 17:23 Lucky-gril 阅读(1152) 评论(0) 推荐(0) 编辑
摘要: Ext2.X学习笔记一一、ExtJS简介1.1 什么是Ext JS? · Ext JS是一个Ajax框架,可以用来开发富客户端的Ajax应用,是一个用javascript写的,主要用于创建前端用户界面。 · Ext JS是一个用javascript编写,与后台技术无关的前端ajax框架。因此,可以把Ext用在.Net、Java、Php等各种开发语言开发的应用中。 ·利用Ext JS 构建的RIA Web应用具有与桌面程序一样的标准用户界面与操作方式,并且能够横跨不同的浏览器平台。Ext JS已经成为开发具有完满用户体验的Web应用完美选择。 · Ext 阅读全文
posted @ 2014-03-27 16:46 Lucky-gril 阅读(289) 评论(0) 推荐(0) 编辑
摘要: 一、概述1. Memcache是什么? Memcache(Memcached)是一个高性能的分布式的内存对象缓存系统。 Memcache是danga的一个项目,最早为LiveJournal服务的,最初是为了加速LiveJournal访问速度而开发的,后来被很多大型的网站采用。 Memcache是高性能的分布式的内存对象缓存系统,目前全世界不少人使用这个缓存项目来构建自己大负载的网站,来分担数据库的压力。主要是通过在内存里维护一个统一的巨大的Hash表,它能够用来存储各种类型的数据,包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中 ,然后从内存中读取,从而大大提高... 阅读全文
posted @ 2014-03-25 17:57 Lucky-gril 阅读(348) 评论(0) 推荐(0) 编辑