摘要: 1.简介:Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可 阅读全文
posted @ 2018-05-09 18:09 地铁昌平线 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 一、HDFS伪分布式环境搭建 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。 阅读全文
posted @ 2018-05-09 18:06 地铁昌平线 阅读(212) 评论(0) 推荐(0) 编辑
摘要: (一)、HDFS shell操作 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容: HDFS自带有一些shell命令,通过这些命令我们可以去操作HDFS文件系统,这些命令与Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以 阅读全文
posted @ 2018-05-09 18:05 地铁昌平线 阅读(175) 评论(0) 推荐(0) 编辑
摘要: YARN产生背景 YARN是Hadoop2.x才有的,所以在介绍YARN之前,我们先看一下MapReduce1.x时所存在的问题: 单点故障 节点压力大 不易扩展 MapReduce1.x时的架构如下: 可以看到,1.x时也是Master/Slave这种主从结构,在集群上的表现就是一个JobTrac 阅读全文
posted @ 2018-05-09 18:03 地铁昌平线 阅读(760) 评论(0) 推荐(0) 编辑