分布式 - 随笔分类 - 知识天地

mapreduce中控制mapper的数量

摘要：很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper 阅读全文

posted @ 2016-05-16 15:52 知识天地阅读(959) 评论(0) 推荐(0) 编辑

mapreduce 多种输入

摘要：1.多路径输入 1）FileInputFormat.addInputPath 多次调用加载不同路径 FileInputFormat.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path1"));FileInputFormat.addInput 阅读全文

posted @ 2016-05-03 16:20 知识天地阅读(332) 评论(0) 推荐(0) 编辑

Memcached常用命令及使用说明

摘要：一、存储命令存储命令的格式：12 参数说明如下：set/add/replace查找关键字客户机使用它存储关于键值对的额外信息该数据的存活时间，0表示永远存储字节数存储的数据块（可直接理解为key-value结构中的value）1、添加(1)、无论如何都存储的set这个set的命令在memcac... 阅读全文

posted @ 2014-07-10 14:59 知识天地阅读(296) 评论(0) 推荐(0) 编辑

在Linux上安装Memcached服务

摘要：下载并安装Memcache服务器端服务器端主要是安装memcache服务器端.下载：http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz另外，Memcache用到了libevent这个库用于Socket的处理，所以还需要安装libeve... 阅读全文

posted @ 2014-07-10 08:38 知识天地阅读(233) 评论(0) 推荐(0) 编辑

安装和使用memcached

摘要：如何将 memcached 融入到您的环境中？在开始安装和使用 using memcached 之前，我们需要了解如何将 memcached 融入到您的环境中。虽然在任何地方都可以使用 memcached，但我发现需要在数据库层中执行几个经常性查询时，memcached 往往能发挥最大的效用。我经常... 阅读全文

posted @ 2014-07-10 08:34 知识天地阅读(251) 评论(0) 推荐(0) 编辑

Memcache 笔记

摘要：自己以前笔记,和大家分享一、Memcache概述出现的原因:随着数据量的增大,访问的集中,使得数据库服务器的负担加重,数据库响应恶化,网站显示延迟等 memcache:是高性能的分布式内存缓存服务器.通过缓存数据库的查询结果,减少数据库的访问次数,以提高web应用的速度,提高可扩展性.缓存方... 阅读全文

posted @ 2014-06-16 17:52 知识天地阅读(4613) 评论(0) 推荐(0) 编辑

memcached完全剖析–1. memcached的基础

摘要：本系列文章导航memcached完全剖析–1. memcached的基础memcached全面剖析–2.理解memcached的内存存储memcached全面剖析–3.memcached的删除机制和发展方向memcached全面剖析–4. memcached的分布式算法memcached全面剖析–5... 阅读全文

posted @ 2014-06-10 18:10 知识天地阅读(385) 评论(0) 推荐(0) 编辑

Redis和Memcache对比及选择

摘要：我这段时间在用redis，感觉挺方便的，但比较疑惑在选择内存数据库的时候到底什么时候选择redis，什么时候选择memcache，然后就查到下面对应的资料，是来自redis作者的说法（stackoverflow上面）。 You should not care too much about perfo... 阅读全文

posted @ 2014-06-10 12:24 知识天地阅读(341) 评论(0) 推荐(0) 编辑

随笔分类 - 分布式