随笔分类 -  分布式算法

摘要:读到一个好的文章 转自 https://www.cnblogs.com/fidelQuan/p/4543387.html 缓存穿透 什么是缓存穿透? 一般的缓存系统,都是按照key去缓存查询,如果不存在对应的value,就应该去后端系统查找(比如DB)。如果key对应的value是一定不存在的,并且 阅读全文
posted @ 2019-08-19 15:53 jackluo 阅读(154) 评论(0) 推荐(0) 编辑
摘要:beanstalkd一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。后来开源,之后有PostRank大规模部署和使用,每天处理百万级任务.安装略了PH... 阅读全文
posted @ 2014-05-14 19:29 jackluo 阅读(4973) 评论(0) 推荐(0) 编辑
摘要:原文:http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同,它们主要是以流式读为主,做批量处理;比之关注数据访问的低延迟问题,更关键的在于数据访问的高吞吐量。3、HDFS以支持大数据集合为目标,一个存储在上面的典型文件大小一般都在千兆至T字节,一个单一HDFS实例应该能支撑数以千万计的文件。4、HDFS应用对文 阅读全文
posted @ 2013-06-27 15:26 jackluo 阅读(321) 评论(0) 推荐(0) 编辑