摘要: 1.统计PV的流程图 2.Storm代码 模拟数据源: 一级bolt: 二级bolt: PVTopology主程序 阅读全文
posted @ 2018-09-07 11:07 大虾张三丰 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 1.流分组 stream grouping就是用来定义一个stream应该如果分配给Bolts上面的多个task 2.流分组策略 storm里面有6种类型的stream grouping。 (1).Shuffle Grouping 轮询,平均分配。随机派发stream里面的tuple,保证每个bol 阅读全文
posted @ 2018-09-07 11:06 大虾张三丰 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 1.什么是storm Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是 阅读全文
posted @ 2018-09-07 11:05 大虾张三丰 阅读(1249) 评论(0) 推荐(0) 编辑
摘要: 分发层nginx,lua应用,会将商品id,商品店铺id,都转发到后端的应用nginx,在应用层nginx做如下操作:1、应用nginx的lua脚本接收到请求2、获取请求参数中的商品id,以及商品店铺id3、根据商品id和商品店铺id,在nginx本地缓存中尝试获取数据4、如果在nginx本地缓存中 阅读全文
posted @ 2018-09-07 11:04 大虾张三丰 阅读(702) 评论(0) 推荐(0) 编辑
摘要: 1.nginx缓存命中率低在生产环境中,通常会部署多个nginx来提升系统的负载能力,如果nginx开启了本地缓存,对于请求A浏览商品详情页,第一次请求打在了nginxA上,拿到了数据缓存到nginxA本地,第二次请求就有可能打在nginxB上,这就造成nginx的缓存命中率很低的问题。2.如何提升 阅读全文
posted @ 2018-09-07 11:02 大虾张三丰 阅读(425) 评论(0) 推荐(0) 编辑
摘要: 一:业务场景 库存系统 二:数据库与缓存双写不一致问题分析 三:为什么高并发场景下,缓存会出现这个问题 四:数据库与缓存双写不一致问题的解决方案 五:高并发的场景下,该解决方案要注意的问题 (1)读请求长时阻塞 由于读请求进行了非常轻度的异步化,所以一定要注意读超时的问题,每个读请求必须在超时时间范 阅读全文
posted @ 2018-09-07 11:02 大虾张三丰 阅读(1720) 评论(0) 推荐(1) 编辑
摘要: 1、多级缓存架构 2.缓存中的数据分为两种 3.多级缓存架构的工作流程 4.多级缓存架构中每一层的意义 阅读全文
posted @ 2018-09-07 11:01 大虾张三丰 阅读(1655) 评论(0) 推荐(0) 编辑
摘要: 本文来自 58的沈剑大神(https://www.cnblogs.com/codeon/p/8287591.html)本文主要讨论这么几个问题:(1)数据库主从延时为何会导致缓存数据不一致(2)优化思路与方案一、需求缘起 上一篇《缓存架构设计细节二三事》中有一个小优化点,在只有主库时,通过“串行化” 阅读全文
posted @ 2018-09-07 11:00 大虾张三丰 阅读(211) 评论(0) 推荐(0) 编辑
摘要: 本文来自 58沈剑大神的文章本文主要讨论这么几个问题:(1)“缓存与数据库”需求缘起(2)“淘汰缓存”还是“更新缓存”(3)缓存和数据库的操作时序一、需求缘起 场景介绍 缓存是一种提高系统读性能的常见技术,对于读多写少的应用场景,我们经常使用缓存来进行优化。例如对于用户的余额信息表account(u 阅读全文
posted @ 2018-09-07 10:59 大虾张三丰 阅读(5157) 评论(5) 推荐(0) 编辑
摘要: 1.redis replication的核心机制 2.master持久化对于主从架构的安全保障的意义 3.Redis主从架构的核心原理 4.主从复制的断点续传 5.无磁盘化复制(增量复制的策略) 6.过期key处理 7.复制的完整流程 8.数据同步相关的核心机制(指的就是第一次slave连接msat 阅读全文
posted @ 2018-09-07 10:58 大虾张三丰 阅读(962) 评论(0) 推荐(1) 编辑