会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
石
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
16
17
18
19
20
21
22
23
24
···
61
下一页
2019年9月8日
nginx+lua+storm的热点缓存的流量分发策略自动降级
摘要: 1、在storm中,实时的计算出瞬间出现的热点。 某个storm task,上面算出了1万个商品的访问次数,LRUMap 频率高一些,每隔5秒,去遍历一次LRUMap,将其中的访问次数进行排序,统计出往后排的95%的商品访问次数的平均值 比如说,95%的商品,访问次数的平均值是100 从最前面开始,
阅读全文
posted @ 2019-09-08 20:07 石shi
阅读(695)
评论(0)
推荐(0)
编辑
2019年9月3日
nginx+lua访问流量实时上报kafka
摘要: 在nginx这一层,接收到访问请求的时候,就把请求的流量上报发送给kafka storm才能去消费kafka中的实时的访问日志,然后去进行缓存热数据的统计 从lua脚本直接创建一个kafka producer,发送数据到kafka lua脚本: 两台机器上都这样做,才能统一上报流量到kafka bi
阅读全文
posted @ 2019-09-03 21:23 石shi
阅读(1361)
评论(0)
推荐(0)
编辑
2019年9月1日
Storm大数据实时计算
摘要: 大数据也是构建各类系统的时候一种全新的思维,以及架构理念,比如Storm,Hive,Spark,ZooKeeper,HBase,Elasticsearch,等等 storm,在做热数据这块,如果要做复杂的热数据的统计和分析,亿流量,高并发的场景下,最合适的技术就是storm,没有其他 举例说明: S
阅读全文
posted @ 2019-09-01 21:16 石shi
阅读(3722)
评论(0)
推荐(0)
编辑
2019年8月25日
分布式缓存重建并发冲突和zookeeper分布式锁解决方案
摘要: 如果缓存服务在本地的ehcache中都读取不到数据。 这个时候就意味着,需要重新到源头的服务中去拉去数据,拉取到数据之后,赶紧先给nginx的请求返回,同时将数据写入ehcache和redis中 分布式重建缓存的并发冲突问题 重建缓存:数据在所有的缓存中都不存在了(LRU算法弄掉了),就需要重新查询
阅读全文
posted @ 2019-08-25 16:19 石shi
阅读(765)
评论(1)
推荐(0)
编辑
2019年8月23日
C# Datatable、DataReader等转化json
摘要: //对象转换为Json字符串 public static string ToJson(object jsonObject) { object objectValue = string.Empty; string jsonString = "{"; if (jsonObject==null) ...
阅读全文
posted @ 2019-08-23 10:46 石shi
阅读(1010)
评论(1)
推荐(0)
编辑
2019年8月21日
OpenResty部署nginx及nginx+lua
摘要: 因为用nginx+lua去开发,所以会选择用最流行的开源方案,就是用OpenResty nginx+lua打包在一起,而且提供了包括redis客户端,mysql客户端,http客户端在内的大量的组件 1、部署第一个nginx,作为应用层nginx (1)部署openresty (2)nginx+lu
阅读全文
posted @ 2019-08-21 22:06 石shi
阅读(3373)
评论(0)
推荐(1)
编辑
2019年8月16日
zookeeper+kafka集群的安装
摘要: 时效性要求很高的数据,库存,采取的是数据库+缓存双写的技术方案,也解决了双写的一致性的问题 缓存数据生产服务,监听一个消息队列,然后数据源服务(商品信息管理服务)发生了数据变更之后,就将数据变更的消息推送到消息队列中 缓存数据生产服务可以去消费到这个数据变更的消息,然后根据消息的指示提取一些参数,然
阅读全文
posted @ 2019-08-16 21:36 石shi
阅读(395)
评论(0)
推荐(0)
编辑
缓存数据生产服务的工作流程
摘要: 缓存数据生产服务的工作流程分析 (1)监听多个kafka topic,每个kafka topic对应一个服务(简化一下,监听一个kafka topic) (2)如果一个服务发生了数据变更,那么就发送一个消息到kafka topic中 (3)缓存数据生产服务监听到了消息以后,就发送请求到对应的服务中调
阅读全文
posted @ 2019-08-16 11:36 石shi
阅读(304)
评论(0)
推荐(0)
编辑
2019年8月14日
实现缓存与数据库双写一致性保障
摘要: pox文件: Application: 更新数据的时候,根据数据的唯一标识,将操作路由之后,发送到一个jvm内部的队列中 读取数据的时候,如果发现数据不在缓存中,那么将重新读取数据+更新缓存的操作,根据唯一标识路由之后,也发送同一个jvm内部的队列中 一个队列对应一个工作线程 每个工作线程串行拿到对
阅读全文
posted @ 2019-08-14 20:33 石shi
阅读(721)
评论(0)
推荐(1)
编辑
2019年8月13日
eclipse不提示问题
摘要: 按照上面截图输入26个字母大小写,即可。
阅读全文
posted @ 2019-08-13 18:09 石shi
阅读(230)
评论(0)
推荐(0)
编辑
上一页
1
···
16
17
18
19
20
21
22
23
24
···
61
下一页
公告