摘要：
1、在storm中，实时的计算出瞬间出现的热点。 某个storm task，上面算出了1万个商品的访问次数，LRUMap 频率高一些，每隔5秒，去遍历一次LRUMap，将其中的访问次数进行排序，统计出往后排的95%的商品访问次数的平均值 比如说，95%的商品，访问次数的平均值是100 从最前面开始， 阅读全文
摘要：
在nginx这一层，接收到访问请求的时候，就把请求的流量上报发送给kafka storm才能去消费kafka中的实时的访问日志，然后去进行缓存热数据的统计 从lua脚本直接创建一个kafka producer，发送数据到kafka lua脚本： 两台机器上都这样做，才能统一上报流量到kafka bi 阅读全文
摘要：
大数据也是构建各类系统的时候一种全新的思维，以及架构理念，比如Storm，Hive，Spark，ZooKeeper，HBase，Elasticsearch，等等 storm，在做热数据这块，如果要做复杂的热数据的统计和分析，亿流量，高并发的场景下，最合适的技术就是storm，没有其他 举例说明： S 阅读全文
摘要：
如果缓存服务在本地的ehcache中都读取不到数据。 这个时候就意味着，需要重新到源头的服务中去拉去数据，拉取到数据之后，赶紧先给nginx的请求返回，同时将数据写入ehcache和redis中 分布式重建缓存的并发冲突问题 重建缓存：数据在所有的缓存中都不存在了（LRU算法弄掉了），就需要重新查询 阅读全文
摘要：
//对象转换为Json字符串 public static string ToJson(object jsonObject) { object objectValue = string.Empty; string jsonString = "{"; if (jsonObject==null) ... 阅读全文
摘要：
因为用nginx+lua去开发，所以会选择用最流行的开源方案，就是用OpenResty nginx+lua打包在一起，而且提供了包括redis客户端，mysql客户端，http客户端在内的大量的组件 1、部署第一个nginx，作为应用层nginx （1）部署openresty （2）nginx+lu 阅读全文
摘要：
时效性要求很高的数据，库存，采取的是数据库+缓存双写的技术方案，也解决了双写的一致性的问题 缓存数据生产服务，监听一个消息队列，然后数据源服务（商品信息管理服务）发生了数据变更之后，就将数据变更的消息推送到消息队列中 缓存数据生产服务可以去消费到这个数据变更的消息，然后根据消息的指示提取一些参数，然 阅读全文
摘要：
缓存数据生产服务的工作流程分析 （1）监听多个kafka topic，每个kafka topic对应一个服务（简化一下，监听一个kafka topic） （2）如果一个服务发生了数据变更，那么就发送一个消息到kafka topic中 （3）缓存数据生产服务监听到了消息以后，就发送请求到对应的服务中调 阅读全文
摘要：
pox文件： Application： 更新数据的时候，根据数据的唯一标识，将操作路由之后，发送到一个jvm内部的队列中 读取数据的时候，如果发现数据不在缓存中，那么将重新读取数据+更新缓存的操作，根据唯一标识路由之后，也发送同一个jvm内部的队列中 一个队列对应一个工作线程 每个工作线程串行拿到对 阅读全文
摘要：
按照上面截图输入26个字母大小写，即可。 阅读全文