随笔分类 - 分布式/大数据
摘要：给部门做的一个分布式项目的开发分享会，这个项目是个典型的从单一应用架构改造成微服务架构，项目使用到的技术有Dubbo，Zookeeper，RocketMQ，Redis，LTS，CAT等目前比较流行的一些分布式技术栈，PPT内容如下：
阅读全文
摘要：淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆
阅读全文
摘要：主要根据LTS支持的几种任务（实时任务、定时任务、Cron任务，Repeat任务）和其他一些 开源框架在应用场景上做比较。 实时任务，实时执行 这种场景下，当任务量比较小的时候，单机都可以完成的时候．自己采用线程池或者去 轮训数据库取任务的方式（或者其他方式）就可以解决 · 但如果是任务执行时间比较
阅读全文
摘要：一年前一个偶然的机会参与了公司的一个重点项目，需要长时间出差，开发团队规模在20人左右，而且时间紧迫。在异地，少了公司技术团队的支持，远程沟通不方便，很多事情都显得比较困难，碰到问题往往需要自己摸索，自己解决。有句话说，一个开发团队有的时候就像一台发动机，只要启动起来，就能有成果和产出。但如果方向存
阅读全文
摘要：一、硬件考量 1.1、内存 不建议为kafka分配超过5g的heap，因为会消耗28-30g的文件系统缓存，而是考虑为kafka的读写预留充足的buffer。Buffer大小的快速计算方法是平均磁盘写入数量的30倍。推荐使用64GB及以上内存的服务器，低于32GB内存的机器可能会适得其反，导致不断依
阅读全文
摘要：正常服务熔断的算法比较复杂，涉及到一个熔断机多个状态的切换，所以在具体项目里面应用往往需要经过大量的测试验证，下面是种简易的实现，但有以下缺点： 1 因为没有使用状态机，服务熔断之后无法自动恢复，只能在一个类似dubbo-admin的管理平台上去解除熔断 2 这种实现类似服务降级，只不过服务降级一般
阅读全文
摘要：最近在做分布式服务熔断，因为要实现一个熔断器状态机，所以想到状态模式。状态模式是当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类。状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况。把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化。 先举
阅读全文
摘要：1、RocketMQ简单介绍 RocketMQ主要由NameServer、Broker、Producer以及Consumer四部分构成，如下图所示 所有的集群都具有水平扩展能力，无单点障碍。 NameServer以轻量级的方式提供服务发现和路由功能，每个NameServer存有全量的路由信息，提供对
阅读全文
摘要：双11刚刚过去，今年整个团队准备的相对比较充分，双十一期间也算是波澜不惊，比较顺利的度过，这里一起探讨下大促前一般都是怎么准备的。 我们主要做以下几点： 1 项目封版 项目大概在双十一前20天封版，这个时间现在看来有点短，比较合适应该是一个月左右，因为这中间要大概两个礼拜来修复性能压测所发现的bug
阅读全文
摘要：1 安装配置nginx 参考： http://www.cnblogs.com/jager/p/4388202.html 2 安装配置keepalived keepalived.conf(另外一台备机上的) 3 启动相关服务 启动nginx 启动 keepalived 4 keepalive自动切换演
阅读全文
摘要：递增指令：incr（默认从0开始） 递减指令：decr（默认从0开始，递减会出现负数，这点跟memcache不一样,mc到0） 如下： 附上shardedJedisPool和JedisCluster的两种实现方式： shardedJedisPool： JedisCluster： 适用场景： 高并发生
阅读全文
摘要：看了龙果学院的分布式视频感觉总结的不错，特地记录下 分布式事务问题的代码场景 本地事务控制还可行吗？ 分布式事务解决方案
阅读全文
摘要：最近在开发dubbo服务的时候一直用的是公司提供的zk平台，因为使用的人太多或者没人维护老是出问题，导致dubbo服务偶尔可以调通，偶尔调不通的情况，所以花点时间自己部署一套，后面出问题还方便看日志排查。 1 下载包上传linux服务器 zookeeper-3.4.6.tar.gz 2 解压tar
阅读全文
