摘要：
在这篇文章里，我们模拟了一个场景，实时分析订单数据，统计实时收益。 场景模拟 我试图覆盖工程上最为常用的一个场景： 1）首先，向Kafka里实时的写入订单数据，JSON格式，包含订单ID-订单类型-订单收益 2）然后，spark-streaming每十秒实时去消费kafka中的订单数据，并以订单类型 阅读全文
摘要：
项目中用到了限流，受限于一些实现方式上的东西，手撕了一个简单的服务端限流器。 服务端限流和客户端限流的区别，简单来说就是： 1）服务端限流 对接口请求进行限流，限制的是单位时间内请求的数量，目的是通过有损来换取高可用。 例如我们的场景是，有一个服务接收请求，处理之后，将数据bulk到Elastics 阅读全文
摘要：
在项目中，遇到一个场景是，需要从Hive数据仓库中拉取数据，进行过滤、裁剪或者聚合之后生成中间结果导入MySQL。 对于这样一个极其普通的离线计算场景，有多种技术选型可以实现。例如，sqoop，MR，HSQL。 我们这里使用的spark，优点来说是两个：一是灵活性高，二是代码简洁。 1）灵活性高 相 阅读全文
摘要：
硬件环境 本文适用的硬件环境如下 Redis已经成功安装，安装路径为/home/idata/yangfan/local/redis-3.2.1。 我们要在单台机器上搭建Redis集群，方式是通过不同的TCP端口启动多个实例，然后组成集群。 1、启动Redis多个实例 我们在Redis安装目录下创建目 阅读全文
摘要：
commons-pool和commons-pool2是用来建立对象池的框架，提供了一些将对象池化必须要实现的接口和一些默认动作。对象池化之后可以通过pool的概念去管理其生命周期，例如对象的创建，使用，销毁等。例如我们通常使用的连接池，连接池可以有效管理连接的数量和状态，保证连接资源的情况而且避免并 阅读全文
摘要：
本文讲述基于zookeeper选主与故障切换的方法。我们的例子使用的是python。 使用的库是kazoo，安装方式 应用场景： 多个实例部署，但不是“去中心化”的部署方式； 有且只有一个节点作为master，履行master的职责，在例子中是注册调度器； 其他实例作为slave，不提供调度功能，但 阅读全文
摘要：
SpringMVC拦截器（Interceptor）实现对每一个请求处理前后进行相关的业务处理，类似与servlet中的Filter。 SpringMVC 中的Interceptor 拦截请求是通过HandlerInterceptor来实现的。 在SpringMVC中定义一个Interceptor非常 阅读全文
摘要：
Redis是建立在TCP协议基础上的CS架构，客户端client对redis server采取请求响应的方式交互。 一般来说客户端从提交请求到得到服务器相应，需要传送两个tcp报文。 设想这样的一个场景，你要批量的执行一系列redis命令，例如执行100次get key，这时你要向redis请求10 阅读全文
摘要：
AMQP（Advanced Message Queuing Protocol, 高级消息队列协议）是一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准,为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制 阅读全文
摘要：
python因为其全局解释器锁GIL而无法通过线程实现真正的平行计算。这个论断我们不展开，但是有个概念我们要说明，IO密集型 vs. 计算密集型。 IO密集型：读取文件，读取网络套接字频繁。 计算密集型：大量消耗CPU的数学与逻辑运算，也就是我们这里说的平行计算。 而concurrent.futur 阅读全文