摘要:
1、topic注册信息 /brokers/topics/[topic] :存储某个topic的partitions所有分配信息 2、partition状态信息 /brokers/topics/[topic]/partitions/[0...N] 其中[0..N]表示partition索引号 /bro 阅读全文
摘要:
有时候我们会碰到下面这些问题: OutOfMemoryError,内存不足 内存泄露 线程死锁 锁争用(Lock Contention) Java进程消耗CPU过高 这些问题在日常开发中可能被很多人忽视(比如有的人遇到上面的问题只是重启服务器或者调大内存,而不会深究问题根源),但能够理解并解决这些问 阅读全文
摘要:
微服务不同于单一架构应用, 是典型的分布式场景, 各服务之间通过IPC进行通信. 实现微服务的过程中, 我们需要解决以下问题: 服务注册和服务发现. 根据应用选择合适的通信协议和数据协议. 例如可以选用thrift, protocol buffer或REST. 服务负载均衡. 一个服务一般会部署多个 阅读全文
摘要:
一、Dubbo服务集群容错 假设我们使用的是单机模式的Dubbo服务,如果在服务提供方(Provider)发布服务以后,服务消费方(Consumer)发出一次调用请求,恰好这次由于网络问题调用失败,那么我们可以配置服务消费方重试策略,可能消费方第二次重试调用是成功的(重试策略只需要配置即可,重试过程 阅读全文
摘要:
项目中使用log4j打印的内容同时传输到flume 1、flume端 flume的agent配置内容如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1.sources.s1.ch 阅读全文
摘要:
Avro Source 监听avro端口,接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1. 阅读全文
摘要:
一、Flume Source Syslog Sources syslogtcp multiport_syslogtcp syslogudp 二、Flume Sink 三、Flume Channel Channel Selector Sink Processor Event Serializer Ev 阅读全文
摘要:
Apache Storm 是 Apache 基金会的开源的分布式实时计算系统。与 Hadoop 的批处理相类似,Storm 可以对大量的数据流进行可靠的实时处理,这一过程也称为“流式处理”,是分布式大数据处理的一个重要方向。Storm 支持多种类型的应用,包括:实时分析、在线机器学习、连续计算、分布 阅读全文
摘要:
微服务框架选型,原文链接请参见:http://blog.didispace.com/microservice-framework/ http://blog.csdn.net/zeb_perfect/article/details/52008192 阅读全文
摘要:
一、Spring-Cloud 1、Spring-Boot Spring Boot是希望通过注解(Annotation),来解决Spring配置文件较多的问题,从而能像Python的Flask、Ruby的Rails那样快速搭建Web应用,尤其是REST API的原型. 从Spring Boot项目名称 阅读全文