随笔分类 - bigdata
大数据相关解决方案
摘要：重启rabbitmq服务通过两个命令来实现： rabbitmqctl stop ：停止rabbitmq rabbitmq-server restart : 重启rabbitmq 因为rabbitmqctl是没有restart命令的，所以重启rabbitmq服务需要这么两步。
阅读全文
摘要：引入RabbitMQ的jar包 创建消息生产者 创建消费者
阅读全文
摘要：RabbitMQ特点 RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。 AMQP ：Advanced Message Queue，高级消息队列协议。它是应用层协议的一个开放标准，为面向消息的中间件设计，基于此协议的客户端与消息中间件可传递消息，并不受产品、开发语言等条件的
阅读全文
摘要：安装 添加源 新增公钥 更新源 安装rabbitmq server 检查rabbitmq进程状态 查看安装的插件 查看用户 添加用户 打开http://127.0.0.1:15672用添加的用户登录
阅读全文
摘要：１．迁移topic到新增的node上 假如现在一个kafka集群运行三个broker，broker.id依次为101,102,103,后来由于业务数据突然暴增，需要新增三个broker,broker.id依次为104,105,106.目的是要把chatmessage迁移到新增node上。脚本(jso
阅读全文
摘要：Kafka基于高吞吐率和效率考虑，并没有使用第三方网络框架，而且自己基于java nio封装的，总体网络模型如下： Broker的内部按照SEDA模型处理网络请求，处理过程如下： Accept Thread负责与客户端建立连接链路，然后把Socket轮转交给Process Thread Proces
阅读全文
摘要：Partition Recovery机制 每个Partition会在磁盘记录一个RecoveryPoint, 记录已经flush到磁盘的最大offset。broker fail 重启时,会进行loadLogs。 首先会读取该Partition的RecoveryPoint,找到包RecoveryPoi
阅读全文
摘要：一.topic中partition存储分布 在本地的kafka中，我们只启动一个broker，创建两个topic：single-todo和single-todo-vip ，每个topic有两个partition，在${KAFKA_HOME}conf/server.properties中log.dir
阅读全文
摘要：副本分配算法如下： 将所有N Broker和待分配的i个Partition排序. 将第i个Partition分配到第(i mod n)个Broker上. 将第i个Partition的第j个副本分配到第((i + j) mod n)个Broker上. 将所有N Broker和待分配的i个Partiti
阅读全文
摘要：配置参数 参数说明 broker.id =1 每一个broker在集群中的唯一标示，要求是正数。当该服务器的IP地址发生改变时，如果broker.id没有变化，则不会影响consumers的消息情况 log.dirs=/log/kafka-logs kafka数据的存放地址，多个地址的话用逗号分割/
阅读全文
摘要：网络和IO线程配置优化 配置参数 num.network.threads：Broker处理消息的最大线程数 num.io.threads：Broker处理磁盘IO的线程数 优化建议 一般num.network.threads主要处理网络io，读写缓冲区数据，基本没有io等待，配置线程数量为cpu核数
阅读全文
摘要：Kafka高性能的特点及条件 Kafka是一个高吞吐量分布式消息中间件，并且提供了消息的持久化功能。其高可行有两个重要的特点： 利用了磁盘连续读写性能显著高于随机读写性能的特点 并发，将一个topic拆分为多个partition 磁盘的连续性 要充分利用磁盘连续读写高性能的特点，就意味着要减少操作系
阅读全文
摘要：如何在Kafka上创建topic? 手工脚本创建 topic制定topic的name –partitions指定分区数，这个参数要根据broker数和数据量决定，一般情况下每个Broker上两个分区最好 –replication factor指定partition的replicas数，建议设置为2
阅读全文
摘要：依赖包导入 producer开发 producer参数说明 metadata.broker.list:指定kafka节点列表，用于获取metadata，不必全部指定.如metadata.broker.list=192.168.1.10:9092,192.168.1.11:9092 partition
阅读全文
摘要：引用自：http://blog.csdn.net/lizhitao/article/details/51718185 Kafka副本 Kafka中主题的每个Partition有一个预写式日志文件，每个Partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到Partition中，P
阅读全文
摘要：Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输 支持Kafka Server
阅读全文
摘要：报错信息： java.lang.RuntimeException: java.lang.RuntimeException: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$ConnectionLossException
阅读全文