bigdata - 随笔分类 - adolfmc

阿里云构建Kafka单机集群环境

摘要：简介在一台ECS阿里云服务器上构建Kafa单个集群环境需要如下的几个步骤：服务器环境 JDK的安装 ZooKeeper的安装 Kafka的安装 1. 服务器环境 CPU： 1核内存： 2048 MB (I/O优化) 1Mbps 操作系统 ubuntu14.04 64位感觉服务器性能还是很好的阅读全文

posted @ 2017-08-15 06:53 adolfmc 阅读(1589) 评论(0) 推荐(0) 编辑

Kafka【第一篇】Kafka集群搭建

摘要：Kafka初识 1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is 阅读全文

posted @ 2017-08-14 23:02 adolfmc 阅读(187) 评论(0) 推荐(0) 编辑

KafkaOffsetMonitor 安装

摘要：KafkaOffsetMonitor 安装 1，下载KafkaOffsetMonitor-assembly-0.2.0.jar 2,启动步骤1:启动ZK（DN1～DN3节点） zkServer.sh start 步骤2:启动Kafka服务（集群依次输入以下命令启动） kafka-server-st 阅读全文

posted @ 2017-08-14 20:47 adolfmc 阅读(376) 评论(0) 推荐(0) 编辑

logback-kafka-appender

摘要：logback 日志写入kafka队列 logback-kafka-appender Logback incompatibility Warning Due to a bug in logback-core (LOGBACK-1158), logback-kafka-appender does no 阅读全文

posted @ 2017-08-11 22:19 adolfmc 阅读(1447) 评论(0) 推荐(0) 编辑

Kafka单机环境的部署

摘要：前面说过Kafka集群环境的部署，现在主要说一下在本地测试中Kafka单机环境的部署，和前面一样首先保证zookeeper服务的正常运行，然后解压并释放kafka安装包，并放到指定位置：现在开始编辑配置文件server.properties，执行命令： vim config/server.prop 阅读全文

posted @ 2017-08-11 12:30 adolfmc 阅读(20071) 评论(0) 推荐(0) 编辑

在CentOS上安装ZooKeeper集群

摘要：（可选）创建新用户一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group, 创建一个新的用户，并加入group, 给新用户设置密码， 1. 单机模式(Standalone mode) 阅读全文

posted @ 2017-08-11 10:35 adolfmc 阅读(360) 评论(0) 推荐(0) 编辑

在CentOS 7上安装Kafka

摘要：简介 Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据阅读全文

posted @ 2017-08-11 10:35 adolfmc 阅读(7382) 评论(0) 推荐(0) 编辑

Storm集成Kafka应用的开发

摘要：我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，应对这种情况，使用kafka作为消息队阅读全文

posted @ 2017-08-11 09:44 adolfmc 阅读(451) 评论(0) 推荐(0) 编辑

随笔分类 - bigdata