WOTGL - 博客园

Linux下librdkafka客户端的编译运行

摘要： Linux下librdkafka客户端的编译运行 librdkafka是一个开源的Kafka客户端C/C++实现，提供了Kafka生产者、消费者接口。由于项目需要，我要将Kafka生产者接口封装起来给别人调用，所以先安装了librdkakfa，然后在demo上进行修改封装一个生产者接口。 [一] 阅读全文

posted @ 2016-09-09 11:26 WOTGL 阅读(10365) 评论(1) 推荐(0)

在eclipse中运行storm-starter

摘要：开源软件官网提供的demo无疑是学习开源软件的最好的最原始的样例。在Storm官网里下载apache-storm-0.9.6.zip，里面\examples\storm-starter\src\jvm目录下有storm-starter demo。下面说一下如何在eclipse中运行这个demo。阅读全文

posted @ 2016-09-07 20:22 WOTGL 阅读(2322) 评论(0) 推荐(0)

WebSocket实时异步通信

摘要： WebSocket实时异步通信【一】WebSocket简介 WebSocket是HTML5推出一个协议规范，用来B/S模式中服务器端和客户端之间进行实时异步通信。众所周知，传统的HTTP协议中，服务器端和客户端通信只能是在客户端发送一个请求之后，服务器端才能对其响应，也就是说服务器端是不能够主动阅读全文

posted @ 2016-09-01 21:31 WOTGL 阅读(11873) 评论(0) 推荐(0)

消息系统Flume与Kafka的区别

摘要：首先Flume和Kafka都是消息系统，但是它俩也有着很多不同的地方，Flume更趋向于消息采集系统，而Kafka更趋向于消息缓存系统。【一】设计上的不同 Flume是消息采集系统，它主要解决问题是消息的多元采集。因此Flume在实现上提供了多达十几种的Flume Source，以供用户根据不同的阅读全文

posted @ 2016-08-31 21:19 WOTGL 阅读(5166) 评论(0) 推荐(0)

Flume连接Kafka的broker出错

摘要：在启动Flume的时候，出现下面的异常，但是程序照样能运行，Kafka也能够收到数据，只是偶尔会断点。 2016-08-25 15:32:54,561 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Loggin 阅读全文

posted @ 2016-08-30 19:42 WOTGL 阅读(1071) 评论(0) 推荐(0)

Flume简介与使用（三）——Kafka Sink消费数据之Kafka安装

摘要：前面已经介绍了如何利用Thrift Source生产数据，今天介绍如何用Kafka Sink消费数据。其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据那么当Flume的channel收到数据的时候，会根据配置文件主动把数据event发送到Kafka的broker上，所以只要阅读全文

posted @ 2016-08-30 00:31 WOTGL 阅读(6647) 评论(0) 推荐(0)

Flume OutOfMemoryError错误

摘要： Flume OutOfMemoryError错误运行Flume没多久就报下面的异常： 2016-08-24 17:35:58,927 (Flume Thrift IPC Thread 8) [ERROR - org.apache.flume.channel.ChannelProcessor.pro 阅读全文

posted @ 2016-08-27 20:00 WOTGL 阅读(3326) 评论(0) 推荐(0)

Flume简介与使用（二）——Thrift Source采集数据

摘要： Flume简介与使用（二）——Thrift Source采集数据继上一篇安装Flume后，本篇将介绍如何使用Thrift Source采集数据。 Thrift是Google开发的用于跨语言RPC通信，它拥有功能强大的软件堆栈和代码生成引擎，允许定义一个简单的IDL文件来生成不同语言的代码，服务器端阅读全文

posted @ 2016-08-27 18:45 WOTGL 阅读(3664) 评论(0) 推荐(0)

Flume简介与使用（一）——Flume安装与配置

摘要： Flume简介与使用（一）——Flume安装与配置 Flume简介 Flume是一个分布式的、可靠的、实用的服务——从不同的数据源高效的采集、整合、移动海量数据。分布式：可以多台机器同时运行采集数据，不同Agent的之前通过网络传输数据可靠的：Flume会将采集的数据缓存在Channel里，当S 阅读全文

posted @ 2016-08-26 14:50 WOTGL 阅读(9406) 评论(0) 推荐(0)

Storm集群扩容——从单机模式拓展到集群模式，以此类推

摘要： Storm是分布式的实时流处理系统，单机模式肯本不能体现其强大特点，尤其是当需要处理的数据很大很快的时候，Storm可以随时扩容，而且操作非常简单，编写的应用程序自动负载均衡。前面已经介绍了如何安装Storm——单机模式，如果已经成功安装好了单机模式的Storm，那么扩容就非常简单了。 1. 阅读全文

posted @ 2016-08-25 14:10 WOTGL 阅读(1067) 评论(0) 推荐(0)