摘要：
flume参数： 此配置定义名为a1的单个代理。a1有一个侦听端口44444上的数据的源，一个缓冲内存中事件数据的通道，以及一个将事件数据记录到控制台的接收器。 根据scource、channel、sink划分 1、Sources Flume中常用的Source有NetCat，Avro，Exec，S 阅读全文
摘要：
通过flume收集其他机器上flume的监测数据，发送到本机的kafka进行消费。 环境：slave中安装flume，master中安装flume+kafka（这里用两台虚拟机，也可以用三台以上） 通过监控test.log文件的变化，收集变化信息发送到主机的flume中，再发送到kafka中进行消费 阅读全文
摘要：
环境：两台虚拟机（ 每台都有flume） 第一台slave作为消息的产生者 第二台master作为消息的接收者 IP（192.168.83.133） 原理：通过监听slave中文件的变化，获取变化信息，发送到另一台电脑。 1、slave上配置conf里面的example.conf(标红的注意下) 2 阅读全文
摘要：
1，查看kafka topic列表，使用--list参数 2，查看kafka特定topic的详情，使用--topic与--describe参数 列出了lx_test_topic的parition数量、replica因子以及每个partition的leader、replica信息 3、Kafka 删除 阅读全文
摘要：
正常情况下，你安装好ubuntu16.04版本之后，系统会自带 python2.7版本，如果需要下载新版本的python3.5，就需要进行更新。下面给出具体教程： 1.首先在ubuntu的终端ternimal输入命令： sudo apt-get install python3.5 2.指定默认打开的 阅读全文
摘要：
为了实现远程kafka通信，我可谓是呕心沥血。期间各种bug各种调，太煎熬了 (T.T) 介绍： 我用一台虚拟机作为远程消息的发送方，用本地电脑主机作为消息的接收方 虚拟机：安装java，kafka，zookeeper 主机：eclipse，注意我没有说在主机上也要安装kafka的 1、虚拟机部署 阅读全文
摘要：
Storm主要的应用场景就是流式数据处理，例如实时推荐系统，实时监控系统等。 storm中的相关概念 在storm中，分布式的计算结构指的是一个topology(拓扑)，一个topology由流式数据，spouts(流生产者)，以及bolts(具体操作者)组成。Storm的topologies和其他 阅读全文
摘要：
环境： 1、kafka+zookeeper 2、window平台 3、eclipse 设置： 1、kafka和zookeeper安装，另一篇有介绍（https://www.cnblogs.com/51python/p/10870258.html） 2、eclipse代码（建立maven工程） pom 阅读全文
摘要：
基本命令格式 上传 scp -r myfilder tiantian@192.168.168.221:/home/tiantian/temp/ 复制本地文件到远程/home/tiantian/temp/的文件目录下 需要输入远程密码 下载 scp -r tiantian@192.168.168.22 阅读全文
摘要：
前面介绍了docker的基本信息，这里简单介绍下，如何使用docker 1、安装 1）添加需要的docker资源。 2）提示要确认，我们enter回车等待完成。 3）接着需要更新系统资源。 4）现在我们就可以开始安装docker以及相关需要的包了。 apt-get install docker.io 阅读全文