随笔分类 - kafka
对kafka的介绍
摘要：上传，解压 tar -zxvf kafka-eagle-bin-3.0.1.tar.gz cd kafka-eagle-bin-3.0.1 tar -zxvf efak-web-3.0.1-bin.tar.gz mv efak-web-3.0.1 /opt/app/ 配置文件system-confi
阅读全文
摘要：背景： 电商网站用户在网站的每次行为都会以日志数据的形式加以记录到日志文件中，其中用户的行为数据日志格式如下：1,2268318,pv,1511544070 黑名单用户的定义规则如下： 如果某一件商品被同一用户在1分钟之内点击超过10次，那么此时这个用户就是当前商品的黑名单用户，我们需要将黑名单用户
阅读全文
摘要：Spark Streaming只能充当Kafka的消费者 Spark Steaming整合Kafka数据，读取Kafka数据有两种方式 1、Receiver（使用Spark中接受器去处理Kafka的数据）方法 连接zookeeper集群读取数据 仅作了解（被淘汰） 2、Direct方法--直连kaf
阅读全文
摘要：引入pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance
阅读全文
摘要：1. Kafka充当Flume的source数据源，此时也就意味着Flume需要采集Kafka的数据，Flume相当于是kafka的一个消费者 .conf文件(KafkaToConsole.conf) #sources别名:r1 a1.sources = r1 #sink别名:k1 a1.sinks
阅读全文
摘要：案例要求 /** * 要求将控制台输入的每一行数据发送到Kafka中进行存储 * 输入的每一行数据形式如下 * s001 zs 20 男 * s002 ls 21 女 * 要求将数据发送到我们的kafka的student主题中 同时要求发送的数据以学生编号为key，以学生信息为value形式进行数据
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：修改文件 [root@node1 ~]# vi /opt/app/kafka-0.11.0.0/config/server.properties advertised.listeners=PLAINTEXT://192.168.200.111:9092 [root@node2 ~]# vi /opt
阅读全文
摘要：kafka当中，生产者和消费者是有很多不同形式的 |kafka形式|使用场景| | | | |生产者和消费者有kafka自带的|生产者生产的数据是我们在控制台输入的数据| |我们也可以通过Java API自己编写生产者和消费者|自定义生产者生产的数据类型| |kafka也可以结合一些其他技术框架Fl
阅读全文
摘要：1. kafka是apache开源的消息队列 2. 消息队列有什么好处？ 解耦：在消费者和生产者两端均设置一个相同的接口，两边都实现接口。 防止消费者因为生产者数据量太大，导致访问数据库的次数大大增加，而导致系统崩溃。 削峰，峰值处理能力 顺序保证，每个topic内部是有序的 缓冲：消息队列通过一个
阅读全文
摘要：命令行方式 与主题有关的命令 需要连接上zookeeper集群操作(主题的名字以及分区数据、副本数等属于元数据，元数据是在zookeeper中存储) 查看kafka服务器中有哪些主题 kafka-topics.sh --zookeeper node1:2181 --list 创建一个主题 kafka
阅读全文
摘要：mapreduce依赖 <properties> <hadoop.version>2.8.5</hadoop.version> </properties> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifa
阅读全文
摘要：1.异步通信原理 观察者模式 定义对象间一种一对多的依赖关系，每当一个对象（目标对象）改变状态，所有依赖于它的对象（观察者对象）都会得到通知并自动更新。 场景:到货通知 生产者消费者模式 传统模式： 工人生产出车后，由工人给消费者。 耦合性高，当生产者和消费者发生变化时，需要重写业务逻辑。 生产者消
阅读全文
