随笔分类 - 日报
摘要：1. Kafka充当Flume的source数据源，此时也就意味着Flume需要采集Kafka的数据，Flume相当于是kafka的一个消费者 .conf文件(KafkaToConsole.conf) #sources别名:r1 a1.sources = r1 #sink别名:k1 a1.sinks
阅读全文
摘要：案例要求 /** * 要求将控制台输入的每一行数据发送到Kafka中进行存储 * 输入的每一行数据形式如下 * s001 zs 20 男 * s002 ls 21 女 * 要求将数据发送到我们的kafka的student主题中 同时要求发送的数据以学生编号为key，以学生信息为value形式进行数据
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties &
阅读全文
摘要：修改文件 [root@node1 ~]# vi /opt/app/kafka-0.11.0.0/config/server.properties advertised.listeners=PLAINTEXT://192.168.200.111:9092 [root@node2 ~]# vi /opt
阅读全文
摘要：kafka当中，生产者和消费者是有很多不同形式的 |kafka形式|使用场景| | | | |生产者和消费者有kafka自带的|生产者生产的数据是我们在控制台输入的数据| |我们也可以通过Java API自己编写生产者和消费者|自定义生产者生产的数据类型| |kafka也可以结合一些其他技术框架Fl
阅读全文
摘要：1. kafka是apache开源的消息队列 2. 消息队列有什么好处？ 解耦：在消费者和生产者两端均设置一个相同的接口，两边都实现接口。 防止消费者因为生产者数据量太大，导致访问数据库的次数大大增加，而导致系统崩溃。 削峰，峰值处理能力 顺序保证，每个topic内部是有序的 缓冲：消息队列通过一个
阅读全文
摘要：步骤 创建maven项目 引入zookeeper编程依赖 <dependencies> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.6</ve
阅读全文
摘要：1. 启动zk客户端 zkCli.sh 2. 节点的命令 创建节点命令 create [-s] [-e] 节点路径 节点内容 -s和-e是一个可选项，可以加也可以不加 -s代表的是创建的字节点需不需要带序号，如果加上-s的话，创建的子节点会自动在节点后拼接一个编号 -e代表的是否创建一个临时节点，如
阅读全文
摘要：命令行方式 与主题有关的命令 需要连接上zookeeper集群操作(主题的名字以及分区数据、副本数等属于元数据，元数据是在zookeeper中存储) 查看kafka服务器中有哪些主题 kafka-topics.sh --zookeeper node1:2181 --list 创建一个主题 kafka
阅读全文
摘要：1:查看防火状态 systemctl status firewalld service iptables status 2:暂时关闭防火墙 systemctl stop firewalld service iptables stop 3:永久关闭防火墙 systemctl disable firew
阅读全文
摘要：package SparkSQL.fun.project import org.apache.spark.SparkConf import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregate
阅读全文
摘要：要求：统计每一个商品的四种行为出现次数 案例 package SparkSQL.fun.project import org.apache.spark.SparkConf import org.apache.spark.sql.expressions.{MutableAggregationBuffe
阅读全文
摘要：package SparkSQL.fun.registerfum import org.apache.spark.SparkConf import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggre
阅读全文
摘要：package SparkSQL.fun.registerfum import org.apache.spark.SparkConf import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggre
阅读全文
摘要：package SparkSQL.fun.registerfum import org.apache.spark.SparkConf import org.apache.spark.sql.{Dataset, SparkSession} import scala.beans.BeanProperty
阅读全文
摘要：package SparkSQL.fun import org.apache.spark.SparkConf import org.apache.spark.sql.{Dataset, SparkSession} object PartitionCode { def main(args: Array
阅读全文
