zookeeper 和 kafka 安装
zookeeper
-
curl -L -O http://mirror.bit.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.5.5.tar.gz
-
tar -zxvf apache-zookeeper-3.5.5.tar.gz
-
mv apache-zookeeper-3.5.5 /usr/local/
-
cd /usr/local/apache-zookeeper-3.5.5
-
cp conf/zoo_sample.cfg conf/zoo.cfg
-
vim conf/zoo.cfg
tickTime=2000
dataDir=/usr/local/apache-zookeeper-3.5.5/data
clientPort=2181
- ./bin/zkServer.sh start #失败 cat logs/*.log
[test01@test01s-Mac-mini /usr/local/apache-zookeeper-3.5.5]$cat logs/zookeeper-test01-server-test01s-Mac-mini.local.out
Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain
Caused by: java.lang.ClassNotFoundException: org.apache.zookeeper.server.quorum.QuorumPeerMain
- vim /etc/profile
export JAVA_HOME="/usr/local/jdk-11.0.1.jdk/Contents/Home/"
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/*.jar
- 然后在运行程序,还是运行失败 然后查看 包里的 README.md
- 执行:
mvn clean install # 漫长的时间,不知道等了多久
mvn javadoc:aggregate
kafka
kafka 基本概念:
- kafka可以以一个或多个服务以集群的方式去浏览多个数据中心
- kafka集群存储 记录流 是以 主题(topic)类别的 方式 去存储的
- 每条 记录 都 以 键,值,时间戳 组成
四个核心的api:
- Productor api:(生产者) 允许 应用去发布 1个或多个的 主题(topic) 的记录流
- Consumer api(消费者): 允许 应用去 订阅 1个或多个 主题(topic), 处理 生产的 记录流 给 消费者
- Streams api(流): 允许 应用 去 扮演一个 处理流的 角色, 消费 一个 来自1个或者多个的主题的 输入流, 和 生产 1个或多个主题的 输出流, 有效的 改造 输入输出流
- Connector api(连接器): 允许 构建 和重复 运行 消费者和 生产者 去 连接到 kafka 存在的 应用或者数据系统, 例如 关系数据库的连接器可能捕获对表的每个更改。
