kafka及扩展的安装笔记

参考文件
https://blog.csdn.net/weiwenjuan0923/article/details/76152744

一.首先确认下jdk有没有安装

安装参照这个连接
https://www.cnblogs.com/panzhaohui/p/6306675.html
安装包的下载地址:
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile 使配置文件生效:

java -version 查看安装上了没有

二. 接下来安装Kafka

安装kafka参考这个页面(参考这个)
http://orchome.com/6
https://blog.csdn.net/weiwenjuan0923/article/details/76152744

到https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载相应的版本

  1. 下载kafka

wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-i586.tar.gz

kafka-0.8.2.2-src.tgz (asc, md5)
wget https://archive.apache.org/dist/kafka/0.8.2.2/kafka-0.8.2.2-src.tgz

  1. 解压到 /usr/local/kafka/
  2. 运行默认的Kafka

后台启动运行 Zookeeper server
nohup sh bin/zookeeper-server-start.sh config/zookeeper.properties

或者前台启动启动运行
bin/zookeeper-server-start.sh config/zookeeper.properties

lsof -i:2181 查看2181端口占用 (出下面的说明端口号已经被监听了)

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

java 19358 root 90u IPv6 7266908 0t0 TCP *:eforward (LISTEN)

如果没有安装lsof就用yum安装一下
yum install lsof

启动Kafka server

``
jps 查看kafka是否启动服务

kafka常用操作
https://blog.csdn.net/code52/article/details/50935849

启动kafka

bin/kafka-server-start.sh -daemon config/server.properties
lsof -i:9092

kafka php扩展的安装

参考下面的两个连接
https://blog.csdn.net/u013177568/article/details/62432940
https://www.cnblogs.com/whlives/p/8193669.html

安装librdkafka

git clone https://github.com/edenhill/librdkafka.git
cd librdkafka/
./configure
make
sudo make install

安装php-rdkafka

下载php-rdkafka文件,运行 git clone https://github.com/arnaud-lb/php-rdkafka.git

cd php-rdkafka
phpize
./configure --with-php-config=/www/server/php/70/bin/php-config //这里找到你的php安装目录

make && make install

此时会在/www/server/php/extensions/debug-non-zts-20151012/目录下有rdkafka.so文件

将extension=rdkafka.so增加在php.ini文件中 //宝塔里的是php.ini是在/www/server/php/70/etc

这个是常用命令的操作说明
https://blog.csdn.net/code52/article/details/50935849

Step 3: 创建一个主题(topic)

创建一个名为“test”的Topic,只有一个分区和一个备份:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建好之后,可以通过运行以下命令,查看已创建的名为testtopic主题信息:

bin/kafka-topics.sh --list --zookeeper localhost:2181 test

查看test主题下partitions分驱

bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费分区里的消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

配置kafka

vim config/server.properties

查看topic下的日志日志对应的文件

push /tmp/kafka-logs/
ls

test-0就是对应的文件夹

pwd

此时已经在下面这个文件夹里了
/tmp/kafka-logs

cd test-0/
ll

此时就可以看到对应的topic里的日志文件了

posted @ 2018-10-11 18:05  HaimaBlog  阅读(689)  评论(0编辑  收藏  举报