kafka及扩展的安装笔记
参考文件
https://blog.csdn.net/weiwenjuan0923/article/details/76152744
一.首先确认下jdk有没有安装
安装参照这个连接
https://www.cnblogs.com/panzhaohui/p/6306675.html
安装包的下载地址:
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile 使配置文件生效:
java -version 查看安装上了没有
二. 接下来安装Kafka
安装kafka参考这个页面(参考这个)
http://orchome.com/6
https://blog.csdn.net/weiwenjuan0923/article/details/76152744
到https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载相应的版本
- 下载kafka
kafka-0.8.2.2-src.tgz (asc, md5)
wget https://archive.apache.org/dist/kafka/0.8.2.2/kafka-0.8.2.2-src.tgz
- 解压到 /usr/local/kafka/
- 运行默认的Kafka
后台启动运行 Zookeeper server
nohup sh bin/zookeeper-server-start.sh config/zookeeper.properties
或者前台启动启动运行
bin/zookeeper-server-start.sh config/zookeeper.properties
lsof -i:2181
查看2181端口占用 (出下面的说明端口号已经被监听了)
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 19358 root 90u IPv6 7266908 0t0 TCP *:eforward (LISTEN)
如果没有安装lsof就用yum安装一下
yum install lsof
启动Kafka server
``
jps 查看kafka是否启动服务
kafka常用操作
https://blog.csdn.net/code52/article/details/50935849
启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
lsof -i:9092
kafka php扩展的安装
参考下面的两个连接
https://blog.csdn.net/u013177568/article/details/62432940
https://www.cnblogs.com/whlives/p/8193669.html
安装librdkafka
git clone https://github.com/edenhill/librdkafka.git
cd librdkafka/
./configure
make
sudo make install
安装php-rdkafka
下载php-rdkafka文件,运行 git clone https://github.com/arnaud-lb/php-rdkafka.git
cd php-rdkafka
phpize
./configure --with-php-config=/www/server/php/70/bin/php-config //这里找到你的php安装目录
make && make install
此时会在/www/server/php/extensions/debug-non-zts-20151012/目录下有rdkafka.so文件
将extension=rdkafka.so增加在php.ini文件中 //宝塔里的是php.ini是在/www/server/php/70/etc
这个是常用命令的操作说明
https://blog.csdn.net/code52/article/details/50935849
Step 3: 创建一个主题(topic)
创建一个名为“test”的Topic,只有一个分区和一个备份:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
创建好之后,可以通过运行以下命令,查看已创建的名为test
的topic
主题信息:
bin/kafka-topics.sh --list --zookeeper localhost:2181 test
查看test
主题下partitions
分驱
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test
发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费分区里的消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
配置kafka
vim config/server.properties
查看topic下的日志日志对应的文件
push /tmp/kafka-logs/
ls
test-0
就是对应的文件夹
pwd
此时已经在下面这个文件夹里了
/tmp/kafka-logs
cd test-0/
ll
此时就可以看到对应的topic里的日志文件了