随笔- 149  文章- 4  评论- 1  阅读- 11万 
08 2019 档案
kafka相关操作
摘要:kafka安装 下载 wget http://apache.gree.com/apache/kafka/1.0.2/kafka_2.11-1.0.2.tgz tar -zxvf kafka_2.11-1.0.2.tgz -C /usr/local/ mv /usr/local/kafka_2.11- 阅读全文
posted @ 2019-08-06 20:42 庭明 阅读(223) 评论(0) 推荐(0) 编辑
hbase相关操作
摘要:hbase安装 下载 wget http://apache.gree.com/apache/hbase/hbase-1.2.11/hbase-1.2.11-bin.tar.gz tar -zxvf base-1.2.11-bin.tar.gz -C /usr/local/ mv /ussr/loca 阅读全文
posted @ 2019-08-06 19:46 庭明 阅读(224) 评论(0) 推荐(0) 编辑
nginx配置文件
摘要:# nginx.conf文件示例user nobody; worker_processes 8; error_log varlog/nginx/error.log error; #pid logs/nginx.pid events { use epoll; worker_connections 50 阅读全文
posted @ 2019-08-06 14:12 庭明 阅读(290) 评论(0) 推荐(0) 编辑
spark Streaming与kafka的集成消费
摘要:Spark 2.3.3 Kafka 2.11-1.0.2 Java jdk1.8.0_191 Hbase 1.2.11 阅读全文
posted @ 2019-08-05 17:11 庭明 阅读(151) 评论(0) 推荐(0) 编辑
pyspark 使用时环境设置
摘要:1.在脚本中导入pyspark的流程 import os import sys spark_name = os.environ.get('SPARK_HOME',None) # SPARK_HOME即spark的安装目录,不用到bin级别,一般为/usr/local/spark if not spa 阅读全文
posted @ 2019-08-05 16:05 庭明 阅读(3234) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示