摘要：
环境配置 1.在pycharm中下载Selenium 2.谷歌浏览器驱动程序下载地址： http://chromedriver.storage.googleapis.com/index.html 简单小例子 import time from selenium import webdriver # 设 阅读全文
摘要：
flume启动停止脚本 1.在bin/目录下创建f1.sh vim f1.sh 写入 #! /bin/bash case $1 in "start") for i in hadoop01 hadoop02 do echo" 启动 $i 采集flume " ssh $i "nohup /opt/flu 阅读全文
摘要：
flume+kafka配置 1.在flume/conf目录下创建flume-kafka.conf文件 2.写入如下配置 #为各组件命名 a1.sources = r1 a1.channels = c1 #描述source a1.sources.r1.type = TAILDIR a1.sources 阅读全文
摘要：
自定义flume拦截器 使用IDEA自定义flume拦截器 1.创建maven工程flume-interceptor 2.创建包com.flume.interceptor 3.在pom.xml中添加如下配置 <dependencies> <dependency> <groupId>org.apach 阅读全文
摘要：
Python爬虫之爬取豆瓣top import bs4 # 网页解析，获取数据 import re # 正则表达式，进行文字匹配 import urllib.request # 制定URL，获取网页数据 import urllib.parse import xlwt # 进行Excel操作 impo 阅读全文
摘要：
kafka较新版本的常用命令 kafka2.2之后版本中使用--zookeeper hadoop01:2181会出现报错情况，2.2之后的版本使用了--bootstrap-server hadoop01:9092来替换--zookeeper hadoop01:2181 下面给出较新版本常用命令： # 阅读全文
摘要：
kafka闪退之Cluster ID不匹配的问（已解决） 1.打开kafka目录下的logs/server.log,看到以下错误 2.修改log.dirs路径下的meta.properties文件，将luster.id的值改成和报错信息中的值一样即可 阅读全文
摘要：
kafka集群安装 前提：安装成功zookeeper 1.下载 到apache官网下载对应的kafka 2.解压 # tar -zxvf kafka_2.12-3.1.0.tgz -C /opt 3.修改配置文件 进入conf/目录修改server.properties中的部分配置 # The id 阅读全文
摘要：
zookeeper集群启动脚本 在Hadoop01的bin/目录下创建zookeeper启动脚本zk.sh vim zk.sh 插入以下内容 #!/bin/bash case $1 in "start"){ for i in hadoop01 hadoop02 hadoop03 do echo zo 阅读全文
摘要：
zookeeper集群搭建 版本： VMware Workstation Pro16.2 hadoop2.7 centos7 1.下载 到apache官网下载对应的zookeeper 2.解压 # tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt 阅读全文