2022年5月16日
flume启动停止脚本
摘要： flume启动停止脚本 1.在bin/目录下创建f1.sh vim f1.sh 写入 #! /bin/bash case $1 in "start") for i in hadoop01 hadoop02 do echo" 启动 $i 采集flume " ssh $i "nohup /opt/flu 阅读全文
posted @ 2022-05-16 19:21 是帅哥没错 阅读(240) 评论(0) 推荐(0) 编辑
flume+kafka配置
摘要： flume+kafka配置 1.在flume/conf目录下创建flume-kafka.conf文件 2.写入如下配置 #为各组件命名 a1.sources = r1 a1.channels = c1 #描述source a1.sources.r1.type = TAILDIR a1.sources 阅读全文
posted @ 2022-05-16 18:40 是帅哥没错 阅读(437) 评论(0) 推荐(0) 编辑
自定义flume拦截器
摘要： 自定义flume拦截器 使用IDEA自定义flume拦截器 1.创建maven工程flume-interceptor 2.创建包com.flume.interceptor 3.在pom.xml中添加如下配置 <dependencies> <dependency> <groupId>org.apach 阅读全文
posted @ 2022-05-16 18:32 是帅哥没错 阅读(206) 评论(0) 推荐(0) 编辑
Python爬虫之爬取豆瓣top
摘要： Python爬虫之爬取豆瓣top import bs4 # 网页解析，获取数据 import re # 正则表达式，进行文字匹配 import urllib.request # 制定URL，获取网页数据 import urllib.parse import xlwt # 进行Excel操作 impo 阅读全文
posted @ 2022-05-16 17:06 是帅哥没错 阅读(76) 评论(0) 推荐(0) 编辑