05 2022 档案
摘要:flume启动停止脚本 1.在bin/目录下创建f1.sh vim f1.sh 写入 #! /bin/bash case $1 in "start") for i in hadoop01 hadoop02 do echo" 启动 $i 采集flume " ssh $i "nohup /opt/flu
阅读全文
摘要:flume+kafka配置 1.在flume/conf目录下创建flume-kafka.conf文件 2.写入如下配置 #为各组件命名 a1.sources = r1 a1.channels = c1 #描述source a1.sources.r1.type = TAILDIR a1.sources
阅读全文
摘要:自定义flume拦截器 使用IDEA自定义flume拦截器 1.创建maven工程flume-interceptor 2.创建包com.flume.interceptor 3.在pom.xml中添加如下配置 <dependencies> <dependency> <groupId>org.apach
阅读全文
摘要:Python爬虫之爬取豆瓣top import bs4 # 网页解析,获取数据 import re # 正则表达式,进行文字匹配 import urllib.request # 制定URL,获取网页数据 import urllib.parse import xlwt # 进行Excel操作 impo
阅读全文
摘要:kafka较新版本的常用命令 kafka2.2之后版本中使用--zookeeper hadoop01:2181会出现报错情况,2.2之后的版本使用了--bootstrap-server hadoop01:9092来替换--zookeeper hadoop01:2181 下面给出较新版本常用命令: #
阅读全文
摘要:kafka闪退之Cluster ID不匹配的问(已解决) 1.打开kafka目录下的logs/server.log,看到以下错误 2.修改log.dirs路径下的meta.properties文件,将luster.id的值改成和报错信息中的值一样即可
阅读全文
摘要:kafka集群安装 前提:安装成功zookeeper 1.下载 到apache官网下载对应的kafka 2.解压 # tar -zxvf kafka_2.12-3.1.0.tgz -C /opt 3.修改配置文件 进入conf/目录修改server.properties中的部分配置 # The id
阅读全文
摘要:zookeeper集群启动脚本 在Hadoop01的bin/目录下创建zookeeper启动脚本zk.sh vim zk.sh 插入以下内容 #!/bin/bash case $1 in "start"){ for i in hadoop01 hadoop02 hadoop03 do echo zo
阅读全文
摘要:zookeeper集群搭建 版本: VMware Workstation Pro16.2 hadoop2.7 centos7 1.下载 到apache官网下载对应的zookeeper 2.解压 # tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt
阅读全文
摘要:Python学习笔记:isalnum()函数的用法 isalnum()函数:检测字符串是否由字母和数字组成,若字符串由数字和字母组成则返回true,否则返回false str1 = 'python' print(str1.isalnum()) # True str2 = 'python学习' pri
阅读全文
摘要:Python学习笔记:isalpha()函数的用法 isalpha()方法:判断字符串是否值由字母组成,如果字符串中所有字符都是字母子返回True,否则返回false。 str1 = 'python' print(str1.isalpha()) # True str2 = 'python学习' pr
阅读全文