摘要：
一.官网下载安装包 https://hive.apache.org/ 由于hive-3.1.2默认支持的时spark2.4.3的版本,我们后面需要安装spark3.0.0 所以需要重新编译,可留言获取安装包 编译步骤：官网下载 Hive3.1.2 源码，修改 pom 文件中引用的 Spark 版本为 阅读全文
摘要：
flume一般安装在生成日志的应用服务器中,通过flume将应用服务器日志数据接入kafka或者hadoop文件系统等等 1.官网下载安装包 http://flume.apache.org/ 2.解压安装 #进入安装包所在目录,执行解压命令 tar -zxf /opt/software/apache 阅读全文
摘要：
一.修改kafka启动命令 修改kafka-server-start.sh命令中 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi 为: if [ "x$KAFKA_HEAP_OPTS" 阅读全文
摘要：
安装前提:已经搭建好zookeeper集群并能正常运行zookeeper 一.下载并上传安装包到服务器 官网下载安装包即可 二.安装kafka 1.解压kafka 进入kafka安装包所在路径,执行解压命令 tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ 阅读全文
摘要：
一.搭建zookeeper 1.官网下载安装包 https://zookeeper.apache.org/ 2.上传服务器并解压 在hadoop101上执行: #进入安装包所在路径,执行解压命令 tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/ #修改 阅读全文
摘要：
1.准备安装包 官网下载即可: 2.配置环境 2.1. 修改用户最大进程数和文件句柄数 vim /etc/security/limits.conf #添加以下内容 * hard nproc 65536 * soft nproc 120000 * hard nofile 65536 * soft no 阅读全文