2021年12月17日
通过api如何连接kerberos认证的hadoop
摘要： 虽然通过api来操作hdfs的可能性不大,但在学习hdfs api时碰到这个问题就记录一下 1.在集群中生成keytab文件 我是直接在/var/run/cloudera-scm-agent/process/xxxx-DATANODE...这个目录下拿的hdfs.keytab文件,如果是普通hdfs 阅读全文
posted @ 2021-12-17 16:34 乐百事 阅读(476) 评论(0) 推荐(0) 编辑
hadoop3.x新特性
摘要： hadoop3.x对比hadoop2.x新特性 以下只是我个人觉得关注度较高的几个新特性相关的介绍. 1. jdk 在Hadoop2时，可以使用JDK7，但是在Hadoop3中，最低版本要求是JDK8，所以低于JDK8的版本需要对JDK进行升级，方可安装使用Hadoop3 2. 引入纠删码(Eras 阅读全文
posted @ 2021-12-17 16:08 乐百事 阅读(388) 评论(0) 推荐(0) 编辑
2021年12月16日
hive 常用引擎配置
摘要： 一. 常用hive引擎 自带的mr引擎,不需要额外配置 hive on spark 在hive的搭建博客中已经进行了hive on spark的配置 https://www.cnblogs.com/lebaishi/p/15693708.html hive on tez 基于内存计算的引擎 二. 配 阅读全文
posted @ 2021-12-16 18:20 乐百事 阅读(446) 评论(0) 推荐(0) 编辑
elk中es分片数限制导致日志接受异常
摘要： 事件背景: 早上的时候elk都是正常的,结果下午发现从10点之后很多索引的日志都收不到了,只有极个别索引有日志刷新. 日志有三种接入方式: 1. filebeat-->logstash-->es 2. rsyslog-->logstash-->es 3. filebeat-->kafka-->log 阅读全文
posted @ 2021-12-16 17:31 乐百事 阅读(874) 评论(0) 推荐(0) 编辑
apache 大数据平台搭建(sqoop)
摘要： 1.官网下载安装包： http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2.安装sqoop 上传安装包并解压 上传安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到服务器上,进入安装包所在的路径执行解压命令: 阅读全文
posted @ 2021-12-16 14:30 乐百事 阅读(37) 评论(0) 推荐(0) 编辑
2021年12月15日
apache 大数据平台搭建(hive)
摘要： 一.官网下载安装包 https://hive.apache.org/ 由于hive-3.1.2默认支持的时spark2.4.3的版本,我们后面需要安装spark3.0.0 所以需要重新编译,可留言获取安装包 编译步骤：官网下载 Hive3.1.2 源码，修改 pom 文件中引用的 Spark 版本为 阅读全文
posted @ 2021-12-15 18:03 乐百事 阅读(341) 评论(0) 推荐(0) 编辑
apache 大数据平台搭建(flume)
摘要： flume一般安装在生成日志的应用服务器中,通过flume将应用服务器日志数据接入kafka或者hadoop文件系统等等 1.官网下载安装包 http://flume.apache.org/ 2.解压安装 #进入安装包所在目录,执行解压命令 tar -zxf /opt/software/apache 阅读全文
posted @ 2021-12-15 16:26 乐百事 阅读(151) 评论(0) 推荐(0) 编辑
kakfa监控之kafka eagle
摘要： 一.修改kafka启动命令 修改kafka-server-start.sh命令中 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi 为: if [ "x$KAFKA_HEAP_OPTS" 阅读全文
posted @ 2021-12-15 16:16 乐百事 阅读(53) 评论(0) 推荐(0) 编辑
apache 大数据平台搭建(kafka)
摘要： 安装前提:已经搭建好zookeeper集群并能正常运行zookeeper 一.下载并上传安装包到服务器 官网下载安装包即可 二.安装kafka 1.解压kafka 进入kafka安装包所在路径,执行解压命令 tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ 阅读全文
posted @ 2021-12-15 15:53 乐百事 阅读(44) 评论(0) 推荐(0) 编辑
apache 大数据平台搭建(zookeeper)
摘要： 一.搭建zookeeper 1.官网下载安装包 https://zookeeper.apache.org/ 2.上传服务器并解压 在hadoop101上执行: #进入安装包所在路径,执行解压命令 tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/ #修改 阅读全文
posted @ 2021-12-15 15:28 乐百事 阅读(212) 评论(0) 推荐(0) 编辑