随笔分类 - 大数据相关知识
大数据
关于flume Closing file: hdfs://PATH/1686250555721.gz.tmp failed. Will retry again in 180 seconds.的问题记录
摘要：问题描述：flume每到半夜总是一直报错，关闭某个文件失败，虽然不影响其他日志传输，但是一直有错误日志也很难受，有一种如芒在背的感觉。 部分报错日志： 09 六月 2023 02:55:55,730 INFO [SinkRunner-PollingRunner-DefaultSinkProcesso
阅读全文
摘要：1、flume官网 https://flume.apache.org/ 2、安装kerberos客户端 由于我在hdfs开启了kerberos认证，所以要先装kerberos客户端： yum install krb5-devel krb5-workstation -y再将kerberos serve
阅读全文
摘要：1、Hadoop单节点部署 部署过程看官方文档即可 https://hadoop.apache.org/ 为增加执行命令的便利性，添加hadoop的环境变量： vim /etc/profile.d/hadoop.sh export HADOOP_HOME=/usr/local/hadoop-3.3.
阅读全文
摘要：一、部署Kerberos服务端 Kerberos（也称为“GSSAPI”）是一种身份验证协议，用于在分布式计算环境中提供安全的身份验证和授权服务。它是由MIT开发的，并于1987年首次发布。Kerberos是一种基于X.509的认证协议，它使用TGS（Ticket Granting Service）
阅读全文
摘要：一、环境配置 1、主机配置 cdh-master 192.168.80.107 CPU4核 内存16G 磁盘200G cdh-node1 192.168.80.140 CPU4核 内存8G 磁盘200G cdh-node2 192.168.80.148 CPU4核 内存8G 磁盘200G数据库 19
阅读全文
摘要：1、交换内存告警 该告警通常就是使用了swap分区导致的，在生产环境中，如果服务器内存是256G；建议关闭swap分区，减少跟数据盘之间的交互； 2、修改swap阈值 任何：表示只要使用了swap分区就告警； 从不：无论怎么使用swap分区都不告警，即关闭swap告警； 指定：举例说明：如果swap
阅读全文
摘要：一、点击hdfs按钮进入hdfs配置界面 二、开始部署hdfs ha 三、分配角色 设置存储路径，这个可以自定义，我还在学习阶段我就默认了，之前改过，没起来，默认就好了；
阅读全文
摘要：一、环境准备 参考链接：https://www.cnblogs.com/zhangzhide/p/11108472.html 二、安装jdk(三台主机都要做) 下载jdk安装包并解压：tar xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/ #三台主机都要执
阅读全文
摘要：一、系统centOS7以上，至少三台主机 添加ip 主机名映射关系：（每台主机都要做） vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost
阅读全文
摘要：一、环境准备 准备至少3台设备；CentOS7系统； 如果是在实验环境下，给虚拟机的内存至少4G，根建议1T，数据盘1T，由于是虚拟机，所以根分区和数据盘放心大胆的给；如果是在生产环境则多多益善；我这次的实验环境是三台2G内存，50G硬盘的腾讯云主机(CentOS7.5)，不知是否能搭建成功，试试吧
阅读全文
