07 2021 档案
摘要：简介 介绍：The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack） Elasticsearch简称ES，ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以
阅读全文
摘要：集群安装 集群规划：在那些机器上部署集群（本机 | 3台分布式 | 5、11台分布式等 ）一般学习集群取3台 安装： 解压到/opt/moudle目录 tar -zxvf apache-zookeeper-3.5.7- bin.tar.gz -C /opt/moudle/ ## 重命名方便使用 mv
阅读全文
摘要：无法获取"/opt/moudle/hadoop-3.1.3/logs/hadoop-root-nodemanager-hadoop103.out.2" 的文件状态(stat): 没有那个文件或目录 解决：删除 /hadoop路径/etc/hadoop/workers 下 localhost等无用字段
阅读全文
摘要：配置日志聚集 功能：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上 注意：开启日志聚集功能， 需要重新启动 NodeManager 、ResourceManager 和 HistoryServer 配置yarn-site.xml <!-- 开启日志聚集功能 --> <property>
阅读全文
摘要：配置历史服务器 配置 mapred-site.xml（hadoop安装路径下/etc/hadoop/mapred-site.xml） <!-- 历史服务器端地址 内部通讯 --> <property> <name>mapreduce.jobhistory.address</name> <value>
阅读全文
摘要：Hadoop集群启动用户问题 问题描述：报用户无法写入logs（没有写权限），改为root，报不是root启动，jps不显示namenode进程等等 已解决 统一解决方案 修改start-dfs.sh stop-dfs.sh start-yarn.sh stop-yarn.sh文件 /hadoop/
阅读全文
摘要：功能：循环复制文件到所有节点的相同目录下 目录：/home/用户/bin 名称：xsync 实现：见本博客xsync脚本 修改执行权限：chmod +x xsyn 复制到/bin中可全局调用：sudo cp xsync /bin/ 同步环境变量配置(root所有者):sudo ./bin/xsync
阅读全文
摘要：Hadoop | 核心配置 配置 core-site.xml cd $HADOOP_HOME/etc/hadoop vim core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" hr
阅读全文
摘要：Linux | ssh无密配置 ssh 另一台电脑的 IP 地址 >exit >回到本机（会在该用户目录下出现.ssh 文件夹 ll -a 查询） 生成公钥和私钥： 到该目录 /home/该用户/.ssh > ssh-keygen -t rsa 将公钥拷贝到目标机器：ssh-copy-id 目标电脑
阅读全文
摘要：初始化Linux机器 ifconfig命令 yum install net-tools -y vim编辑器 yum -y install vim tab补全键 ##安装epel 源 yum -y install epel-release ##加快yun速度 yum -y install yum-pl
阅读全文
摘要：Hadoop | 环境搭建（二）-3台Linux机器准备 克隆虚拟机 克隆前需要配置静态ip 详见vm16下ip配置（信息敏感，对外不可见，需要请留言） 克隆三台准备好的虚拟机 配置 ip 地址 、hostname 主机名 、hosts（3台机器操作类似 修改对应主机名 ip等即可） //ip 路径
阅读全文
摘要：Hadoop | 环境搭建（一）-模板机准备 linux最小安装 主机名hadoop-000 内存4g 硬盘30G （安装时打开以太网连接） hadoop000虚拟机配置 ping www.baidu.com(可联网) yum install -y epel-release 安装 epel-rele
阅读全文
