随笔分类 - BigData
摘要：Hadoop | 集群启动停止脚本 hdp.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 hadoop集群 " echo " 启动 hdfs "
阅读全文
摘要：无法获取"/opt/moudle/hadoop-3.1.3/logs/hadoop-root-nodemanager-hadoop103.out.2" 的文件状态(stat): 没有那个文件或目录 解决：删除 /hadoop路径/etc/hadoop/workers 下 localhost等无用字段
阅读全文
摘要：配置日志聚集 功能：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上 注意：开启日志聚集功能， 需要重新启动 NodeManager 、ResourceManager 和 HistoryServer 配置yarn-site.xml <!-- 开启日志聚集功能 --> <property>
阅读全文
摘要：配置历史服务器 配置 mapred-site.xml（hadoop安装路径下/etc/hadoop/mapred-site.xml） <!-- 历史服务器端地址 内部通讯 --> <property> <name>mapreduce.jobhistory.address</name> <value>
阅读全文
摘要：Hadoop集群启动用户问题 问题描述：报用户无法写入logs（没有写权限），改为root，报不是root启动，jps不显示namenode进程等等 已解决 统一解决方案 修改start-dfs.sh stop-dfs.sh start-yarn.sh stop-yarn.sh文件 /hadoop/
阅读全文
摘要：功能：循环复制文件到所有节点的相同目录下 目录：/home/用户/bin 名称：xsync 实现：见本博客xsync脚本 修改执行权限：chmod +x xsyn 复制到/bin中可全局调用：sudo cp xsync /bin/ 同步环境变量配置(root所有者):sudo ./bin/xsync
阅读全文
摘要：Hadoop | 核心配置 配置 core-site.xml cd $HADOOP_HOME/etc/hadoop vim core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" hr
阅读全文
摘要：Hadoop | 环境搭建（二）-3台Linux机器准备 克隆虚拟机 克隆前需要配置静态ip 详见vm16下ip配置（信息敏感，对外不可见，需要请留言） 克隆三台准备好的虚拟机 配置 ip 地址 、hostname 主机名 、hosts（3台机器操作类似 修改对应主机名 ip等即可） //ip 路径
阅读全文
摘要：Hadoop | 环境搭建（一）-模板机准备 linux最小安装 主机名hadoop-000 内存4g 硬盘30G （安装时打开以太网连接） hadoop000虚拟机配置 ping www.baidu.com(可联网) yum install -y epel-release 安装 epel-rele
阅读全文
摘要：配置日志聚集 日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上 注：开启日志聚集功能， 需要重新启动 NodeManager、ResourceManager、HistoryServer 配置yarn-site.xml 命令：vim yarn-site.xml 添加如下配置
阅读全文
摘要：配置历史服务器 配置 mapred-site.xml <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服务
阅读全文
摘要：Linux 分发文件的脚本 #!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历所有机器 （只有这里机器名要改 要分发多少机器写多少机器名 没写机器名与ip映射的 写ip） for
阅读全文
