hadoop 性能调优与运维
hadoop 性能调优与运维
1. 硬件选择 2. 操作系统调优与jvm调优 3. hadoop参数调优4. hadoop运维
硬件选择
1) hadoop运行环境
2) 原则一： 主节点可靠性要好于从节点
原则二：多路多核，高频率cpu、大内存，
namenode 100万文件的元数据要消耗800M内存，内存决定了集群保存文件数的总量， resourcemanager同时运行的作业会消耗一定的内存。
datanode 的内存需要根据cpu的虚拟核数(vcore) 进行配比，CPU的vcore数计算公式为=cpu个数 * 单cpu核数* HT（超线程）
内存容量大小 = vcore数 * 2GB(至少2GB)
原则三： 根据数据量确定集群规模
一天增加10GB, 365天，原数据1TB，replacation=3， 1.3 mapreduce 计算完保存的数据，规划容量
（1TB + 10GB*365）*3 *1.3 =17.8TB
如果一台datanode的存储空间为2TB， 18/2= 9
总节点为 = 9+2 =11
还要考虑作业并不是均匀分布的， 有可能会倾斜到某一个时间段，需要预留资源
原则四： 不要让网路I/O 成为瓶颈
hadoop 作业通常是 I/O密集型而非计算密集型， 瓶颈通常集中出现在I/O上， 计算能力可以通过增加新节点进行线性扩展，要注意网络设别处理能力。
操作系统调优
1 避免使用swap 分区 将hadoop守护进程的数据交换到硬盘的行为可能会导致操作超时。
2 调整内存分配策略
操纵系统内核根据vm.oversommit_memory 的值来决定分配策略，并且通过vm.overcommit_ratio的值来设定超过物理内存的比例。
3. 修改net.core.somaxconn参数
该参数表示socker监听backlog的上限，默认为128,socker的服务器会一次性处理backlog中的所有请求，hadoop的ipc.server.listen.queue.size参数和linux的net.core.somaxconn
参数控制了监听队列的长度，需要调大。
4.增大同时打开文件描述符的上限
对内核来说，所有打开的文件都通过文件描述符引用，文件描述符是一个非负整数，hadoop的作业经常会读写大量文件，需要增大同时打开文件描述符的上限。
5.选择合适的文件系统，并禁用文件的访问时间
ext4 xfs ,文件访问时间可以让用户知道那些文件近期被查看或修改， 但对hdfs来说， 获取某个文件的某个块 被修改过，没有意义，可以禁用。
6. 关闭THP (transparent Huge Pages)
THP 是一个使管理 Huge Pages自动化的抽象层， 它会引起cpu占用率增大， 需要关闭。
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag
hadoop参数调优
HDFS调优 1. 设置合理的块大小(dfs.block.size) 2. 将中间结果目录设置为分布在多个硬盘以提升写入速度(mapred.local.dir) 3. 设置datanode处理RPC的线程数，大集群可以适当加大（dfs.datanode.handler.count）,默认为3，可以适当加大为10 4. 设置namenode 能同时处理的请求数，(dfs.namenode.handler.count),为集群模式的自然对数(lnN)的20倍。 YARN调优 yarn的资源表示模型为ceontainer（容器）,container 将资源抽象为两个维度，内存和虚拟cpu(vcore) 1. 兼容各种计算框架 2. 动态分配资源，减少资源浪费 容器内存 yarn.nodemanager.resource.memory-mb 最小容器内存 yarn.scheduler.minimum-allocation-mb 容器内存增量 yarn.scheduler.increment-allocation-mb 最大容器内存 yarn.scheduler.maximum-allocation-mb 容器虚拟cpu内核 yarn.nodemanager.resource.cpu-vcores 最小容器虚拟cpu内核数量 yarn.scheduler.minimum-allocation-vcores 容器虚拟cpu内核增量 yarn.scheduler.increment-allocation-vcores 最大容器虚拟cpu内核数量 yarn.scheduler.maximum-allocation-vcores MapReduce调优，调优三大原则 1.增大作业并行程度 2.给每个任务足够的资源 3. 在满足前2个条件下，尽可能的给shuffle预留资源
hadoop运维
基础运维 1. 启动和体质hadoop (包括hdfs) ./start-all.sh ./stop-all.sh 2.启动/停止 hdfs ./start-dfs.sh ./stop-dfs.sh 3.启动/停止 单个hdfs进程 ./hadoop-daemon.sh start namenode ./hadoop-daemon.sh stop namenode ./hadoop-daemon.sh start datanode ./hadoop-daemon.sh stop datanode 启动和关闭 yarn进程 sbin/start-yarn.sh 主 sbin/yarn-daemon.sh start resourcemanager 第二节点 集群节点动态扩容和卸载
1.增加datanode
修改slave,添加新的datanode ./hadoop-daemon.sh start datanode 启动datanode ./hadoop dfsadmin -refreshNodes 通知namenode 增加了一个节点 2. 卸载datanode
stop datanode 命令只能停止datanode， 并不能把数据完全的迁移出来
1). 修改配置 dfs.hosts 和 dfs.hosts.exclude,把将要卸载的datanode ip添加到dfs.hosts 和dfs.hosts.exclude 末尾，执行
./hadoop dfsadmin -refresNodes #数据转移，使用web端口可以查看迁移进度
2). 停止服务器
./hadoop-deamon.sh stop datanode
3). 把dfs.hosts 和 dfs.hosts.exclude 中的 卸载的datanode ip地址删除
4). 再次执行
./haddop dfsadmin -refresNodes
5).增加 yarn 的nodemanager
修改slave文件， 直接启动
./yarn-daemon.sh start nodemanager
6).卸载nodemanger
直接停止即可
./yarn-daemon.sh start nodemanager
./hadoop-daemon.sh
namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc)
yarn-daemon.sh
resourcemanager|nodemanager
yarn 第二节点启动命令 yarn-daemon.sh start resourcemanager
常见的运维技巧
1. 查看日志
2.清理临时文件
hdfs 的临时文件路径:/data/hadoop/tmp/mapred/staging
本地临时文件路径： {mapred.local.dir}/mapred/userlogs
3.定期执行数据均衡脚本
