随笔分类 - Hadoop
摘要：主要用于排查异常。 方法1： 命令行设置： hadoop daemonlog -setlevel 192.168.1.10:50075 org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver DEBUG 方法2：web设置 http:/
阅读全文
摘要：1、配置core-site.xml文件 添加如下配置 <property> <name>hadoop.http.filter.initializers</name> <value>org.apache.hadoop.security.AuthenticationFilterInitializer</
阅读全文
摘要：一、配置hadoop配置文件 这里修改分为两种模式，一种是hdfs HA模式，一种是hdfs Non HA模式 1.1 非HA模式配置 使用webhdfs方式 1）修改hdfs-site.xml文件，添加如下配置： <property> <name>dfs.webhdfs.enabled</name
阅读全文
摘要：一、Ganglia基本概述 Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个
阅读全文
摘要：利用hadoop自带的测试程序测试集群性能 使用TestDFSIO、mrbench、nnbench、Terasort 、sort 几个使用较广的基准测试程序 测试程序在： ${HADOOP_HOME}/share/hadoop/mapreduce/ 一、查看工具 $ hadoop jar hadoo
阅读全文
摘要：1、关闭磁盘的noatime、nodelalloc 属性 在/etc/fstab中，添加磁盘noatime、nodelalloc 属性，如下： UUID=65a26878-c82e-4296-a134-a686248155f2 /data2 xfs defaults,noatime,nodelall
阅读全文
摘要：hadoop2.0 支持HA,基于这个功能可进行在线升级不需要停HDFS服务注意，滚动升级只支持Hadoop 2.4.0以后的版本。JNs相对稳定，在大多数情况下升级HDFS时不需要升级，在这里描述的滚动升级过程中，只考虑NNs和DNs，而不考虑JNs和ZKNs本次测试是非联邦集群，有kerbero
阅读全文
摘要：启动或者停止hadoop的时候，信息如下： Stopping namenodes on [hadoop1 hadoop2] The authenticity of host 'hadoop2 (172.17.0.10)' can't be established. ECDSA key fingerp
阅读全文
摘要：HDFS中NameNode工作机制1.NameNode的主要功能（1）负责客户端请求的响应； （2）负责元数据的管理。 2.元数据管理namenode对数据管理采用了三种存储形式： （1）内存元数据； （2）磁盘元数据镜像文件； （3）数据操作日志文件（可以通过日志运算出元数据）。 2.1元数据的存
阅读全文
摘要：机架感知脚本 使用python3编写机架感知脚本，报存到topology.py，给予执行权限 import sys import os DEFAULT_RACK="/default-rack" HADOOP_CONF_DIR = os.environ['HADOOP_CONF_DIR'] FILE=
阅读全文
摘要：hadoop版本：2.9.2 1、带宽的设置参数： dfs.datanode.balance.bandwidthPerSec 默认值 10m 2、datanode之间数据块的传输线程大小：dfs.datanode.max.transfer.threads 默认值4096 3、修改dfs.datano
阅读全文
摘要：1、namenode 如何判断datanode节点是否宕机？ 先决条件： datanode每隔一段时间像namenode汇报，汇报的信息有两点 (1)自身datanode的状态信息； (2)自身datanode所持有的所有的数据块的信息。 如果namenode连续十次没有收到datanode的汇报，
阅读全文
摘要：hadoop 之hdfs数据块修复方法： 1、手动修复 hdfs fsck / #检查集群的健康状态 hdfs debug recoverLease -path 文件位置 -retries 重试次数 #修复指定的hdfs数据块。也就是关闭打开的文件。 检查坏块： hadoop fsck /user
阅读全文
