随笔分类 - hadoop-3
摘要：1、说明当不修改PID文件位置时,系统默认会把PID文件生成到/tmp目录下，但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK时，会发现无法停止相应的进程会警告说：no datanode to stop、no namenode to stop 等，因为PID文件已经被删除，此时只能用kill命令先干掉，所以现在我们需要修改HADOOP/HBASE/SPA...
阅读全文
摘要：一、日志分析以nginx日志为例；1、日志字段含义：$remote addr客户端的ip地址（如果中间有代理服务器那么这里显示的ip就为代理服务器的ip地址）Sremote user用于记录远程客户端的用户名称（一般为“-”）Stime local用于记录访问时间和时区$request用于记录请求的ur1以及请求方法$status响应状态码Sbody bytes sent给客户端发送的文件主体内容...
阅读全文
摘要：一、基于HDFS云盘存储系统如：某度网盘优点：*普通的商用机器 内存 磁盘*数据的安全性操作：*put get*rm mv*java api*filesystem核心：*HDFS集群二、极速秒传用户所上传文件的时候，将文件解析成hash码，去文件库中对比，如果有就不用传了(表面上会传)，直接就是极速秒传，然后给用户显示一个指向那个文件的引用；三、hadoop三大发行版本1、Ap...
阅读全文
摘要：一、ResourceManager HAResourceManager（RM）负责跟踪集群中的资源，以及调度应用程序（例如，MapReduce作业）。在Hadoop 2.4之前，ResourceManager是YARN集群中的单点故障。高可用性功能以Active / Standby ResourceManager对的形式添加冗余，以消除此单点故障。RM故障转移：ResourceManager HA...
阅读全文
摘要：一、hdfs federation hdfs federation即hdfs的联邦；可以理解为有多个namenode节点的hdfs集群； HA方案解决的是单点故障问题，而Fdederation解决的是单命名空间问题。 集群的全部元数据都存放在一个名称节点上，当集群足够大的时候，这个名称节点就成了性能
阅读全文
摘要：一、说明从上一节可看出，虽然搭建好了HA架构，但是只能手动进行active与standby的切换；接下来看一下用zookeeper进行自动故障转移：#在启动HA之后，两个NameNode都是standby状态，可以利用zookeeper的选举功能，选出一个当Active#监控 ZKFC FailoverController二、配置1、hdfs-site.xml#”开启自动转移功能“，加...
阅读全文
摘要：一、背景1、Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。对于只有一个NameNode的集群，若NameNode机器出现故障，则整个集群将无法使用，直到NameNode重新启动。NameNode主要在以下两个方面影响HDFS集群 >NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启 >NameNode 机器需要升级，包括软件、硬件...
阅读全文
摘要：一、zookeeper概述 一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务。 设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构。 目的就是将分布式服务不再需要由于协作冲突而另外实现协作服务。 1
阅读全文
摘要：一、HDFS1、初始化文件系统#master上[root@master hadoop-2.5.0]# pwd/opt/app/hadoop-2.5.0[root@master hadoop-2.5.0]# bin/hdfs namenode -format #最后几行看到successfully，代表成功2、启动#启动[root@master hadoop-2.5.0]# sbin/star...
阅读全文
摘要：一、环境 192.168.1.130 master 192.168.1.131 slave1 192.168.1.132 slave2 所有主机： 1、关闭防火墙、selinux 2、配置hosts文件 3、yum -y install vim wget tree ntpdate lrzsz ope
阅读全文
