随笔分类 - BigData
摘要：1、zookeeper简介 一个开源的分布式的，为分布式应用提供协调服务的apache项目。 提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务。 设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构。 目的就是将分布式服务不再需要由于协调冲突而另外实现协作服务。 2
阅读全文
摘要：前期规划 192.168.100.231 db01 192.168.100.232 db02 192.168.100.233 db03 一、安装java [root@master ~]# vim /etc/profile 在末尾添加环境变量： export JAVA_HOME=/usr/java/j
阅读全文
摘要：测试数据以Oracle数据库自带scott用户emp和dept表为准： 一、MySQL数据库创建的emp和dept表语法及数据： drop table if exists dept;create table dept( deptno int not null comment '部门编号', dnam
阅读全文
摘要：一、YARN基本服务组件 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系
阅读全文
摘要：下图描述了Client向HDFS上传一个200M大小的日志文件的大致过程： 1）首先，Client发起文件上传请求，即通过RPC与NameNode建立通讯。 2）NameNode与各DataNode使用心跳机制来获取DataNode信息。NameNode收到Client请求后，获取DataNode信
阅读全文
摘要：Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。 namenode在磁盘上的两类文件组成： fsimage文件：
阅读全文
摘要：先决条件：开发机器需要联网 已安装java 已安装Desktop组 1、上传安装软件到linux上： 2、安装maven，用于管理项目依赖包：以hadoop用户安装apache-maven-3.0.5-bin.zip。 --解压安装文件到相应目录下： [root@db07 opt]# chown -
阅读全文
摘要：Namenode 1、namenode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的命名空间（namespace）以及客户端对文件的访问。 2、文件操作：namenode负责对元数据的操作，datanode负责处理文件内容的读取请求，跟文件内容相关的数据流读取操作不会经过na
阅读全文
摘要：例如：[hadoop@db01 hadoop-2.5.0]$ bin/hdfs dfs -ls17/03/01 21:50:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
阅读全文
摘要：1）namenode： core-site.xml文件中决定： <property> <name>fs.defaultFS</name> <value>hdfs://chavin.king:9000</value> </property> 2）secondarynamenode： hdfs-site
阅读全文
摘要：hadoop配置文件 默认配置文件：四个模块相对应的jar包中：$HADOOP_HOME/share/hadoop *core-default.xml *hdfs-default.xml *yarn-default.xml *mapred-default.xml 用户自定义配置文件：$HADOOP_
阅读全文
摘要：在core-site.xml文件中添加如下内容： ##开启回收站功能，设置保存7天删除数据信息 <property> <name>fs.trash.interval</name> <value>70000</value> </property> 重启hdfs守护进程生效： sbin/hadoop-d
阅读全文
摘要：在yarn-site.xml配置文件中添加如下内容： ##开启日志聚集功能 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>##日志保存7天（单位秒） <property> <nam
阅读全文
摘要：在mapred-site.xml配置文件中添加如下信息： <property> <name>mapreduce.jobhistory.address</name> <value>chavin.king:10020</value> </property> <property> <name>mapred
阅读全文
摘要：Purpose（目标） This document describes how to set up and configure a single-node Hadoop installation so that you can quickly perform simple operations us
阅读全文
摘要：Introduction This guide provides an overview of High Availability of YARN’s ResourceManager, and details how to configure and use this feature. The Re
阅读全文
摘要：The fundamental idea of YARN is to split up the functionalities of resource management and job scheduling/monitoring into separate daemons. The idea i
阅读全文
摘要：Purpose This document is a starting point for users working with Hadoop Distributed File System (HDFS) either as a part of a Hadoop cluster or as a st
阅读全文
摘要：Introduction The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities wi
阅读全文
摘要：一、主机规划、存储规划 服务器配置信息：CentOS6.5 最小化安装+development tools组包，其余组件yum安装即可。 二、系统设置如下： 1、服务器信息如下（/etc/hosts文件）： 192.168.100.231 db01.chavin.king db01 192.168.
阅读全文
