摘要： 俗话说一个程序员开始学习书法的时候拿起笔就是写 HelloWorld.没错我们学习一个新的语言或者新的知识的时候都是从基本的HelloWorld开始。大数据的HelloWorld我们可以参考 /hadoop-3.1.3/share/hadoop/mapreduce 目录下的 hadoop-mapre 阅读全文

摘要： 思考：nameNode中元数据的是存在哪里的呢？ 有两个可能，一个是存在磁盘中，另一个可能是存在内存中。如果存在磁盘中的话，效率比较低 ，因为需要经常的随机访问还要给出对应的响应到客户。如果吃存到内存中，一旦断点元数据就会丢失，集群则无法正常的工作。因此我们可以把两者结合，在磁盘中备份元数据 FSI 阅读全文

摘要： （1）客户端通过 DistributedFileSystem 向 NameNode 请求下载文件，NameNode 通过查询元数据，找到文件块所在的 DataNode 地址。（2）挑选一台 DataNode（就近原则，然后随机）服务器，请求读取数据。（3）DataNode 开始传输数据给客户端（从磁 阅读全文

摘要： 1）客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。（2）NameNode 返回是否可以上传。（3）客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。（4）NameNod 阅读全文

摘要： ① 上传已经准备好的hadoop文件到 /opt/software文件夹 解压hadoop文件到 /opt/module文件夹 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module ② 配置环境变量 vim /etc/profile/my_env.sh #HADO 阅读全文

摘要： 分布式分为完全和伪分布式还有独立的分布式，这里我们搭建完全分布式。虚拟机也可以克隆操作。克隆完之后对虚拟机的网络以及三台机器的后续操作配置进行简单的配置。 这里假设有102，,103，104三台虚拟机。 这里以102为主。 ①修改虚拟机的静态IP vim /etc/sysconfig/network 阅读全文

摘要： 第一：安装jdk 虚拟机中会自带jdk，但是我们不用，原因主要有两个，一为自带的jdk可能存在缺失文件的可能给后期的操作带来不必要的麻烦；二为当我们在操作hadoop的时候一般都需要安装仅供hadoop使用的jdk,所以就会版本冲突【或者专门的配置，但是比较麻烦】。所以我们将原有jdk删除整个vma 阅读全文

摘要： 在我们的日常工作操作中不会是一直使用win操作系统，上线部署都需要linux 。关于linux的背景这里不做详细介绍。相关的linux常规操作可以参看其他文档。这里重点介绍安装配置。 安裝的時候需要安裝vmware【如下图】和Centos。 第一步： 第二步：创建虚拟机 第三步： 开启虚拟机并安装操 阅读全文