随笔分类 -  分布式

ZooKeeper的伪分布式集群搭建
摘要：ZooKeeper集群的一些基本概念 zookeeper集群搭建： zk集群，主从节点，心跳机制（选举模式） 配置数据文件 myid 1/2/3 对应 server.1/2/3 通过 zkCli.sh -server [ip]:[port] 命令检测集群是否配置成功 和其他大多数集群结构一样，zoo 阅读全文
posted @ 2018-05-18 22:27 地铁昌平线 阅读(310) 评论(0) 推荐(0) 编辑
Hadoop伪分布式集群
摘要：一、HDFS伪分布式环境搭建 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。 阅读全文
posted @ 2018-05-09 18:06 地铁昌平线 阅读(221) 评论(0) 推荐(0) 编辑
HDFS伪分布式
摘要：（一）、HDFS shell操作 以上已经介绍了如何搭建伪分布式的Hadoop，既然环境已经搭建起来了，那要怎么去操作呢？这就是本节将要介绍的内容： HDFS自带有一些shell命令，通过这些命令我们可以去操作HDFS文件系统，这些命令与Linux的命令挺相似的，如果熟悉Linux的命令很容易就可以 阅读全文
posted @ 2018-05-09 18:05 地铁昌平线 阅读(176) 评论(0) 推荐(0) 编辑
分布式资源调度--YARN框架
摘要：YARN产生背景 YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题： 单点故障 节点压力大 不易扩展 MapReduce1.x时的架构如下： 可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTrac 阅读全文
posted @ 2018-05-09 18:03 地铁昌平线 阅读(766) 评论(0) 推荐(0) 编辑
分布式文件系统---GlusterF
摘要：1.1 分布式文件系统 1.1.1 什么是分布式文件系统 相对于本机端的文件系统而言，分布式文件系统（英语：Distributed file system, DFS），或是网络文件系统（英语：Network File System），是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多 阅读全文
posted @ 2018-04-30 18:26 地铁昌平线 阅读(241) 评论(0) 推荐(0) 编辑
HDFS分布式集群
摘要：一、HDFS伪分布式环境搭建 Hadoop的三种运行模式（启动模式） -格式化文件系统 -格式化文件系统 HDFS公开了文件系统名称空间，允许用户将数据存储在文件中，就好比我们平时使用操作系统中的文件系统一样，用户无需关心底层是如何存储数据的。而在底层，一个文件会被分成一个或多个数据块，这些数据库块 阅读全文
posted @ 2018-04-17 08:47 地铁昌平线 阅读(263) 评论(0) 推荐(0) 编辑
HDFS伪分布式环境搭建
摘要：（一）、HDFS shell操作 1.2查看文件系统的根目录 1.3.将刚刚创建的文件拷贝到文件系统的根目录下： 1.4.查看文件内容： 1.5创建目录 1.6递归创建目录 1.7查看递归目录 1.8复制文件 1.9从系统中拿出文件 2.0删除文件 2.1删除目录 以上就是最为常用的一些操作命令了， 阅读全文
posted @ 2018-04-17 08:46 地铁昌平线 阅读(159) 评论(0) 推荐(0) 编辑
GFS文件系统
摘要：f 阅读全文
posted @ 2018-04-16 23:09 地铁昌平线 阅读(423) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示