摘要:
客户端写操作 1)客户端请求上传数据到服务器 2)服务器接收到这个请求,然后到自己的元数据里面去查询,元数据中是否记录了该文件的存在 3)NN响应客户端是否可以上传 4)服务器会发送再次请求,需要上传多大的数据文件 5)服务器会检查DataNode的信息 6)服务器会根据上传文件大小进行调度,调度出 阅读全文
摘要:
HDFS就是用来存取数据的,那么当数据太多的时候存不下,我们必需扩充硬盘容量,或者换个更大的硬盘。 由于它是分布式文件系统,有两种扩充HDFS集群容量的方法:横向扩容和纵向扩容 横向扩容 横向扩容就是往集群添加一个节点:https://www.cnblogs.com/lyx666/p/1236190 阅读全文
摘要:
1.我们先看看一台节点的hdfs的信息:(已经安装了hadoop的虚拟机:安装hadoophttps://www.cnblogs.com/lyx666/p/12335360.html) start dfs 打开hdfs需要启动的服务 然后再浏览器输入http://虚拟机ip地址:50070 问下滑: 阅读全文
摘要:
1.导入jar包,要使用hadoop的HDFS就要导入hadoop 2.7.7\share\hadoop\common下的3个jar包和lib下的依赖包、hadoop 2.7.7\share\hadoop\hdfs下的3个jar包和lib下的依赖包 2. ls 查看目录下的所有文件和文件夹 4. m 阅读全文
摘要:
HDFS(Hadoop Distributed File System)就是hadoop分布式文件系统,fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 阅读全文
摘要:
1.在VMware选择要添加硬盘的虚拟机,添加一块硬盘。 这样就有两块硬盘 2.重启虚拟机。 3.使用fdisk来分区 mkfs.xfs mkfs是对分区进行格式化, xfs是一种文件系统, 是centos默认的文件系统。 sdb1到sdb6进行格式化 其中sdb4是不能被格式化的,也就是扩展分区。 阅读全文
摘要:
1.使用hadoop是需要jdk环境的,因为hadoop里面有java程序,而运行java程序需要jdk。 2.从宿主机上传文件到虚拟机有很多方法,我选择的是在虚拟机安装lrzsz,安装lrzsz命令行:yum install y lrzsz 3.确定好软件安装路径 4.上传软件包 hadoop的下 阅读全文