摘要：
客户端写操作 1）客户端请求上传数据到服务器 2）服务器接收到这个请求，然后到自己的元数据里面去查询，元数据中是否记录了该文件的存在 3）NN响应客户端是否可以上传 4）服务器会发送再次请求，需要上传多大的数据文件 5）服务器会检查DataNode的信息 6）服务器会根据上传文件大小进行调度，调度出 阅读全文
摘要：
HDFS就是用来存取数据的，那么当数据太多的时候存不下，我们必需扩充硬盘容量，或者换个更大的硬盘。 由于它是分布式文件系统，有两种扩充HDFS集群容量的方法：横向扩容和纵向扩容 横向扩容 横向扩容就是往集群添加一个节点：https://www.cnblogs.com/lyx666/p/1236190 阅读全文
摘要：
1.我们先看看一台节点的hdfs的信息：(已经安装了hadoop的虚拟机：安装hadoophttps://www.cnblogs.com/lyx666/p/12335360.html) start dfs 打开hdfs需要启动的服务 然后再浏览器输入http://虚拟机ip地址:50070 问下滑： 阅读全文
摘要：
1.导入jar包，要使用hadoop的HDFS就要导入hadoop 2.7.7\share\hadoop\common下的3个jar包和lib下的依赖包、hadoop 2.7.7\share\hadoop\hdfs下的3个jar包和lib下的依赖包 2. ls 查看目录下的所有文件和文件夹 4. m 阅读全文
摘要：
HDFS(Hadoop Distributed File System）就是hadoop分布式文件系统，fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 阅读全文
摘要：
1.在VMware选择要添加硬盘的虚拟机，添加一块硬盘。 这样就有两块硬盘 2.重启虚拟机。 3.使用fdisk来分区 mkfs.xfs mkfs是对分区进行格式化， xfs是一种文件系统， 是centos默认的文件系统。 sdb1到sdb6进行格式化 其中sdb4是不能被格式化的，也就是扩展分区。 阅读全文
摘要：
1.使用hadoop是需要jdk环境的，因为hadoop里面有java程序，而运行java程序需要jdk。 2.从宿主机上传文件到虚拟机有很多方法，我选择的是在虚拟机安装lrzsz，安装lrzsz命令行：yum install y lrzsz 3.确定好软件安装路径 4.上传软件包 hadoop的下 阅读全文