2020年3月11日
HDFS的机架感知概述
摘要： HDFS的机架感知概述 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.网络拓扑结构 在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率，即带宽稀缺。这里的想法是将两个节点之间的带宽作为距离的衡量标准。不用衡量节点之间的 阅读全文
posted @ 2020-03-11 23:55 JasonYin2020 阅读(825) 评论(0) 推荐(0) 编辑
HDFS的增删改查概述
摘要： HDFS的数据流之增删改查概述 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HDFS上传(写入/增)流程 如上图所示，HDFS在做写入文件时流程大概如下所示: 1>.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode需 阅读全文
posted @ 2020-03-11 21:11 JasonYin2020 阅读(1195) 评论(0) 推荐(0) 编辑
HDFS的I/O流操作
摘要： HDFS的I/O流操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 上一篇笔记分享了Hdfs已经封装好的API,其实我们还可以采用IO流的方式实现数据的上传和下载。 一.利用IO流实现文件的上传 1>.查看NameNode的WebUI 2>.JAVA代码 package cn. 阅读全文
posted @ 2020-03-11 06:53 JasonYin2020 阅读(297) 评论(0) 推荐(0) 编辑
HDFS集群的API常见操作
摘要： HDFS集群的API常见操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.环境配置 1>.自行配置Hadoop和Java环境 此步骤相对简单，略过。 2>.配置maven环境 <?xml version="1.0" encoding="UTF-8"?> <project x 阅读全文
posted @ 2020-03-11 00:19 JasonYin2020 阅读(624) 评论(0) 推荐(0) 编辑