03 2018 档案

摘要:MapReduce实例&YARN框架 一个wordcount程序 统计一个相当大的数据文件中,每个单词出现的个数。 一、分析map和reduce的工作 map: 1. 切分单词 2. 遍历单词数据输出 reduce: 对从map中得到的数据的valuelist遍历累加,得到一个单词的总次数 二、代码 阅读全文
posted @ 2018-03-29 17:28 thousfeet 阅读(962) 评论(0) 推荐(0) 编辑
摘要:HDFS下载数据机制的底层分析 Hadoop中的RPC(Remote Procedure Call)框架 hadoop中结点间的通信采用的是RPC。 RPC框架的实现机制图解: 从hdfs下载数据的源码分析 在自行在客户端编写download方法的时候,如果不使用封装好的方法,较为底层的写法是: 跟 阅读全文
posted @ 2018-03-28 17:16 thousfeet 阅读(394) 评论(0) 推荐(0) 编辑
摘要:在windows下的hdfs客户端编写 新建一个工程,右键 properties java build path libraries 和之前一样的操作,这次 new 一个 user libiary 把整个 hadoop3.0.0 的jar包全部导入 upload()运行成功,运行download() 阅读全文
posted @ 2018-03-27 16:32 thousfeet 阅读(2207) 评论(0) 推荐(0) 编辑
摘要:一次失败的尝试hdfs的java客户端编写(在linux下使用eclipse) 给centOS安装图形界面 GNOME桌面环境 https://blog.csdn.net/wh211212/article/details/52937299 在linux下安装eclipse开发hadoop的配置 fi 阅读全文
posted @ 2018-03-25 17:39 thousfeet 阅读(2505) 评论(0) 推荐(0) 编辑
摘要:HDFS Namenode&Datanode HDFS 机制粗略示意图 客户端写入文件流程: NN && DN Namenode(NN)工作机制 NN是整个文件系统的管理节点。维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表(管理元数据)。接收用户的操作请求。 fsima 阅读全文
posted @ 2018-03-24 15:39 thousfeet 阅读(554) 评论(0) 推荐(0) 编辑
摘要:Hdfs&MapReduce测试 测试 上传文件到hdfs 随意打开一个文件夹传一个文件试试(把javafx src.zip传到hdfs的/根目录下): 用客户端(windows主机)浏览器打开 http://node01:50070 能看到这文件(当然,先要在windows配置下hosts,加一行 阅读全文
posted @ 2018-03-23 16:02 thousfeet 阅读(625) 评论(0) 推荐(0) 编辑
摘要:全新手式0起步详细教程。从安装虚拟机、下载配置JDK、安装配置Hadoop、使用SSH免密登录远程终端、成功运行全流程。 阅读全文
posted @ 2018-03-21 18:10 thousfeet 阅读(62605) 评论(6) 推荐(23) 编辑
摘要:【2017级面向对象程序设计寒假作业】第3次成绩排行 作业地址 http://www.cnblogs.com/easteast/p/8448809.html 评分准则 本次作业满分 20 分,其中代码分数 10分、博客分数 10 分。 代码得分点在于: 1. 运行10个测试点,视通过测试点的数量而定 阅读全文
posted @ 2018-03-03 21:15 thousfeet 阅读(339) 评论(0) 推荐(0) 编辑
摘要:【2017级面向对象程序设计寒假作业】第2次成绩排行 作业地址 http://www.cnblogs.com/easteast/p/8421230.html 评分准则 本次作业满分 20 分,其中代码分数 10分、博客分数 10 分。 代码得分点在于: 1. 运行10个测试点,视通过测试点的数量而定 阅读全文
posted @ 2018-03-03 14:30 thousfeet 阅读(266) 评论(0) 推荐(0) 编辑

/* */
点击右上角即可分享
微信分享提示