摘要: 一、 为什么javaBean要继承Writable和WritableComparable接口? 1. 如果一个javaBean想要作为MapReduce的key或者value,就一定要实现序列化,因为在Map到Reduce阶段的时候,只能是传输二进制数据,不可能将字符流直接进行RPC传输, 只要一个 阅读全文
posted @ 2017-08-04 17:07 dreamOnly 阅读(2026) 评论(0) 推荐(0) 编辑
摘要: 一、MapReduce介绍 (最好以下面的两个示例来理解原理) 1. MapReduce的基本思想 Map-reduce的思想就是“分而治之” Map Mapper负责“分”,即把复杂的任务分解为若干个“简单的任务”执行 “ 简单的任务”有几个含义: 1 数据或计算规模相对于原任务要大大缩小; 2 阅读全文
posted @ 2017-08-02 10:29 dreamOnly 阅读(448) 评论(0) 推荐(0) 编辑
摘要: 一、HDFS的相关基本概念 1.数据块 1、在HDFS中,文件诶切分成固定大小的数据块,默认大小为64MB(hadoop2.x以后是128M),也可以自己配置。 2、为何数据块如此大,因为数据传输时间超过寻到时间(高吞吐率)。 3、文件的存储方式,按大小被切分成若干个block,存储在不同的节点上, 阅读全文
posted @ 2017-07-30 10:39 dreamOnly 阅读(275) 评论(0) 推荐(0) 编辑
摘要: 一、虚拟机环境搭建 虚拟机:VMWare12+ 操作系统:CentOS6.5 CentOS6.5安装 打开VMWare,将CentOS6.5的iso添加进去,一路下一步,但是在新建虚拟机的时候需要注意: 处理器最好是2个以上,具体按照自己的电脑能力分配 内存分配多一些,这个就看自己机器的情况了 网络 阅读全文
posted @ 2017-07-27 19:34 dreamOnly 阅读(467) 评论(2) 推荐(1) 编辑
摘要: 今天看着自己去年此时的博客,还在实验室学学东西,好像还提到了自己的方向,看看现在的自己,学校的实训,搞得什么都没办法去学。 谈不上失望,更没有什么可抱怨的,出来混迟早要还的。今天就是给自己定个目标好了,写一写博客,看看自己可以坚持几天。 阅读全文
posted @ 2017-07-26 23:53 dreamOnly 阅读(125) 评论(1) 推荐(0) 编辑
摘要: 今天转了方向 前端人太多了,想了想,虽然测试时干什么的都不知道。但是能在这里学到东西就好了 都有用吧 阅读全文
posted @ 2016-07-01 00:49 dreamOnly 阅读(82) 评论(0) 推荐(0) 编辑
摘要: 第一天在实验室里面注册的博客账号,会不会很适合我呢 阅读全文
posted @ 2016-06-25 14:22 dreamOnly 阅读(101) 评论(0) 推荐(0) 编辑