2017年8月2日
hadoop学习第三天-MapReduce介绍&&WordCount示例&&倒排索引示例
摘要： 一、MapReduce介绍 （最好以下面的两个示例来理解原理） 1. MapReduce的基本思想 Map-reduce的思想就是“分而治之” Map Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”执行 “ 简单的任务”有几个含义： 1 数据或计算规模相对于原任务要大大缩小； 2 阅读全文
posted @ 2017-08-02 10:29 dreamOnly 阅读(512) 评论(0) 推荐(0)
2017年7月30日
hadoop学习第二天-了解HDFS的基本概念&&分布式集群的搭建&&HDFS基本命令的使用
摘要： 一、HDFS的相关基本概念 1.数据块 1、在HDFS中，文件诶切分成固定大小的数据块，默认大小为64MB（hadoop2.x以后是128M），也可以自己配置。 2、为何数据块如此大，因为数据传输时间超过寻到时间（高吞吐率）。 3、文件的存储方式，按大小被切分成若干个block，存储在不同的节点上， 阅读全文
posted @ 2017-07-30 10:39 dreamOnly 阅读(310) 评论(0) 推荐(0)
2017年7月27日
hadoop学习第一天-hadoop初步环境搭建&伪分布式计算配置（详细）
摘要： 一、虚拟机环境搭建 虚拟机：VMWare12+ 操作系统：CentOS6.5 CentOS6.5安装 打开VMWare，将CentOS6.5的iso添加进去，一路下一步，但是在新建虚拟机的时候需要注意： 处理器最好是2个以上，具体按照自己的电脑能力分配 内存分配多一些，这个就看自己机器的情况了 网络 阅读全文
posted @ 2017-07-27 19:34 dreamOnly 阅读(497) 评论(2) 推荐(1)
2017年7月26日
大三了，写写博客
摘要： 今天看着自己去年此时的博客，还在实验室学学东西，好像还提到了自己的方向，看看现在的自己，学校的实训，搞得什么都没办法去学。 谈不上失望，更没有什么可抱怨的，出来混迟早要还的。今天就是给自己定个目标好了，写一写博客，看看自己可以坚持几天。 阅读全文
posted @ 2017-07-26 23:53 dreamOnly 阅读(146) 评论(1) 推荐(0)
2016年7月1日
方向问题
摘要： 今天转了方向 前端人太多了，想了想，虽然测试时干什么的都不知道。但是能在这里学到东西就好了 都有用吧 阅读全文
posted @ 2016-07-01 00:49 dreamOnly 阅读(89) 评论(0) 推荐(0)
2016年6月25日
第一天注册博客
摘要： 第一天在实验室里面注册的博客账号，会不会很适合我呢 阅读全文
posted @ 2016-06-25 14:22 dreamOnly 阅读(112) 评论(0) 推荐(0)