摘要: 问题导读:1.如何在讲mapreduce函数中的字符串等信息,输出到eclipse控制台?2.除了使用下文方法,还有其它方法输出到控制台?3.map中,系统默认接受的value值是什么?4.reduce输出不是自己想要的结果,可能的原因是什么?mapreduce不是很好理解,为什么?因为我们传统编程 阅读全文
posted @ 2018-07-12 14:19 华格瑞沙 阅读(293) 评论(0) 推荐(0) 编辑
摘要: Shuffle的正常意思是洗牌或弄乱,可能大家更熟悉的是Java API里的Collections.shuffle(List)方法,它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么,那么请看这张图: 这张是官方对Shuffle过程的描述。但我可以肯定的是, 阅读全文
posted @ 2018-07-12 13:35 华格瑞沙 阅读(136) 评论(0) 推荐(0) 编辑
摘要: win10配置hadoop开发环境 阅读全文
posted @ 2018-07-11 19:40 华格瑞沙 阅读(244) 评论(0) 推荐(0) 编辑
摘要: HDFS读写过程 阅读全文
posted @ 2018-07-04 17:29 华格瑞沙 阅读(2317) 评论(0) 推荐(0) 编辑
摘要: hadoop伪分布式搭建 阅读全文
posted @ 2018-07-04 07:39 华格瑞沙 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 1. 点击VM中“虚拟机(M)”->“设置”,将cd/dvd使用iso镜像文件清空 2. 创建挂载目录 3. 拷贝解压,进入解压目录,执行,一路回车默认配置。 4. windows主机上设置共享文件夹,在centos上对应是/mnt/hgfs/共享文件夹目录下 5. centos配置信息 问题解决 阅读全文
posted @ 2018-07-03 00:43 华格瑞沙 阅读(355) 评论(0) 推荐(0) 编辑
摘要: linux安装配置 阅读全文
posted @ 2018-06-29 22:32 华格瑞沙 阅读(159) 评论(0) 推荐(0) 编辑
摘要: SpringBootの使用Swagger2 阅读全文
posted @ 2018-06-22 14:58 华格瑞沙 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 1、在IntelJ中和Eclipse中稍有不同,在Eclipse中,输入main再按Alt+/即可自动补全main函数,但是在IntellJ中则是输入psvm,选中即可 1、在IntelJ中和Eclipse中稍有不同,在Eclipse中,输入main再按Alt+/即可自动补全main函数,但是在In 阅读全文
posted @ 2018-06-21 15:02 华格瑞沙 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 没有使用到的方法会提示is never used,还有波浪线。看着别扭,取消掉即可。 阅读全文
posted @ 2018-06-21 14:47 华格瑞沙 阅读(460) 评论(0) 推荐(0) 编辑