摘要: Shuffle的正常意思是洗牌或弄乱,可能大家更熟悉的是Java API里的Collections.shuffle(List)方法,它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么,那么请看这张图: 这张是官方对Shuffle过程的描述。但我可以肯定的是, 阅读全文
posted @ 2018-07-12 13:35 华格瑞沙 阅读(135) 评论(0) 推荐(0) 编辑
摘要: win10配置hadoop开发环境 阅读全文
posted @ 2018-07-11 19:40 华格瑞沙 阅读(240) 评论(0) 推荐(0) 编辑
摘要: HDFS读写过程 阅读全文
posted @ 2018-07-04 17:29 华格瑞沙 阅读(2308) 评论(0) 推荐(0) 编辑
摘要: hadoop伪分布式搭建 阅读全文
posted @ 2018-07-04 07:39 华格瑞沙 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 1. 点击VM中“虚拟机(M)”->“设置”,将cd/dvd使用iso镜像文件清空 2. 创建挂载目录 3. 拷贝解压,进入解压目录,执行,一路回车默认配置。 4. windows主机上设置共享文件夹,在centos上对应是/mnt/hgfs/共享文件夹目录下 5. centos配置信息 问题解决 阅读全文
posted @ 2018-07-03 00:43 华格瑞沙 阅读(346) 评论(0) 推荐(0) 编辑
摘要: linux安装配置 阅读全文
posted @ 2018-06-29 22:32 华格瑞沙 阅读(159) 评论(0) 推荐(0) 编辑
摘要: SpringBootの使用Swagger2 阅读全文
posted @ 2018-06-22 14:58 华格瑞沙 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 1、在IntelJ中和Eclipse中稍有不同,在Eclipse中,输入main再按Alt+/即可自动补全main函数,但是在IntellJ中则是输入psvm,选中即可 1、在IntelJ中和Eclipse中稍有不同,在Eclipse中,输入main再按Alt+/即可自动补全main函数,但是在In 阅读全文
posted @ 2018-06-21 15:02 华格瑞沙 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 没有使用到的方法会提示is never used,还有波浪线。看着别扭,取消掉即可。 阅读全文
posted @ 2018-06-21 14:47 华格瑞沙 阅读(444) 评论(0) 推荐(0) 编辑
摘要: idea配置の隐藏参数 阅读全文
posted @ 2018-06-21 14:43 华格瑞沙 阅读(238) 评论(0) 推荐(0) 编辑