会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
永远的小幸运
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
7
8
下一页
2020年7月12日
MRPSO运行结果错误版(纯记录)
摘要: 老师说map阶段以pval作为key是错误的,map的输出很重要! 1.数据 整体输入输出: num pos[0] pos[1] vel[0] vel[1] val pbpos[0] pbpos[1] pbval gbpos[0] gbpos[1] gbval map阶段输出:key:pbval v
阅读全文
posted @ 2020-07-12 20:54 ifiwereaboy
阅读(181)
评论(0)
推荐(0)
编辑
2020年7月8日
MRPSO摸索版(未成功,纯记录)
摘要: 基于上一次运行成功查看输出文件没有结果的经历,这一次仔细理解了pso的MapReduce代码,发现自己之前的输入数据并不符合代码要求的格式,于是加以修改了。 根据此代码,输入数据应该是如下字段: 粒子编号、位置向量1、粒子速度1、个人最优位置1、全局最优位置1、位置向量2、粒子速度2、个人最优位置2
阅读全文
posted @ 2020-07-08 18:48 ifiwereaboy
阅读(315)
评论(0)
推荐(0)
编辑
2020年7月5日
深入理解Hadoop第5章(我的复现)
摘要: 这里的1987.csv和1988.csv只是当年的12月份数据 Select Where Aggregation AggregationWithCombiner SplitByMonthMapper
阅读全文
posted @ 2020-07-05 23:26 ifiwereaboy
阅读(169)
评论(0)
推荐(0)
编辑
2020年7月2日
select
摘要: 为什么成功了得不到数据结果,怀疑输入文件数据有问题,唉···· 今天又尝试了很多回,总结就是用.bz2数据文件时,虽然会运行成功,但是生成的输出文件没有内容,而我也发现map input records=0(不正常啊),而用.txt和.csv数据文件输入时,运行过程就会有如下错误,作业因为任务失败而
阅读全文
posted @ 2020-07-02 23:26 ifiwereaboy
阅读(191)
评论(0)
推荐(0)
编辑
深入学习Hadoop第五章数据下载
摘要: 从这个网址下载数据https://www.transtats.bts.gov/DLSelectFields.asp?TableID=,按照书中选用的字段名称进行勾选,这三个字段名称变化了。
阅读全文
posted @ 2020-07-02 12:34 ifiwereaboy
阅读(171)
评论(0)
推荐(0)
编辑
2020年6月7日
Hadoop跑PSO的MapReduce版??
摘要: MapReduce小作业优化之Uber模式 https://blog.csdn.net/qq_44170834/article/details/100628398 有点点烦恼。。。。 输出的文件里面无内容!我直觉是输入文件内容不符合要求,因为我还是用的之前的test.txt文件作为输入文件,里面是从
阅读全文
posted @ 2020-06-07 00:23 ifiwereaboy
阅读(158)
评论(0)
推荐(0)
编辑
2020年5月27日
Hadoop安装及WordCount运行
摘要: 决定参照这个教程来安装https://blog.csdn.net/zp8126/article/details/78249741 CentOS6.5 +JDK 1.8环境,用MobaXterm_v11.1操作 1.首先检查jdk安装情况 2.下载hadoop(hadoop版本选择?) 使用rz上传命
阅读全文
posted @ 2020-05-27 13:36 ifiwereaboy
阅读(611)
评论(0)
推荐(0)
编辑
2020年5月19日
git和github(存着后面学习)
摘要: https://www.cnblogs.com/schaepher/p/5561193.html#what
阅读全文
posted @ 2020-05-19 17:16 ifiwereaboy
阅读(165)
评论(0)
推荐(0)
编辑
2020年5月18日
IntelliJ IDEA彻底删除项目
摘要: https://www.cnblogs.com/manmanchanglu/p/12003996.html
阅读全文
posted @ 2020-05-18 22:01 ifiwereaboy
阅读(666)
评论(0)
推荐(0)
编辑
关于python3没有numpy和matplotlib库怎么办
摘要: 1.运行python程序时发现缺少numpy库 运行-》cmd输入 pip3 install numpy,下载中 看到Successfully installed numpy-1.18.4显然安装成功了 输入python进入python解释器并输入import numpy as np验证一下,没报错
阅读全文
posted @ 2020-05-18 18:00 ifiwereaboy
阅读(5027)
评论(0)
推荐(0)
编辑
上一页
1
2
3
4
5
6
7
8
下一页