Spark安装
摘要：决定参照这篇安装spark https://www.cnblogs.com/hunttown/p/5500813.html 要配置的文件其实还没完全好，按这篇单机配置法测试我spark装好了没 https://blog.csdn.net/fengjinghong/article/details/10
阅读全文
posted @
2020-07-25 13:50
ifiwereaboy
阅读(136)
推荐(0) 编辑
MRPSO运行结果错误版（纯记录）
摘要：老师说map阶段以pval作为key是错误的，map的输出很重要！ 1.数据 整体输入输出： num pos[0] pos[1] vel[0] vel[1] val pbpos[0] pbpos[1] pbval gbpos[0] gbpos[1] gbval map阶段输出：key:pbval v
阅读全文
posted @
2020-07-12 20:54
ifiwereaboy
阅读(198)
推荐(0) 编辑
MRPSO摸索版（未成功，纯记录）
摘要：基于上一次运行成功查看输出文件没有结果的经历，这一次仔细理解了pso的MapReduce代码，发现自己之前的输入数据并不符合代码要求的格式，于是加以修改了。 根据此代码，输入数据应该是如下字段： 粒子编号、位置向量1、粒子速度1、个人最优位置1、全局最优位置1、位置向量2、粒子速度2、个人最优位置2
阅读全文
posted @
2020-07-08 18:48
ifiwereaboy
阅读(359)
推荐(0) 编辑
深入理解Hadoop第5章（我的复现）
摘要：这里的1987.csv和1988.csv只是当年的12月份数据 Select Where Aggregation AggregationWithCombiner SplitByMonthMapper
阅读全文
posted @
2020-07-05 23:26
ifiwereaboy
阅读(186)
推荐(0) 编辑
select
摘要：为什么成功了得不到数据结果，怀疑输入文件数据有问题，唉···· 今天又尝试了很多回，总结就是用.bz2数据文件时，虽然会运行成功，但是生成的输出文件没有内容，而我也发现map input records=0(不正常啊)，而用.txt和.csv数据文件输入时，运行过程就会有如下错误，作业因为任务失败而
阅读全文
posted @
2020-07-02 23:26
ifiwereaboy
阅读(207)
推荐(0) 编辑
深入学习Hadoop第五章数据下载
摘要：从这个网址下载数据https://www.transtats.bts.gov/DLSelectFields.asp?TableID=，按照书中选用的字段名称进行勾选，这三个字段名称变化了。
阅读全文
posted @
2020-07-02 12:34
ifiwereaboy
阅读(185)
推荐(0) 编辑
