基于地震数据的Spark数据处理与分析
这学期学了一门Spark课程《大数据处理技术Spark》,把期末大作业放上来。
实验环境:
(1)Linux:Ubuntu 16.04
(2)Hadoop:3.1.3
(3)Spark:2.4.0
(4)Anaconda3
(5)Jupyter Notebook
(6)可视化工具:Plotly
想找一个能正常在jupyter上画地图的工具真是太难了。尝试了各种安装basemap的姿势都失败了,pyecharts又抽风不能在jupyter上显示。
最后选择了plotly,不得不说plotly.express真香,很好上手。但是要使用其他形式的地图时老是加载不出来,算是这次作业的一个遗憾。
具体博客内容看这里:
http://dblab.xmu.edu.cn/blog/2651/