Arctern Spark单机可视化入门
Arctern基于开源大数据生态,构建灵活、强大、高性能的时空数据分析平台,帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用
安装和验证
参考单机安装arctern和在线安装单机spark
一:要注意的地方conda info是查看当前的 Conda 环境信息,文档里写的conda env info好像是不对的
二:下载时候使用spark使用国内镜像如清华镜像(http://221.182.132.24/mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz;
https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz/tmp/fishnetmap.png)
三:验证脚本地址原文中有问题,在arctern-io项目里面找一找,验证通过以后如下图.
https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/gis/spark_udf_ex.py。
可视化
重点是可视化的能力,在arctern-io里面找到了相关的脚本https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/render/nyc_taxi.py,使用了arctern-io的数据https://github.com/arctern-io/arctern-bootcamp/tree/master/nytaxi/file,稍微修改下名字就可以使用。修改bounding_box=[-74.060427, 40.680309, -73.924348, 40.910816],sql中范围ST_GeomFromText('POLYGON ((-74.060427 40.680309, -73.924348 40.680309, -73.924348 40.910816 ,-74.060427 40.910816, -74.060427 40.680309))。
参考资料:
https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/quick_start/standalone_installation.html
https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/hide_source/spark/installation_and_deployment/install_arctern_on_spark_cn.html