摘要:
方案一 select Lon,Lat from pntsnew order by greatCircleDistance(Lon,Lat,-120.419219,34.889755999999998) limit 1 方案二 CREATE TABLE pntsnew ENGINE = MergeTr 阅读全文
摘要:
数据准备 数据源 (点数据使用之前导入的数据120038310条,https://juejin.cn/post/6903100159484395534) CREATE TABLE default.points ( `id` UInt32, `Lon` Float32, `Lat` Float32 ) 阅读全文
摘要:
背景 现在业务中往往有海量点和建筑物的关联,但是传统关系数据处理时间总不太理想。本文尝试使用ClickHouse导入面数据,并进行多面和多点的关联。 数据准备 create table extent (id UInt32,xmin Float64, xmax Float64,ymin Float64 阅读全文
摘要:
ClickHouse ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 OLAP场景的关键特征 绝大多数是读请求 数据以相当大的批次(> 1000行)更新,而不是单行更新;或者根本没有更新。 已添加到数据库的数据不能修改。 对于读取,从数据库中提取相当多的行,但只 阅读全文
摘要:
背景 平时我们可能有比较大量的点数据要展示又不想预处理,在线浏览数据请求时间控制在3s左右。 准备 软件环境:PostGIS,数据是3578998条点数据。 环境 八核处理器(Intel(R)Core(TM) i7-10750H CPU @2.60GHz 2.59GHZ),RAM 16.0 GB,硬 阅读全文
摘要:
背景 之前做的海量数据数据展示,在预处理速度和渲染上还有有所欠缺,比如单个切片文件还是太大,本文中进行一些优化工作,使得一分钟处理完一千多万点数据的1-11级矢量切片,在线浏览数据请求时间控制在1s左右。 准备 软件环境:PostGIS,数据是微软开源的部分房屋数据public.california 阅读全文
摘要:
Arctern基于开源大数据生态,构建灵活、强大、高性能的时空数据分析平台,帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用 安装和验证 参考单机安装arctern和在线安装单机spark 一:要注 阅读全文
摘要:
Arctern基于开源大数据生态,构建灵活、强大、高性能的时空数据分析平台,帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern pandas安装和简单使用 Arctern安装 参照官网安装教程,。激活arctern环境,进入python 阅读全文
摘要:
空间相交是gis中常用的功能,一般就是使用分析库进行相交就可以了,但是多数据时这样产生笛卡尔积计算效率低下,这时可以考虑使用索引,本文中要介绍的是r-tree的使用。 R树是一棵平衡树。树上有两类结点:叶子结点和非叶子结点。每一个结点由若干个索引项构成。对于叶子结点,索引项形如(Index,Obj_ 阅读全文
摘要:
热力图是webgis中非常常见的需求,当数据量不大时对应用影响不大,但是当数据达到几百万时,即便使用后端渲染也比较困难。这时我们可以借助superluster.js来进行点聚合,然后进行后端渲染,使得地图流畅度大大增加。本文只处理8-11级的数据,后面的使用原先的数据渲染,完成所有展示需要两个服务 阅读全文