摘要: 方案一 select Lon,Lat from pntsnew order by greatCircleDistance(Lon,Lat,-120.419219,34.889755999999998) limit 1 方案二 CREATE TABLE pntsnew ENGINE = MergeTr 阅读全文
posted @ 2021-01-20 15:43 polong 阅读(813) 评论(0) 推荐(0) 编辑
摘要: 数据准备 数据源 (点数据使用之前导入的数据120038310条,https://juejin.cn/post/6903100159484395534) CREATE TABLE default.points ( `id` UInt32, `Lon` Float32, `Lat` Float32 ) 阅读全文
posted @ 2021-01-07 09:45 polong 阅读(907) 评论(0) 推荐(0) 编辑
摘要: 背景 现在业务中往往有海量点和建筑物的关联,但是传统关系数据处理时间总不太理想。本文尝试使用ClickHouse导入面数据,并进行多面和多点的关联。 数据准备 create table extent (id UInt32,xmin Float64, xmax Float64,ymin Float64 阅读全文
posted @ 2020-12-11 15:26 polong 阅读(727) 评论(0) 推荐(0) 编辑
摘要: ClickHouse ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 OLAP场景的关键特征 绝大多数是读请求 数据以相当大的批次(> 1000行)更新,而不是单行更新;或者根本没有更新。 已添加到数据库的数据不能修改。 对于读取,从数据库中提取相当多的行,但只 阅读全文
posted @ 2020-12-06 19:49 polong 阅读(1339) 评论(0) 推荐(0) 编辑
摘要: 背景 平时我们可能有比较大量的点数据要展示又不想预处理,在线浏览数据请求时间控制在3s左右。 准备 软件环境:PostGIS,数据是3578998条点数据。 环境 八核处理器(Intel(R)Core(TM) i7-10750H CPU @2.60GHz 2.59GHZ),RAM 16.0 GB,硬 阅读全文
posted @ 2020-08-16 11:29 polong 阅读(1617) 评论(0) 推荐(0) 编辑
摘要: 背景 之前做的海量数据数据展示,在预处理速度和渲染上还有有所欠缺,比如单个切片文件还是太大,本文中进行一些优化工作,使得一分钟处理完一千多万点数据的1-11级矢量切片,在线浏览数据请求时间控制在1s左右。 准备 软件环境:PostGIS,数据是微软开源的部分房屋数据public.california 阅读全文
posted @ 2020-07-26 11:05 polong 阅读(1380) 评论(11) 推荐(0) 编辑
摘要: Arctern基于开源大数据生态,构建灵活、强大、高性能的时空数据分析平台,帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用 安装和验证 参考单机安装arctern和在线安装单机spark 一:要注 阅读全文
posted @ 2020-06-26 20:26 polong 阅读(328) 评论(0) 推荐(0) 编辑
摘要: Arctern基于开源大数据生态,构建灵活、强大、高性能的时空数据分析平台,帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern pandas安装和简单使用 Arctern安装 参照官网安装教程,。激活arctern环境,进入python 阅读全文
posted @ 2020-06-22 22:14 polong 阅读(459) 评论(0) 推荐(0) 编辑
摘要: 空间相交是gis中常用的功能,一般就是使用分析库进行相交就可以了,但是多数据时这样产生笛卡尔积计算效率低下,这时可以考虑使用索引,本文中要介绍的是r-tree的使用。 R树是一棵平衡树。树上有两类结点:叶子结点和非叶子结点。每一个结点由若干个索引项构成。对于叶子结点,索引项形如(Index,Obj_ 阅读全文
posted @ 2020-06-15 12:56 polong 阅读(1001) 评论(0) 推荐(0) 编辑
摘要: 热力图是webgis中非常常见的需求,当数据量不大时对应用影响不大,但是当数据达到几百万时,即便使用后端渲染也比较困难。这时我们可以借助superluster.js来进行点聚合,然后进行后端渲染,使得地图流畅度大大增加。本文只处理8-11级的数据,后面的使用原先的数据渲染,完成所有展示需要两个服务 阅读全文
posted @ 2020-05-30 07:35 polong 阅读(2352) 评论(0) 推荐(0) 编辑