【技术问题】时空大数据0001---基本知识

一、B+树、R树定义、区别及场景

 

 

 

 

 

二、空间数据缓存技术设计

1、空间数据缓存容量

2、空间数据缓存穿透

3、缓存数据失效

 

FIFO：First In First Out，先进先出。判断被存储的时间，离目前最远的数据优先被淘汰。
LRU：Least Recently Used，最近最少使用。判断最近被使用的时间，目前最远的数据优先被淘汰。
LFU：Least Frequently Used，最不经常使用。在一段时间内，数据被使用次数最少的，优先被淘汰。

 

缓存穿透、缓存雪崩

https://baijiahao.baidu.com/s?id=1619572269435584821&wfr=spider&for=pc

后端数据库和文件系统压力大

方案：缓存空值、限流、分级缓存、缓存预热、冷热数据设置缓存过期时间、缓存用不过期

 

底图：瓦片、静态资源、CDN、缓存

数据：缓存、分布式

 

三、海量遥感影像存储管理设计

采用文件实体和索引元数据共同存储。文件实体可以采用分布式文件系统和HDFS等方案，索引元数据为结构化数据存储，分数据库存储和缓存。

文件实体存储过程中抽取空间信息、波段信息、中心点、拍摄日期、处理状态、数据来源、文件指针、缩略图、10%影像采样图。

结构化数据存储文件实体采集提取的结构化信息，为了提高检索效率，提供缓存查询和数据库查询两种方案。

应用分为遥感影像背景图、遥感专题分析等场景。

遥感影像背景图：需要经过遥感专业数据处理，比如：辐射标定、纠正、融合、裁剪、镶嵌等，然后按照密级要求偏移后做成瓦片地图发布。

遥感专题分析：需要提供在线算法编写、影像选择、算力、存储、测试等分析平台，如分析农作物的产量，需要计算产量和绿色波段及其他波段的数据关系，然后根据影像数据进行计算。

遥感目标识别：提供在线遥感影像展示，训练样本采集存储，识别算法训练，识别算法评估，识别算法发布，指定区域选择，识别算法调用，识别任务执行等。

遥感数据服务：提供框选、圈选，查询指定区域遥感影像数据集（根据结构化数据查询），列表加载查询结果，缩略图显示和影像采样图地图叠加显示，勾选数据集，提交下载任务，后台根据任务清单批处理影像数据集下载流程，下载流程完成后触发邮件或短信任务通知用户。