【技术问题】时空大数据0001---基本知识
一、B+树、R树定义、区别及场景
二、空间数据缓存技术设计
1、空间数据缓存容量
2、空间数据缓存穿透
3、缓存数据失效
FIFO:First In First Out,先进先出。判断被存储的时间,离目前最远的数据优先被淘汰。
LRU:Least Recently Used,最近最少使用。判断最近被使用的时间,目前最远的数据优先被淘汰。
LFU:Least Frequently Used,最不经常使用。在一段时间内,数据被使用次数最少的,优先被淘汰。
缓存穿透、缓存雪崩
https://baijiahao.baidu.com/s?id=1619572269435584821&wfr=spider&for=pc
后端数据库和文件系统压力大
方案:缓存空值、限流、分级缓存、缓存预热、冷热数据设置缓存过期时间、缓存用不过期
底图:瓦片、静态资源、CDN、缓存
数据:缓存、分布式
三、海量遥感影像存储管理设计
采用文件实体和索引元数据共同存储。文件实体可以采用分布式文件系统和HDFS等方案,索引元数据为结构化数据存储,分数据库存储和缓存。
文件实体存储过程中抽取空间信息、波段信息、中心点、拍摄日期、处理状态、数据来源、文件指针、缩略图、10%影像采样图。
结构化数据存储文件实体采集提取的结构化信息,为了提高检索效率,提供缓存查询和数据库查询两种方案。
应用分为遥感影像背景图、遥感专题分析等场景。
遥感影像背景图:需要经过遥感专业数据处理,比如:辐射标定、纠正、融合、裁剪、镶嵌等,然后按照密级要求偏移后做成瓦片地图发布。
遥感专题分析:需要提供在线算法编写、影像选择、算力、存储、测试等分析平台,如分析农作物的产量,需要计算产量和绿色波段及其他波段的数据关系,然后根据影像数据进行计算。
遥感目标识别:提供在线遥感影像展示,训练样本采集存储,识别算法训练,识别算法评估,识别算法发布,指定区域选择,识别算法调用,识别任务执行等。
遥感数据服务:提供框选、圈选,查询指定区域遥感影像数据集(根据结构化数据查询),列表加载查询结果,缩略图显示和影像采样图地图叠加显示,勾选数据集,提交下载任务,后台根据任务清单批处理影像数据集下载流程,下载流程完成后触发邮件或短信任务通知用户。
博客版权: 本文以学习、研究和分享为主,欢迎转载和各类爬虫,但必须在文章页面明显位置给出原文链接。 如果文中有不妥或者错误的地方还望高手的您指出,以免误人子弟。如果您有更好的建议,不如留言一起讨论,共同进步! 再次感谢您耐心的读完本篇文章。