PIE-Engine遥感云服务平台版本更新说明

PIE-Engine遥感云服务平台 自2020年8月19日发布公测版本以来，在大家的关爱和建议下不断成长，平台的可用性和成熟度也逐步提高。我们将PIE-Engine近4个月的更新情况进行了汇总，帮助大家进一步了解平台现状，从而更好地开展教育和科研工作。

一、重要更新内容

1、PIE-Engine全新官方主页上线

PIE-Engine官方网站全新改版，增加了在线直播、应用服务、遥感处理云服务等内容；PIE-Engine遥感计算云服务页面也经过了重新设计，内容展示更为全面（访问地址：https://engine.piesat.cn/engine-studio/）；

2、免费可用的公共数据集增加至69种

丰富的公共数据集是使用PIE-Engine平台的基础要求，我们通过持续的数据接入和更新，将数据集种类增加至69种，总量约1.2PB，日更新量10-14TB，覆盖光学、雷达、高光谱、气象、海洋、环境等领域，同时提供了专门的页面对所有数据集进行介绍。详细数据更新情况见下文“数据集更新”说明。

3、建立了跨数据中心的数据接入和预处理系统

为了实现高速、稳定的遥感数据接入，我们构建了一套跨数据中心的分布式自动化数据接入与预处理系统，将位于中国北京/宁夏、韩国首尔、日本东京、新加坡和德国法兰克福的云服务器无缝连接起来，基于云架构协同工作；

4、增加或优化了近200个在线编程计算算子

全面更新和优化了用于在线编程的JavaScript计算算子，涉及数据统计分析、矩阵运算、集合访问、元素过滤、线性回归等，同时还提供了多种针对特定卫星数据的专有算子。大部分算子底层采用C++实现。详细更新情况见下文“开发算子更新”说明；

5、引入了多种计算流图优化技术以提升计算效率

采用多种技术优化计算脚本执行时生成的计算流DAG图，包括中间对象合并、计算路径剪枝、计算缓存替换等，大幅提高了复杂计算脚本的执行效率；

6、支持将参数化计算脚本发布为可集成的Web服务

支持将用户编写的计算脚本生成Web服务链接，其中的参数化变量可通过HTTP请求参数动态修改。生成的链接符合OGC标准，可方便地嵌入到第三方应用中，通过几行代码即可将PIE-Engine的数据和计算服务集成到业务系统中；

7、重构用户资源管理功能并增加个人资源配额限制

整体重构了用户数据资源管理功能，改进了数据上传、接入和检索的效率以及操作体验；改进数据存储机制以更好地隔离用户私有数据；优化了用户资源配额管理，目前用户个人存储空间增加至250GB，文件个数增加至6000个，下载流量增加至100GB/月；

8、发布长时间影像动态变化展示和卫星数据在线检索应用

现在用户可使用Timelapse应用查看中国区任何地方2013-2020年长时间序列影像的变化（基于Landsat8影像数据）；在线提供基本的影像数据检索和统计功能，便于用户了解数据的分布情况。

二、数据集更新

1、光学卫星数据

Landsat7 TOA数据（1999-2004，全国）；

Landsat8 TOA数据（2013-2020，亚洲）；

Landsat8 SR数据（2013-2020，亚洲）；

Sentinel 2 MSI数据（2019-2020，亚洲）；

GF1_WFV TOA 数据、GF1_WFV SR 数据、GF1_B/C/D正射融合数据；

GF-2正射融合数据（样例）；

2、夜光遥感

DMSP OLS、VIIRS Nighttime Day数据

3、高程DEM

ALOS DEM 12.5米、ASTER GDEM V3 30米、SRTM DEM 30米等；

4、行政区划及矢量数据

包括全球国家行政区划边界、中国省级行政区划边界、中国城市行政区划边界、中国县级行政区划边界、全球港口分布等；

5、环境监测数据

Sentinel5p系列数据（SO2、O3、NO2、CO、甲烷、甲醛、紫外线气溶胶等多种气体、云层的监测数据）；

6、地表覆盖产品

全球10米地表覆盖(FROM-GLC10 2017 v1)、全球土地覆盖分类(MCD12Q1.006)、全球30米地表覆盖(FROM-GLC30 2015 v2)、全球地表覆盖GlobeLand30、全球30米不透水面产品等；

7、植被相关产品

全球8天合成LAI产品(MOD15A2H V6)、全球陆地植被产品(MOD13Q1 V6)等；

8、人口分布数据集

WorldPop人口数据集（100米/1公里）、LandScan全球人口分布数据集；

9、气象/气候产品

风云4号卫星反演产品（最近1个月）、葵花8号卫星反演产品（最近1个月）、中国1km*1km分辨率气温及雪深格点产品、气象数值天气预报产品、气象实况监测产品、气象短临预报产品、全球生态系统总初级生产力(GPP)、全球地表太阳辐射产品等；

10、海洋卫星产品

海洋2B散射计产品、海洋1C海岸带成像仪产品（1C/2A/2B）等；

11、第三方合作数据

PlanetLabs卫星数据（样例）、吉林一号卫星数据（样例）、全球250米LAI产品。

三、开发算子更新

1、增加了多种数据统计分析方法

在Reducer下扩展了mean、median、count、percentile、first、last、linearFit、linearRegression、pearsonsCorrelation、fixedHistogram等多个算子。

2、扩展了数据查询过滤方式

在Filter下增加了or、and、calendaRange、dayOfYear、inList等多种过滤方式，优化了ImageCollection和FeatureCollection的数据过滤方式；

3、增加了高程数据通用算法

包括方位角、坡度、阴影计算等算法，支持高程数据的分析计算；

4、增加了针对国产遥感数据的反演算法

包括FY4A的PM2.5、PM10、气溶胶反演算法和FY4A、Landsat8、Sentinel-1、葵花8等数据的去云算法；

5、Array类增加算子

getInfo、cat、abs、accum、slice、transpose、subtract、add、multiply、divide、and、or、not、bitwiseAnd、bitwiseOr、bitwiseNot、bitwiseXor等算子以及matirxDeterminant、matrixDiagonal、matrixToDiag、matrixTrace、matrixTranspose、matirxInverse、matrixFnorm、matrixPseudoInverse、matrixCholeskyDecomposition、matrixSolve、matrixORDecompositon、matrixMultiply等矩阵运算相关算子30个；

6、新增基本数据类型

新增了String、Number、Dictionary、List等基本数据类型，扩展算子近60个，实现了部分功能的并行计算，优化了执行效率；

7、完善ImageCollection和Image类等

完善了ImageCollection和Image类，修正了部分算子数据不兼容的问题，增加了Reduce、matrixMultiply、date、set、get等算子；

8、完善FeatureCollection和Geometry类等

完善了FeatureCollection和Geometry类，增加了contains、difference、intersects、union、simplify、dissolve、buffer、toGeoJSON等10多个算子；

9、完善了Export数据导出方法，改进了导出效率和精度。

四、其它更新情况

1、增加了用户中心模块

在用户中心中可以设置用户基本信息，查看个人积分以及兑换积分领奖等。以后用户可以使用个人积分兑换平台的资源使用配额；

2、在线帮助文档全新升级

新的用户帮助文档内容更加丰富，包含了平台上所有可用算法的说明介绍以及相关的案例讲解；

3、提供数据集专有演示脚本

增加了29种常用数据集的演示脚本，位置在“参考示例”—>“Datacatlog”目录下；

4、支持分享代码链接的管理

现在用户可以管理自己已经分享的代码链接，可设置是否公开或删除链接；

5、增加地图界面动态创建图例功能

优化矢量数据绘制、数据导出等方法。

五、近期重要发布计划

1、本地Python开发包正在内测之中，预计在2020年12月内发布；

2、多种机器学习分类算法正在集成开发中，预计在2021年1月份发布；

3、对于在线深度学习模型API的编程调用将在2021年第一季度发布，可实现AI模型和计算平台的深度整合。