Amazon Redshift Spectrum

Amazon Redshift Spectrum 驻留在独立于您的集群的专用 Amazon Redshift 服务器上。Redshift Spectrum 将很多计算密集型任务 (如谓词筛选和聚合) 下推到 Redshift Spectrum 层。因此，Redshift Spectrum 查询使用的集群处理容量比其他查询的少得多。Redshift Spectrum 还可智能地扩展。基于您的查询的需求，Redshift Spectrum 可能能够使用数千个实例来利用大规模并行处理。

您通过定义您的文件的结构并将文件作为外部数据目录中的表注册来创建 Redshift Spectrum 表。外部数据目录可以是 AWS Glue、Amazon Athena 附带的数据目录或您自己的 Apache Hive 元存储。您可使用数据定义语言 (DDL) 命令或使用连接到外部数据目录的任何其他工具从 Amazon Redshift 创建和管理外部表。对外部数据目录进行的更改将立即对您的任何 Amazon Redshift 集群可用。

您也可在一个或多个列上为外部表分区。将分区定义为外部表的一部分可提升性能。改进的原因是 Amazon Redshift 查询优化程序消除了不含所查询数据的分区。

在定义 Redshift Spectrum 表之后，您可以像查询和联接任何其他 Amazon Redshift 表一样查询和联接这些表。Amazon Redshift 不支持对外部表执行更新操作。您可将 Redshift Spectrum 表添加到多个 Amazon Redshift 集群并在同一 AWS Region 区域的任何集群中查询 Amazon S3 上的相同数据。更新 Amazon S3 数据文件后，立即可从您的任何 Amazon Redshift 集群查询到该数据。

您访问的 AWS Glue 数据目录可能已加密以提高安全性。如果 AWS Glue 目录已加密，您需要使用 AWS Glue 的 AWS Key Management Service (AWS KMS) 密钥来访问 AWS Glue 目录。AWS Glue 目录加密并非在所有 AWS 区域中都可用。

 

在使用 Amazon Redshift Spectrum 时，请注意以下事项：

• Amazon Redshift 集群和 Amazon S3 存储桶必须位于同一 AWS 区域。

• 如果您的集群使用增强型 VPC 路由，您可能需要执行其他配置步骤。有关更多信息，请参阅将 Amazon Redshift Spectrum 与增强型 VPC 路由结合使用。

• 外部表为只读。您不能对外部表执行插入、更新或删除操作。

• 除非您使用的是为 AWS Lake Formation 启用的 AWS Glue 数据目录，否则您无法控制用户对于外部表的权限。相反，您可以授予和撤销对外部 schema 的权限。有关使用 Lake Formation 的更多信息，请参阅将 Redshift Spectrum 和 AWS Lake Formation 配合使用。

• 要运行 Redshift Spectrum 查询，数据库用户必须有权在数据库中创建临时表。以下示例将数据库 spectrumdb 的临时权限授予 spectrumusers 用户组。

• 当使用 Athena 数据目录或 AWS Glue 数据目录时，存在以下限制：

  • 每个账户最多 10,000 个数据库。

  • 每个数据库最多 100,000 个表。

  • 每个表最多 1,000,000 个分区。

  • 每个账户最多 10,000,000 个分区。

  您可通过联系 AWS Support 来请求增加限制。

  这些限制不适用于 Apache Hive 元存储。