GoldenGate for bigdata 12.3.2.1版本新特性
在Oracle Tenical Network(OTN)上已经可以下载到最新的ogg4bd版本,地址如下:
http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html
新增加的特性如下:
-
支持以Cassandra为源
从ogg4bd 12.3.2.1开始,GoldenGate可以从NoSQL存储中读取数据,在这个版本中,支持列式存储库Cassandra的增量数据捕获,它可以从头开始捕获,也称为初始捕获。
-
新的目标端 - Kafka REST代理
ogg4bd现在可以通过rest代理接口以LCR格式实时将数据写入kafka topic,而且支持DDL变更,其它支持的操作包括Insert/Update/Delete/PK Update。也支持模板化对输出数据进行格式化。现在也支持编码格式AVRO和JSON。最后,还提供HTTPS/SSL的通信支持。
-
新的目标端 - Oracle NoSQL
ogg4bd现在可以通过配置的形式将数据写入Oracle NoSQL数据存储,而不需要使用java adapter。它可以处理Oracle NoSQL数据类型,表和列之间的映射,支持DDL更改,主键更新的复制。这个版本支持Basic和Kerberos两种身份验证方法。
-
新的目标端 - 文本文件和AWS S3存储
ogg4bd现在提供一个新的文本文件写入器。其作用是将数据先写到本地文件系统,再将完整的数据写入到另一个位置,如HDFS。这意味着分析工具不必尝试访问这些本地存放的实时半处理文件,只需要在后续执行批量处理即可,如通过调用本地函数实现转换,合并等,更容易满足ETL或大数据平台数据处理的需求。
-
新的目标端 - AWS S3存储
ogg4bd当前提供的文本写入器,支持将数据先写到本地文件系统,再将完整的文件加载到另一个位置,如AWS S3。 S3处理程序可以写入预先创建的AWS S3存储桶(bucket)或使用AWS OAUTH认证方法创建新存储桶。
-
新的输出格式 - ORC& Parquet
ogg4bd现在提供的文本文件处理器,支持以ORC和Parquet格式写入数据。
-
最后
除旧版本支持的平台外,该版本还新增支持MapR, Hortonworks 2.7, CDH 5.14, Confluent 4.0, MongoDB 3.6, DataStax Cassandra 5.1, Elasticsearch 6.2, Kafka 1.0。