本文翻译自官网:Reading & Writing Hive Tables  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/hive/read_write_hive.html

Flink Table Api & SQL 翻译目录

使用HiveCatalog和Flink的Hive连接器,Flink可以读取和写入Hive数据,以替代Hive的批处理引擎。确保遵循说明在您的应用程序中包括正确的依赖项

从 Hive 读数据 

假设Hive在其default数据库中包含一个表,该表名为people,其中包含几行。

 

hive> show databases;
OK
default
Time taken: 0.841 seconds, Fetched: 1 row(s)

hive> show tables;
OK
Time taken: 0.087 seconds

hive> CREATE TABLE mytable(name string, value double);
OK
Time taken: 0.127 seconds

hive> SELECT * FROM mytable;
OK
Tom   4.72
John  8.0
Tom   24.2
Bob   3.14
Bob   4.72
Tom   34.9
Mary  4.79
Tiff  2.72
Bill  4.33
Mary  77.7
Time taken: 0.097 seconds, Fetched: 10 row(s)

准备好数据后,您可以连接到现有的Hive 安装程序并开始查询。

Flink SQL> show catalogs;
myhive
default_catalog

# ------ Set the current catalog to be 'myhive' catalog if you haven't set it in the yaml file ------

Flink SQL> use catalog myhive;

# ------ See all registered database in catalog 'mytable' ------

Flink SQL> show databases;
default

# ------ See the previously registered table 'mytable' ------

Flink SQL> show tables;
mytable

# ------ The table schema that Flink sees is the same that we created in Hive, two columns - name as string and value as double ------ 
Flink SQL> describe mytable;
root
 |-- name: name
 |-- type: STRING
 |-- name: value
 |-- type: DOUBLE


Flink SQL> SELECT * FROM mytable;

   name      value
__________ __________

    Tom      4.72
    John     8.0
    Tom      24.2
    Bob      3.14
    Bob      4.72
    Tom      34.9
    Mary     4.79
    Tiff     2.72
    Bill     4.33
    Mary     77.7

写数据到hive

同样,可以使用INSERT INTO子句将数据写入 hive。 

Flink SQL> INSERT INTO mytable (name, value) VALUES ('Tom', 4.72);

局限性

以下是Hive连接器的主要限制列表。我们正在积极努力缩小这些差距。

  1. 不支持 INSERT OVERWRITE。
  2. 不支持插入分区表。
  3. 不支持ACID表。
  4. 不支持存储桶的表。
  5. 不支持某些数据类型。有关详细信息,请参见限制
  6. 仅测试了有限数量的表存储格式,即文本,SequenceFile,ORC和Parquet。
  7. 不支持视图。

欢迎关注Flink菜鸟公众号,会不定期更新Flink(开发技术)相关的推文

 

posted on 2019-12-02 13:32  Flink菜鸟  阅读(2260)  评论(0编辑  收藏  举报