Hive insert into directory 命令输出的文件没有列分隔符分析和解决

参考资料：http://stackoverflow.com/questions/16459790/hive-insert-overwrite-directory-command-output-is-not-separated-by-a-delimiter

 

问题描述：

Hive insert into directory 命令输出的文件没有指定列分隔符，输出结果就像变成了一个字符串。

通过CREATE EXTERNAL TABLE 和load 方式，尝试了多种分隔符都不能正确的区分，所有的字段内容合起来变成一个字符串放在了第一个字段，而后面的字段全部为NULL。

 

问题分析：

1. 导出前的Hive表是以'\t'作为分隔符的，用hadoop fs -cat 看到数据是有分隔符的，如：

001 000
001 000
002 001
003 002
004 003
005 004
006 005
007 006
008 007
099 007

2. 导出语句如下：

insert overwrite directory '/tmp/hdfs_out' select a.* from invites a where a.ds='<date>';

3. 查看导出的文件内容：

hadoop dfs -cat /tmp/hdfs_out/000000_0

001000
001000
002001
003002
004003
005004
006005
007006
008007
099007

解决方法：

引文中的满意答案如下：

Are you sure there is no delimiter in the output directory? By default, Hive uses '\1' for the field delimiter, so you should try 
`hadoop dfs -cat "/tmp/hdfs_out/*" | tr '\001' ' ' –  libjack May 9 '13 at 17:11

意思是，在没有指定分隔符的默认情况下，hive用'\1' 来做列分隔符，因此，对于这样的文件，要用'\001'来区分。

 

据此，将建表语句改为后装载成功：

CREATE EXTERNAL TABLE tmp_06_table_name(
……
)
COMMENT 'this is tmp_06_table_name'
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '\1' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://yncm/tmp/hdfs_out/';