【大数据】beeline 导出文件有特殊字符的问题解决

问题

近期在做大数据查询引擎导出文件的功能，使用了 hive 的 beeline 客户端。发现 beeline 导出的文件以及终端输出有许多特殊字符。

按照官方文档使用 beeline 导出命令：^[1]

/usr/bin/beeline --silent=true --showHeader=true --outputformat=csv2 -f query.hql </dev/null > /tmp/output.csv 2> /tmp/error.log

现象

在 vim 中显示为 ^M，在熟悉换行符的背景下，立即认出这就是 CR符号，也就是 \n

或者在excel文件头部，有很多 null,空格等符号。

分析

在做系统集成的时候，明显是不需要用 nohup的，因此没有采用文档中的写法，因为 nohup 一般直接在终端中使用；另外程序调用需要前台运行，等待结束后，获得exitCode，以及导出的文件和错误输出。

过程

由前面的文档启发，观察 /bin/hive 脚本, 发现

if [[ "$SERVICE" =~ ^(hiveserver2|beeline|cli)$ ]] ; then
  # If process is backgrounded, don't change terminal settings
  if [[ ( ! $(ps -o stat= -p $$) =~ "+" ) && ! ( -p /dev/stdin ) && ( ! $(ps -o tty= -p $$) =~ "?" ) ]]; then
    export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Djline.terminal=jline.UnsupportedTerminal"
  fi
fi

在有使用过 Alibaba Cloud Toolkit 的背景下，立即发现这是一个 stty size 的问题。

解决

在程序调用的场景下，通过/bin/bash 进行调用，所以其实是以一个终端环境，终端就涉及到美化输出的问题

所以一定要设置终端类型为不支持终端，因此显式设置变量:

HADOOP_CLIENT_OPTS="-Djline.terminal=jline.UnsupportedTerminal"

ProcessBuilder _proc = new ProcessBuilder().inheritIO().command(arguments);
_proc.environment().put("HADOOP_CLIENT_OPTS","-Djline.terminal=jline.UnsupportedTerminal");
Process proc = _proc.start();