今天准备搭建测试用的数据环境,大概思路是自动同步线上hive库里的表,同时根据规则抽取线上数据到测试hive。
首先利用hive元数据得到建表语句:貌似hive 0.10支持show create table,不过现在公司用的版本不支持,找到文章如何获取hive建表语句 。在它的基础上尝试。
显示MYSQL表信息的方法(show columns from table)
显示Hive表信息的方法(describe tablename)
没有解决的问题:
if [ ${filetype##*mapred.} = 不知道什么含义
MySQL的Illegal mix of collationsy异常原因和解决方法
如何一台机器可以安装两个hive对应不同的hadoop集群吗?如何配置hadoop_home