1. 起因
一次hive查数过程中，发现hive中缺省了10天的近3000w的数据，自问自答：怎么办，当然是要补数啊！从哪里补，mongo啊（还好mongo中有一份）！
mongo中数据是bson保存，而且数据列与hive不一样！
2. 解决方案
方案1：mongoexport
思路：由于mongoexport只能以逗号分割字段，所以要导到hive里面最快的方式就是，利用mysql可以导逗号的cvs文件，还可以指定列，并且约束严格可以方便的检查数据正确性。
所以，第一反应是mongo to cvs to mysql to hive，但是很快就失败了，过程还是要记录下来的！
第一步：mongo to cvs
语句：sudo ./mongoexport -hxxx --port xxx -u xxx -pxxx -d sms -c outbox1 --type=csv -f id,type,mobile, -q '{optime:{$gte: "2017-02-19 05:40:00", $lte: "2017-02-20 05:40:00"}}' -o /home/q/temp_mongo/mongo_data.cvs
第二步：cvs to mysql
语句：LOAD DATA LOCAL INFILE '/home/xxx/xx00' INTO TABLE xxxtable FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n';
插曲：mongo_data.cvs数据太大60多G，采用split切分split -50000 mongo_data.cvs,每个文件5w行切分，第一次测试就先切1000行吧：csplit /mongo_data.cvs 1000先将文件切成了2份！
问题
-
mongoexport对字符串不加"导致字段中包含逗号,，导致导入失败！（知道为啥不直接到hive了吧，导数过程肯定有问题啊，mysql解决问题多方便快捷） -
mongoexport对于\不会转义，所以字符串中出现\[汉字]，eg : \请...形式的字符，mysql无法识别。
报错： [HY000][1300] Invalid utf8 character string: 'xxx'
最简单的方法要解决这些问题太玛法，迅速放弃，期待mongoexport更智能点吧，找其他快速解决的办法！
方案2：mongo shell
mongoexport不能解决问题，借助shell也许是最快的办法了。
思路：mongo shell to cvs to hive
第一步： 新建脚本 export.js
db.auth("xxx","xxx");
conn = new Mongo();
db = conn.getDB("xxxdb");
var cur = db.xxxdb.find({optime:{$gte: "2017-02-19 05:40:00", $lte: "2017-02-20 05:40:00"}});
var obj;
while(cur.hasNext()){
obj = cur.next();
print(obj.id+"\t"+ ... +"\t"+obj.subaccount+"\n");
}
tip： 和在命令行语法差不多，可以随意指定输出格式！这样就可以直接一步到hive了
第二步： 使用mongo执行cd .../mongodb/bin目录下的mongo脚本，./mongo --help查看帮助
sudo ./mongo xxxip:30000/xxdb -u xxx -p xxx export.js > /home/q/temp_mongo/outbox
注：export.js放在当前目录，所以没有路径！并且要删除outbox前两行输出: sed -i '1,2d' outbox
第三步：导hive
#!/usr/bin/env bash
source /etc/profile
eval cd $(dirname $0)
currentDir=$(pwd)
line="xxx"
_HIVE_TABLE=xxxdb
PATH_FILE="${currentDir}/xxx"
gzip ${PATH_FILE}
PATH_GZ="${PATH_FILE}.gz"
echo "PATH_GZ:${PATH_GZ}"
hive -e "set mapreduce.job.name = ${0}_xxx;USE wirelessdata; \
alter table ${_HIVE_TABLE} add IF NOT EXISTS PARTITION(num='${line}'); \
LOAD DATA LOCAL INPATH '${PATH_GZ}' OVERWRITE INTO TABLE ${_HIVE_TABLE} partition(num=${line});" || exit 1
rm -f ${PATH_FILE}
rm -f ${PATH_GZ}
echo "end success."
搞定，也算比较快的方式吧- -！
3. 总结
我想只有坑踩多了，才会成长吧！你将从本文获取如下知识点：
-
使用
mongoexport导出mongo数据。 -
使用shell脚本个性化导出mongo数据。
-
cvs导mysql，字符串中特殊字符的问题。
-
cvs导hive的脚本基本知识。
-
mysql，hive，mongo之间数据导入导出方法。
