2015年11月6日
shell脚本操作mysql数据库
摘要： shell脚本操作mysql数据库，使用mysql的-e参数可以执行各种sql的(创建，删除，增，删，改、查)等各种操作mysql -hhostname -Pport -uusername -ppassword -e 相关mysql的sql语句，不用在mysql的提示符下运行mysql，即可以在sh... 阅读全文
posted @ 2015-11-06 21:34 PowerBI工坊 阅读(237) 评论(0) 推荐(0) 编辑
Hive中JOIN操作
摘要： 1. 只支持相等JOIN。 2. 多表连接当使用不同的列进行JOIN时，会产生多个MR作业。 3. 最后的表的数据是从流中读取，而前面的会在内存中缓存，因此最好把最大的表放在最后。 SELECT /*+ STREAMTABLE(a) */ a.val, b.val, c.val FROM a JOI 阅读全文
posted @ 2015-11-06 21:23 PowerBI工坊 阅读(529) 评论(0) 推荐(0) 编辑
Hive优化
摘要： hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limi 阅读全文
posted @ 2015-11-06 21:19 PowerBI工坊 阅读(206) 评论(0) 推荐(0) 编辑
Sqoop安装配置及数据导入导出
摘要： 前置条件 已经成功安装配置Hadoop和Mysql数据库服务器，如果将数据导入或从Hbase导出，还应该已经成功安装配置Hbase。 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz ：http://archive.cloudera.com/cdh/3/s 阅读全文
posted @ 2015-11-06 15:04 PowerBI工坊 阅读(330) 评论(0) 推荐(0) 编辑