摘要：
将查询结果写入到本地指定目录(也可以写入hdfs) insert overwrite local directory '/root/tmpdata/queryout_20180607' select * from gamedw.t_name where id=1 一个源可以同时插入到多个目标表或目标 阅读全文
posted @ 2018-06-07 15:14 打杂滴 阅读(198) 评论(0) 推荐(0) 编辑
2018年6月7日
摘要：
hive是hadoop的一个重要子项目，利于mapreduce编程技术，实现部分sql语句,提供类SQL的编程接口。 hive是一个基于hadoop文件系统的数据仓库架构，它为数据仓库管理提供了许多功能：数据ETL，数据存储管理，大数据集的查询和分析能力。 由于hadoop是批处理系统，任务是高延迟 阅读全文
posted @ 2018-06-07 14:06 打杂滴 阅读(338) 评论(0) 推荐(0) 编辑
2018年6月6日
摘要：
Specifies the column to be examined when determining which rows to import. (the column should not be of type CHAR/NCHAR/VARCHAR/VARNCHAR/ LONGVARCHAR/ 阅读全文
posted @ 2018-06-06 16:32 打杂滴 阅读(523) 评论(0) 推荐(0) 编辑
摘要：
hive导入数据到mysql最简单的方式就是从hdfs直接读取hive表文件导入mysql，当然这需要知道数据表保存的目录 如果能直接从表到表的导入，无需路径，当然是最好了 1.需要下载合适的hive-hcatalog-core-*.jar，分别复制到hive以及sqoop对应的lib目录下，并且配 阅读全文
posted @ 2018-06-06 10:06 打杂滴 阅读(570) 评论(0) 推荐(0) 编辑
2018年5月31日
摘要：
一.数据仓库定义 数据仓库就是面向主题的、集成的、相对稳定的、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程、数据仓库中的数据面向主题，与传统关系数据库面向应用相对应。 二.数据仓库与传统数据的区别 数据仓库是用于分析的数据库，传统的关系型数据库是面向业务的，为具体的业务提供 阅读全文
posted @ 2018-05-31 15:48 打杂滴 阅读(190) 评论(0) 推荐(0) 编辑
2018年5月29日
摘要：
crond 是linux用来定期执行程序的命令。当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。可以用以下的方法启动、关闭这个服务: [root@host ~]# /sbin/service crond st 阅读全文
posted @ 2018-05-29 15:44 打杂滴 阅读(163) 评论(0) 推荐(0) 编辑
摘要：
下载 wget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 解压 tar -zxf sqoop-1.99.7-bin-hadoop200.tar.gz 将mysql-connecto 阅读全文
posted @ 2018-05-29 10:51 打杂滴 阅读(454) 评论(0) 推荐(0) 编辑
摘要：
Sqoop是一款开源的工具，主要用于在Hadoop和传统的数据库(mysql、postgresql等)进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点 阅读全文
posted @ 2018-05-29 10:21 打杂滴 阅读(371) 评论(0) 推荐(0) 编辑
2018年5月28日
摘要：
查看现有link sqoop:000> show link+ + + +| Name | Connector Name | Enabled |+ + + +| mysqllink | generic-jdbc-connector | true || mysql2 | generic-jdbc-con 阅读全文
posted @ 2018-05-28 14:14 打杂滴 阅读(508) 评论(0) 推荐(0) 编辑
2018年5月25日
摘要：
1.下载 wget http://mirror.bit.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz 2.解压 tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /root/sqo 阅读全文
posted @ 2018-05-25 10:05 打杂滴 阅读(267) 评论(0) 推荐(0) 编辑