J'KYO - 博客园

2018年4月27日

摘要：这里罗列常用操作，更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable 简单的创建表创建有分区的表一个表可以阅读全文

posted @ 2018-04-27 16:06 J'KYO 阅读(1039) 评论(0) 推荐(0) 编辑

SQOOP 添加oracle 驱动

摘要：我的ORACLE 是11G ，找到ojdbc6.jar，放到sqoop 的lib 下面，我的是cloudera 集群，目录是 /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/sqoop/lib /opt/cm-5.10.0/share/c 阅读全文

posted @ 2018-04-27 15:09 J'KYO 阅读(453) 评论(0) 推荐(0) 编辑

关于sqoop --split-by 及 -m的理解

摘要：场景： sqoop import --connect jdbc:postgresql://...../..... --username .... --query "select * from retail_tb_order_qiulp_test where status = 'TRADE_FINIS 阅读全文

posted @ 2018-04-27 14:31 J'KYO 阅读(6518) 评论(0) 推荐(0) 编辑

2018年4月26日

sqoop导出到mysql中文乱码问题总结、utf8、gbk

摘要： sqoop导出到mysql中文乱码问题总结、utf8、gbk 今天使用sqoop1.4.5版本的（hadoop使用cdh5.4）因为乱码问题很是头痛半天。下面进行一一总结命令： [root@sdzn-cdh01 etc]# sqoop export --connect "jdbc:mysql:// 阅读全文

posted @ 2018-04-26 18:00 J'KYO 阅读(1333) 评论(0) 推荐(0) 编辑

Hive 的查询结果直接导入到 MySQL 中的方法

摘要：步骤一： hive> add jar /setup/hive/lib/mysql-connector-java-5.1.25-bin.jar; hive> add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar; 步骤二： hive> CR 阅读全文

posted @ 2018-04-26 17:25 J'KYO 阅读(3871) 评论(0) 推荐(0) 编辑

测试Linux端口的连通性的四种方法

摘要： Linux系统有时候需要测试某个端口的连通性，用户可以参考如下方法来测试。方法一、telnet法 telnet为用户提供了在本地计算机上完成远程主机工作的能力，因此可以通过telnet来测试端口的连通性，具体用法格式： telnet ip port 说明： ip：是测试主机的ip地址 port：是阅读全文

posted @ 2018-04-26 17:01 J'KYO 阅读(2587) 评论(0) 推荐(0) 编辑

将Hive统计分析结果导入到MySQL数据库表中（一）——Sqoop导入方式

摘要： https://blog.csdn.net/niityzu/article/details/45190787 交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果阅读全文

posted @ 2018-04-26 16:39 J'KYO 阅读(18607) 评论(0) 推荐(0) 编辑

hive基本结构与数据存储

摘要：一、Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。还可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去查询分析需要的内容，这套 SQL 简称 HQL。使用hive的优点是学习成本低，可阅读全文

posted @ 2018-04-26 16:37 J'KYO 阅读(5509) 评论(0) 推荐(0) 编辑

使用sqoop从Oracle或mysql抽取数据到HDFS遇到的报错及解决

摘要：一、参考文档： 1、https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2、http://www.cnblogs.com/bjt 阅读全文

posted @ 2018-04-26 16:22 J'KYO 阅读(3780) 评论(0) 推荐(0) 编辑

Sqoop导入关系数据库到Hive

摘要：参考：segmentfault.com：Sqoop导入关系数据库到Hive 参考：segmentfault.com：Sqoop导入关系数据库到Hive 参考：segmentfault.com：Sqoop导入关系数据库到Hive 参考：segmentfault.com：Sqoop导入关系数据库到Hiv 阅读全文

posted @ 2018-04-26 14:38 J'KYO 阅读(748) 评论(0) 推荐(0) 编辑