上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 21 下一页
摘要: 场景: 预发环境中,同事已经搭建了一套hadoop集群,由于版本与所需不符,所以需要替换版本 问题描述: 在配置文件都准确的情况下,启动hadoop,出现以下报错: 启动之前初始化: 初始化目录跟配置文件目录不一致 hdfs namenode -format [root@hdoop2 hadoop- 阅读全文
posted @ 2018-11-30 14:10 天宇星空 阅读(5018) 评论(0) 推荐(0) 编辑
摘要: 一.个人初始开发环境的基本情况以及Hive元数据库说明 ①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置) ②hive-site.xml中设置元数据库对应的配置为 jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfN 阅读全文
posted @ 2018-11-27 13:24 天宇星空 阅读(6675) 评论(0) 推荐(0) 编辑
摘要: sqoop搭建环境: jdk1.8 hadoop分布式集群(HDFS) HIVE(看使用情况) 下载网址:http://sqoop.apache.org/ 建议: sqoop1.4.4版本,线上使用比较好,网上相关文档也多 (推介线上使用) sqoop1.99.7版本,创建job方式规范化,但网上资 阅读全文
posted @ 2018-11-22 17:34 天宇星空 阅读(659) 评论(0) 推荐(0) 编辑
摘要: NoClassDefFoundError: org/json/JSONObject: [root@hadoop2 ~]# sqoop job --create myjob7 -- import --connect jdbc:mysql://192.168.122.15:3306/company -- 阅读全文
posted @ 2018-11-22 13:44 天宇星空 阅读(2275) 评论(0) 推荐(0) 编辑
摘要: mysql >hdfs sqoop导入数据工作流程: sqoop提交任务到hadoop >hadoop启动mapreduce >mapreduce通过指定参数到表中获取导入的数据 >MapReduce将需导入的数据导入到HDFS中 1.全表导入: mysql >hdfs sqoop import - 阅读全文
posted @ 2018-11-22 10:25 天宇星空 阅读(3668) 评论(0) 推荐(0) 编辑
摘要: ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf sqoop从mysql导入到hive报错 阅读全文
posted @ 2018-11-22 09:04 天宇星空 阅读(1449) 评论(0) 推荐(0) 编辑
摘要: ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. [root@hadoop1 conf]# sqoop impor 阅读全文
posted @ 2018-11-15 17:08 天宇星空 阅读(503) 评论(0) 推荐(0) 编辑
摘要: 当我们输入./schematool -initSchema -dbType mysql的时候,会出现以下错误 Metastore connection URL: jdbc:mysql://192.168.*./hive?createDatabaseIfNotExist=true Metastore 阅读全文
posted @ 2018-11-14 16:53 天宇星空 阅读(787) 评论(0) 推荐(0) 编辑
摘要: set option --name verbose --value true #打开报错详情输出 Exception has occurred during processing command Exception: org.apache.sqoop.common.SqoopException Me 阅读全文
posted @ 2018-11-14 11:03 天宇星空 阅读(1092) 评论(0) 推荐(0) 编辑
摘要: java环境: java version "10.0.1" ,启动sqoop-shell端或者是sqoop-client端异常,异常如下: [root@hadoop1 home]# sqoop2-shell Setting conf dir: /home/sqoop-1.99.7/bin/../co 阅读全文
posted @ 2018-11-13 14:19 天宇星空 阅读(663) 评论(0) 推荐(0) 编辑
上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 21 下一页