随笔 - 483, 文章 - 0, 评论 - 2, 阅读 - 18万

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

随笔分类 -  Sqoop

摘要:看mr的运行显示:sqoop job可以获得的select max(xxx)结果,但是当mr开始时却显示大片错误,就是连接超时,和连接重置等问题, 最后去每个节点ping mysql的ip地址,发现root@hslave1:/opt/cm-5.5.1/etc# ping 10.121... 阅读全文

posted @ 2016-03-15 21:00 ggzone 阅读(210) 评论(0) 推荐(0) 编辑

摘要:批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#source databaseHOST='192.168.2.229'PORT=3306USER='root'PASSWD='roo... 阅读全文

posted @ 2016-02-27 10:13 ggzone 阅读(913) 评论(0) 推荐(0) 编辑

摘要:修改配置文件:vi /etc/sqoop/conf/sqoop-site.xml sqoop.metastore.client.record.password true If true, allow saved passwords in the metastore... 阅读全文

posted @ 2016-02-27 09:59 ggzone 阅读(513) 评论(0) 推荐(0) 编辑

摘要:sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --query "select r... 阅读全文

posted @ 2016-01-30 13:03 ggzone 阅读(1094) 评论(2) 推荐(0) 编辑

摘要:待研究,只做保存将HDFS中不同目录下面的数据合在一起,并存放在指定的目录中,示例如:sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar-file /opt/data/... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(540) 评论(0) 推荐(0) 编辑

摘要:需求:redis缓存的数据隔段时间往MySQL中写入一次。如果按照job的增量导入,比如上次redis向mysql导入数据时间为8:00,下一次导入时间为9:00,8:20sqoop进行增量导入,导入的时*~8:20的数据,sqoop把job中的最后导入时间设置为8:20。当9:00... 阅读全文

posted @ 2015-12-05 14:06 ggzone 阅读(753) 评论(0) 推荐(0) 编辑

摘要:sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password root -m 1 --hi... 阅读全文

posted @ 2015-12-05 13:26 ggzone 阅读(350) 评论(0) 推荐(0) 编辑

摘要:导入所有表:sqoop import-all-tables –connect jdbc:mysql://ip:port/dbName --username userName --password passWord -m 1 --hive-import;导入一个表:sqoop im... 阅读全文

posted @ 2015-11-22 18:19 ggzone 阅读(1608) 评论(0) 推荐(0) 编辑

摘要:sqoop导数据卡住在INFO mapreduce.Job: Running job: job_1447835049223_0010 查yarn日志全是:INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.capa... 阅读全文

posted @ 2015-11-22 17:54 ggzone 阅读(426) 评论(0) 推荐(0) 编辑

摘要:环境:Hadoop 2.3.0 sqoop 1.4.51、下载并解压sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz (解压完,名字会很长,可以根据需要自己修改下目录名)tar -zxvfsqoop-1.4.5.bin__had... 阅读全文

posted @ 2015-11-22 17:06 ggzone 阅读(311) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示