摘要: 全量导入: 增量导入:(根据时间促来导入,如果表中没有时间促属性,可以增加一列时间簇) 从HIVE中到出道mysql中 阅读全文
posted @ 2016-11-22 21:22 OnTheWay_duking 阅读(5342) 评论(0) 推荐(0) 编辑
摘要: 之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用,综合比较后选择Sqoop1。 Sqoop1安装配置比较简单 一、安装部署 (1)、下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz 解压到 阅读全文
posted @ 2016-11-21 16:01 OnTheWay_duking 阅读(4764) 评论(0) 推荐(0) 编辑
摘要: 一 下载sqoop 1.99.7 http://mirror.bit.edu.cn/apache/sqoop/1.99.7/ 二 解压安装文件 三 配置Sqoop 环境变量 最后把mysql的驱动jar文件复制到extera这个目录下。 四 配置Hadoop代理访问 因为sqoop访问Hadoop的 阅读全文
posted @ 2016-11-19 17:59 OnTheWay_duking 阅读(4009) 评论(0) 推荐(0) 编辑
摘要: 打开help-> install from catalog 输入pydev查找并安装pydev 根据提示进行安装,安装完后重启myeclipse 阅读全文
posted @ 2016-11-19 16:44 OnTheWay_duking 阅读(5827) 评论(0) 推荐(0) 编辑
摘要: 源文地址:http://jingyan.baidu.com/article/cdddd41c5c883353cb00e19e.html 在有些版本的eclips上并没有eclipse marketplace ,这让eclipse添加插件变得比较玛法,传统的办法都是通过自行下载插件或者用 help-> 阅读全文
posted @ 2016-11-19 15:33 OnTheWay_duking 阅读(4294) 评论(0) 推荐(0) 编辑
摘要: hive的配置:hive.ddl.output.format:hive的ddl语句的输出格式,默认是text,纯文本,还有json格式,这个是0.90以后才出的新配置;hive.exec.script.wrapper:hive调用脚本时的包装器,默认是null,如果设置为python的话,那么在做脚 阅读全文
posted @ 2016-11-18 15:45 OnTheWay_duking 阅读(5721) 评论(0) 推荐(0) 编辑
摘要: 原文:http://wingmzy.iteye.com/blog/1260570 hadoop中的map-reduce是处理<key,value>这样的键值对,故指定<key,value>的分割符等参数可以分成三类: map输出时分割符 分桶时的分隔符 reduce输出时的分割符 下面分别叙述: 1 阅读全文
posted @ 2016-11-18 11:40 OnTheWay_duking 阅读(3904) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2016-11-16 23:10 OnTheWay_duking 阅读(391) 评论(0) 推荐(0) 编辑
摘要: 创建表: hive>create table tablename(id int,name string,password string); 创建一个名字为tablename的表,表的属性有int id; string name; string password; 创建表时指定分隔符 hive> cr 阅读全文
posted @ 2016-11-16 22:03 OnTheWay_duking 阅读(5056) 评论(0) 推荐(0) 编辑
摘要: 前期工作 安装Hive 下载Hive安装包 可以从 Apache 其中一个镜像站点中下载最新稳定版的 Hive, apache-hive-2.1.0-bin.tar.gz。 解压安装Hive 使用以下命令安装 Hive: 设置 Hive环境变量 编辑 .bash_profile 文件, 在其中添加以 阅读全文
posted @ 2016-11-16 17:11 OnTheWay_duking 阅读(982) 评论(0) 推荐(0) 编辑