摘要:
全量导入: 增量导入:(根据时间促来导入,如果表中没有时间促属性,可以增加一列时间簇) 从HIVE中到出道mysql中 阅读全文
摘要:
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用,综合比较后选择Sqoop1。 Sqoop1安装配置比较简单 一、安装部署 (1)、下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz 解压到 阅读全文
摘要:
一 下载sqoop 1.99.7 http://mirror.bit.edu.cn/apache/sqoop/1.99.7/ 二 解压安装文件 三 配置Sqoop 环境变量 最后把mysql的驱动jar文件复制到extera这个目录下。 四 配置Hadoop代理访问 因为sqoop访问Hadoop的 阅读全文
摘要:
打开help-> install from catalog 输入pydev查找并安装pydev 根据提示进行安装,安装完后重启myeclipse 阅读全文
摘要:
源文地址:http://jingyan.baidu.com/article/cdddd41c5c883353cb00e19e.html 在有些版本的eclips上并没有eclipse marketplace ,这让eclipse添加插件变得比较玛法,传统的办法都是通过自行下载插件或者用 help-> 阅读全文
摘要:
hive的配置:hive.ddl.output.format:hive的ddl语句的输出格式,默认是text,纯文本,还有json格式,这个是0.90以后才出的新配置;hive.exec.script.wrapper:hive调用脚本时的包装器,默认是null,如果设置为python的话,那么在做脚 阅读全文
摘要:
原文:http://wingmzy.iteye.com/blog/1260570 hadoop中的map-reduce是处理<key,value>这样的键值对,故指定<key,value>的分割符等参数可以分成三类: map输出时分割符 分桶时的分隔符 reduce输出时的分割符 下面分别叙述: 1 阅读全文
摘要:
阅读全文
摘要:
创建表: hive>create table tablename(id int,name string,password string); 创建一个名字为tablename的表,表的属性有int id; string name; string password; 创建表时指定分隔符 hive> cr 阅读全文
摘要:
前期工作 安装Hive 下载Hive安装包 可以从 Apache 其中一个镜像站点中下载最新稳定版的 Hive, apache-hive-2.1.0-bin.tar.gz。 解压安装Hive 使用以下命令安装 Hive: 设置 Hive环境变量 编辑 .bash_profile 文件, 在其中添加以 阅读全文