摘要: 一.编译 hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下。 0. 环境准备 maven(下载安装,配置环境变量,修改sitting.xml加阿里云镜像) gcc-c++ zlib-d 阅读全文
posted @ 2020-07-13 18:51 来自遥远的水星 阅读(1176) 评论(0) 推荐(0) 编辑
摘要: 一.简介 Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递,可以将一个关系型数据库(例如:MySQL,Oracle,Postgres等)中的数据导入到 Hadoop 的 HDFS 中,也可以将 HD 阅读全文
posted @ 2020-07-13 18:25 来自遥远的水星 阅读(302) 评论(0) 推荐(0) 编辑