合集-大数据
摘要：Kafka简介 💡 Tips：本文主要介绍在Linux系统中安装和使用Lafka的操作步骤。 安装Kafka 访问Kafka官网，下载安装包版本（https://kafka.apache.org/downloads），下载 kafka_2.12-3.3.2.tgz，前面的 2.12 是 Scala
阅读全文
摘要：1、 前面在伪分布模式下已经创建了一台机器，为了统一命名，hostname更名为hadoop01、然后再克隆2台机器：hadoop02、 hadoop03；将第一台机器hadoop01上的伪分布停止，创建一个新目录，重新安装hadoop，解压后，再分发到其他两台机器，具体按下面的步骤操作。 2、 服
阅读全文
摘要：一、 单机模式Standalone Operation 单机模式也叫本地模式,只适用于本地的开发调试，或快速安装体验hadoop，本地模式的安装比较简单，下载完hadoop安装包就可以直接运行。 1、 下载安装jdk (1) 一定要下载Oracle的官方jdk版本，这里实验的版本是jdk1.8.0_
阅读全文
摘要：一、 伪分布模式Pseudo-Distributed Operation 这里关于VM虚拟机的安装就不再介绍了，详细请看《VMware虚拟机的三种网络管理模式》一章介绍。这章只介绍hadoop伪分布模式的环境搭建 1、 设置静态IP (1) 修改网卡配置： $ vi /etc/sysconfig/n
阅读全文
摘要：一、DataX简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数
阅读全文
