数据迁移 - DataX
摘要:DataX 简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据
阅读全文
大数据架构与技术选型
摘要:大数据基本架构 了解架构能更清晰地认识每个组件,数据处理流程,用作流程设计和技术选型 数据传输层 Flume 专业的日志收集工具,对象一般是 文件类型; Sqoop 是专门采集结构化数据的,对象一般是 数据库; Kafka 实际上是一个 MQ,当做缓存,常用于高并发;它既能传输,也能存储,只是存储空
阅读全文
虚拟机Vmware-网络配置
摘要:非主业,只做简单介绍 虚拟机安装完毕后,需要进行网络配置。 虚拟机有 3 种网络连接方式: 仅主机模式 Host-only:仅支持 虚拟机与宿主机之间进行通信,无法连接外网 桥接模式 bridge:可连接外网 网络地址转换 NAT 模式:可连接外网 NAT 网络地址转换,network addres
阅读全文
ZooKeeper-安装
摘要:下载 下载地址 zookeeper,建议下载 bin 结尾的tar包。 在 readme.md 中可以看到 不以 bin 结尾的需要 mvn clean install,我试过这个 tar 包,麻烦... 单机安装 解压 tar 包 进入 zookeeper 目录,建立 data 文件夹 进入con
阅读全文