// // // //

随笔分类 -  BD大数据生态

 
数据迁移 - DataX
摘要:DataX 简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据 阅读全文
posted @ 2021-07-15 09:00 努力的孔子 阅读(637) 评论(0) 推荐(0) 编辑
大数据架构与技术选型
摘要:大数据基本架构 了解架构能更清晰地认识每个组件,数据处理流程,用作流程设计和技术选型 数据传输层 Flume 专业的日志收集工具,对象一般是 文件类型; Sqoop 是专门采集结构化数据的,对象一般是 数据库; Kafka 实际上是一个 MQ,当做缓存,常用于高并发;它既能传输,也能存储,只是存储空 阅读全文
posted @ 2019-09-19 10:52 努力的孔子 阅读(2321) 评论(0) 推荐(0) 编辑
虚拟机Vmware-网络配置
摘要:非主业,只做简单介绍 虚拟机安装完毕后,需要进行网络配置。 虚拟机有 3 种网络连接方式: 仅主机模式 Host-only:仅支持 虚拟机与宿主机之间进行通信,无法连接外网 桥接模式 bridge:可连接外网 网络地址转换 NAT 模式:可连接外网 NAT 网络地址转换,network addres 阅读全文
posted @ 2019-09-18 09:57 努力的孔子 阅读(779) 评论(0) 推荐(0) 编辑
ZooKeeper-安装
摘要:下载 下载地址 zookeeper,建议下载 bin 结尾的tar包。 在 readme.md 中可以看到 不以 bin 结尾的需要 mvn clean install,我试过这个 tar 包,麻烦... 单机安装 解压 tar 包 进入 zookeeper 目录,建立 data 文件夹 进入con 阅读全文
posted @ 2019-09-04 19:33 努力的孔子 阅读(1057) 评论(0) 推荐(0) 编辑

 

点击右上角即可分享
微信分享提示