// // // //

2019年9月19日

摘要: 大数据基本架构 了解架构能更清晰地认识每个组件,数据处理流程,用作流程设计和技术选型 数据传输层 Flume 专业的日志收集工具,对象一般是 文件类型; Sqoop 是专门采集结构化数据的,对象一般是 数据库; Kafka 实际上是一个 MQ,当做缓存,常用于高并发;它既能传输,也能存储,只是存储空 阅读全文
posted @ 2019-09-19 10:52 努力的孔子 阅读(2281) 评论(0) 推荐(0) 编辑
 
摘要: 由于篇幅较大,废话不多说,直奔主题。 hadoop 安装同样可分为 单机模式、伪分布式、完全分布式 本文主要介绍完全分布式,环境 centos 6.5,hadoop-2.6.5 第一步:配置好 4 台虚拟机或者物理机,具体步骤参考我的其他博客 第二步:查看主机名,并修改 【务必记住修改主机名的方法, 阅读全文
posted @ 2019-09-19 10:42 努力的孔子 阅读(1832) 评论(0) 推荐(0) 编辑