会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
//
// // //
努力的孔子
2019年9月19日
大数据架构与技术选型
摘要: 大数据基本架构 了解架构能更清晰地认识每个组件,数据处理流程,用作流程设计和技术选型 数据传输层 Flume 专业的日志收集工具,对象一般是 文件类型; Sqoop 是专门采集结构化数据的,对象一般是 数据库; Kafka 实际上是一个 MQ,当做缓存,常用于高并发;它既能传输,也能存储,只是存储空
阅读全文
posted @ 2019-09-19 10:52 努力的孔子
阅读(2281)
评论(0)
推荐(0)
编辑
hadoop-集群搭建
摘要: 由于篇幅较大,废话不多说,直奔主题。 hadoop 安装同样可分为 单机模式、伪分布式、完全分布式 本文主要介绍完全分布式,环境 centos 6.5,hadoop-2.6.5 第一步:配置好 4 台虚拟机或者物理机,具体步骤参考我的其他博客 第二步:查看主机名,并修改 【务必记住修改主机名的方法,
阅读全文
posted @ 2019-09-19 10:42 努力的孔子
阅读(1832)
评论(0)
推荐(0)
编辑
导航
博客园
首页
新随笔
新文章
联系
订阅
管理