随笔分类 -  hadoop

摘要:Hadoop环境的搭建 1. 本地模式 开发人员调试环境, 他不会按HDFS存数据,会将文件存储到本地的文件系统中。 2. 伪分布式模式 开发调试环境和学习环境 需要部署的是两个文件 core-site.html中添加 <configuration> <property> <!--指定Hadoop的 阅读全文
posted @ 2020-01-14 11:15 dousil 阅读(129) 评论(0) 推荐(0) 编辑
摘要:离线计算 计算的速度比较慢 计算的数据量大 需要的技术Hadoop、HIve(离线分析,他的本质就是hadoop)、sqoop(协作框架) Hbase(数据库,非关系型数据库,分布式数据库)Flume(写作框架,收集日志数据) CM (图形化管理器,监控集群资源状态,部署集群。) 实时计算 计算的数 阅读全文
posted @ 2020-01-11 16:25 dousil 阅读(140) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示