随笔分类 - hadoop
摘要:Hadoop环境的搭建 1. 本地模式 开发人员调试环境, 他不会按HDFS存数据,会将文件存储到本地的文件系统中。 2. 伪分布式模式 开发调试环境和学习环境 需要部署的是两个文件 core-site.html中添加 <configuration> <property> <!--指定Hadoop的
阅读全文
摘要:离线计算 计算的速度比较慢 计算的数据量大 需要的技术Hadoop、HIve(离线分析,他的本质就是hadoop)、sqoop(协作框架) Hbase(数据库,非关系型数据库,分布式数据库)Flume(写作框架,收集日志数据) CM (图形化管理器,监控集群资源状态,部署集群。) 实时计算 计算的数
阅读全文