大数据学习(1)---认识HaDoop工具
Hadoop是什么?
Hadoop:适合大数据的分布式存储和计算平台
HadoopHadoop不是值具体一个框架或者组建爱你,它是Apache软件基金会下用Java语言开发的一个家园分布式计算平台(开源)。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。
Hadoop核心组件:
MapReduce和Hadoop Distributed File System(HDFS),HBase
其中HDFS负责蒋海量数据进行分布式存储,而MapReduceeduce负责提供对数据的计算结果的汇总
MapReduce ---》 大数据处理
HDFS ----》MapReduce 大数据统计分析 计算问题
HBase ---> Big Table Nosql数据库
Hadoop神态系统
1. Hadoop核心,HDFS, MapReduce
2. Hive 通过SQL语句形式执行mapreduce
3. Hbase Nosql数据库
4. Flume 日志采集工具
5. Sqoop sql to hadoop 将数据导入Hadoop中
6. Zookeeper 协调服务工具
7. Mahout 算法库
8. Pig 是MapReduce的一个抽象, 它是一个工具/平台, 用于分析较大的数据库,并就爱那个它们表示为数据流。
Hadoop HDFS简单原理
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】博客园携手 AI 驱动开发工具商 Chat2DB 推出联合终身会员
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步