暑期总结8.3
这两天主要是为使用hadoop学习做准备,安装虚拟机,并对hadoop进行了解。
这两天的学习收获还是不小的,由于要使用hadoop,因此通过学习网络上的资料,对hadoop有了一定的理论上的认识。首先要指出我之前的错误认识,hadoop不是某个框架,它是一个开源软件平台,它可以利用服务器集群来根据用户的要求来对海量数据进行分布式处理,这里的分布式集群也是我的错误认识之一,hadoop并不是单单装在一台主机上,这里的集群便是指的多台主机---它们就是服务器,hadoop的作用就是协调指挥它们进行运算。
hadoop的主要核心组件有三个HDFS(分布式文件系统)、YARN(运算资源调度系统)、MAPREDUCE(分布式运算系统),它们的用途望文生义便是。
关于各种大数据框架,hadoop的作用就是完成数据的分析处理,因此可以说是其中至关重要的一环。另外,并非所有的大数据运算都是用的hadoop,hadoop只是解决数据处理问题的方案之一。
除了hadoop的理论学习外,我还对进行了虚拟机网络配置,这使得我复习了一下上学期的计算机网络知识,在这个过程中也对linux的操作熟悉了不少。
目前整体进展较慢,虚拟机已经安装完成并配置好了网络环境,但hadoop尚未安装完成,对于hadoop的理解还处于理论理解阶段,尚未实践。明天应该就能安装完成并且进行初步的尝试,之后的学习应该就能稍微提高点速度。