暑假第七周总结
这一周主要学习hadoop的MapReduce,Hdfs主要解决数据的读取和写入问题,Mapreduce主要解决数据的运算问题。在这一周的学习中基本没有用到虚拟机,直接使用idea学习源码,并自己做一些案例。除此之外,学习了部分SSM框架,了解SSM如何整合Mybatis和Test。
在SSM的学习中,我愈发了解到框架的重要性和便利,在框架中自己不再需要对文件进行分类整理,例如不在需要些mybatis.xml,并且在测试时也减少了代码的量。
hadoop目前在学习MapReduce的源码解析,将数据通过HDFS上传之后,解析MapReduce如何工作的。
自己做了一些案例,统计单词出现的次数、统计手机流量的使用、根据不同前缀对内容进行分区、对分区的数据再次进行排序和分区,做这些案例需要学习序列化、InputFormat数据输入,Shuffle机制,OutputFormat数据输出。这一周的学习中,案例做起来确实容易理解,当时里面的源码解析不太好理解,自己不得已多听几遍。在hadoop这个框架的学习中,自己需要框架图,结合图像来了解hadoop工作的流程和机制,除此之外,如同大部分语言相同,hadoop也有基本数据类型,需要熟练使用这些类型,并且不同导错包。
在这一周的学习中,我觉得挺“痛苦”的,学习的内容基本是源码解析和运行机制,学起来有些不太好理解,在学习这些内容性东西时需要多听几遍。再下一周会学完剩下的MapReduce方面的内容,并开始学习,yarn和生产调优手册。