暑假第七周总结
这一周主要学习hadoop的MapReduce,Hdfs主要解决数据的读取和写入问题,Mapreduce主要解决数据的运算问题。在这一周的学习中基本没有用到虚拟机,直接使用idea学习源码,并自己做一些案例。除此之外,学习了部分SSM框架,了解SSM如何整合Mybatis和Test。
在SSM的学习中,我愈发了解到框架的重要性和便利,在框架中自己不再需要对文件进行分类整理,例如不在需要些mybatis.xml,并且在测试时也减少了代码的量。
hadoop目前在学习MapReduce的源码解析,将数据通过HDFS上传之后,解析MapReduce如何工作的。
自己做了一些案例,统计单词出现的次数、统计手机流量的使用、根据不同前缀对内容进行分区、对分区的数据再次进行排序和分区,做这些案例需要学习序列化、InputFormat数据输入,Shuffle机制,OutputFormat数据输出。这一周的学习中,案例做起来确实容易理解,当时里面的源码解析不太好理解,自己不得已多听几遍。在hadoop这个框架的学习中,自己需要框架图,结合图像来了解hadoop工作的流程和机制,除此之外,如同大部分语言相同,hadoop也有基本数据类型,需要熟练使用这些类型,并且不同导错包。
在这一周的学习中,我觉得挺“痛苦”的,学习的内容基本是源码解析和运行机制,学起来有些不太好理解,在学习这些内容性东西时需要多听几遍。再下一周会学完剩下的MapReduce方面的内容,并开始学习,yarn和生产调优手册。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· DeepSeek在M芯片Mac上本地化部署
2021-08-13 自学Java第三十九课