08 2023 档案
摘要：这周学的还是hadoop，python的爬虫方面的知识估计是没时间学了。 主要学了hadoop里面的yarn的工作机制，yarn的三个调度器，yarn的常用命令，生产环境核心参数配置，yarn接口案例环境准备。
阅读全文
摘要：这周把mapreduce的课程学习完毕了 主要练习了mapreduce里面基本的wordcount操作，切片分区操作，排序方法，outputformat的运行流程，etl数据过滤的方法，文件压缩在mapreduce里面的执行方法。最后还看了yarn的基本概念和操作流程。
阅读全文
摘要：这周主要学的是hadoop的mapreduce部分 主要学了mapreduce的编程思想还有原理，mapreduce的wordcount和序列化的代码案例以及其切片方面的知识。
阅读全文
