专业实训日志09
学习总结:
学习过程:今天上午是接着昨天的作业,讲解了在java代码中实现创建HDFS目录、创建文件、查看HDFS上的文件内容、对文件实现重命名、上传文件到HDFS以及下载HDFS文件到本地、查询目录下所有的文件、删除某个文件。下午讲解的是在idea+maven实现wordcount工程统计单词个数,用MapReduce来实现。最后讲解了倒排索引作为明天的作业。
总结:主要是在代码中实现对之前在啊linux系统的mkdir(创建)ls(查看)vi(查看文件内容)等命令。Wordcount在eclipse中已经实现,所以在idea+maven创建的时候已经能够有基础,能够在看懂之后再去写代码。主要是最后的倒排索引有些难以理解,需要多加练习查看。
遇到的问题:
遇到的问题:1.在idea+maven中写代码的时候,时常会存在导错包的错误。
2.在对wordcount做优化即不用删除out文件夹,系统自动删除;存在不理解。
3.在最后的倒排索引的讲解中,还是不能太理解原理中各部分的具体功能,存在疑点。
明天目标:
代码实现倒排索引和访问网站百分比计算,练习代码。
思维导图: