暑期实训day8

总结:

java下的hdfs如下基本操作:
创建hdfs目录
创建文件
查看HDFS上的文件内容
文件重命名
上传文件到hdfs
带进度条文件上传
下载hdfs文件到本地
查询/目录下所有的文件
删除文件

还有,wordcount在java下实现,倒排索引原理

遇到的问题及解决方法:在使用IDEA构建jar后,导入linux下使用hadoop jar XXX.jar进行运行的时候,出现了发现不了类的问题,最后发现我的类写到了Test目录下,当IDEA进行构建jar且在pom.xml的文件的Junit写了<scope>test</scope>的时候,不会构建Test下的文件,所以就没有这个类,当把文件考入到main目录下的时候再进行jar,最后可以成功实现功能。

思维导图:

posted @ 2018-07-17 19:40  the-heartbeat  阅读(109)  评论(0编辑  收藏  举报