暑期实训day8
总结:
java下的hdfs如下基本操作:
创建hdfs目录
创建文件
查看HDFS上的文件内容
文件重命名
上传文件到hdfs
带进度条文件上传
下载hdfs文件到本地
查询/目录下所有的文件
删除文件
还有,wordcount在java下实现,倒排索引原理
遇到的问题及解决方法:在使用IDEA构建jar后,导入linux下使用hadoop jar XXX.jar进行运行的时候,出现了发现不了类的问题,最后发现我的类写到了Test目录下,当IDEA进行构建jar且在pom.xml的文件的Junit写了<scope>test</scope>的时候,不会构建Test下的文件,所以就没有这个类,当把文件考入到main目录下的时候再进行jar,最后可以成功实现功能。
思维导图: