HDFS 总结
摘要：
HDFS是一个分布式文件存储系统 Client 提交读写请求(拆分blocksize) NameNode 全局把控(知道blocksize的地址) dataNode 存储数据(将数据存储进去,且以Pipeline的方式把数据写完) 1.如果你要把数据写到HDFS上去,的流程是 发起请求-client 阅读全文
posted @ 2018-07-21 22:14 JETIME庚 阅读(157) 评论(0) 推荐(0) 编辑
IDEA 创建HDFS项目 JAVA api
摘要：
1.创建quickMaven 1.在properties中写hadoop 的版本号并且通过EL表达式的方式映射到dependency中 2.写一个repostory将依赖加载到本地仓库中 这是加载完成的页面 这是开发代码 阅读全文
posted @ 2018-07-21 21:29 JETIME庚 阅读(2487) 评论(0) 推荐(0) 编辑
解决 HDFS 开发 java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop000
摘要：
出现这种问题多半是windows找不到linux主机所以在 这个路径下的hosts加上linux ip地址,主机名就可以了 阅读全文
posted @ 2018-07-21 16:50 JETIME庚 阅读(7543) 评论(0) 推荐(2) 编辑
hadoop深入简出(二)
摘要：
1.上传文件 Hadoop fs -put hello.txt / 2.查看上传的文件 hadoop fs -ls / hadoop fs -text /hello.txt 两个命令都可以 3.创建文件夹 hadoop fs -mkdir /test 4.递归展示文件夹 hadoop fs -lsr 阅读全文
posted @ 2018-07-21 15:30 JETIME庚 阅读(125) 评论(0) 推荐(0) 编辑
