2017年12月29日
Hadoop上传文件到HDFS失败
摘要： 错误提示：INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.net.NoRouteToHostException: No route to host at sun.nio.ch.S... 阅读全文
posted @ 2017-12-29 16:56 crr121 阅读(164) 评论(0) 推荐(0) 编辑
Hadoop上传文件到HDFS失败
摘要： 错误提示：INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.net.NoRouteToHostException: No route to host at sun.nio.ch.S... 阅读全文
posted @ 2017-12-29 16:56 crr121 阅读(1172) 评论(0) 推荐(0) 编辑
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
摘要： 缺少了winutil.exe 点击打开链接 阅读全文
posted @ 2017-12-29 16:55 crr121 阅读(337) 评论(0) 推荐(0) 编辑
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
摘要： 缺少了winutil.exe 点击打开链接 阅读全文
posted @ 2017-12-29 16:55 crr121 阅读(390) 评论(0) 推荐(0) 编辑
Unable to load native-hadoop library for your platform... using builtin-java classes where applica
摘要： 看了很多博客，对于这个问题的解决，但是最后都没有成功后来我重新在官网下载了一个Hadoop安装包配置好环境变量将Hadoop相关的jar包加入到项目里面重新编译就可以了注意这里加入的jar包来自于由于这里面的jar包包含了sources包和tests包我们把他分离出来... 阅读全文
posted @ 2017-12-29 16:55 crr121 阅读(550) 评论(0) 推荐(0) 编辑
Unable to load native-hadoop library for your platform... using builtin-java classes where applica
摘要： 看了很多博客，对于这个问题的解决，但是最后都没有成功后来我重新在官网下载了一个Hadoop安装包配置好环境变量将Hadoop相关的jar包加入到项目里面重新编译就可以了注意这里加入的jar包来自于由于这里面的jar包包含了sources包和tests包我们把他分离出来... 阅读全文
posted @ 2017-12-29 16:55 crr121 阅读(426) 评论(0) 推荐(0) 编辑
Hadoop通过url地址访问HDFS
摘要： 新建Java工程package com.cr.java;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.junit.Test;import javax.print.DocFlavor;i... 阅读全文
posted @ 2017-12-29 16:54 crr121 阅读(1165) 评论(0) 推荐(0) 编辑
Hadoop通过url地址访问HDFS
摘要： 新建Java工程package com.cr.java;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.junit.Test;import javax.print.DocFlavor;i... 阅读全文
posted @ 2017-12-29 16:54 crr121 阅读(3213) 评论(0) 推荐(0) 编辑
Hadoop通过API访问HDFS
摘要： 1、version_1 /** * 通过Hadoop API访问HDFS * @throws IOException */ @Test public void readFileByAPI() throws IOException {... 阅读全文
posted @ 2017-12-29 16:53 crr121 阅读(209) 评论(0) 推荐(0) 编辑
Hadoop通过API访问HDFS
摘要： 1、version_1 /** * 通过Hadoop API访问HDFS * @throws IOException */ @Test public void readFileByAPI() throws IOException {... 阅读全文
posted @ 2017-12-29 16:53 crr121 阅读(320) 评论(0) 推荐(0) 编辑
maven项目测试HDFS读取文件
摘要： 1、读取文件 /** * 测试读取文件 * @throws IOException */ @Test public void testSave() throws IOException { Configuratio... 阅读全文
posted @ 2017-12-29 16:53 crr121 阅读(108) 评论(0) 推荐(0) 编辑
maven项目测试HDFS读取文件
摘要： 1、读取文件 /** * 测试读取文件 * @throws IOException */ @Test public void testSave() throws IOException { Configuratio... 阅读全文
posted @ 2017-12-29 16:53 crr121 阅读(163) 评论(0) 推荐(0) 编辑
查看镜像文件
摘要： 1、查看镜像文件[xiaoqiu@s150 /home/xiaoqiu/hadoop_tmp/dfs/name/current]$ ls -h |grep fsimagefsimage_0000000000000000000fsimage_00000000000000... 阅读全文
posted @ 2017-12-29 16:53 crr121 阅读(135) 评论(0) 推荐(0) 编辑
查看镜像文件
摘要： 1、查看镜像文件[xiaoqiu@s150 /home/xiaoqiu/hadoop_tmp/dfs/name/current]$ ls -h |grep fsimagefsimage_0000000000000000000fsimage_00000000000000... 阅读全文
posted @ 2017-12-29 16:53 crr121 阅读(552) 评论(0) 推荐(0) 编辑
Hadoop启动命令
摘要： start-all.sh --->start-dfs.sh + start-yarn.shstart-dfs.sh ---->hadoop-daemon.sh start namenode + hadoop-daemons.sh start datano... 阅读全文
posted @ 2017-12-29 16:52 crr121 阅读(1420) 评论(0) 推荐(0) 编辑
Hadoop启动命令
摘要： start-all.sh --->start-dfs.sh + start-yarn.shstart-dfs.sh ---->hadoop-daemon.sh start namenode + hadoop-daemons.sh start datano... 阅读全文
posted @ 2017-12-29 16:52 crr121 阅读(155) 评论(0) 推荐(0) 编辑
HDFS设置配额管理
摘要： 1、目录配额[xiaoqiu@s150 /home/xiaoqiu/hadoop_tmp]$ hadoop fs -lsr /lsr: DEPRECATED: Please use 'ls -R' instead.drwxr-xr-x - xiaoqiu supe... 阅读全文
posted @ 2017-12-29 16:52 crr121 阅读(106) 评论(0) 推荐(0) 编辑
HDFS设置配额管理
摘要： 1、目录配额[xiaoqiu@s150 /home/xiaoqiu/hadoop_tmp]$ hadoop fs -lsr /lsr: DEPRECATED: Please use 'ls -R' instead.drwxr-xr-x - xiaoqiu supe... 阅读全文
posted @ 2017-12-29 16:52 crr121 阅读(542) 评论(0) 推荐(0) 编辑
HDFS快照
摘要： 在data目录下启用快照[xiaoqiu@s150 /home/xiaoqiu/hadoop_tmp]$ hdfs dfsadmin -allowSnapshot data创建快照[xiaoqiu@s150 /home/xiaoqiu/hadoop_tmp]$ hdf... 阅读全文
posted @ 2017-12-29 16:51 crr121 阅读(115) 评论(0) 推荐(0) 编辑
HDFS快照
摘要： 在data目录下启用快照[xiaoqiu@s150 /home/xiaoqiu/hadoop_tmp]$ hdfs dfsadmin -allowSnapshot data创建快照[xiaoqiu@s150 /home/xiaoqiu/hadoop_tmp]$ hdf... 阅读全文
posted @ 2017-12-29 16:51 crr121 阅读(255) 评论(0) 推荐(0) 编辑