hadoop学习day2开发笔记
1、将hdfs客户端开发所需的jar导入工程（jar包可在hadoop安装包中找到common/hdfs）
2、写代码
要对hdfs中的文件进行操作，代码中首先需要获得一个hdfs的客户端对象
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hdp-01:9000"),conf,"root");
FilenameFilter过滤文件
// 列出日志源目录中满足条件的文件 File[] listFiles = srcDir.listFiles(new FilenameFilter() { @Override public boolean accept(File dir, String name) { if (name.startsWith("aaa"))) { return true; } return false; } });
用renameTo来实现移动文件
如果被重命名的文件已存在，那么renameTo()不会成功
renameTo()成功后，原文件会被删除
apache的commons的FileUtils类实现移动文件
import org.apache.commons.io.FileUtils; FileUtils.moveFileToDirectory(file, toUploadDir, true);
hdfs内部移动文件用rename
配置参数用单例，内存保存一个不反复读取
/** * 单例模式：懒汉式——考虑了线程安全 * @author ThinkPad * */ public class PropertyHolderLazy { private static Properties prop = null; public static Properties getProps() throws Exception { if (prop == null) { synchronized (PropertyHolderLazy.class) { if (prop == null) { prop = new Properties(); prop.load(PropertyHolderLazy.class.getClassLoader().getResourceAsStream("collect.properties")); } } } return prop; } }
InputStream类以及子类中的Read方法
Read方法
read()
public abstract int read() throws IOException
从(来源)输入流中(读取的内容)读取数据的下一个字节到(去处)java程序内部中
返回值为0到255的int类型的值，返回值为字符的ACSII值(如a就返回97,n就返回110).
如果没有可用的字节,因为已经到达流的末尾, -1返回的值
运行一次只读一个字节,所以经常与while((len = inputstream.read()) != -1)一起使用
read(byte [] b )
public int read(byte[] b) throws IOException
从(来源)输入流中(读取内容)读取的一定数量字节数,并将它们存储到(去处)缓冲区数组b中
返回值为实际读取的字节数
运行一次读取一定的数量的字节数.java会尽可能的读取b个字节,但也有可能读取少于b的字节数.至少读取一个字节
第一个字节存储读入元素b[0],下一个b[1],等等。读取的字节数是最多等于b的长度。
如果没有可用的字节,因为已经到达流的末尾, -1返回的值
如果b.length==0,则返回0
read( byte [] b , int off , int len)
public int read(byte[] b, int off, int len, throws IOException)
读取 len字节的数据从输入流到一个字节数组。
试图读取多达 len字节,但可能读取到少于len字节。返回实际读取的字节数为整数。
第一个字节存储读入元素b[off],下一个b[off+1],等等。读取的字节数是最多等于len。k被读取的字节数,这些字节将存储在元素通过b[off+k-1]b[off],离开元素通过b[off+len-1]b[off+k]未受影响。
read(byte[]b)就是相当于read(byte [] b , 0 , b.length).所以两者差不多.性质一样
---------------------
作者：CarpricornMrJi
来源：CSDN
原文：https://blog.csdn.net/qq_37835596/article/details/76559572
版权声明：本文为博主原创文章，转载请附上博文链接！
往hdfs中的文件写内容
/** * 往hdfs中的文件写内容 * * @throws IOException * @throws IllegalArgumentException */ @Test public void testWriteData() throws IllegalArgumentException, IOException { FSDataOutputStream out = fs.create(new Path("/zz.jpg"), false); //读本地文件写入hdfs FileInputStream in = new FileInputStream("D:/images/006l0mbogy1fhehjb6ikoj30ku0ku76b.jpg"); byte[] buf = new byte[1024]; int read = 0; while ((read = in.read(buf)) != -1) { out.write(buf,0,read);//最后一个，buffer只有前一部分是新读的数据 } in.close(); out.close(); fs.close(); }
面向接口编程
//定义接口 public interface Mapper { public void map(String line,Context context); }
//数据存储对象 public class Context { private HashMap<Object,Object> contextMap = new HashMap<>(); public void write(Object key,Object value){ contextMap.put(key, value); } public Object get(Object key){ return contextMap.get(key); } public HashMap<Object,Object> getContextMap(){ return contextMap; } }
//实现接口 public class WordCountMapper implements Mapper{ @Override public void map(String line, Context context) { String[] words = line.split(" "); for (String word : words) { Object value = context.get(word); if(null==value){ context.write(word, 1); }else{ int v = (int)value; context.write(word, v+1); } } } }
//新建文件job.properties，类不能带引号，需要更换调用方法时只要新建类实现接口，再修改此处即可 MAPPER_CLASS=cn.edu360.hdfs.wordcount.WordCountMapper
//实例化具体类 Class<?> mapper_class = Class.forName(props.getProperty("MAPPER_CLASS")); Mapper mapper = (Mapper) mapper_class.newInstance();
Context context = new Context();
// 调用方法进行业务处理 mapper.map(line, context);
