HDFS目标大文件夹下文件索引建立

一、索引命令

　　1、非分布式，单机

　hadoop jar /usr/lib/hadoop/lib/hadoop-lzo.jar com.hadoop.compression.lzo.LzoIndexer ${path}

 

　　2、分布式：任务提交到yarn，需要使用集群资源　　

hadoop jar /usr/lib/hadoop/lib/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer  ${path}

　　注： 可能遇到的情况，在某些需要队列或者有keyberos认证的机器，　DistributedLzoIndexer 可能不会那么理想，需要添加队列或者加上keyberos参数。

 

二、执行linux shell命令java参考模板

　　

public class ExecCMD {

    private static final Logger log = LoggerFactory.getLogger(ExecCMD.class);

    public static String exec(String cmd) {
        try {
            String[] cmdA = { "/bin/sh", "-c", cmd };
            Process process = Runtime.getRuntime().exec(cmdA);
            LineNumberReader br = new LineNumberReader(new InputStreamReader(process.getInputStream()));
            StringBuffer buff = new StringBuffer();
            String line;
            while ((line = br.readLine()) != null) {
                buff.append(line).append("\n");
            }
            String result = buff.toString();
            if (!cmd.isEmpty())
                log.info("cmd executed, result: " + result);
            return result;
        } catch (Exception e) {
            log.error("Failed to exec cmd: " + cmd, e);
        }
        return null;
    }
}