读取含有BOM头的文件遇到的问题

需求是读取一个csv文件，然后解析成对应的数据结构。csv必须包含指定的某些列，通过列名header来进行校验。

 

解析配置文件的方法。

public List<QuestionData> buildConfigData(final MultipartFile file) {

    CsvReader csvReader = null;
    List<QuestionData> questionDataList;
    try (DataInputStream inputStream = new DataInputStream(file.getInputStream())) {
        csvReader = new CsvReader(new InputStreamReader(inputStream, Charset.forName("UTF-8")));

        if (!csvReader.readHeaders()) {
            return Lists.newLinkedList();
        }

        final String[] headers = csvReader.getHeaders();
        getAndCheckHeader(headers);
        questionDataList = getQuestionData(csvReader, headers);

    } catch (final IOException e) {
        log.error("解析配置文件错误", e);
        throw new FatalException("解析配置文件错误");
    } finally {
        if (csvReader != null) {
            csvReader.close();
        }
    }
    return questionDataList;
}

 

其中，检查header的方法：

private static final Set<String> NEEDED_COLUMNS = ImmutableSet
        .of(QuestionDataType.ORDER.name(), QuestionDataType.DESC.name(), QuestionDataType.OPTION_A.name(),
                QuestionDataType.OPTION_B.name(), QuestionDataType.OPTION_C.name(), QuestionDataType.ANSWER.name());

private void getAndCheckHeader(final String[] headers) {
    //某些必要的列不存在
    HashSet<String> sets = Sets.newHashSet(headers);
    if (!sets.containsAll(NEEDED_COLUMNS)) {
        throw new FatalException("缺少必要的列信息");
    }
}

 

实际出现的问题是，上传文件的时候总是出现缺少必要的列信息这个异常。debug发现，containsAll这个方法一直返回false，但是看NEEDED_COLUMNS里面的字符串，在header里面都存在，例如ORDER字符串：

 

从这里看，headers里面有ORDER字符串，但是NEEDED_COLUMNS.contains(headers[0])返回的结果就是false。

 

debug时使用evaluate，将headers[0]的value  copy一下，粘贴到输入框里，就发现了问题：

 

 

可以看的出来，headers[0]的实际值是"\uFEFFORDER",而非"ORDER",前面多了一个"\uFEFF"。

经查，"\uFEFF"是BOM头，windows下保存文件时经常会插入在字符串最前面，debug时直接看值是看不出来有这个BOM头的。

 

解决方案，使用apache的BOMInputStream，可以过滤掉BOM头：

public List<QuestionData> buildConfigData(final MultipartFile file) {

    CsvReader csvReader = null;
    List<QuestionData> questionDataList;

    //过滤BOM头
    try (BOMInputStream inputStream =  new BOMInputStream(file.getInputStream())) {
        csvReader = new CsvReader(new InputStreamReader(inputStream, Charset.forName("UTF-8")));

        if (!csvReader.readHeaders()) {
            return Lists.newLinkedList();
        }

        final String[] headers = csvReader.getHeaders();
        getAndCheckHeader(headers);
        questionDataList = getQuestionData(csvReader, headers);

    } catch (final IOException e) {
        log.error("解析配置文件错误", e);
        throw new FatalException("解析配置文件错误");
    } finally {
        if (csvReader != null) {
            csvReader.close();
        }
    }
    return questionDataList;
}

使用BOMInputStream，将原有的InputSteam包一层即可。

 

参考文章：Java处理文件BOM头的方式推荐