EasyExcel简单使用教程(大量数据分批入库;非固定Excel解析)

前言

本文记录了如何使用EasyExcel完成简单的表格解析操作,同时实现了大量数据情况下数据的分次批量入库,并记录每条数据入库的状态,以便进行结果统计。

固定模板及表数据格式的解析

实现Excel模板内容对应的实体类

import com.alibaba.excel.annotation.ExcelIgnore;
import com.alibaba.excel.annotation.ExcelProperty;
import com.alibaba.excel.annotation.write.style.ColumnWidth;
import com.alibaba.excel.annotation.write.style.ContentRowHeight;
import com.alibaba.excel.annotation.write.style.HeadRowHeight;
import lombok.Data;
import java.io.Serializable;

@Data
@ColumnWidth(24)
@HeadRowHeight(20)
@ContentRowHeight(18)
public class RuleExcel implements Serializable {

    private static final long serialVersionUID = 1L;

    // 被该注解修饰的实体类中的属性值,会作为excel对应的标题头文字
    @ExcelProperty(value = "规则名称")
    private String name;
    
    // 被该注解修饰的实体类中的属性,会在excel与实体类的转换中被忽略
    // 该变量用于标记该条实体类是否成功入库,在入库后操作后更新值为true
    @ExcelIgnore
    private boolean isSuccess;
}

  

实现AnalysisEventListener监听类

为需要读取的Excel新建一个监听类,用于专门处理该类型数据的Excel,数据库的解析逻辑主要都放在这里边。

@Data
@RequiredArgsConstructor
@EqualsAndHashCode(callSuper = true)
public class RuleExcelImportListener extends AnalysisEventListener<RuleExcel> {

    /**
     * 默认每隔500条存储数据库
     */
    private int batchCount = 500;
    /**
     * 缓存的数据列表
     */
    private List<RuleExcel> list = new ArrayList<>();
    /**
     * service
     */
    private final IRuleExcelService RuleExcelService;
	
	// 解析表头
    @Override
    public void invokeHeadMap(Map<Integer, String> headMap, AnalysisContext context) {
        List<String> titleList = new ArrayList<>();
        try {
	        // 获取必要表头列数据
        	// 获取目标属性上@ExcelProperty的值,即属性的中文名称
            String[] nameValue = AnnotationUtil.getAnnotationValue(RuleExcel.class.getDeclaredField("name"), ExcelProperty.class);
            titleList.add(nameValue[0]);
        } catch (NoSuchFieldException e) {
            e.printStackTrace();
        }
        // 检测获取到的Excel标题头是否合法
        for (String title : titleList) {
            boolean isExist = false;
            for (Integer i : headMap.keySet()) {
                if (title.equals(headMap.get(i))) {
                    isExist = true;
                }
            }
            if (!isExist) {
                throw new ExcelAnalysisException("模版标题不允许修改");
            }
        }
    }


	// 解析表格内容,一行就是一个RuleExcel实体类
    @Override
    public void invoke(RuleExcel RuleExcel, AnalysisContext analysisContext) {
	    // 数据合法性校验
        if (String.isEmpty(RuleExcel.getName()) {
            throw new ExcelAnalysisException("导入失败,必填项按要求填写");
        }
       
        list.add(RuleExcel);
        // 数据入库2:
        // 如果表格数据量很大,可以设定暂存数据量阈值,当现存list数量超过阈值后,会先向数据库中存入一批数据、清空内存后再继续解析
        // 达到BATCH_COUNT,则调用importer方法入库,防止数据几万条数据在内存,容易OOM
        if (list.size() >= batchCount) {
            // 调用importer方法
            RuleExcelService.importRuleExcel(list);
            // 存储完成清理list
            list.clear();
        }
    }

	// 将所有的表格行数据解析完毕后会执行该方法
    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
    	// 数据入库1:
    	// 一般来说,如果确定表格数据量不大,那么可以在解析完全部excel数据后进行数据入库操作
        RuleExcelService.importRuleExcel(list);
        // 存储完成清理list
        list.clear();
    }
}

  

调用方法示例

public void importRuleExcel(MultipartFile file) {
		// 文件后缀检查
		CommonUtil.checkImportFile(file.getOriginalFilename());
		InputStream inputStream;
		// 存储表格解析结果
		List<RuleExcel> ruleExcels = new ArrayList<>();
		try {
			// 将Service层变量作为依赖传入
			RuleImportListener importListener = new RuleImportListener(ruleService);
			inputStream = new BufferedInputStream(file.getInputStream());
			// EasyExcel.read()传入:InputStream, 表格数据实体类,表格数据实体类监听器
			ExcelReaderBuilder builder = EasyExcel.read(inputStream, RuleExcel.class, importListener);
			// 执行同步解析操作并返回解析结果
			ruleExcels = builder.doReadAllSync();
		} catch (Exception e) {
			throw new ServiceException(e.getMessage());
		}
		// 导入成功的列表
		List<RuleExcel> successList = ruleExcels .stream().filter(RuleExcel::isSuccess).collect(Collectors.toList());
	}

  

非固定模板及非固定表数据格式的解析

有时候需要读取的模板并不是固定的、实现声明好的列,对应的数据也不能解析成某个固定的实体类,这个时候就需要我们读取表的原始解析数据,并自行进行后续操作。

// EasyExcel.read()传入:InputStream, 表格数据实体类,表格数据实体类监听器
// headRowNumber()传入:表头行的所在行数
List<Map<Integer, String>> resultList = EasyExcelUtil.getEasyExcelReaderBuilder(file.getInputStream, null, null)
											.headRowNumber(0).doReadAllSync();
// resultList 中存储的就是自0行开始解析到的所有数据

  原文地址   https://blog.csdn.net/Ka__ze/article/details/131811311

posted @ 2024-07-05 10:54  红尘沙漏  阅读(116)  评论(0编辑  收藏  举报