记一次使用easyexcel导入excel导致cpu跑满的问题

记一次poi导入excel引起cpu跑满的问题
生产应用机器配置:8C 16G

周日突然收到告警，cpu持续15分钟空闲时间小于10%,赶紧联系运维要日志,通过分析dump_high_cpu

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
jbossuse  20   0 12.9g 6.9g  27m R 100.9 44.6  16:12.49 java              
jbossuse  20   0 12.9g 6.9g  27m R 100.9 44.6  11:43.56 java              
jbossuse  20   0 12.9g 6.9g  27m R 100.9 44.6  14:31.26 java              
jbossuse  20   0 12.9g 6.9g  27m R 100.9 44.6  14:06.83 java              
jbossuse  20   0 12.9g 6.9g  27m R 100.9 44.6  13:02.85 java              
jbossuse  20   0 12.9g 6.9g  27m R 100.9 44.6  12:44.31 java              
jbossuse  20   0 12.9g 6.9g  27m R 99.1 44.6  15:44.46 java               
jbossuse  20   0 12.9g 6.9g  27m R 95.5 44.6  15:37.87 java               
jbossuse  20   0 12.9g 6.9g  27m S  0.0 44.6   0:00.00 java               
jbossuse  20   0 12.9g 6.9g  27m S  0.0 44.6   0:00.68 java

看出来,有8个线程跑到100%.通过pid去寻找对应java core 里的线程,发现这个8个线程都是进行同一个操作

"default task-17" prio=10 tid=0x00007ff15802f000 nid=0x71ed runnable [0x00007ff1f10ac000]
   java.lang.Thread.State: RUNNABLE
    at org.apache.xmlbeans.impl.store.Locale.count(Locale.java:2049)
    at org.apache.xmlbeans.impl.store.Xobj.count_elements(Xobj.java:2050)
    at org.openxmlformats.schemas.spreadsheetml.x2006.main.impl.CTColsImpl.sizeOfColArray(Unknown Source)
    - locked <0x00000006e8d5c800> (a org.apache.xmlbeans.impl.store.Locale)
    at org.apache.poi.xssf.usermodel.helpers.ColumnHelper.addCleanColIntoCols(ColumnHelper.java:115)
    at org.apache.poi.xssf.usermodel.helpers.ColumnHelper.cleanColumns(ColumnHelper.java:56)
    at org.apache.poi.xssf.usermodel.helpers.ColumnHelper.<init>(ColumnHelper.java:43)
    at org.apache.poi.xssf.usermodel.XSSFSheet.read(XSSFSheet.java:144)
    at org.apache.poi.xssf.usermodel.XSSFSheet.onDocumentRead(XSSFSheet.java:130)
    at org.apache.poi.xssf.usermodel.XSSFWorkbook.onDocumentRead(XSSFWorkbook.java:286)
    at org.apache.poi.POIXMLDocument.load(POIXMLDocument.java:159)
    at org.apache.poi.xssf.usermodel.XSSFWorkbook.<init>(XSSFWorkbook.java:186)
    at org.apache.poi.ss.usermodel.WorkbookFactory.create(WorkbookFactory.java:73)

定位到占满cpu的操作，是用poi导入execl ,找到代码处，发现已经限制了导入的excel的大小为1MB，但是没有限制导入频率,这样的话，用户短时间内可以频繁导入数据到系统.

那么问题来了，频繁导入1MB的excel为什么会导致cpu跑满？拉取了gc日志发现jvm在频繁的ygc,平均几秒就发生一次.并且在分析问题的这段时间,cpu仍然没有下降,占用cpu高的线程仍然在持续,会不会是这几个线程在创建大量对象,导致ygc频繁回收,而且回收的年轻代空间仍然不满足线程的需要,进而引发cpu跑满?
这是一个很合理的猜测，但是需要事实来证明，在确认这台机器无法自行恢复之后，联系运维先拉取了dump文件，然后重启机器.

经过了漫长的等待，终于到手了dump文件，分析dump文件后发现,有大量的char[] 和list对象在生成.这个和猜测以及本身定位到的poi代码处实现一致.

最终问题定位后的描述如下:

在某个业务场景,报表导入没有频次限制,导致用户可以重复高频次的导入excel到系统,导致系统在用poi解析时，生成了大量的对象,并且poi在最终汇总对象时加了锁,jvm年轻代在回收多次之后仍然不满足线程所需，引发锁自旋，导致cpu跑满.

问题定位出来了,但是还有一点疑惑,为什么1MB的对象在生产poi对象时，会占用更多的内存呢?

原来,poi读取excel有两种方式，一种是用户模式，另外一种是事件模式。用户有封装好的方法，使用简单，但是会创建非常多的对象，耗内存，后者用来读取excel，但不用把整个excel加载到内存，减少了至少10倍的内存使用