easypoi导入大文件内存溢出解决方案

【筑基】超-云淡风轻 14:03:08
有时候就是空间换时间

【筑基】超-云淡风轻 14:11:22
有时候导入大文件经常内存溢出，就直接简单粗暴的限制了导入文件大小。这个有更好的解决方案吗？

【管理员】狗管理表示，不会看文档，没资格写代码 14:11:41
有

【管理员】狗管理表示，不会看文档，没资格写代码 14:11:49
想要时间还是想要空间

【筑基】超-云淡风轻 14:12:41
要空间

【筑基】超-云淡风轻 14:12:47
不宕机就行啊

【筑基】苏京彬 14:13:00
小孩子才做选择,成年人当然是全都要

【管理员】狗管理表示，不会看文档，没资格写代码 14:13:17
全都要就必须进行线程化

【管理员】狗管理表示，不会看文档，没资格写代码 14:13:33
如果当前的目的是只要空间

【管理员】狗管理表示，不会看文档，没资格写代码 14:13:55
分批量将导入的数据存入库中就行

【管理员】狗管理表示，不会看文档，没资格写代码 14:14:29
在此之前，将文件优先分割

【筑基】超-云淡风轻 14:14:33
从文件读取数据到集合这个会不会内存溢出

【筑基】超-云淡风轻 14:14:45
怎么分割

【管理员】狗管理表示，不会看文档，没资格写代码 14:14:52
百度分割文件

【管理员】狗管理表示，不会看文档，没资格写代码 14:15:30
有一个分割excel文件的jar

【筑基】S 14:15:37
EasyExcel可以2000W条

【筑基】S 14:15:39
亲测过

【管理员】狗管理表示，不会看文档，没资格写代码 14:16:33
看需求是多少条吧

【管理员】狗管理表示，不会看文档，没资格写代码 14:16:43
觉得麻烦可以走easyexcel

【管理员】狗管理表示，不会看文档，没资格写代码 14:17:04
不觉得麻烦就使用easypoi的大数据导入接口

【管理员】狗管理表示，不会看文档，没资格写代码 14:17:27
反正官网里写的很明白，多看看就好了

 

【筑基】Happer 14:46:03
大数据导入接口已经足够满足90%的业务场景了

【筑基】超-云淡风轻 14:46:37
大数据导入接口，最大数据量是多少？

【筑基】Happer 14:48:31
200w 10列

【管理员】狗管理表示，不会看文档，没资格写代码 14:55:52
在这个数据量里起码不会出现oom

【筑基】S 15:02:27

 

easyexcel的量也很大啊

【筑基】S 15:02:33
一个sheet可以100W

【筑基】S 15:02:40
来20个sheet

【筑基】超-云淡风轻 15:09:35
那也就是如果要导入几千W甚至更多的，要分割文件分页分批调用大数据导入接口再利用多线程提高效率？分割的文件用大数据导入接口也能获取到数据吧？

【管理员】狗管理表示，不会看文档，没资格写代码 15:09:57
废话

【筑基】超-云淡风轻 15:11:43
好吧，我是确认下思路，以后如果有这样的需求直接这样做了。