摘要：
最近一直纠结于大文件的处理。单个文件动辄两三个G，数据遍历检索需要长时间等待，在此等待过程中很是郁闷。思来想去，就是把文件切片处理。虽然整个文件处理完毕可能耗时更长，至少，处理一部分数据，就可以实时看到结果。 1。根据源文件大小，估计处理完成以后目标索引文件长度，建立目标文件长度的空文件； 2。把源文件切割为若干数据片N来处理，顺序处理；处理完一个数据片立马加载； 3。查看空数据文件给出等待数据处理提示； 附加方案： 建立数据监视服务，发现新文件后台立即进行处理，建立文件索引。 阅读全文
