论大缓存操作

论大缓存操作

我们经常要在内存中搬迁大数据（可能几G，甚至更大）。如果一次性地开辟几G的缓存，想一次就完成大数据的搬迁，这几G的缓存很可能超过了系统的物理内存，这时会造成服务器卡死。鉴于此，大数据如此搬迁，是行不通的。当然小数据这样，是没有问题的。

那么，如何完成大数据通过缓存实现搬迁？

正确答案是——蚂蚁搬家。一次搬一点，分成N次搬完。

将这个问题进一步引申，网络通信，通过流传输大数据，试图通过网络，一次传输完大数据，会造成网路堵塞，因此网络传输，也应该是蚂蚁搬家。

再说点题外话，有时我们让程序SLEEP(指定时间)，等待程序的执行结果。如果这个SLEEP时间较大，程序就会因睡眠而长时间无反应，其实可以分成较小的SLEEP时间，分成N次执行，一旦程序已经有了执行结果，就立即终止SLEEP。

综上所述，不论是大数据、还是长时间，只要是大任务，我们都应该分割成N个小任务来执行。这就是道。

DELPHI的流类的一个方法为我们作了最好的阐述。附上源码：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

function TStream.CopyFrom(const Source: TStream; Count: Int64): Int64; const   MaxBufSize = $F000; var   BufSize, N: Integer;   Buffer: TBytes; begin   if Count <= 0 then   begin     Source.Position := 0;     Count := Source.Size;   end;   Result := Count;   if Count > MaxBufSize then BufSize := MaxBufSize else BufSize := Count;   SetLength(Buffer, BufSize);   try     while Count <> 0 do     begin       if Count > BufSize then N := BufSize else N := Count;       Source.ReadBuffer(Buffer, N);       WriteBuffer(Buffer, N);       Dec(Count, N);     end;   finally     SetLength(Buffer, 0);   end; end;