使用split进行大数据分割时内存溢出解决方案

某个文本文件中存储了60W条记录，以\r\n作为分隔符，现在需要从文本中一次性取出所有值并存放到一个string[]数组中。

StreamReader sr = new StreamReader(strFilePath, System.Text.UnicodeEncoding.GetEncoding("utf-8"));

string strContent = sr.ReadToEnd();

string[] strArr = strContent.Split("\r\n".ToCharArray(), StringSplitOptions.RemoveEmptyEntries);

以上方式非常不建议使用，当数据量很大时很容易抛出内存溢出异常，这是由于string类型自身的安全性导致的，不建议使用string类型的对象临时保存大量的数据。

我们应该采用下面的方式来进行大数据量的处理。

 

                    List<string> List = new List<string>();
                    using (StreamReader _StreamReaderKey = new StreamReader(strTermCacheFilePath + fileInfo.Name))
                    {
                        string strLine = "";
                        while (!string.IsNullOrEmpty((strLine = _StreamReaderKey.ReadLine())))
                        {
                            List.Add(strLine);
                        }
                    }