最近做在做一个项目，涉及到文件上传的问题。 以前也做过文件上传。但都是些小文件，不超过2m。 这次要求上传1g以上的东西。 没办法找来资料研究了一下。 基于web的文件上传可以使用ftp和http两种协议，用ftp的话虽然传输稳定，但安全性是个严重的问题，所以没有考虑。 剩下只有http。 在http中有3种方式，put、webdav、rfc1867，前2种方法不适合大文件上传，在这里也不说了。
确定使用rfc1867格式处理之后开始分析流行的上传组件。看了n多代码之后发现，目前无组件程序和一些com组件都是使用request.binaryread方法。一次性得到上传的数据，然后分析处理。这就是为什么上传大文件很慢的原因了，iis超时不说，就算1g文件上去了，分析处理也得一阵子。 之后我把注意力放在国外商业组件上，比较流行的有power-web，aspupload,activefile,abcupload,aspsmartupload,sa-fileup。其中比较优秀的是aspupload和sa-file，他们号称可以处理2g的文件(sa-file ee版甚至没有文件大小的限制)，而且效率也是非常棒，难道编程语言的效率差这么多?(我的编程环境是vb6) 查了一些资料,觉得他们都是直接操作文件流。这样就不受文件大小的制约。 真是个好方法。
但老外的东西也不是绝对完美，aspupload处理大文件后,内存占用情况惊人。1g左右都是稀松平常。我用的是3.0.0.3版。至于sa-file虽然是好东西但是破解难寻(郁闷死..) 失望之际，发现2款上传组件，lion.web.uploadmodule和aspnetupload，都是.net的，估计也是操作文件流。但是上传速度和cpu占用率都不如老外的商业组件。
做了个测试，lan内传1g的文件。aspupload上传速度平均是4.4m/s，cpu占用10-15，内存占用700m。sa-file也差不多这样。而aspnetupload最快也只有1.5m/s，平均是700k/s，cpu占用15-39，测试环境:piii800,256m内存,100m lan。我想aspnetupload速度慢是可能因为一边接收文件，一边写硬盘。资源占用低的代价就是降低传输速度。 但也不得不佩服老外的程序，cpu占用如此之低.....这样2个.net的组件也被pass.
稍带2个问题就是上传进度和断点续传。
显示上传进度比较简单，主要是查询用户上传的状态，用script显示到浏览器中，至于无刷新显示就要看脚本语言运用的熟练程度了。
断点续传，http方式是实现不了的，因为浏览器每次上传文件都是从头开始，没有range标签。实现的方法只能用activex。
研究之后决定写个cgi来处理文件上传。 这样可以不走iis以免程序出错影响网站访问。小弟比较菜只能用vb6做，完成之后发现win cgi的效率简直就是差的不能再差。索性写个file server，专门处理文件的上传。但是现在遇到一个2个问题。
一、用winsock控件接收到的文本有乱码 不知道是程序转换时的错误还是winsock本身垃圾，so 换了powertcp的winsock tool，情况有所好转 乱码没那么多了.........准备换vb.net，直接操作socket，程序还没做，不知道用.net接收会不会乱码。再有就哭了。
二、这个问题就比较初级了....接收到的文件流不能还原成文件..寒一个，
最后就是如何高效处理文件流, 我想来想去也就只有2种方法，一是都放在内存里，然后一起处理， 二是一边接收一边写文件。 但这2种方法都不尽如人意思
在了解HTTP断点续传的原理之前，让我们先来了解一下HTTP协议，HTTP协议是一种基于tcp的简单协议，分为请求和回复两种。请求协议是由客户机(浏览器)向服务器（WEB SERVER）提交请求时发送报文的协议。回复协议是由服务器(web server)，向客户机(浏览器)回复报文时的协议。请求和回复协议都由头和体组成。头和体之间以一行空行为分隔。
以下是一个请求报文与相应的回复报文的例子：
| GET /image/index_r4_c1.jpg HTTP/1.1 Accept: */* Referer: http://192.168.3.120:8080 Accept-Language: zh-cn Accept-Encoding: gzip, deflate User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705) Host: 192.168.3.120:8080 Connection: Keep-Alive HTTP/1.1 200 OK Server: Microsoft-IIS/5.0 Date: Tue, 24 Jun 2003 05:39:40 GMT Content-Type: image/jpeg Accept-Ranges: bytes Last-Modified: Thu, 23 May 2002 03:05:40 GMT ETag: "bec48eb862c21:934" Content-Length: 2827 …. |
下面我们就来说说"断点续传"，顾名思义，断点续传就是在上一次下载时断开的位置开始继续下载。
在HTTP协议中，可以在请求报文头中加入Range段，来表示客户机希望从何处继续下载。
比如说从第1024字节开始下载，请求报文如下：
| GET /image/index_r4_c1.jpg HTTP/1.1 Accept: */* Referer: http://192.168.3.120:8080 Accept-Language: zh-cn Accept-Encoding: gzip, deflate User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705) Host: 192.168.3.120:8080 Range:bytes=1024- Connection: Keep-Alive |
.NET中的相关类
明白了上面的原理，那么，我们来看看.NET FRAMEWORK中为我们提供了哪些类可以来做这些事。
完成HTTP请求
System.Net.HttpWebRequest
HttpWebRequest 类对 WebRequest 中定义的属性和方法提供支持，也对使用户能够直接与使用 HTTP 的服务器交互的附加属性和方法提供支持。
HttpWebRequest 将发送到 Internet 资源的公共 HTTP 标头值公开为属性，由方法或系统设置。下表包含完整列表。可以将 Headers 属性中的其他标头设置为名称/值对。但是注意，某些公共标头被视为受限制的，它们或者直接由 API公开，或者受到系统保护，不能被更改。Range也属于被保护之列，不过，.NET为开发者提供了更方便的操作，就是 AddRange方法，向请求添加从请求数据的开始处或结束处的特定范围的字节范围标头
完成文件访问
System.IO.FileStream
FileStream 对象支持使用Seek方法对文件进行随机访问, Seek 允许将读取/写入位置移动到文件中的任意位置。这是通过字节偏移参考点参数完成的。字节偏移量是相对于查找参考点而言的，该参考点可以是基础文件的开始、当前位置或结尾，分别由SeekOrigin类的三个属性表示。
代码实现
了解了.NET提供的相关的类，那么，我们就可以方便的实现了。
代码如下：
| static void Main(string[] args) { string StrFileName="c://aa.zip"; //根据实际情况设置 string StrUrl="http://www.xxxx.cn/xxxxx.zip"; //根据实际情况设置 //打开上次下载的文件或新建文件 long lStartPos =0; System.IO.FileStream fs; if (System.IO.File.Exists(StrFileName)) { fs= System.IO.File.OpenWrite(StrFileName); lStartPos=fs.Length; fs.Seek(lStartPos,System.IO.SeekOrigin.Current); //移动文件流中的当前指针 } else { fs = new System.IO.FileStream(StrFileName,System.IO.FileMode.Create); lStartPos =0; } //打开网络连接 try { System.Net.HttpWebRequest request =(System.Net.HttpWebRequest)System.Net.HttpWebRequest.Create(StrUrl); if ( lStartPos>0) request.AddRange((int)lStartPos); //设置Range值 //向服务器请求，获得服务器回应数据流 System.IO.Stream ns= request.GetResponse().GetResponseStream(); byte[] nbytes = new byte[512]; int nReadSize=0; nReadSize=ns.Read(nbytes,0,512); while( nReadSize >0) { fs.Write(nbytes,0,nReadSize); nReadSize=ns.Read(nbytes,0,512); } fs.Close(); ns.Close(); Console.WriteLine("下载完成"); } catch(Exception ex) { fs.Close(); Console.WriteLine("下载过程中出现错误:"+ex.ToString()); } } |
