Bottle + WebUploader 修改Bottle框架从而大文件上传实现方案

Bottle 是个轻量级的Web框架,小巧又强大,真不愧是个轻量级的框架。可扩展性非常好,可以扩展很多功能,但是有些功能就不得不自己动手修改了。

Bottle:http://www.bottlepy.org/docs/dev/tutorial.html

BaiduWebUpLoader 则是一个我认为非常不错的大文件上传库,兼容IE6,Flash和HTML5两套自动选择方案。详情请阅读他们的项目文档。

BaiduWebUpLoader:https://github.com/fex-team/webuploader

BaiduWebUpLoader 可以将大文件拆成 N 个小POST请求分段传输,传输过程中有这些值:

我们将关键用到 chunk 值。当然了我建议你如果没读过webloader 的文档还是去读读。里面有详细的介绍,在这里不在阐述。

所以我们需要将 Bottle 框架修改成,每次的POST大文件分段的时候自动合并成一个文件,但是也不能影响单/多小文件上传。

 

现在我们来动手吧,对Bottle进行小小的修改。


 首先阅读Bottle 官方文档可以看到很简单的文件上传,相信这对于你而言并不难。

文件最后保存的时候是用 upload.save() 函数来进行保存的,记住这个函数,我们要去修改它的源代码。

我们使用 request.files.gupet('upload_file') 既可以得到一个 FormsDict 对象,FormsDict对象是一群 对象的集合, 因为你一次上传并不可能只有一个文件,所以是有个集合的。

如同:

我们跟进 FileUpload 类,去看看他的定义。

这张图只需明白。self.file 值是外界赋值的,这里我们不管。

再看下张图,你会发现一个可喜之处。save函数就在这里,我们只需要进行更改就好了。

这里是 save 函数的实现。注释也说了各个参数的用法。

参数: 目的地 是否覆盖 缓冲区大小

 接下来我们就需要更改这个 raise IOError('File exists.')  ,因为只有这样,我们才可以对已有的文件进行追加写入,让多个POST请求变成一个文件。

保证下次文件存储的时候是可以合并在一起的,而不是覆盖。

但是发现并没有 POST数据,不能直接在这里写 with open(path,'ab') as fp,我们得看看它是如何实现的;

于是我们看看下面的 _copy_file 方法

 

看见这个函数,瞬间高兴了,这不 IO 流都在这里了嘛。这个函数将会每次从 POST 请求中读一段文件数据到缓冲区,然后再写到目标流。

看起来这个我是可以直接利用的,只需要加一个 追加,不重写就可以,因为这里的write 是open 返回的文件指针,是通用的。

于是我们修改成如下:

我们创建一个 ab 模式的文件指针。然后利用现有的 _copy_file 函数就好了!

注意我加了个参数,section_upload,当为True时代表追加写入文件模式。

这样我们就实现了几次文件POST包都可以合并(追加)成一个文件了。

 

但是还不止这样就结束了,还记得最开始的POST里面的 chunk 值吗?当它等于0的时候,就是代表一个新的文件,所以我们这样就可以避免重复追加。

如果不加这个判断,就会造成,以后上传只要文件名一样,就会追加到现有的文件,所以我们不能这样。

 

有些地方是业务逻辑,你看着变量名理解就好了。

overwrite 是是否覆盖,section_upload是我自定义的参数,表示追加模式。两者不可同时为True

这样,就可以实现 结合webloader就可以实现大文件上传,而又也不用担心小文件会出错。

 

不过你再使用之后,会发现一个奇异现象,就是任何上传中文名字的文件,中文名都会过滤掉。

原先我以为是编码问题,后来再去翻翻源码发现Bottle内部上传文件名自己进行了过滤,所以如果你不需要这个功能的话,还得去掉。

如果你不需要这个功能,你还得自己去掉这些代码。无视我那个注释。

不过你就要自己提供文件名过滤了,对了,POST请求中 你也可以用name的值。。

 

 

上传测试:


我们上传这些文件,我相信足够证明大文件可靠性。

这是我的 uploader 配置:

这里更正一下,最大并发数可以不为1,修改后的依然支持多并发,因为我们加了 chunk 的判断。从而兼容。

但是我还是建议为1,因为会出现一些意想不到的事情,在真实的网络中。

上传结果:

全部上传成功,并且没有一个文件损坏。

不过我忘记加小文件和其他格式文件了,我后来都测试过,全部正常。

单(多)小文件 Webloader 不会分段,而是直接POST,这个我们修改之后的也可以支持。

 

 

这样小小的修改一下Bottle框架之后,我们就可以实现大文件上传了,当然了是用的内置的HTTP服务。

如果搭配Apache的话就另外说了,不过我看了下代码应该也需要这样改。

 

可能的风险:

没有在真实网络测试,以后有机会加上。目前还没有试过,webloader 文档介绍会自动重传丢失部分;

但是我不能保证如果是POST传输文件数据的时候到一半断掉,或者漏了几个字节,然后原先已经写入数据却不能反悔了。

将会导致即使重传上传后追加的文件损坏。

 

 

这只是一点经验之谈,如果有任何更改方法或发现我的错误,欢迎指正,必当感谢。

posted @ 2017-02-02 17:36  _Suwings  阅读(1757)  评论(0编辑  收藏  举报