松鼠的博客

导航

Java大文件上传(秒传、分片上传、断点续传)

一、秒传
秒传就是不传,实现逻辑就是看数据库或者缓存里是否已经有这个文件了,有了,直接从已有的文件去拿就可以了(返回文件地址)。
这里判断是否是相同文件,要用到信息摘要算法,详情可以参考:一文读懂当前常用的加密技术体系。
信息摘要算法常常被用来保证信息的完整性,防止信息在传输过程中被篡改(无法确定信息是否被监听)。常用的就是MD5算法。

二、分片上传
分片上传,就相当于把一个大文件,拆成很多个小份,就想hls文件一样,一片一片的,上传完成后组合起来形成一个完整的文件。
一般和断点续传一起使用。

三、断点续传
分片上传过程中,会话失效、网络问题、系统问题导致的上传中断,恢复后再次上传,不用从头开始了,就是断点续传。

四、RandomAccessFile类
支持随意跳转到文件的任意位置进行读写,RandomAccessFile类的作用就很明显了,可以支持分片上传和断点续传。
其部分源码如下:

public RandomAccessFile(File file, String mode)
throws FileNotFoundException
{
String name = (file != null ? file.getPath() : null);
int imode = -1;
if (mode.equals("r"))
imode = O_RDONLY;
else if (mode.startsWith("rw")) {
imode = O_RDWR;
rw = true;
if (mode.length() > 2) {
if (mode.equals("rws"))
imode |= O_SYNC;
else if (mode.equals("rwd"))
imode |= O_DSYNC;
else
imode = -1;
}
}
......
fd = new FileDescriptor();
fd.attach(this);
path = name;
open(name, imode);
}

 r : 只读模式。
rw: 读写模式
rws: 相对于 rw,rws 同步更新对“文件的内容”或“元数据”的修改到外部存储设备。
rwd : 相对于 rw,rwd 同步更新对“文件的内容”的修改到外部存储设备。

文件内容指的是文件中实际保存的数据,元数据则是用来描述文件属性比如文件的大小信息、创建和修改时间。
代码示例:

public static void main(String[] args) throws IOException {
RandomAccessFile randomAccessFile = new RandomAccessFile(new File("input.txt"), "rw");
System.out.println("读取之前的偏移量:" + randomAccessFile.getFilePointer() +
",当前读取到的字符" + (char) randomAccessFile.read() +
",读取之后的偏移量:" + randomAccessFile.getFilePointer());
randomAccessFile.seek(4);
// 从偏移量 4 的位置开始往后写入字节数据
randomAccessFile.write(new byte[]{'H', 'I', 'J', 'K','L','M'});
System.out.println("读取之前的偏移量:" + randomAccessFile.getFilePointer() +
",当前读取到的字符" + (char) randomAccessFile.read() +
",读取之后的偏移量:" + randomAccessFile.getFilePointer());

}

write()方法是覆盖写入,对于input.txt文件,初始值是ABCDE,执行后值是ABCDHIJKLM,执行结果如下:

读取之前的偏移量:0,当前读取到的字符A,读取之后的偏移量:1
读取之前的偏移量:10,当前读取到的字符,读取之后的偏移量:10

五、实现分片上传+断点续传
关于这方面的前后端实现,网上有一大推,可以参考:
https://blog.csdn.net/qq_31448387/article/details/127983860
https://blog.csdn.net/shark_chili3007/article/details/118385682
总结一下:
1、前端实现
(1)利用file.slice(start,end)方法将文件分片,获取总分片数、当前分片序号、当前分片文件;
(2)将以上信息传入后端,期间定义文件MD5摘要,确定断传后能够秒传;
(3)当分片序号==总分片数时,将状态(end)传给后端,通知后端合并分片文件。(并发情况下,定义标志位,确认每一个分片上传完成通知合并。)
2、后端实现
RandomAccessFile 实现合并的核心代码如下:

RandomAccessFile raf = new RandomAccessFile(file,"rw");
raf.seek(keyIndex);//seek(int n)从n处处理
byte[] bytes = fileValue.getBytes();//提区文件的字节流
raf.write(bytes);//上面的seek方法已经把指针放在这里从这直接写入

 

参考文章:http://blog.ncmem.com/wordpress/2023/09/21/java%e5%a4%a7%e6%96%87%e4%bb%b6%e4%b8%8a%e4%bc%a0%ef%bc%88%e7%a7%92%e4%bc%a0%e3%80%81%e5%88%86%e7%89%87%e4%b8%8a%e4%bc%a0%e3%80%81%e6%96%ad%e7%82%b9%e7%bb%ad%e4%bc%a0%ef%bc%89/

欢迎入群一起讨论

 

 

posted on 2023-09-21 13:48  Xproer-松鼠  阅读(550)  评论(0编辑  收藏  举报