多线程下载

网络资源下载慢 优化

场景

后台项目，功能是jxls模板导出表格，，表格模板已经，填充表格的图片都存在服务器上，导出是需要先下载到本地，当导出数据较多时，下载大量图片资源，单个下载会比较慢，优化下载资源较慢问题

导出表格示例：

解决方案：开启多线程下载

package com.ant.backstage.utils.file.multi;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;

public class MultiThreadDownload {

    private static Logger logger = LogManager.getLogger(MultiThreadDownload.class);

    private String str_url;
    private String storagePath;
    private int threadNumber;
    private static long downloadByteCount;

    public MultiThreadDownload(String str_url, String storagePath, int threadNumber) {
        this.str_url = str_url;
        this.storagePath = storagePath;
        this.threadNumber = threadNumber;
    }

    public void download() throws IOException, InterruptedException {
        long startTime = System.currentTimeMillis();
        logger.info("Download[多线程下载资源开始]......");

        /*
         *  首先设置本地文件的大小
         *  当然这是个null数据的文件
         *  这样才能通过RandomAccessFile的数组下标机制达到随机位置写入
         */
        URL url = new URL(str_url);
        HttpURLConnection conn = (HttpURLConnection) url.openConnection();
        conn.setConnectTimeout(10000);
        conn.setRequestMethod("GET");
        long fileLength = conn.getContentLengthLong(); // 得到需要下载的文件大小
        conn.disconnect();

        RandomAccessFile file = new RandomAccessFile(storagePath, "rwd");
        /**
         *  在RandomAccessFile的构造方法中,第二个参数是用来这是访问文件模式的,分为四种
         *
         *  “r” 以只读方式打开文件
         *  “rw” 以读写方式打开文件
         *  “rws” 以读写方式打开文件 ,相当于rw模式,还要求对文件的内容或者元数据的每个更新都同步写入底层存储设备
         *  “rwd” 以读写方式打开文件 ,相当于rw模式,还要求对文件的内容每个更新都同步写入底层存储设备
         **/
        file.setLength(fileLength+1); // 关键方法 ： 设置本地文件长度
        file.close();
        /**
         *  问题1，java.io.FileNotFoundException: D:\idea-develop-project\Project_All\backstage_ant\web\src\main\resources\jxls_images (拒绝访问。)
         *
         *  原因：   在进行分析时，我得说清楚什么时候抛拒绝访问，什么时候抛找不到指定路径。原因是这样的，在构造一个File对象时，
         *          指定的文件路径是什么都可以，就算不存在也能够构造File对象，但是，
         *          现在你要对文件进行输入输出操作，也就是InputStream和OutputStream操作时，
         *          如果填写的路径不存在，那么就会报系统找不到指定路径，如果指定的是目录时，就会报拒绝访问异常。看了这个前提之后，在继续往下读。
         *          https://www.cnblogs.com/zhuyeshen/p/11435879.html
         *
         *
         *  问题2，异常 试图将文件指针移到文件开头之前。
         *
         *   解决：【改变本地文件大小】
         *      如果文件串的最后一个字符是中文，使用mark()中的长度设为file.length()
         *      如果文件的最后一个字符串是英文或数字，则java.io.IOException: Mark invalid，使用mark()中的长度设为file.length()+1
         *
         *  问题3，java.net.MalformedURLException: no protocol:
         *
         *    原因：no protocol，没有指定通信协议异常。【没有指定 http 协议，在 URL 前面加上http://即可解决此异常。】
         *
         **/

        /*
         *  计算每条线程下载的字节数，以及每条线程起始下载位置与结束的下载位置，
         *  因为不一定平均分，所以最后一条线程下载剩余的字节
         *  然后创建线程任务并启动
         *  Main线程等待每条线程结束(join()方法)
         */
        long oneThreadReadByteLength = fileLength / threadNumber;
        for (int i = 0; i < threadNumber; i++) {
            long startPosition = i * oneThreadReadByteLength;
            long endPosition = i == threadNumber - 1 ? fileLength : (i + 1) * oneThreadReadByteLength - 1;
            Thread t = new Thread(new Task(startPosition, endPosition));
            t.start();
            t.join();
        }

        /*
         *  检查文件是否下载完整，不完整则删除
         */
        if (downloadByteCount == fileLength) {
            logger.info("ALL Thread Download OK.【资源下载完成】");
            logger.info("【资源下载完成,耗时】time = " + ((System.currentTimeMillis() - startTime)) + "ms");
        } else {
            logger.error("Download Error.【资源下载异常，移除异常资源】");
            new File(storagePath).delete();
        }
    }

    class Task implements Runnable {

        private long startPosition;
        private long endPosition;

        Task(long startPosition, long endPosition) {
            this.startPosition = startPosition;
            this.endPosition = endPosition;
        }

        @Override
        public void run() {
            try {
                URL url = new URL(str_url);
                HttpURLConnection conn = (HttpURLConnection) url.openConnection();
                conn.setConnectTimeout(10000);
                conn.setRequestMethod("GET");
                conn.setRequestProperty("Range", "bytes=" + startPosition + "-" + endPosition); // 关键方法: 每条线程请求的字节范围
                if (conn.getResponseCode() == HttpURLConnection.HTTP_PARTIAL) { // 关键响应码 ：206，请求成功 + 请求数据字节范围成功
                    RandomAccessFile file = new RandomAccessFile(storagePath, "rwd");
                    file.seek(startPosition); // 关键方法 ：每条线程起始写入文件的位置
                    InputStream in = conn.getInputStream();
                    byte[] buf = new byte[8192];
                    int len;
                    while ((len = in.read(buf)) > 0) {
                        file.write(buf, 0, len);
                        downloadByteCount += len;
                    }
                    // 关闭网络连接及本地流
                    in.close();
                    file.close();
                    conn.disconnect();
                    logger.info(Thread.currentThread().getName() + ": download OK");
                }
            } catch (IOException e) {
                logger.error(Thread.currentThread().getName() + "_Error : " + e);
            }
        }
    }

    public static void main(String[] args) throws Exception {
        //测试使用网络图片可以实现多线程下载，由于我把gitee当成服务器使用，但是gitee无法使用多线程下载一个文件

//        String path = "https://gitee.com/Sir-yuChen/backstage_ant_upload/raw/master/file/upload_img/1642933041448_c33d4a8e-2dd5-4d49-82eb-61fb147811b5.jpg";
        String path = "https://tse4-mm.cn.bing.net/th/id/OIP-C.vpLlKLk2137OWLAF2oMzZAHaE8?w=269&h=180&c=7&r=0&o=5&pid=1.7";
        MultiThreadDownload mtd = new MultiThreadDownload(path, "D:\\idea-develop-project\\Project_All\\backstage_ant\\web\\src\\main\\resources\\jxls_images\\LeiMus.jpg", 10);
        mtd.download();

    }
}