java实现多线程文件的断点续传

 更新时间:2022年06月24日 09:19:25   作者:qq_38844040  
这篇文章主要为大家详细介绍了java实现多线程文件的断点续传,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

java文件的多线程断点续传大致原理,供大家参考,具体内容如下

谈到文件断点续传那么就离不开java.io.RandomAcessFile HttpUrlConnection类

大致思路如下:

1 HttpUrlConnection去请求服务器 获得文件的长度con.getContentLength()
2 创建一个空的RandomAcessFile来接收,并且指定刚刚获取的长度setLength
3开启N个线程 计算每个线程需要下载的长度
4获取之前先去看看下载的进度保存文件是否存在 如果存在就从文件里获取已经下载的进度
5开始文件下载
6临时文件的删除 资源的关闭

下面贴出完整代码

package demo;


import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;

class MultiDownloaFile {
    public static final String path = "http://192.168.217.1:8080/androidsimpleserver/HTTP.pdf";
    public static final int TOTAL_THREAD_COUNT = 3;
    public static int runningThreadCount = 0;

    public static void main(String[] args) {
        try {
            long start = System.currentTimeMillis();
            URL url = new URL(path);
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setRequestMethod("GET");
            int code = conn.getResponseCode();
            if (code == 200) {
                int length = conn.getContentLength();
                System.out.println("file length:" + length);
                //create  a  null  file  to  save  its  length
                RandomAccessFile raf = new RandomAccessFile(getDownloadFileName(path), "rw");
                raf.setLength(length);
                raf.close();
                //parse  every  thread  that  they  need  how  much  room  to  download
                int blockSize = length / TOTAL_THREAD_COUNT;
                System.out.println("every block size:" + blockSize);
                runningThreadCount = TOTAL_THREAD_COUNT;
                for (int threadId = 0; threadId < TOTAL_THREAD_COUNT; threadId++) {
                    int startPosition = threadId * blockSize;
                    int endPosition = (threadId + 1) * blockSize - 1;
                    if (threadId == (TOTAL_THREAD_COUNT - 1)) {
                        endPosition = length - 1;
                    }
                    System.out.println("thread::" + threadId + " download range:" + startPosition + "~~" + endPosition);
                    //start thread  to  download
                    new DownloadThread(threadId, startPosition, endPosition).start();
                }
            } else {
                System.out.println(" connection  error ");
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 从网络路径获取文件名
     *
     * @param path 网络路径
     * @return 文件名
     */
    private static String getDownloadFileName(String path) {
        return path.substring(path.lastIndexOf("/") + 1);
    }

    /**
     * 下载文件的线程
     */
    private static class DownloadThread extends Thread {
        /**
         * 线程id
         */
        private int threadId;

        /**
         * 当前线程下载的起始位置
         */
        private int startPosition;

        /**
         * 当前线程下载的终止位置
         */
        private int endPosition;

        public DownloadThread(int threadId, int startPosition, int endPosition) {
            this.threadId = threadId;
            this.startPosition = startPosition;
            this.endPosition = endPosition;
        }

        @Override
        public void run() {
            System.out.println("thread:" + threadId + " begin working");
            // lest thread download it's self range data
            try {

                File finfo = new File(TOTAL_THREAD_COUNT + getDownloadFileName(path) + threadId + ".txt");
//                断点续传
                if (finfo.exists() && finfo.length() > 0) {
                    System.out.println(" 断点续传开始");
                    FileInputStream fis = new FileInputStream(finfo);
                    BufferedReader br = new BufferedReader(new InputStreamReader(fis));
                    String lastPosition = br.readLine();
                    // This thread download data before times;
                    int intLastPosition = Integer.parseInt(lastPosition);
                    startPosition = intLastPosition;
                    fis.close();
                }

                URL url = new URL(path);
                HttpURLConnection conn = (HttpURLConnection) url.openConnection();
                conn.setRequestMethod("GET");
                System.out.println("begin and end:" + threadId + " range of download: " + startPosition + "~~" + endPosition);
                conn.setRequestProperty("Range", "bytes=" + startPosition + "-" + endPosition);
                // Download Resource from server
                int code = conn.getResponseCode();
                if (code == 206) {
                    InputStream is = conn.getInputStream();
//                    RandomAccessFile raf = new RandomAccessFile(getDownloadFileName(path), "rw");
                    RandomAccessFile raf = new RandomAccessFile(getDownloadFileName(path), "rw");

                    // vary important, position of begin to write
                    raf.seek(startPosition);
                    byte[] buffer = new byte[1024 * 100];
                    int len = -1;
                    int total = 0; // downloaded data of current thread in this times;
                    while ((len = is.read(buffer)) != -1) {
                        raf.write(buffer, 0, len);
                        // record position of current thread to downloading
                        total += len;
                        RandomAccessFile inforaf = new RandomAccessFile(TOTAL_THREAD_COUNT + getDownloadFileName(path) + threadId + ".txt", "rwd");
                        // save position of current thread
                        inforaf.write(String.valueOf(startPosition + total).getBytes());
                        inforaf.close();
                    }
                    is.close();
                    raf.close();
                    System.out.println("thread:" + threadId + " download complete...");
                } else {
                    System.out.println("request download failed.");
                }

            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                synchronized (MultiDownloaFile.class) {
                    runningThreadCount--;
                    if (runningThreadCount <= 0) {
                        System.out.println("  all  multi thread download complete.   success!!!");
                        for (int i = 0; i < TOTAL_THREAD_COUNT; i++) {
                            File finfo = new File(TOTAL_THREAD_COUNT + getDownloadFileName(path) + i + ".txt");
                            System.out.println(finfo.delete());
                        }
                    }
                }
            }
        }
    }
}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持得牛网。

相关文章

  • Java中转换器设计模式深入讲解

    Java中转换器设计模式深入讲解

    这篇文章主要给大家介绍了关于Java中转换器设计模式的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Java具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-04-04
  • 使用Homebrew配置Java开发环境操作方法

    使用Homebrew配置Java开发环境操作方法

    下面小编就为大家带来一篇使用Homebrew配置Java开发环境操作方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • java设计模式策略模式图文示例详解

    java设计模式策略模式图文示例详解

    这篇文章主要为大家介绍了java设计模式策略模式图文示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06
  • 解决Javaweb 提交表单到servlet时出现空白页面,但网站不报错问题

    解决Javaweb 提交表单到servlet时出现空白页面,但网站不报错问题

    这篇文章主要介绍了解决Javaweb 提交表单到servlet时出现空白页面,但网站不报错的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-08-08
  • 解析ConcurrentHashMap: get、remove方法分析

    解析ConcurrentHashMap: get、remove方法分析

    ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成。Segment的结构和HashMap类似,是一种数组和链表结构,今天给大家普及java面试常见问题---ConcurrentHashMap知识,一起看看吧
    2021-06-06
  • 浅析Disruptor高性能线程消息传递并发框架

    浅析Disruptor高性能线程消息传递并发框架

    这篇文章主要为大家介绍了Disruptor高性能线程消息传递并发框架的简单分析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2022-03-03
  • 史上最全面的Spring Boot配置文件深入讲解

    史上最全面的Spring Boot配置文件深入讲解

    Springboot极大的简化了Spring框架的使用配置流程,在核心配置文件里,几乎可以完成所有的配置工作,下面这篇文章主要给大家介绍了关于Spring Boot配置文件的相关资料,文中介绍的非常全面,需要的朋友可以参考下
    2018-12-12
  • Java中synchronized实现原理详解

    Java中synchronized实现原理详解

    这篇文章主要介绍了Java中synchronized实现原理详解,涉及synchronized实现同步的基础,Java对象头,Monitor,Mark Word,锁优化,自旋锁等相关内容,具有一定借鉴价值,需要的朋友可以参考下。
    2017-11-11
  • Feign如何解决服务之间调用传递token

    Feign如何解决服务之间调用传递token

    这篇文章主要介绍了Feign如何解决服务之间调用传递token,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-03-03
  • hadoop实现grep示例分享

    hadoop实现grep示例分享

    这篇文章主要介绍了hadoop实现grep示例,可从文档中提取包含某些字符串的行,需要的朋友可以参考下
    2014-03-03

最新评论