返回顶部
首页 > 资讯 > 后端开发 > Python >浅谈一下Java多线程断点复制
  • 743
分享到

浅谈一下Java多线程断点复制

Java多线程Java断点Java断点复制 2023-05-15 09:05:33 743人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

目录细节介绍代码部分定时任务类记录信息类复制线程类复制工具类总结上次写了一个利用 RandoMaccessFile 和 多线程实现的多线程复制,但是没有增加断点复制的功能。这里的断点

上次写了一个利用 RandoMaccessFile 和 多线程实现的多线程复制,但是没有增加断点复制的功能。这里的断点复制是指:当程序执行中断时(出现错误、断电关机),仍可以从上次复制过程中重新开始(不必从头开始复制)。 多线程复制博客

细节介绍

我这里是使用一个Timer类(java.util.Timer)来实现断点功能的,就是使用这个类,每隔一段时间进行一次记录,记录的内容是每个线程复制的进度。

Timer 类的介绍:

A facility for threads to schedule tasks for future execution in a background thread. Tasks may be scheduled for one-time execution, or for repeated execution at regular intervals. 线程在后台线程中调度任务以供将来执行的工具。任务可以安排为一次性执行,也可以安排为定期重复执行。

根据 api 中的介绍可以看出,这个 Timer 类可以只执行一次任务,也可以周期性地执行任务。(注意这个类是 java.util.Timer 类,不是 javax 包下面的类。)

这个类的有很多和时间相关的方法,这里就不介绍了,感兴趣的可以去了解,这里只介绍我们需要使用的一个方法。

public void schedule(TimerTask task, long delay, long period)

Schedules the specified task for repeated fixed-delay execution beginning after the specified delay. Subsequent executions take place at approximately regular intervals separated by the specified period. 为指定的任务安排在指定延迟之后开始的重复固定延迟执行。随后的执行发生在按规定时间间隔的大致间隔。

使用这个方法,按照一个固定的时间间隔记录各个线程的复制进度信息即可。

代码部分

定时任务类

package draGon.local;

import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.ObjectOutputStream;
import java.util.List;
import java.util.Timer;
import java.util.TimerTask;

public class RecordTask extends TimerTask {
	public static final String filename = "breakPointRecord.txt";
	private Timer timer;
	private List<FileCopyThread> copyThreads;
	private String outputPath;
	
	public RecordTask(Timer timer, List<FileCopyThread> copyThreads, String outputPath) {
		this.timer = timer;
		this.copyThreads = copyThreads;
		this.outputPath = outputPath;
	}
	
	@Override
	public void run() {
		try {
			this.breakPointRecord();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	
	public void breakPointRecord() throws FileNotFoundException, IOException {
		int aliveThreadNum = 0;  //存活线程数目
		//不使用追加方式,这里只需要最新的记录即可。
		File recordFile = new File(outputPath, filename);
		try (ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream(recordFile))){
			//每次记录一个线程的下载位置,但是取出来又需要进行转换,太麻烦了。
			//我们直接使用序列化来进行操作,哈哈!
			long[] curlen = new long[4];
			int index = 0;
			for (FileCopyThread copyThread : copyThreads) {
				if (copyThread.isAlive()) {
					aliveThreadNum++;
				}
				curlen[index++] = copyThread.getCurlen();
				System.out.println(index+" curlen: "+copyThread.getCurlen());
			}
			//创建 Record 对象,并序列化。
			oos.writeObject(new Record(curlen));
		}
		//当所有的线程都死亡时,关闭计时器,删除记录文件。(所有线程死亡的话,就是文件已经复制完成了!)
		if (aliveThreadNum == 0) {
			timer.cancel();
			recordFile.delete();
		}
		System.out.println("线程数量: "+aliveThreadNum);
	}
}

说明:

if (aliveThreadNum == 0) {
	timer.cancel();
	recordFile.delete();
}

如果线程都已经结束了,就表示程序已经正常执行结束了。这个时候就删除记录文件。这里这个记录文件是一个标志(flag),如果存在记录文件就表示程序没有正常结束,再次启动时,会进行断点复制

注意:这里没有考虑复制过程中的 IO 异常,如果线程抛出 IO 异常,那么线程的状态也是结束了。但是考虑,本地文件复制出现 IO 异常的情况还是比较少的,就没有考虑,如果是网络下载的话,这个程序的功能可能就需要进行改进了。

记录信息类

每次需要依次写入各个线程的信息,但是读取出来还需要进行转换,还是感觉过于麻烦了,这里直接利用Java的序列化机制了。 有时候,直接操作对象是很方便的。 注意: 数组的下标表示的就是每个线程的位置。

package dragon.local;

import java.io.Serializable;

public class Record implements Serializable{
	
	private static final long serialVersionUID = 1L;
	private long[] curlen;
	
	public Record(long[] curlen) {
		this.curlen = curlen;
	} 
	
	public long[] getCurlen() {
		return this.curlen;
	}
}

复制线程类

package dragon.local;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.RandomAccessFile;

public class FileCopyThread extends Thread {
	private int index;
	private long position;
	private long size;
	private File targetFile;
	private File outputFile;
	private long curlen;      //当前下载的长度
	
	public FileCopyThread(int index, long position, long size, File targetFile, File outputFile) {
		this.index = index;
		this.position = position;
		this.size = size;
		this.targetFile = targetFile;
		this.outputFile = outputFile;
		this.curlen = 0L;
	}
	
	@Override
	public void run() {
		try (
			BufferedInputStream bis = new BufferedInputStream(new FileInputStream(targetFile));
			RandomAccessFile raf = new RandomAccessFile(outputFile, "rw")){
			bis.skip(position);  //跳过不需要读取的字节数,注意只能先后跳
			raf.seek(position);  //跳到需要写入的位置,没有这句话,会出错,但是很难改。
			int hasRead = 0;
			byte[] b = new byte[1024];
			
			while(curlen < size && (hasRead = bis.read(b)) != -1) {
				raf.write(b, 0, hasRead);
				curlen += (long)hasRead;
				//强制停止程序。
//				if (curlen > 17_000_000) {
//					System.exit(0);
//				}
			}

			System.out.println(index+" "+position+" "+curlen+" "+size);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	
	public long getCurlen() {   //获取当前的进度,用于记录,以便必要时恢复读取进度。
		return position+this.curlen;
	}
}

这段代码是为了测试断点复制的。如果你想要进行测试,可以将 if 判断中的条件按照你要复制的文件大小进行相应的调整。如果要进行测试,可以先将这段代码的注释取消再执行程序(然后程序退出,这时候文件没有复制完成。),然后再将这段代码注释再次执行程序,文件将会复制成功。

				//强制停止程序。
//				if (curlen > 17_000_000) {
//					System.exit(0);
//				}

复制工具类

package dragon.local;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.ObjectInputStream;
import java.io.RandomAccessFile;
import java.util.ArrayList;
import java.util.List;
import java.util.Timer;





public class FileCopyUtil {
	//设置一个常量,复制线程的数量
	private static final int THREAD_NUM = 4;
	
	private FileCopyUtil() {}
	
	
	public static void transferFile(String targetPath, String outputPath) throws IOException, ClassNotFoundException {
		File targetFile = new File(targetPath);
		File outputFilePath = new File(outputPath);
		if (!targetFile.exists() || targetFile.isDirectory()) {   //目标文件不存在,或者是一个文件夹,则抛出异常
			throw new FileNotFoundException("目标文件不存在:"+targetPath);
		}
		if (!outputFilePath.exists()) {     //如果输出文件夹不存在,将会尝试创建,创建失败,则抛出异常。
			if(!outputFilePath.mkdir()) {
				throw new FileNotFoundException("无法创建输出文件:"+outputPath);
			}
		}
		
		long len = targetFile.length();
		
		File outputFile = new File(outputFilePath, "copy"+targetFile.getName());
		createOutputFile(outputFile, len);    //创建输出文件,设置好大小。
		
		//创建计时器 Timer 对象
		Timer timer = new Timer();
	
		long[] position = new long[4];
		//每一个线程需要复制文件的起点
		long size = len / FileCopyUtil.THREAD_NUM + 1;     //保存复制线程的集合
		List<FileCopyThread> copyThreads = new ArrayList<>();
		Record record = getRecord(outputPath);
		
		for (int i = 0; i < FileCopyUtil.THREAD_NUM; i++) {
			//如果已经有了 记录文件,就从使用记录数据,否则就是新的下载。
			position[i] = record == null ? i*size : record.getCurlen()[i];
			FileCopyThread copyThread = new FileCopyThread(i, position[i], size, targetFile, outputFile);
			copyThread.start();     //启动复制线程
			copyThreads.add(copyThread);   //将复制线程添加到集合中。
		}
	
		timer.schedule(new RecordTask(timer, copyThreads, outputPath), 0L, 100L);  //立即启动计时器,每隔10秒记录一次位置。
		System.out.println("开始了!");
	}
	
	//创建输出文件,设置好大小。
	private static void createOutputFile(File file, long length) throws IOException {
		try (   
			RandomAccessFile raf = new RandomAccessFile(file, "rw")){
			raf.setLength(length);
		}
	}
	
	//获取以及下载的位置
	private static Record getRecord(String outputPath) throws FileNotFoundException, IOException, ClassNotFoundException {
		File recordFile = new File(outputPath, RecordTask.filename);
		if (recordFile.exists()) {
			try (ObjectInputStream ois = new ObjectInputStream(new FileInputStream(recordFile))){
				return (Record) ois.readObject();
			}
		}
		return null;
	}
}

说明: 根据复制的目录中,是否存在记录文件来判断是否启动断点复制。

private static Record getRecord(String outputPath) throws FileNotFoundException, IOException, ClassNotFoundException {
		File recordFile = new File(outputPath, RecordTask.filename);
		if (recordFile.exists()) {
			try (ObjectInputStream ois = new ObjectInputStream(new FileInputStream(recordFile))){
				return (Record) ois.readObject();
			}
		}
		return null;
	}

启动断点复制原来其实很简单,就是和复制一样,只不过起始复制位置变成了记录的位置了。

//如果已经有了 记录文件,就从使用记录数据,否则就是新的下载。
position[i] = record == null ? i*size : record.getCurlen()[i];

总结

采用定时记录的方法,感觉也是很不错的,但是似乎又一个问题,当程序正在记录序列化信息的时候,如果出现了错误(导致序列化信息没有写入完整),当反序列化读取的时候,会抛出 EOFException 。不过这种情况很少发生,但是似乎在强制关闭Tomcat的过程中,可能会出现这个问题。(Tomcat的序列化信息很多,IO 时间较长,但是我这里记录的信息很少的,就只是一个 Java 对象而已。)

如果出现了这个异常,解决办法就是删除记录文件,但是因为这个错误就无法使用断点复制的功能了。

关于多线程下载的那部分我没有写,我自己想了好久,没有想出来很好的方法(我对于线程不是很了解),我参考了网上的几个实现(都是将每个线程的记录写入一个单独文件中,但是感觉这样不是很好,我是想写入一个文件中,但是这样又很麻烦。)。我想写一个自己的方法,但是没有想出来,就暂时放弃了。

到此这篇关于浅谈一下Java多线程断点复制的文章就介绍到这了,更多相关Java多线程断点复制内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: 浅谈一下Java多线程断点复制

本文链接: https://lsjlt.com/news/208635.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 浅谈一下Java多线程断点复制
    目录细节介绍代码部分定时任务类记录信息类复制线程类复制工具类总结上次写了一个利用 RandomAccessFile 和 多线程实现的多线程复制,但是没有增加断点复制的功能。这里的断点...
    99+
    2023-05-15
    Java多线程 Java断点 Java断点复制
  • 浅谈一下Java线程组ThreadGroup
    目录1 简介2 线程组树的结构3 线程组的构造4 API5 终止线程组中的所有线程1 简介 一个线程集合。是为了更方便地管理线程。父子结构的,一个线程组可以集成其他线程组,同时也可以...
    99+
    2023-05-19
    Java 线程组 Java ThreadGroup
  • 浅谈一下Java的线程并发
    谈到并发,必会涉及操作系统中的线程概念,线程是CPU分配的最小单位,windows系统是抢占式的,linux是轮询式的,都需要获取CPU资源。并行:同一时刻,两个线程都在执行。并发:...
    99+
    2024-04-02
  • 浅谈C#多线程下的调优
    目录一、原子操作1.基于Lock实现2.基于CAS实现3.自旋锁SpinLock4.读写锁ReaderWriterLockSlim二、线程安全1.线程安全集合2.线程安全字典三、线程...
    99+
    2024-04-02
  • Java多线程断点复制的方法是什么
    这篇文章主要介绍了Java多线程断点复制的方法是什么的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Java多线程断点复制的方法是什么文章都会有所收获,下面我们一起来看看吧。细节介绍我这里是使用一个Timer类(...
    99+
    2023-07-06
  • 浅谈Java多线程的优点及代码示例
    尽管面临很多挑战,多线程有一些优点使得它一直被使用。这些优点是:资源利用率更好程序设计在某些情况下更简单程序响应更快资源利用率更好想象一下,一个应用程序需要从本地文件系统中读取和处理文件的情景。比方说,从磁盘读取一个文件需要5秒,处理一个文...
    99+
    2023-05-30
    java 多线程 ava
  • 浅谈一下python线程池简单应用
    一、线程池简介 传统多线程方案会使用“即时创建,即时销毁”的策略。尽管与创建进程相比,创建线程的时间已经大大的缩短,但是如果提交给线程的任务时执行时间较短,而...
    99+
    2023-05-16
    python线程池 python线程池应用
  • Java实现多线程下载和断点续传
    java的多线程下载能够明显提升下载的速度,平时我们用的迅雷软件之所以能够下载那么快,就是使用了多线程;当用户在下载的过程中,有断电或断网的可能,当用户再次点击下载时,应该让用户接着...
    99+
    2024-04-02
  • python浅谈一下线程间通信之队列
    目录为什么需要线程间通信线程间通信方式有哪些线程间通信案例之队列总结为什么需要线程间通信 一个人的力量是有限的,但是团队合作可以发挥更大的作用。而团队协作需要交流和通信来有效的分配任...
    99+
    2023-05-17
    Python线程通信 Python线程通信队列 python队列
  • Android实现多线程断点下载
    目录QDownload1、如何使用1.1、导入依赖1.2、初始化下载组件1.3、核心控制器DownloadManager1.4、监听下载进度1.5、下载相关的操作1.6、应用市场ap...
    99+
    2024-04-02
  • 详解Android中的多线程断点下载
    首先来看一下多线程下载的原理。多线程下载就是将同一个网络上的原始文件根据线程个数分成均等份,然后每个单独的线程下载对应的一部分,然后再将下载好的文件按照原始文件的顺序“拼接”起...
    99+
    2022-06-06
    多线程 断点 线程 Android
  • Android使用多线程实现断点下载
    多线程下载是加快下载速度的一种方式,通过开启多个线程去执行一个任务..可以使任务的执行速度变快..多线程的任务下载时常都会使用得到..比如说我们手机内部应用宝的下载机制..一定...
    99+
    2022-06-06
    多线程 断点 线程 Android
  • Android实现多线程断点下载的方法
    本文实例讲述了Android实现多线程断点下载的方法。分享给大家供大家参考。具体实现方法如下: package cn.itcast.download; import jav...
    99+
    2022-06-06
    方法 多线程 断点 线程 Android
  • 浅谈Java多线程处理中Future的妙用(附源码)
    java 中Future是一个未来对象,里面保存这线程处理结果,它像一个提货凭证,拿着它你可以随时去提取结果。在两种情况下,离开Future几乎很难办。一种情况是拆分订单,比如你的应用收到一个批量订单,此时如果要求最快的处理订单,那么需要并...
    99+
    2023-05-31
    java 多线程 ava
  • Java多线程实现复制文件
    本文实例为大家分享了Java多线程实现复制文件的具体代码,供大家参考,具体内容如下 代码实现如下: package com.tulun.thread; import java.i...
    99+
    2024-04-02
  • Java利用多线程复制文件
    前言 复制一个文件,是学习IO流时最基本的操作。你可以使用字节型文件流,也可以使用高级缓冲流。 但是,它们都是单线程的。 如果需要复制一个大型文件,单线程的复制一般而言是不能够充分发...
    99+
    2024-04-02
  • Android入门:多线程断点下载详细介绍
    本案例在于实现文件的多线程断点下载,即文件在下载一部分中断后,可继续接着已有进度下载,并通过进度条显示进度。也就是说在文件开始下载的同时,自动创建每个线程的下载进度的本地文件,...
    99+
    2022-06-06
    多线程 断点 线程 Android
  • java实现多线程文件的断点续传
    java文件的多线程断点续传大致原理,供大家参考,具体内容如下 谈到文件断点续传那么就离不开java.io.RandomAcessFile HttpUrlConnection类 大致...
    99+
    2024-04-02
  • 如何浅析Java多线程程序的设计机制
    本篇文章为大家展示了如何浅析Java多线程程序的设计机制,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。浅析Java多线程程序设计机制多线程是Java语言的一大特性,多线程就是同时存在N个执行体,按几...
    99+
    2023-06-03
  • Java中多线程的中断机制有哪些
    本篇文章为大家展示了Java中多线程的中断机制有哪些,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。1、interrupt()public void interrupt()&nbs...
    99+
    2023-05-30
    java 多线程
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作