当前位置: 首页 > article >正文

【Java】将一个List拆分使用线程池多线程运行

需求:

将点位List(pointList)分成每100个点为一组,循环每一组,每组开启100个线程进行获取数据,且前一组100个线程执行完毕后才进行下一组。

// 将list分割成每100个为一个子列表
List<List<DynaBean>> subLists = splitListIntoChunks(pointList, THREAD_POOL_SIZE);

for (List<DynaBean> subList : subLists) {

	// 创建一个Future集合来保存所有的Future对象
	List<Future<?>> futures = new ArrayList<>();

	/**
	* 创建一个固定大小的线程池。
	* 线程池的大小被设置为THREAD_POOL_SIZE,这个大小是根据预先定义好的常量来确定的。
	* 这样做的目的是为了限制同时执行的任务数量,避免过多的任务导致系统资源耗尽。
	*/
	ExecutorService executor = Executors.newFixedThreadPool(THREAD_POOL_SIZE);

	/**
	* 创建一个计数器 latch,其计数初始值为subList.size()。
	* 这个 latch 的作用是用于等待所有线程任务完成。
	* 当线程池中的每个线程任务完成时,latch 的计数器会递减。
	* 当计数器减到0时,表示所有线程任务都已完成,此时主程序可以继续执行。
	*/
	CountDownLatch latch = new CountDownLatch(subList.size());


	for(DynaBean bean : subList){
		Future<?> future = executor.submit(() -> {
			try{
			//do something
			}finally {
           		latch.countDown();
            }
		});
		futures.add(future);
	}

	// 等待所有任务完成
	for (Future<?> future : futures) {
		try {
			future.get();
		} catch (InterruptedException | ExecutionException e) {
			throw new RuntimeException("Error processing tasks", e);
		}
	}

	// 关闭线程池
	executor.shutdown();
	latch.await();
}

/**
     * 将一个DynaBean列表分割成多个指定大小的块。
     * 这个方法用于将一个大列表分解成多个小列表,每个小列表的大小不超过指定的块大小。
     * 如果最后一个块的大小小于指定的块大小,则该块将包含列表的剩余元素。
     *
     * @param list 待分割的DynaBean列表。
     * @param chunkSize 每个块的目标大小。
     * @return 一个包含分割后的DynaBean列表的列表。
     */
    private static List<List<DynaBean>> splitListIntoChunks(List<DynaBean> list, int chunkSize) {
        if (chunkSize <= 0) {
            throw new IllegalArgumentException("Chunk size must be positive.");
        }

        List<List<DynaBean>> chunks = new ArrayList<>();
        final int totalChunks = (int) Math.ceil((double) list.size() / chunkSize);

        for (int i = 0; i < totalChunks; i++) {
            int start = i * chunkSize;
            int end = Math.min(start + chunkSize, list.size());
            chunks.add(new ArrayList<>(list.subList(start, end)));
        }

        return chunks;
    }


http://www.kler.cn/a/319420.html

相关文章:

  • 解决Anaconda出现CondaHTTPError: HTTP 000 CONNECTION FAILED for url
  • 虚拟机安装Ubuntu 24.04服务器版(命令行版)
  • 深度学习代码笔记
  • Chromium 中MemoryMappedFile使用例子c++
  • 生成 Django 中文文档 PDF 版
  • Python用CEEMDAN-LSTM-VMD金融股价数据预测及SVR、AR、HAR对比可视化
  • linux进程间通信——消息队列、信号量、ipc设计原理
  • 梧桐数据库(WuTongDB):向量化查询优化器的一些实现细节
  • 傅里叶变换及其应用笔记
  • 使用dom-to-image截图html区域为一张图
  • Redis --- redis事务和分布式事务锁
  • 全栈杂谈第三期 我们用的网络协议是什么
  • 前端css样式覆盖
  • 我的AI工具箱Tauri版-MicrosoftTTS文本转语音
  • 24.9.23学习笔记
  • “永辉优品”会是中国零售的答案吗?
  • 通信工程学习:什么是WLAN无线局域网
  • Python 从入门到实战28(文件的读操作)
  • 从王卫在全球可持续交通高峰论坛上的发言,透视顺丰的变革逻辑
  • [Unity Demo]从零开始制作空洞骑士Hollow Knight第十集:制作后坐力系统Recoil和小骑士的生命系统和受伤系统
  • docker容器安装nginx
  • 如何在 Linux 中管理和清理日志文件( `find` 命令按时间批量删除日志)
  • Unity DOTS系列之Struct Change核心机制分析
  • 大模型-模型预训练-训练过程优化配置
  • 【鸿蒙HarmonyOS NEXT】数据存储之分布式键值数据库
  • 克里金插值算法文件