当前位置：首页 > article >正文

[疑难杂症2024-001] java多线程运行时遇到java.util.ConcurrentModificationException的解决方案

article 2024/11/15 20:03:01

本文由Markdown语法编辑器编辑完成。

1.背景

由于近日在改进一个医学图像的收图服务。之前的版本，我们采用了pynetdicom的服务。
https://pydicom.github.io/pynetdicom/stable/

它的介绍为:
pynetdicom is a pure Python package that implements the DICOM networking protocol. Working with pydicom, it allows the easy creation of DICOM Application Entities (AEs), which can then act as Service Class Users (SCUs) and Service Class Providers (SCPs) by associating with other AEs and using or providing the services available to the association.

是用python实现了DICOM的网络传输协议。这对于快速搭建服务，是很方便的一个选择。但是在实际的应用中，我们发现，如果医院同时有多个终端，比如多台CT机，多个PACS客户端，同时向它发送请求时，它的性能会遇到一定的瓶颈。

因此，我们最终还是采用了基于java的dcm4chee来实现。

具体在实现时，我们会遇到一个处理场景是，需要开启两个线程。
一个线程负责持续不断的接收CT机器发过来的图像；另一个线程，则需要定时不间断地(比如，每隔3s), 进行一次轮询，将符合一定条件的图像，拿走进行后续的处理。

这个场景，非常类似于银行账户。比如同一时刻或非常接近的时刻，有一个账户，有人往这个账户存钱，而有人则从这个账户取钱。那么这两个行为，就相当于是两个运行中的线程。而账户的钱，实际类似于数据库中的记录。一个线程，是要增加账户的钱，另一个账户，则是要减少这个账户的钱。
在这里插入图片描述

因此，如何来保证，这个账户的钱，计算是准确的呢。也即，如何确保两个线程，在修改同一个对象的值时，不至于发生错乱，导致不一致的情况呢？

我们会采用锁的机制。哪个线程先来访问，那么它就先拿到锁，然后进行一系列的操作，操作完成后，再释放锁。当另一个线程也需要访问这个对象时，如果发现被锁了，则会等待，直到这个锁被释放后，它才可以进行操作。

2. 问题根源

虽然我也知道多线程访问时需要上锁。但是在实际编写代码时，还是忽略了一个地方。导致，我加的定时轮询任务，在没有过多数据访问时，还是可以正常工作的。
但是一旦大量的数据过来时，定时任务就罢工了。因此，数据就变成了只进不出，造成了数据处理的堆积。

后来通过在代码的入口处，增加了try…catch的异常捕获逻辑。
再次运行时，可以看到在某一次定时任务运行的时候，发生了异常。异常的名称为ConcurrentModificationException。

顾名思义，这个异常就是说明了，有不同的线程，在同时修改一个变量（在我的项目，这里是一个HashMap）。也就是说，一个线程在往这个HashMap里面，新增元素；而另一个线程，则在轮询判断这个HashMap中是否有符合条件，应该被pop掉的元素。

解决方案：

2.1 使用迭代器

使用Iterator进行遍历和修改：在遍历集合时，使用Iterator的remove()方法来删除元素，而不是直接在集合上进行修改。

import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

public class AvoidConcurrentModification {
    public static void main(String[] args) {
        List<Integer> numbers = new ArrayList<>();
        numbers.add(1);
        numbers.add(2);
        numbers.add(3);
        numbers.add(4);

		# 定义一个迭代器，通过遍历迭代器的方式，可以实现边迭代，边修改的操作。
        Iterator<Integer> iterator = numbers.iterator();
        while (iterator.hasNext()) {
            Integer number = iterator.next();
            if (number == 2) {
                iterator.remove(); // 使用迭代器的remove()方法
            }
        }
    }
}

2.2 使用并发集合（Concurrent Collections）

Java提供了一些线程安全的集合类，如ConcurrentHashMap、CopyOnWriteArrayList等。这些集合类使用了特定的并发控制机制，可以在多线程环境下安全地进行遍历和修改操作。根据具体的需求，选择合适的并发集合类来代替普通的集合类。

2.3 使用同步（Synchronization）

如果你必须使用普通的集合类，并且需要在多线程环境下进行遍历和修改操作，你可以使用同步机制来确保线程安全。使用synchronized关键字或者使用Collections.synchronizedXXX()方法包装集合类，以确保每次只有一个线程可以访问集合的修改操作。比如：

import java.util.ArrayList;
import java.util.Collections;
import java.util.Iterator;
import java.util.List;

public class AvoidConcurrentModification {
    public static void main(String[] args) {
        List<Integer> numbers = Collections.synchronizedList(new ArrayList<>());
        numbers.add(1);
        numbers.add(2);
        numbers.add(3);
        numbers.add(4);

        synchronized (numbers) {
            Iterator<Integer> iterator = numbers.iterator();
            while (iterator.hasNext()) {
                Integer number = iterator.next();
                if (number == 2) {
                    iterator.remove();
                }
            }
        }
    }
}

2.4 使用线程锁

import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;


private Lock lock = new ReentrantLock();


import java.util.ArrayList;
import java.util.Collections;
import java.util.Iterator;
import java.util.List;

public class AvoidConcurrentModification {

	List<Integer> numbers = Collections.synchronizedList(new ArrayList<>());

    public static void addItem(String[] args) {
   		 # 首先拿到线程锁
		lock.lock();

        numbers.add(1);
        numbers.add(2);
        numbers.add(3);
        numbers.add(4);

		# 处理完毕后，释放线程锁.
		lock.unlock();
    }

	public static void removeItem(String[] args) {
   		 # 首先拿到线程锁
		lock.lock();

		for (String item : numbers ) {
			if (item == 2) {
				numbers.remove(item);
			}

		# 处理完毕后，释放线程锁.
		lock.unlock();
    }
}