Python使用队列加多线程处理数据
Python使用队列处理数据
一、背景
有些时候,我们为了能够节省时间来处理数据,而处理的数据又是实时的数据,这个时候,你可以使用多线程和队列来实现这个功能。在Python中,具体来说,可以使用 queue.Queue 来存储内容,并在一个单独的线程中不断检查队列是否有新内容,一旦有新内容就执行数据处理的操作。
二、我的使用场景:
- 解析多个arxml文件的数据
- 将解析好的数据写成表格;
三、我的解题思路:
- 解析函数解析所有的arxml文件;
- 使用多线程来解析数据;
- 使用队列来写入已经解析好的数据。
四、我的示例代码
import threading
import queue
def parse_all_data_type