go语言并发读写数据队列,不停写的同时,一次最多读取指定量数据(逐行注释)
1、数据队列可以存储任意类型的一个数据(下程序是添加整数值)。
数据队列代码点这里查看《go语言结构体实现数据结构队列(先进先出)存储数据(逐行注释)》
2、读写操作并发进行(下程序向队列中逐个写入100个数据项)。
3、读取的时候,有最大读取量(下列程序一次最多读取5个数据项),读取数据后,相应的数据项从队列中删除。
4、添加数据完毕、并且队列无数据后,退出程序。
package main
import (
"fmt"
"sync"
"time"
)
var wq = NewWorkQueue() // 数据队列
var fz = false // 添加任务完毕后,设置为true
var wgroup = sync.WaitGroup{} // 用于同步等待协程完成
var readMax = 5 // 一次最多获取数据量
var ch = make(chan struct{}, readMax) // 控制获取数据量
func main() {
wgroup.Add(1) // 添加数据协程+1
go A() // 动态添加数据
B() // 动态获取数据
wgroup.Wait() // 等待协程完成
}
// 动态添加数据
func A() {
for i := 1; i <= 100; i++ {
wq.Add(i) // 队列添加数据
time.Sleep(100 * time.Millisecond) // 模拟添加需要时间
}
fz = true // 添加数据完成,告知数据获取协程
wgroup.Done() // 添加数据完成
}
// 动态获取数据
func B() {
for {
if fz && wq.Size() == 0 { // 添加数据已完成,并且数据链长度为0
return // 退出获取数据操作
} // 添加数据已完成,并且队列为空时,退出获取数据
if wq.Size() > 0 { // 数据链上有数据节点
go func() {
defer wgroup.Done() // 完成后,协程计数-1
wgroup.Add(1) // 协程计数+1,防止退出
data := wq.Pop() // 从数据队列取出一个数据
if data != nil { // 数据存在时(因判断队列长度到取出数据过程中可能有其他协程取走数据,导致获取到空值)
// 从数据队列获取数据,通过信号量控制并发数量
ch <- struct{}{} // 获取信号量,占用一个并发资源,满时等待任务释放后继续执行
wgroup.Add(1) // 协程计数+1,防止退出
go func(data interface{}) {
defer func() {
<-ch // 任务完成释放信号量,归还并发资源
wgroup.Done() // 完成后,协程计数-1
}()
time.Sleep(2 * time.Second) // 模拟获取数据后处理数据时间
fmt.Print(data) // 数据使用完成
}(data)
}
}()
}
}
}