当前位置: 首页 > article >正文

协程池是调用端并发请求的缓释胶囊

图片

hello, 我是马甲哥,这是我的第183篇原创文章,阅读时间3min,有用指数4颗星。

昨天"朝花夕拾"栏目倒腾了一款具有请求排队功能的并发受限服务器。

演示了互联网高并发请求,服务端遇到的现实情况(服务器高负载、cpu打满、sql并发受限)。

文章重点在于给服务提供方削峰填谷,今天咱们把视角移到服务调用方。


如果是一个调用端程序同时发出这么多并发请求:

(在服务器处理单次请求耗时50ms的前提下)

并发客户端请求数concurrencyClients

服务器请求队列queueLength

服务器限流阈值 Maxoutstanding

总耗时ms

1000

100

10

5014

动图显示:

虽然1000个并发请求在5257ms全部处理完, 但是至少有一半的请求耗时超过3s, 那这又会有什么问题呢?

端到端的请求:为防止服务器处理过慢,长时间占用客户端到服务器的请求链路资源,调用端一般都会设置超时时间。

eg:

  • 前端ajax工具库设置超时时间:axios.defaults.timeout = 12000;

  • golang httpclient 设置超时时间:client := &http.Client{   Timeout: 10 * time.Second,   }

  • etcd grpc请求超时时间:eClient.Get(ctx, "/foo")

很明显,这个例子中如果clientTimeout=3s, 就会导致大量请求超时失败。


既要让所有客户端请求都能被处理,又要保证不超过客户端自设的超时配置。

协程池[1]这个缓释胶囊就可以上场了。

Package ants implements an efficient and reliable goroutine pool for Go.  

With ants, Go applications are able to limit the number of active goroutines, recycle goroutines efficiently, and reduce the memory footprint significantly. Package ants is extremely useful in the scenarios where a massive number of goroutines are created and destroyed frequently, such as highly-concurrent batch processing systems, HTTP servers, services of asynchronous tasks, etc.

总体而言, ants是golang中用于将高并发的Goroutine削峰填谷, 起到调用端缓释胶囊的作用。

另一个角度,正因为golang启动协程毫无顾虑,协程池的存在也是为了避免协程滥用。

将原clients()函数中无脑迅速启动1000个并发协程, 替换为ants库(协程池内协程数量设置为50)。

func antsClients() {
 wg1.Add(concurrencyClients)
 pool, _ := ants.NewPool(50)
 defer pool.Release()
for i := 1; i <= concurrencyClients; i++ {
  r := &Request{
   args:       []int{i},
   resultChan: make(chan int),
  }
  _ = pool.Submit(func() {
   ClientReq(r)
  })
 }
 wg1.Wait() // WaitGroup依旧可用
} 
 …

动图显示,整体耗时相比于不用协程池无差, 但是每个请求的耗时都得到了很好的控制, 整个客户端程序批量发起1000个请求显得轻快又高效。

源代码还是在https://github.com/zwbdzb/go_sample1, 欢迎关注。

That's All, 本文是自己在中厂的一个生产实践复盘:
调用方某些场景下突发批量请求,一开始也是自然启动多协程发起请求,大量请求因为服务端限制而超时失败, 启动ants这个缓释胶囊后问题得到解决。

生活就是这样,只要你愿意倒腾,总有新发现。

参考资料

[1] 

协程池: https://github.com/panjf2000/ants

本篇文字和图片均为原创,读者可结合图片探索源码, 欢迎反馈 ~。。~。欢迎添加微信号 niumabujuan 交流撕逼。 

图片

Golang倒腾一款简配的具有请求排队功能的并发受限服务器

一次sql请求,返回分页数据和总条数

http请求超时,底层发生了什么?

两将军问题和TCP三次握手

字节二面:你怎么理解信道是Golang中的顶级公民

三张大图剖析HttpClient和IHttpClientFactory在DNS解析问题上的殊途同归

图片

点“图片戳“在看图片


http://www.kler.cn/a/590043.html

相关文章:

  • Spring设计模式 八股速记 高层模块底层模块 依赖倒置原则 开闭原则 接口隔离原则
  • WD5202L超低成本 Buck 电源芯片的特性与应用电路解析, 将市电转换为 5V 电压
  • 缓存相关内容
  • 利用AI让数据可视化
  • JVM 垃圾回收器分类及其特点详解
  • 【新人系列】Golang 入门(六):函数基础
  • 用uv管理python环境/项目(各种应用场景)
  • Linux中Tomcat、idea和MySQL的安装
  • 【论文笔记】Contrastive Learning for Compact Single Image Dehazing(AECR-Net)
  • 计组错题笔记
  • 【Docker】-Docker Compose+Dockerfile最佳实践
  • 百度正式发布文心大模型 4.5 及文心大模型 X1
  • 深入理解 HTML 字符实体:解决特殊字符显示难题
  • axios防止重复请求
  • 提高开发效率:公共字段自动化填充方案
  • LeetCode134☞加油站
  • 【农业大数据处理与应用】实验二 随机森林算法与LSTM循环神经网络
  • 来客推商城V3多用户uni-app商城源码怎么样?
  • Spark DataFrame、Dataset 和 SQL 解析原理深入解析(万字长文多张原理图)
  • 嵌入式Linux | 什么是 BootLoader、Linux 内核(kernel)、和文件系统?