当前位置: 首页 > article >正文

node 爬虫开发内存处理 zp_stoken 作为案例分析

声明:
本文章中所有内容仅供学习交流使用,不用于其他任何目的,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!

前言

主要说3种我们补环境过后如果用execjs就不用考虑内存问题因为执行完后内存就会释放。如果用jsdom或者vm整合服务。部署过程中有很多变量垃圾回收不了执行一段时间就会oom内存溢出所以为了解决这个问题,主要有4种方法主要说3种。所有操作以限制node内存最大超过256M就重启为了验证结果。

Zp_stoken部署

pm

pm2 start ecosystem.config.js

pm2 stop all

pm2 log

pm2 status

守护进程

写一个类似shell脚本根据cpu核心启动同时管理集群。

 express-cluster模式

利用express自动cluster模式即可如图自动故障转移。

总结

   1.出于安全考虑,本章未提供完整流程,调试环节省略较多,只提供大致思路,具体细节要你自己还原,相信你也能调试出来。


http://www.kler.cn/a/523273.html

相关文章:

  • LTV预估 | 深度学习PLTV之开山鼻祖ZILN
  • 3、C#基于.net framework的应用开发实战编程 - 实现(三、三) - 编程手把手系列文章...
  • 05-机器学习-数据标注
  • DeepSeek R1学习
  • 模糊综合评价
  • 函数与方法
  • 详解排序算法
  • 中国“低碳城市”三批试点城市名单DID(2000-2022年)-社科数据
  • Python NumPy(5):广播、迭代
  • 单片机基础模块学习——蜂鸣器及继电器
  • 关于低代码技术架构的思考
  • centos安装mysql
  • 【Linux】Linux C判断两个IPv6地址是否有包含关系
  • Ansible自动化运维实战--软件包管理模块、服务模块、文件模块和收集模块setup(4/8)
  • 【UE】 Pawn
  • 基于SpringBoot的高校一体化服务平台的设计与实现(源码+SQL脚本+LW+部署讲解等)
  • 力扣【669. 修剪二叉搜索树】Java题解
  • 【Super Tilemap Editor使用详解】(十七):常见问题解答(FAQ)
  • 初始JavaEE篇 —— Spring Web MVC入门(上)
  • 笔记本搭配显示器
  • 【Git】使用笔记总结
  • 数据结构的学习要点
  • OpenAI-Edge-TTS:本地化 OpenAI 兼容的文本转语音 API,免费高效!
  • 【C语言练习题】数字螺旋方阵
  • 小南每日 AI 资讯 | AI将向“少样本学习”发展? | 25/01/25
  • 【Leetcode 热题 100】416. 分割等和子集