当前位置: 首页 > article >正文

node.js内置模块之---stream 模块

stream 模块的作用

在 Node.js 中,stream 模块是一个用于处理流(stream)的核心模块。流是一种处理数据的抽象方式,允许程序处理大量数据时不会一次性将所有数据加载到内存中,从而提高性能和内存效率。通过流,Node.js 可以以分块的方式读取和写入数据,这对于处理大文件或实时数据流(如音视频流、网络请求等)非常有效。

流可以分为以下几种类型:

  1. Readable Streams:可读流,允许从某个数据源中读取数据(例如,文件、HTTP 响应、标准输入等)。
  2. Writable Streams:可写流,允许将数据写入某个目标(例如,文件、HTTP 请求、标准输出等)。
  3. Duplex Streams:双工流,既可以读也可以写(例如,网络通信中的 TCP 套接字)。
  4. Transform Streams:转换流,既可以读也可以写,但在读取数据时,会在读取的数据上执行一些转换操作(例如,压缩、加密、解密等)。

核心功能和概念

  1. 数据流的处理方式:

    • 流是按块(chunk)进行传输的,避免了将所有数据一次性加载到内存中的问题。这使得在处理大数据时,程序能够以非常高效的方式进行工作。
    • 流会自动地分配缓冲区,这些缓冲区的大小可以根据需求进行调节。
  2. 事件驱动:

    • 流是基于事件驱动的。当数据可用时,会触发事件。常见的事件有 dataenderror 和 finish 等。
  3. 管道操作:

    • Node.js 的 stream 模块支持管道(pipe)操作。你可以将一个流的输出连接到另一个流的输入,这样数据就能自动从一个流传输到另一个流,而不需要手动处理每个数据块。
    • stream.pipe() 是常用的流连接方法。

stream 模块相关的API

1、Readable Stream(可读流)
  • 用途:用于从数据源中读取数据。
  • 常见使用场景:读取文件、HTTP 请求响应、标准输入等。
const fs = require('fs');
const readableStream = fs.createReadStream('example.txt', { encoding: 'utf8' });

readableStream.on('data', (chunk) => {
  console.log('Received chunk:', chunk);
});

readableStream.on('end', () => {
  console.log('No more data.');
});

readableStream.on('error', (err) => {
  console.error('Error:', err);
});

当读取一个文件时,打印的格式是以下这样的

2、Writable Stream(可写流)
  • 用途:用于向某个目标写入数据。
  • 常见使用场景:写入文件、HTTP 请求的响应、标准输出等。
const fs = require('fs');
const writableStream = fs.createWriteStream('output.txt');

writableStream.write('Hello, world!\n');
writableStream.end(); // 完成写入

writableStream.on('finish', () => {
  console.log('Writing completed!');
});

writableStream.on('error', (err) => {
  console.error('Error:', err);
});
3、Duplex Stream(双工流)
  • 用途:可以同时读取和写入的流。
  • 常见使用场景:例如,网络通信中的 TCP 套接字。
const { Duplex } = require('stream');

const duplexStream = new Duplex({
  read(size) {
    this.push('data from read\n');
    this.push(null); // 结束流
  },
  write(chunk, encoding, callback) {
    console.log('Received chunk:', chunk.toString());
    callback();
  }
});

duplexStream.write('Hello, Duplex stream!\n');
duplexStream.pipe(process.stdout);
4、Transform Stream(转换流)
  • 用途:用于在读取数据时,对数据进行某种转换(例如,压缩、解密等)。
  • 常见使用场景:压缩文件、数据加密等。
const { Transform } = require('stream');

const transformStream = new Transform({
  transform(chunk, encoding, callback) {
    this.push(chunk.toString().toUpperCase()); // 转换成大写
    callback();
  }
});

process.stdin.pipe(transformStream).pipe(process.stdout);

主要方法和事件

常用方法:
  • stream.read([size]):从流中读取数据,size 参数控制每次读取的字节数。
  • stream.write(chunk[, encoding][, callback]):向流中写入数据。
  • stream.end([chunk][, encoding][, callback]):标记流的结束,通常在写入完毕后调用。
  • stream.pipe(destination):将当前流的输出传递到目标流(即另一个流)。
常用事件:
  • 'data':当可读取的数据时触发。
  • 'end':数据读取完毕时触发(在可读流中)。
  • 'finish':数据写入完毕时触发(在可写流中)。
  • 'error':流操作中发生错误时触发。

http://www.kler.cn/a/467090.html

相关文章:

  • 自动驾驶三维重建
  • Java 正则表达式入门与应用(详细版)
  • RocketMQ场景问题
  • 三甲医院等级评审八维数据分析应用(三)--主数据管理篇(下)
  • 小程序组件 —— 30 组件 - 背景图片的使用
  • xdoj 判断字符串子串
  • Cocos2dx Lua绑定生成中间文件时参数类型与源码类型不匹配
  • 综合课程设计I报告题目: 血氧仪设计
  • SCT12A0,一款2.7V-14V Vin、30W全集成同步升压转换器
  • 【hustoj注意事项】函数返回值问题
  • asp.net core 属性路由和约定路由
  • 用Redis缓存数据、SpringCache
  • lovelyAIMaster - 在windows任何地方调用AI进行输入
  • 如何批量注册Outlook邮箱账号并防止关联?
  • MySQL(五)MySQL图形化工具-Navicat
  • Oracle 多租户架构简介
  • 深入浅出 Pytest:自动化测试的最佳实践 pytest教程 程序测试 单元化测试
  • 面向对象分析和设计OOA/D,UML,GRASP
  • vue代理问题
  • 对计网大题的一些指正(中间介绍一下CDM的原理和应用)