讲师中心 微信公众号
AI工具推荐 视频效率加速

流式处理:Readable与Writable流实现

酷杰大大_7528

酷杰大大_7528

发布时间:2025-11-20 21:29:02

|

521人浏览过

|

来源于php中文网

原创

Node.js中Readable和Writable流分别用于数据读取与写入,通过实现_read()和_write()方法控制数据流动,结合pipe()实现高效管道传输。

流式处理:readable与writable流实现

在Node.js中,流式处理是一种高效处理数据的方式,特别适用于大文件或网络请求场景。核心在于Readable和Writable两种基础流类型,它们分别代表可读数据源和可写目标。理解并掌握这两种流的实现方式,能帮助我们更好地控制数据流动,提升性能与内存使用效率。

Readable流:按需提供数据

Readable流用于产生数据,可以是文件读取、HTTP响应等来源。它支持两种模式:流动模式(flowing)和暂停模式(paused)。通过实现_read()方法来定义如何获取数据。

关键点:

  • _read() 方法不直接返回数据,而是调用 this.push(chunk) 将数据推入内部缓冲区
  • 当 push(null) 被调用时,表示数据源已结束
  • 每次 push 后,系统可能自动再次触发 _read,无需手动循环

示例:创建一个生成递增数字的可读流

const { Readable } = require('stream');
class Counter extends Readable {
  constructor(max) {
    super();
    this.max = max;
    this.current = 0;
  }

  _read() {
    if (this.current >= this.max) {
      this.push(null); // 结束流
    } else {
      this.current++;
      this.push(this.current + ''); // 推送字符串数据
    }
  }
}

Writable流:接收并处理数据

Writable流用于消费数据,比如写入文件、发送网络请求。开发者需要实现_write()方法来定义如何处理传入的数据块。

注意要点:

Expanso json-flatten
Expanso json-flatten

通过 CLI 或 MCP 服务器,使用 Expanso Edge 管道扁平化嵌套 JSON 对象。

下载
  • _write(chunk, encoding, callback) 中 chunk 是数据块,callback 必须被调用以通知处理完成
  • 若处理出错,可传入错误对象给 callback(err)
  • 流会在所有写入完成后自动触发 'finish' 事件

例子:构建一个将数据打印到控制台的可写流

const { Writable } = require('stream');
class Logger extends Writable {
  _write(chunk, encoding, callback) {
    console.log('收到:', chunk.toString());
    callback(); // 标记本次写入完成
  }
}

连接流实现数据管道

Readable和Writable流可通过 pipe() 方法连接,形成高效的数据传输链路。这种方式避免了中间缓存过大,实现背压(backpressure)自动管理。

典型用法:

  • source.pipe(destination) 自动监听 data 和 end 事件
  • 可叠加多个中间流进行转换(如压缩、加密)
  • 出错时建议监听 error 事件防止崩溃

运行上面的例子:

const counter = new Counter(5);
const logger = new Logger();
counter.pipe(logger);
// 输出: 收到: 1 → 收到: 2 → ... → 收到: 5

基本上就这些。掌握 Readable 和 Writable 流的核心机制,就能灵活构建高效的流式处理逻辑。关键是理解 _read 和 _write 的触发时机以及正确使用 push 和 callback。不复杂但容易忽略细节。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

549

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1698

2024.03.01

require的用法
require的用法

require的用法有引入模块、导入类或方法、执行特定任务。想了解更多require的相关内容,可以阅读本专题下面的文章。

1975

2023.11.27

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1049

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3300

2023.10.25

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2378

2023.09.20

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1858

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

3004

2023.09.04

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

0

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 21.3万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 4.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn