讲师中心 微信公众号

工具推荐

视频效率加速
SoundView
SoundView

字幕擦除翻译、配音口型同步

Seko
Seko

AI短剧一键生成成片

Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

实时处理终端输出的 JSON 流数据(Linux + Python)

胖丽小哥_6229

胖丽小哥_6229

发布时间:2026-11-20 10:17:27

|

806人浏览过

|

来源于php中文网

原创

实时处理终端输出的 JSON 流数据(Linux + Python)

本文介绍如何在 linux 环境下,通过管道将命令行程序实时输出的 json 行(json lines 或多行 json)直接交由 python 脚本逐行解析,跳过中间文件存储,实现低延迟、内存友好的流式数据处理。

本文介绍如何在 linux 环境下,通过管道将命令行程序实时输出的 json 行(json lines 或多行 json)直接交由 python 脚本逐行解析,跳过中间文件存储,实现低延迟、内存友好的流式数据处理。

在 Linux 命令行中,许多工具(如 journalctl、kubectl logs、传感器采集程序等)会持续向标准输出(stdout)以 JSON 格式推送结构化数据。若按传统方式先重定向到文件再读取解析,不仅引入 I/O 开销和磁盘依赖,还会造成处理延迟。理想方案是构建实时流式处理管道:command | python processor.py,让 Python 在数据抵达时即时解析、提取字段、执行逻辑(如过滤、转换、告警、入库或转发)。

✅ 核心方法:从 sys.stdin 逐行读取 JSON

Python 脚本应以行为单位读取标准输入(适用于 JSON Lines 格式,即每行一个合法 JSON 对象),并使用 json.loads() 解析:

#!/usr/bin/env python3
import sys
import json

for line in sys.stdin:
    line = line.strip()
    if not line:
        continue
    try:
        data = json.loads(line)
        # 提取所需字段(示例)
        class_name = data.get("class")
        dte_status = data.get("dte")
        print(f"Class: {class_name}, DTE: {dte_status}")
        # ✅ 此处可添加任意业务逻辑:写入数据库、发送 HTTP 请求、触发函数等
    except json.JSONDecodeError as e:
        sys.stderr.write(f"Invalid JSON line: {line!r} — {e}\n")
        continue

? 关键点:

  • 使用 for line in sys.stdin 实现阻塞式、内存恒定的流读取(无需加载全部内容);
  • line.strip() 清除换行符与空格;
  • data.get(key) 安全访问字段,避免 KeyError;
  • 异常捕获确保单行解析失败不影响后续处理。

⚙️ 进阶优化:用 jq 预筛选字段(推荐组合使用)

若原始 JSON 结构复杂、体积大,或仅需少数字段,可在 Python 前用 jq 提前裁剪,显著降低 Python 解析开销与网络/内存压力:

KeystoneJS 无头 CMS,带有 GraphQL API 和 React 管理界面
KeystoneJS 无头 CMS,带有 GraphQL API 和 React 管理界面

KeystoneJS 是一个功能强大的开源无头 CMS,适用于 Node.js,它根据您的模式定义自动生成 GraphQL API 和基于 React 的管理界面。由 Thinkmill 构建,支持 PostgreSQL 和 SQLite、自定义访问控制、钩子、虚拟字段和基于文档的富文本编辑。

下载

立即学习“Python免费学习笔记(深入)”;

# 方案1:提取多个字段为紧凑数组(一行一数组)
your_command | jq -c '[.class, .dte]' | python extract.py

# 方案2:提取为精简字典(更易读、语义清晰)
your_command | jq -c '{class, dte}' | python extract.py

# 方案3:跨嵌套层级提取(如 .A.class 和 .B.dte)
your_command | jq -c '{class: .A.class, dte: .B.dte}' | python extract.py

对应 extract.py 可简化为:

import sys
import json

for line in sys.stdin:
    try:
        obj = json.loads(line.strip())
        # obj 已是 {'class': 'AIS', 'dte': false} 形式,直接使用
        print(f"→ {obj['class']}, {obj['dte']}")
    except Exception as e:
        pass

⚠️ 注意事项与最佳实践

  • 格式确认优先:确保源程序输出的是 JSON Lines(每行独立 JSON)而非单一大 JSON 数组。若为数组,需改用 json.load(sys.stdin) 并配合迭代器处理。
  • 编码兼容性:显式指定 sys.stdin.reconfigure(encoding='utf-8')(Python ≥ 3.7)避免中文等字符解码错误。
  • 性能敏感场景:避免在循环内做耗时操作(如同步 HTTP 请求);可结合 asyncio 或多进程队列提升吞吐。
  • 健壮性增强:生产环境建议添加超时控制、信号处理(如 signal.SIGPIPE 捕获)及日志记录。
  • 调试技巧:用 your_command | head -n 5 | jq '.' 快速验证输出格式;用 stdbuf -oL your_command | python script.py 强制行缓冲,防止输出卡顿。

通过上述方式,你既能享受 Python 生态的灵活性与表达力,又能借助 Unix 管道哲学实现轻量、可靠、可组合的实时数据流水线。

热门AI工具

更多
花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1971

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5604

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1909

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

34277

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4007

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4007

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1303

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

636

2023.08.10

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Navicat 18 Linux 用户手册
Navicat 18 Linux 用户手册

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn