TensorFlow 2.x 无内置 JSON 解析算子，需用 json.loads() 配合 tf.py_function 安全接入 pipeline，并显式声明输出类型与形状；复杂嵌套应提前扁平化，性能敏感场景宜预处理为 TFRecord 或 CSV。
TensorFlow 2.x 本身不提供 JSON 解析能力
直接用 tf.io.parse_json 或类似函数会报 AttributeError: module 'tensorflow.io' has no attribute 'parse_json' —— 因为 TensorFlow（包括 2.x）**没有内置 JSON 解析算子**。JSON 是通用文本格式，解析逻辑属于预处理层，应交给 Python 标准库或第三方库完成，再把结果转为 tf.Tensor 或 tf.data.Dataset。
常见错误是试图在 tf.data.Dataset.map() 中直接调用 json.loads()，这会导致“在图模式下使用不可追踪的 Python 函数”错误（TypeError: Cannot convert Python object to Tensor），尤其在启用 @tf.function 或使用 tf.data pipeline 时。
用 json.loads() + tf.py_function 安全接入 pipeline
这是最稳妥的实操路径：先用标准库解析 JSON 字符串，再用 tf.py_function 将结果包装进 TensorFlow 图中。注意返回值必须明确指定 dtype 和 shape，否则后续操作会失败。
假设你有一批 JSON 字符串（如日志行、API 响应体），每条含嵌套字段 {"user": {"id": 123, "tags": ["a", "b"]}, "event_time": "2023-01-01"}：
立即学习“Python免费学习笔记（深入）”；
import json
import tensorflow as tf
<p>def parse_json_string(json_str):</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/xiazai/skill11765" title="Expanso yaml-to-json"><img
src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="Expanso yaml-to-json" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/xiazai/skill11765" title="Expanso yaml-to-json">Expanso yaml-to-json</a>
<p>使用 Expanso Edge 管道将 YAML 输入转换为 JSON 格式。</p>
</div>
<a href="/xiazai/skill11765" title="Expanso yaml-to-json" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div><h1>json_str 是 tf.string 张量，需先转为 Python str</h1><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">json_bytes = json_str.numpy()
data = json.loads(json_bytes.decode('utf-8'))
return (
data['user']['id'],
data['user']['tags'],
data['event_time']
)def tf_parse_json(json_str):
输出必须声明 dtype 和 shape；tags 是变长 list，用 tf.string 并设 shape=None
id_out, tags_out, time_out = tf.py_function(
func=parse_json_string,
inp=[json_str],
Tout=[tf.int32, tf.string, tf.string]
)
# tags 是一维字符串张量，但长度不确定 → 设 shape=[None]
tags_out.set_shape([None])
time_out.set_shape([]) # scalar
return {'user_id': id_out, 'tags': tags_out, 'timestamp': time_out}构建 dataset
json_lines = tf.data.Dataset.from_tensor_slices([ b'{"user": {"id": 101, "tags": ["login", "mobile"]}, "event_time": "2023-05-01"}', b'{"user": {"id": 202, "tags": ["search"]}, "event_time": "2023-05-02"}' ]) parsed_ds = json_lines.map(tf_parse_json)
嵌套结构复杂时，提前 flatten 再喂给模型
TensorFlow 模型输入通常要求扁平、固定 shape 的张量（如 tf.float32 矩阵）。如果 JSON 含深层嵌套（如多层 list-of-dict）、混合类型或缺失字段，硬塞进 <code>tf.py_function 会很快失控。更可靠的做法是：在解析后立即做结构规整，例如：
- 用
pandas.json_normalize()扁平化嵌套字段（适合离线预处理） - 对变长字段（如
"tags"）统一截断/填充为固定长度，并转成tf.SparseTensor或 one-hot 编码 - 把时间字符串转为 Unix timestamp（
int64），避免模型接触字符串 - 缺失字段补默认值（如
user.id缺失时设为-1），并加 mask 标记
别指望 tf.data 自动处理 schema 变化 —— JSON 字段增减、类型漂移（比如某次 "id" 变成字符串）都会在 runtime 报错，且堆栈难读。
性能敏感场景慎用 tf.py_function
每次调用 tf.py_function 都会退出图执行、进入 Python 环境，带来显著开销。如果 JSON 数据量大（GB 级）、字段简单（如全是数字），更高效的方式是：用 jq 或 millispec 在 shell 层预处理成 CSV/TFRecord，再用 tf.data.experimental.make_csv_dataset 或 tf.data.TFRecordDataset 加载。
另一个现实约束：GPU 无法加速 JSON 解析。所有 tf.py_function 内部逻辑都在 CPU 上运行，且无法被 tf.data.AUTOTUNE 有效调度 —— 如果 pipeline 瓶颈出现在这里，优先考虑预处理而非优化解析函数本身。
真正棘手的不是“怎么解析”，而是“怎么让解析结果稳定适配模型输入层”。字段命名变更、空数组、null 值、编码混杂（UTF-8 vs latin-1）这些细节，比语法本身更容易导致训练中途崩溃。
