必须用 nvidia-smi 获取 GPU-Util：通过 subprocess.run(['nvidia-smi', '--query-gpu=index,utilization.gpu', '--format=csv,noheader,nounits'], timeout=3) 调用，解析时需 strip() 防空格错误，建议另起线程每1–2秒轮询并存入队列。
用 nvidia-smi 实时抓取每个 GPU 的 GPU-Util（核心利用率）
TensorFlow 本身不暴露底层 GPU 核心利用率（即 nvidia-smi 显示的 GPU-Util 百分比），它只提供内存占用和部分计算图执行统计。真正反映“核心忙不忙”的指标，必须从驱动层获取——nvidia-smi 是唯一稳定、跨 TensorFlow 版本可用的方式。
关键点：不要尝试用 tf.config.list_physical_devices('GPU') 或 tf.test.is_gpu_available()，它们完全不返回利用率数据。
实操建议：
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 用
subprocess.run(['nvidia-smi', '--query-gpu=index,utilization.gpu', '--format=csv,noheader,nounits'], capture_output=True, text=True)获取原始输出 - 解析 CSV 输出时注意空格和换行，
str.strip().split(',')前要先line.strip()，否则可能因首尾空格导致索引错误 - 每行格式为
"0, 42"（GPU 索引 + 利用率数值），注意第二字段前可能有空格
在 Python 循环中安全调用 nvidia-smi 避免阻塞或超时
nvidia-smi 默认响应很快，但若 GPU 正在重置、驱动异常或被其他进程锁死，可能卡住数秒甚至更久。直接裸调用 subprocess.run 会导致监控线程挂起，拖慢主训练流程。
立即学习“Python免费学习笔记（深入）”；
实操建议：
- 务必加
timeout=3参数，例如：subprocess.run(..., timeout=3) - 捕获
subprocess.TimeoutExpired异常，并返回None或上一次有效值（避免监控断档） - 不要在训练 step 内同步调用；建议另起一个
threading.Thread每 1–2 秒轮询一次，结果存入queue.Queue或threading.local()变量供主逻辑读取 - 避免高频调用（如 nvidia-smi 本身有内部采样周期（默认 ~1s），太密无意义且加重 PCI-e 负载
区分 utilization.gpu 和 utilization.memory 的实际含义
很多人误以为 utilization.memory 表示显存带宽占用率，其实不是：utilization.memory 是显存控制器的使用率（即 DRAM read/write 请求活跃度），和显存容量占用（memory.used）无关。而 utilization.gpu 才是 CUDA Core / Tensor Core 的实际计算饱和度。
典型误导场景：
- 模型跑得慢但
utilization.gpu只有 10%，说明瓶颈在数据加载、CPU 预处理或 kernel launch 开销，不是算力不足 -
utilization.gpu长期 95%+ 但 loss 下降慢，可能是 batch size 太小导致 kernel 过小、无法填满流多处理器（SM） - 多个模型共用 GPU 时，
nvidia-smi显示的是所有进程总和，无法精确归因到某个tf.function或tf.GradientTape调用
TensorFlow 2.x 下配合 tf.summary 可视化 GPU 利用率曲线
你可以把每轮采集到的 utilization.gpu 值写入 TensorBoard，但要注意：不能直接写 raw 数值，需包装成 tf.Summary.Value 或用 tf.summary.scalar（在 eager mode 下）。
实操建议：
- 创建独立
tf.summary.create_file_writer，路径与训练日志分离（如logs/gpu_util），避免混杂 - 记录时用
with writer.as_default(): tf.summary.scalar('gpu_0_util', val, step=step)，其中step推荐用训练 global step，而非监控时间戳 - 如果多卡，为每张卡单独建 scalar（如
gpu_1_util），TensorBoard 会自动分图 - 注意
tf.summary不是实时刷盘，需手动writer.flush()或设flush_millis=10000
最易被忽略的一点：GPU 核心利用率低 ≠ 代码写得差。TF 的 XLA 编译、混合精度、tf.data.Dataset.prefetch 等优化，都可能让 utilization.gpu 看似“不高”，但吞吐反升——要看 end-to-end throughput 和 step time，而不是盯着那个百分比猛调。
