本文详解如何在 MediaPipe 中可靠区分左右手共40个关键点，避免因误用 multi_handedness 索引导致的标签错配，并提供基于新版 Task API 的完整实现方案与坐标提取示例。
本文详解如何在 mediapipe 中可靠区分左右手共40个关键点，避免因误用 `multi_handedness` 索引导致的标签错配，并提供基于新版 task api 的完整实现方案与坐标提取示例。
MediaPipe 旧版 solutions.hands（即 Hands 类）虽支持双手机制，但其 results.multi_handedness 与 results.multi_hand_landmarks 不保证顺序一致——这是你原始代码失效的根本原因：results.multi_handedness[0] 并不一定对应 handLms 循环中的第一个手，因此 lbl = results.multi_handedness[0].classification[0].label 会错误地将所有关键点统一标记为“Right”或“Left”，导致颜色覆盖失效。
✅ 正确做法是使用 MediaPipe 新版 Task API（vision.HandLandmarker），它明确将每只手的 hand_landmarks 与对应的 handedness 按索引严格对齐，确保 detection_result.hand_landmarks[j] 和 detection_result.handedness[j] 属于同一只手。
以下为完整、可运行的教程级实现（适配实时摄像头）：
import cv2
import numpy as np
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
# ✅ 1. 加载预训练手部检测模型（需下载 model.task）
# 下载地址：https://www.php.cn/link/3f4b1d9d2b6b462288ff6d8ff9e6a5fe
MODEL_PATH = "hand_landmarker.task" # 替换为你的本地路径
BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode
# 配置为实时视频模式（VIDEO），启用手部左右分类
options = HandLandmarkerOptions(
base_options=BaseOptions(model_asset_path=MODEL_PATH),
running_mode=VisionRunningMode.VIDEO,
num_hands=2
)
detector = HandLandmarker.create_from_options(options)
# ✅ 2. 初始化摄像头与时间戳计数器
cap = cv2.VideoCapture(0)
frame_count = 0
fps = cap.get(cv2.CAP_PROP_FPS) or 30.0
while cap.isOpened():
success, frame = cap.read()
if not success:
break
# 镜像翻转（可选，便于交互）
frame = cv2.flip(frame, 1)
# ✅ 3. 转换为 MediaPipe Image 并传入检测器（注意时间戳单位：毫秒）
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=frame)
timestamp_ms = int(frame_count * (1000 / fps))
detection_result = detector.detect_for_video(mp_image, timestamp_ms)
frame_count += 1
# ✅ 4. 安全初始化左右手坐标容器
left_hand = None
right_hand = None
# ✅ 5. 逐一手遍历，严格按索引匹配 handedness 与 landmarks
for i, hand_landmarks in enumerate(detection_result.hand_landmarks):
if i >= len(detection_result.handedness):
continue
# 获取该手的左右标签（display_name 为 'Right' 或 'Left'）
hand_label = detection_result.handedness[i][0].display_name
# 提取归一化坐标 (x, y) → 转为像素坐标
h, w, _ = frame.shape
landmarks_px = np.array([
[int(lm.x * w), int(lm.y * h)]
for lm in hand_landmarks
])
if hand_label == "Right":
right_hand = landmarks_px
elif hand_label == "Left":
left_hand = landmarks_px
# ✅ 6. 可视化：为左右手 landmark #8（食指指尖）绘制不同颜色圆点
if right_hand is not None and len(right_hand) > 8:
x, y = right_hand[8]
cv2.circle(frame, (x, y), 10, (0, 0, 255), -1) # 红色：右手 #8
if left_hand is not None and len(left_hand) > 8:
x, y = left_hand[8]
cv2.circle(frame, (x, y), 10, (0, 255, 255), -1) # 黄色：左手 #8
# ✅ 7. （可选）叠加 MediaPipe 默认连接线（仅用于调试）
# 注意：Task API 不直接提供 draw_landmarks，需手动绘制或使用旧 API 辅助
# 此处省略，专注核心逻辑；如需连线，建议单独封装绘图函数
cv2.imshow("Hand Landmark Separation", frame)
if cv2.waitKey(1) & 0xFF == 27: # ESC 退出
break
cap.release()
cv2.destroyAllWindows()
detector.close()⚠️ 关键注意事项：
- 模型文件必需：hand_landmarker.task 必须从 MediaPipe 官方模型库 下载并指定正确路径；
- 时间戳精度：detect_for_video() 强制要求精确时间戳（毫秒），务必基于帧率计算，否则检测可能不稳定；
- 索引安全：始终校验 i < len(detection_result.handedness)，防止空 handedness 导致崩溃；
- 坐标归一化：MediaPipe 输出为 [0,1] 归一化坐标，必须乘以图像宽高转换为像素位置；
- 性能提示：新版 Task API 在 CPU 上性能优于旧版 solutions.hands，且多手区分更鲁棒。
通过此方案，你不仅能精准提取任意编号（如 #0–#20）的左右手独立坐标，还可进一步拓展至手势识别、双手相对位姿分析等高级应用。
