Đặt hướng dẫn phát hiện điểm mốc

Nhiệm vụ MediaPipe Pose Tager cho phép bạn phát hiện các địa danh của cơ thể người trong một hình ảnh hoặc video. Bạn có thể sử dụng nhiệm vụ này để xác định vị trí chính của cơ thể, phân tích tư thế, và phân loại các chuyển động. Nhiệm vụ này sử dụng các mô hình học máy (ML) bạn có thể làm việc với các hình ảnh hoặc video đơn lẻ. Tác vụ sẽ xuất ra các điểm mốc tạo dáng cơ thể trong hình ảnh và toạ độ trong các toạ độ thế giới 3 chiều.

Hãy trải nghiệm thử!

Bắt đầu

Bắt đầu sử dụng nhiệm vụ này bằng cách làm theo hướng dẫn triển khai cho nền tảng mục tiêu. Những hướng dẫn dành riêng cho nền tảng này sẽ hướng dẫn bạn từng bước việc triển khai tác vụ này, bao gồm mô hình được đề xuất và ví dụ về mã với các lựa chọn cấu hình được đề xuất:

Thông tin chi tiết về việc cần làm

Phần này mô tả các chức năng, dữ liệu đầu vào, đầu ra và cấu hình các tuỳ chọn của nhiệm vụ này.

Tính năng

  • Xử lý hình ảnh đầu vào – Quá trình xử lý bao gồm xoay, đổi kích thước, chuẩn hoá và chuyển đổi hệ màu.
  • Ngưỡng điểm số – Lọc kết quả dựa trên điểm số dự đoán.
Dữ liệu đầu vào của việc cần làm Kết quả đầu ra của việc cần làm
Điểm mốc Pose chấp nhận dữ liệu đầu vào là một trong các loại dữ liệu sau:
  • Hình ảnh tĩnh
  • Khung video đã được giải mã
  • Trang video trực tiếp
 Trình xác định tư thế sẽ cho ra các kết quả sau:
  • Các điểm mốc tạo dáng trong toạ độ hình ảnh được chuẩn hoá
  • Các địa danh tạo dáng trên toạ độ thế giới
  • Không bắt buộc: mặt nạ phân đoạn cho tư thế.

Tuỳ chọn cấu hình

Tác vụ này có các lựa chọn cấu hình sau:

Tên lựa chọn Mô tả Khoảng giá trị Giá trị mặc định
running_mode Thiết lập chế độ chạy cho tác vụ. Có ba chế độ:

HÌNH ẢNH: Chế độ cho đầu vào một hình ảnh.

VIDEO: Chế độ cho các khung đã giải mã của video.

LIVE_STREAM: Chế độ phát trực tiếp đầu vào chẳng hạn như từ máy ảnh. Trong chế độ này, ResultsListener phải là để thiết lập trình nghe để nhận kết quả một cách không đồng bộ. 		{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_poses Số lượng tư thế tối đa có thể được phát hiện bởi Điểm mốc tư thế. Integer > 0 1
min_pose_detection_confidence Điểm tin cậy tối thiểu để phát hiện tư thế được coi là thành công. Float [0.0,1.0] 0.5
min_pose_presence_confidence Điểm số tin cậy tối thiểu khi xuất hiện tư thế điểm số trong tính năng phát hiện điểm mốc tư thế. Float [0.0,1.0] 0.5
min_tracking_confidence Điểm tin cậy tối thiểu cho hoạt động theo dõi tư thế để được coi là thành công. Float [0.0,1.0] 0.5
output_segmentation_masks Liệu Trình xác định tư thế có xuất ra mặt nạ phân đoạn cho tư thế. Boolean False
result_callback Thiết lập trình nghe kết quả để nhận kết quả của trình tạo mốc không đồng bộ khi Điểm mốc tư thế đang ở chế độ phát trực tiếp. Chỉ sử dụng được khi bạn đặt chế độ chạy thành LIVE_STREAM ResultListener N/A

Mô hình

Điểm mốc tư thế sử dụng một loạt mô hình để dự đoán các địa danh tạo dáng. Đầu tiên phát hiện sự hiện diện của cơ thể người trong một khung hình ảnh, và mô hình xác định các mốc trên thân.

Các mô hình sau đây được đóng gói cùng nhau thành một gói mô hình có thể tải xuống:

  • Mô hình phát hiện ống nước: phát hiện sự hiện diện của cơ thể bằng một số tư thế quan trọng mốc.
  • Mô hình tạo điểm mốc: thêm bản đồ ánh xạ đầy đủ cho tư thế. Mô hình cho ra ước tính 33 điểm mốc tư thế 3 chiều.

Gói này sử dụng mạng nơron tích chập tương tự như MobileNetV2 và được tối ưu hoá cho các ứng dụng thể dục trên thiết bị theo thời gian thực. Biến thể này của Cách sử dụng mô hình BlazePose GHUM, quy trình lập mô hình 3D để ước tính tư thế 3D đầy đủ của cơ thể riêng lẻ trong hình ảnh hoặc video.

Gói mô hình Hình dạng đầu vào Loại dữ liệu Thẻ mô hình Phiên bản
Dấu mốc tạo dáng (thu gọn) Trình phát hiện tư thế: 224 x 224 x 3
Điểm mốc tư thế: 256 x 256 x 3 		số thực dấu phẩy động 16 thông tin Mới nhất
Công cụ định vị tư thế (Đầy đủ) Trình phát hiện tư thế: 224 x 224 x 3
Điểm mốc tư thế: 256 x 256 x 3 		số thực dấu phẩy động 16 thông tin Mới nhất
Dấu ấn tư thế (Nặng) Trình phát hiện tư thế: 224 x 224 x 3
Điểm mốc tư thế: 256 x 256 x 3 		số thực dấu phẩy động 16 thông tin Mới nhất

Mô hình tạo điểm mốc tư thế

Mô hình tạo điểm mốc theo dõi 33 vị trí mốc trên cơ thể, đại diện cho vị trí gần đúng của các bộ phận cơ thể sau đây:

0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index

Đầu ra của mô hình chứa cả toạ độ chuẩn hoá (Landmarks) và thế giới toạ độ (WorldLandmarks) cho từng mốc.