💡💡💡Какую проблему решает эта статья: научит вас, как использовать собственный набор данных для преобразования его в набор данных соответствующего формата и как тренировать обнаружение ключевых точек YOLO11-позы
Ultralytics YOLO11 — передовая, современная модель.,Он основан на успехе предыдущих выпусков YOLO.,и представляет новые функции и улучшения,для дальнейшего улучшения производительности и гибкости。YOLO11 разработан, чтобы быть быстрым, точным и простым в использовании, что делает его отличным выбором для различных задач обнаружения и отслеживания объектов, сегментации экземпляров, классификации изображений и задач оценки позы.
Pose официально провел дополнительные тесты на наборе данных COCO:
Структурная схема выглядит следующим образом:
# Установить ярлык
pip install labelme
Запуск непосредственно в среде Python
labelme
В основном используются маркеры ключевых точек.
1)Создать прямоугольник создает прямоугольную рамку;
2) Create Point генерирует ключевые точки;
Одно изображение соответствует одному json-файлу.
labelme2yolo-keypoint
Сгенерированный текстовый контент выглядит следующим образом:
0 0.48481 0.47896 0.70079 0.77886 0.31308 0.70597 2 0.42206 0.70695 2 0.54954 0.59785 2 0.67569 0.53278 2 0.76420 0.48288 2 0.28402 0.46282 2 0.35865 0.44521 2 0.43395 0.43102 2 0.52642 0.43836 2 0.26486 0.42270 2 0.34941 0.39188 2 0.44782 0.37818 2 0.55680 0.39628 2 0.21731 0.34051 2 0.33884 0.27495 2 0.47094 0.25196 2 0.62351 0.29746 2 0.20674 0.29403 2 0.33620 0.20108 2 0.48018 0.16879 2 0.65654 0.24070 2
объяснять:
Первый 0 представляет собой категорию коробки, поскольку существует только одна категория: рука, поэтому она равна 0.
0,48481 0,47896 0,70079 0,77886 представляет:после нормализации Горизонтальные и вертикальные координаты, ширина и высота центральной точки прямоугольника.
0,31308 0,70597 2 представляет:после нормализации Горизонтальные и вертикальные координаты первой ключевой точки и видимость ключевой точки.
Понимание видимости ключевых моментов:0Представляет собой невидимый、1 представляет окклюзию、2 означает видимый
hand_keypoint:
-images:
--train: PNG картинки
--val:PNG картинки
-labels:
--train: текстовый файл
--val:текстовый файл
Просто обратитесь к coco8-pose.yaml.
# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO8-pose dataset (first 8 images from COCO train2017) by Ultralytics
# Example usage: yolo train data=coco8-pose.yaml
# parent
# ├── ultralytics
# └── datasets
# └── coco8-pose ← downloads here (1 MB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ./ultralytics-7.31/data/hand_keypoint # dataset root dir
train: images/train # train images (relative to 'path') 4 images
val: images/val # val images (relative to 'path') 4 images
test: # test images (optional)
# Keypoints
kpt_shape: [21, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15,17,18,19,20]
# Classes
names:
0: hand
# Download script/URL (optional)
#download: https://ultralytics.com/assets/coco8-pose.zip
Изменено до 21 ключевого пункта и одной категории nc:1.
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLO11-pose keypoints/pose estimation model. For Usage examples see https://docs.ultralytics.com/tasks/pose
# Parameters
nc: 1 # number of classes
kpt_shape: [21, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
scales: # model compound scaling constants, i.e. 'model=yolo11n-pose.yaml' will call yolo11.yaml with scale 'n'
# [depth, width, max_channels]
n: [0.50, 0.25, 1024] # summary: 344 layers, 2908507 parameters, 2908491 gradients, 7.7 GFLOPs
s: [0.50, 0.50, 1024] # summary: 344 layers, 9948811 parameters, 9948795 gradients, 23.5 GFLOPs
m: [0.50, 1.00, 512] # summary: 434 layers, 20973273 parameters, 20973257 gradients, 72.3 GFLOPs
l: [1.00, 1.00, 512] # summary: 656 layers, 26230745 parameters, 26230729 gradients, 91.4 GFLOPs
x: [1.00, 1.50, 512] # summary: 656 layers, 58889881 parameters, 58889865 gradients, 204.3 GFLOPs
import warnings
warnings.filterwarnings('ignore')
from ultralytics import YOLO
if __name__ == '__main__':
model = YOLO('ultralytics/cfg/models/11/yolo11-pose.yaml')
model.train(data='data/hand_keypoint.yaml',
cache=False,
imgsz=640,
epochs=200,
batch=8,
close_mosaic=10,
device='0',
optimizer='SGD', # using SGD
project='runs/train-pose',
name='exp',
)
Поза mAP50 составляет 0,871.
YOLO11-pose summary (fused): 300 layers, 3,199,712 parameters, 0 gradients, 7.8 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95) Pose(P R mAP50 mAP50-95): 100%|██████████| 4/4 [00:04<00:00, 1.23s/it]
all 64 64 0.999 1 0.995 0.668 0.922 0.922 0.871 0.638
PosePR_curve.png
Результаты прогноза следующие: