: RTM133Lifting
https://img.shields.io/badge/%25F0%259F%25A4%2597-Model%2520Hub-yellow https://img.shields.io/badge/License-MIT-green.svg https://badge.fury.io/py/%3Cdein-paketname%3E.svg https://img.shields.io/badge/Framework-PyTorch-orange
Dieses Repository enthält ein Modell für 3D-Ganzkörper-Poseschätzung, das auf dem WholeBody3D (H3WB) Datensatz und der Referenzarchitektur trainiert wurde. Das Modell schätzt gleichzeitig die 3D-Posen von Körper, Händen und Gesicht aus 2D Pose Daten. 📋 Modell-Details
Entwickler: Jonas D. Stephan, Nathalie Dollmann
Architektur: SimpleBasline aus [https://github.com/wholebody3d/wholebody3d](https://github.com/wholebody3d/wholebody3d)
Trainingsdaten: WholeBody3D (H3WB & T3WB) Datensätze.
Framework: PyTorch
Input: 2D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert.
Output: 3D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert.
🚀 Schnellstart Installation bash
Installation via PyPI
pip install
Oder direkt aus dem Repository
pip install git+https://github.com//.git
Grundlegende Verwendung python
import torch from import , utils
1. Modell laden
model = .from_pretrained("/") model.eval()
2. Bild vorbereiten (Beispiel)
image = utils.load_and_preprocess_image("dein_bild.jpg")
3. Inferenz durchführen
with torch.no_grad(): predictions = model(image)
4. Ergebnisse verarbeiten (z.B. Visualisierung)
utils.visualize_3d_pose(predictions)
📥 Modell-Download
Das vortrainierte Modell wird automatisch über from_pretrained() heruntergeladen. Für einen manuellen Download: python
from huggingface_hub import hf_hub_download import torch
model_path = hf_hub_download( repo_id="/", filename="model_weights.pth" ) state_dict = torch.load(model_path, map_location='cpu')
📊 Evaluation & Leistung
Train Loss: 29712.805670 Test Loss: 100725.236959
🏋️ Training
Dieses Modell wurde von Grund auf neu auf dem H3WB-Datensatz trainiert.
Epochen: 175
Batch-Größe: 256
Optimierer: Adam
Learning Rate: 0.002
Hardware: NVIDIA GeForce RTX 3050
📄 Zitation
@inproceedings{zhu2023h3wb, title={H3WB: Human3.6M 3D WholeBody Dataset and Benchmark}, author={Zhu, Yue and Samet, Nermin and Picard, David}, booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision}, year={2023} }
/@misc{2024, title = {{}: A 3D Whole-Body Pose Estimation Model}, author = {Stephan, Jonas D. and Dollmann, Nathalie}, howpublished = {\url{https://github.com//}}, year = {2024} }/
🙏 Danksagung
Dieses Projekt basiert auf der Arbeit des WholeBody3D (H3WB) Teams. Vielen Dank an Yue Zhu, Nermin Samet und David Picard für die Bereitstellung des hervorragenden Datensatzes und Codes. ⚖️ Lizenz
Der Code in diesem Repository ist, sofern nicht anders angegeben, unter der MIT-Lizenz lizenziert. Siehe die Datei LICENSE für Details.
Das Modell nutzt Daten und Architektur, die unter der MIT-Lizenz vom H3WB-Projekt veröffentlicht wurden. Copyright 2023 der H3WB-Autoren. Copyright 2024 Jonas D. Stephan & Nathalie Dollmann.