|
|
--- |
|
|
license: mit |
|
|
|
|
|
tags: |
|
|
- openclip |
|
|
- vision-language |
|
|
- image-classification |
|
|
- zero-shot |
|
|
- transfer-learning |
|
|
library_name: timm |
|
|
datasets: |
|
|
- CUB_200_2011 |
|
|
- DTD |
|
|
- FungiCLEF_2022 |
|
|
model-index: |
|
|
- name: OpenCLIP - дообученные чекпоинты |
|
|
results: [] |
|
|
|
|
|
--- |
|
|
|
|
|
# OpenCLIP: дообученные чекпоинты для различных доменов |
|
|
|
|
|
Этот репозиторий содержит несколько чекпоинтов модели OpenCLIP, дообученных на различных датасетах для решения задач zero-shot классификации изображений. |
|
|
|
|
|
## Описание модели |
|
|
|
|
|
- **Базовая архитектура:** OpenCLIP (ViT backbone) |
|
|
- **Дообучение:** Каждый чекпоинт соответствует разным экспериментам |
|
|
- **Поддерживаемые задачи:** Классификация изображений |
|
|
|
|
|
## Доступные чекпоинты |
|
|
|
|
|
|
|
|
- `default_finetune_openclip_v1_epoch4_h.402...`: |
|
|
Стандартное дообучение, OpenCLIP v1, 4 эпохи, best gzsl на всех классах - 0.382 |
|
|
|
|
|
- `default_finetune_openclip_v1_epoch1_uns0.38...`: |
|
|
Стандартное дообучение, OpenCLIP, 1 эпоха, "uns0.38" — best тончность на unseen_classes - 0.44. |
|
|
|
|
|
|
|
|
- `finetuned_openclip_v3_epoch1_h0.382...`: |
|
|
Калибрация bias, OpenCLIP, 1 эпоха, "h0.382" — best gzsl на всех классах - 0.382 |
|
|
- `finetuned_openclip_v3_epoch1_uns0.44...`: |
|
|
Калибрация bias, OpenCLIP, 1 эпоха, "uns0.44" — best тончность на unseen_classes - 0.44. |
|
|
|
|
|
Каждый чекпоинт сохранён в формате PyTorch `.pickle` (~605 МБ) и требует наличия [Git LFS](https://git-lfs.com/). |
|
|
|
|
|
## Использование |
|
|
|
|
|
Загрузка чекпоинта в PyTorch: |
|
|
```python |
|
|
import torch |
|
|
|
|
|
model = torch.load("finetuned_openclip_v3_epoch1_h0.3820202...pickle", map_location="cpu") |
|
|
# Если используете официальный OpenCLIP: |
|
|
# from open_clip import create_model_and_transforms |
|
|
# model, _, _ = create_model_and_transforms('ViT-B/32', pretrained='laion2b_s34b_b79k') |
|
|
|
|
|
|
|
|
``` |
|
|
|
