ShadowCatLul commited on
Commit
4e44d58
·
verified ·
1 Parent(s): d6a44f7

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +60 -3
README.md CHANGED
@@ -1,3 +1,60 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+
4
+ tags:
5
+ - openclip
6
+ - vision-language
7
+ - image-classification
8
+ - zero-shot
9
+ - transfer-learning
10
+ library_name: timm
11
+ datasets:
12
+ - CUB_200_2011
13
+ - DTD
14
+ - FungiCLEF_2022
15
+ model-index:
16
+ - name: OpenCLIP - дообученные чекпоинты
17
+ results: []
18
+
19
+ ---
20
+
21
+ # OpenCLIP: дообученные чекпоинты для различных доменов
22
+
23
+ Этот репозиторий содержит несколько чекпоинтов модели OpenCLIP, дообученных на различных датасетах для решения задач мультиклассовой и zero-shot классификации изображений.
24
+
25
+ ## Описание модели
26
+
27
+ - **Базовая архитектура:** OpenCLIP (ViT backbone)
28
+ - **Дообучение:** Каждый чекпоинт соответствует разным экспериментам
29
+ - **Поддерживаемые задачи:** Классификация изображений
30
+
31
+ ## Доступные чекпоинты
32
+
33
+
34
+ - `default_finetune_openclip_v1_epoch4_h.402...`:
35
+ Стандартное дообучение, OpenCLIP v1, 4 эпохи, best gzsl на всех классах - 0.382
36
+
37
+ - `default_finetune_openclip_v1_epoch1_uns0.38...`:
38
+ Стандартное дообучение, OpenCLIP, 1 эпоха, "uns0.38" — best тончность на unseen_classes - 0.44.
39
+
40
+
41
+ - `finetuned_openclip_v3_epoch1_h0.382...`:
42
+ Калибрация bias, OpenCLIP, 1 эпоха, "h0.382" — best gzsl на всех классах - 0.382
43
+ - `finetuned_openclip_v3_epoch1_uns0.44...`:
44
+ Калибрация bias, OpenCLIP, 1 эпоха, "uns0.44" — best тончность на unseen_classes - 0.44.
45
+
46
+ Каждый чекпоинт сохранён в формате PyTorch `.pickle` (~605 МБ) и требует наличия [Git LFS](https://git-lfs.com/).
47
+
48
+ ## Использование
49
+
50
+ Загрузка чекпоинта в PyTorch:
51
+ ```python
52
+ import torch
53
+
54
+ model = torch.load("finetuned_openclip_v3_epoch1_h0.3820202...pickle", map_location="cpu")
55
+ # Если используете официальный OpenCLIP:
56
+ # from open_clip import create_model_and_transforms
57
+ # model, _, _ = create_model_and_transforms('ViT-B/32', pretrained='laion2b_s34b_b79k')
58
+
59
+
60
+ ```