sergeyzh commited on
Commit
009667f
·
verified ·
1 Parent(s): 814eafe

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -11
README.md CHANGED
@@ -20,9 +20,9 @@ license: mit
20
 
21
  ## Быстрый Bert для Semantic text similarity (STS)
22
 
23
- Современная (на март 2024) быстрая модель BERT для расчетов компактных эмбедингов предложений на русском языке. Модель основана на [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2), имеет аналогичный размер и быстродействие. На STS и близких задачах (PI, NLI, SA, TI) для русского языка превосходит LaBSE.
24
 
25
- Оптимальна для использования в составе RAG LLMs (при вынужденном инференсе на CPU). Для работы с контекстом свыше 512 требует дообучения под целевой домен.
26
 
27
  ## Использование модели с библиотекой `transformers`:
28
 
@@ -63,8 +63,8 @@ print(util.dot_score(embeddings, embeddings))
63
  | Модель | STS | PI | NLI | SA | TI |
64
  |:---------------------------------|:---------:|:---------:|:---------:|:---------:|:---------:|
65
  | [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) | 0.862 | 0.727 | 0.473 | 0.810 | 0.979 |
66
- | [Tochka-AI/ruRoPEBert-e5-base-512](https://huggingface.co/Tochka-AI/ruRoPEBert-e5-base-512) | 0.793 | 0.704 | 0.457 | 0.803 | 0.970 |
67
  | **sergeyzh/rubert-tiny-sts** | **0.797** | **0.702** | **0.453** | **0.778** | **0.946** |
 
68
  | [cointegrated/LaBSE-en-ru](https://huggingface.co/cointegrated/LaBSE-en-ru) | 0.794 | 0.659 | 0.431 | 0.761 | 0.946 |
69
  | [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2) | 0.750 | 0.651 | 0.417 | 0.737 | 0.937 |
70
 
@@ -76,15 +76,15 @@ print(util.dot_score(embeddings, embeddings))
76
  - Sentiment analysis (**SA**);
77
  - Toxicity identification (**TI**).
78
 
79
- ## Размер и производительность
80
 
81
- | Модель | CPU | GPU | size | dim | vocab |
82
- |:---------------------------------|:---------:|:---------:|:---------:|:---------:|:---------:|
83
- | [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) | 149.026 | 15.629 | 2136 | 1024 | 250002 |
84
- | [Tochka-AI/ruRoPEBert-e5-base-512](https://huggingface.co/Tochka-AI/ruRoPEBert-e5-base-512) | 43.314 | 9.338 | 530 | 768 | 69382 |
85
- | **sergeyzh/rubert-tiny-sts** | **3.208** | **2.866** | **111** | **312** | **83828** |
86
- | [cointegrated/LaBSE-en-ru](https://huggingface.co/cointegrated/LaBSE-en-ru) | 42.867 | 8.549 | 490 | 768 | 55083 |
87
- | [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2) | 3.212 | 2.850 | 111 | 312 | 83828 |
88
 
89
 
90
  ## Связанные ресур��ы
 
20
 
21
  ## Быстрый Bert для Semantic text similarity (STS)
22
 
23
+ Быстрая модель BERT для расчетов компактных эмбедингов предложений на русском языке. Модель основана на [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2) - имеет аналогичный размеры контекста (2048), ембединга (312) и быстродействие.
24
 
25
+ На STS и близких задачах (PI, NLI, SA, TI) для русского языка превосходит по качеству LaBSE. Оптимальна для использования в составе RAG LLMs при инференсе на CPU. Для работы с контекстом свыше 512 токенов требует дообучения под целевой домен.
26
 
27
  ## Использование модели с библиотекой `transformers`:
28
 
 
63
  | Модель | STS | PI | NLI | SA | TI |
64
  |:---------------------------------|:---------:|:---------:|:---------:|:---------:|:---------:|
65
  | [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) | 0.862 | 0.727 | 0.473 | 0.810 | 0.979 |
 
66
  | **sergeyzh/rubert-tiny-sts** | **0.797** | **0.702** | **0.453** | **0.778** | **0.946** |
67
+ | [Tochka-AI/ruRoPEBert-e5-base-512](https://huggingface.co/Tochka-AI/ruRoPEBert-e5-base-512) | 0.793 | 0.704 | 0.457 | 0.803 | 0.970 |
68
  | [cointegrated/LaBSE-en-ru](https://huggingface.co/cointegrated/LaBSE-en-ru) | 0.794 | 0.659 | 0.431 | 0.761 | 0.946 |
69
  | [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2) | 0.750 | 0.651 | 0.417 | 0.737 | 0.937 |
70
 
 
76
  - Sentiment analysis (**SA**);
77
  - Toxicity identification (**TI**).
78
 
79
+ ## Быстродействие и размеры
80
 
81
+ | Модель | CPU | GPU | size | dim | n_ctx | n_vocab |
82
+ |:---------------------------------|:---------:|:---------:|:---------:|:---------:|:---------:|:---------:|
83
+ | [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) | 149.026 | 15.629 | 2136 | 1024 | 514 | 250002 |
84
+ | **sergeyzh/rubert-tiny-sts** | **3.208** | **2.866** | **111** | **312** | **2048** | **83828** |
85
+ | [Tochka-AI/ruRoPEBert-e5-base-512](https://huggingface.co/Tochka-AI/ruRoPEBert-e5-base-512) | 43.314 | 9.338 | 530 | 768 | 512 | 69382 |
86
+ | [cointegrated/LaBSE-en-ru](https://huggingface.co/cointegrated/LaBSE-en-ru) | 42.867 | 8.549 | 490 | 768 | 512 | 55083 |
87
+ | [cointegrated/rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2) | 3.212 | 2.850 | 111 | 312 | 2048 | 83828 |
88
 
89
 
90
  ## Связанные ресур��ы