---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:1455347
- loss:MultipleNegativesRankingLoss
base_model: sentence-transformers/LaBSE
widget:
- source_sentence: Ҫак йӗри-тавра хупӑрланӑ хура пӗлӗтлӗ юр капламӗсен хыҫӗнче ҫуртсем
пуррине ӑспа ҫеҫ тавҫӑрса илме пулать, вӗсенчен пӗринче, пиллӗкмӗш урамра, ҫиччӗмӗш
ҫуртра, манӑн Катя тимӗр сухарисене (доктор галечӗсене) эпӗ каланӑ пек камин ҫине
ӑшӑтма хурать.
sentences:
- Лишь фантастическое воображение могло представить, что где-то за этими чёрными
тучами сталкивающегося снега стоят дома и в одном из них, на Пятой линии, семь,
Катя кладёт твёрдые, как железо, галеты на камин, чтобы отогреть их, по моему
совету.
- «Кроткие наследуют землю и насладятся обилием мира», — говорится в Библии.
- '9. Скажи: так говорит Господь Бог: будет ли ей успех?'
- source_sentence: 'Авӑн ҫапнӑ ҫӗрте ӗҫлекен Дуняшка ача-пӑча ҫи-пуҫӗпе аппаланма
пултарайманнине пӗлнӗ май, Ильинична ӳпкевлӗн ыйтрӗ:'
sentences:
- — Да без малого куль пелый.
- 'Зная, что занятая на молотьбе Дуняшка не могла возиться днем с починкой детской
одежды, Ильинична с укором спросила:'
- Сестра обещала попробовать.
- source_sentence: 'Эсамбаев сцена ҫинче тĕрлĕ халӑх ташшисене кӑтартнӑ: «Чабан» (чечен-ингуш,
узбек), «Вӑрҫӑ ҫынĕ» (пушкӑрт), «Ылтӑн турӑ» (ĕнчĕ), ҫаплах де Фальи мусӑкĕпе
ритуал «Ҫулӑм ташшине», «Ла-коррида» (испан), «Урасен ташши» (таджик) тата ур.'
sentences:
- Глубокая тишина, царившая в этом зелёном храме, нарушалась только скрипом колёс
фургона, стуком лошадиных копыт, редкими словами, которыми перебрасывались путешественники,
да криком Айртона, подгонявшего свою ленивую упряжку.
- От неожиданности Васька даже присел.
- 'Исполнил огромное количество самых разнообразных танцев: «Чабан» (чечено-ингушский,
узбекский), «Воин» (башкирский), «Золотой бог» (индийский-бхаратнатьям), «Танец
огня» на музыку М. де Фальи, «Ла-коррида» (испанский), «Танец с ножами» (таджикский),
«Воинственный» (таджикский), «Охотник и орёл» (монгольский), «Павлин» (перуанский),
«Свободу Африке» (африканский), «Бамбука» (колумбийский), «Негритянский танец»,
танцевальные сценки: «Еврейский портняжка», «Автомат», танцевальная новелла «Аве
Мария» на музыку Ф. Шуберта и др.'
- source_sentence: Тепӗр минутранах вӑл бомбӑсем ӳксе мӗн чухлӗ сиен туни ҫинчен телефонпа
штаба пӗлтернӗ те ишӗлсе аннӑ япаласем айӗнче ахлатса, йынӑшса выртакансене хӑтарма
тытӑннӑ.
sentences:
- Через минуту она уже звонила из соседнего дома о размерах бедствия, и сейчас же
бросилась в тьму развалин, откуда слышались крики, стоны, вопли.
- 'Настройка:'
- Этхем велел старшему сыну запрячь лошадь.
- source_sentence: 'Вӑл пӗлет: ҫак карапӑн командирӗ ҫамрӑк моряк, ӗлӗк артековец
пулнӑскер, хӑйне вӗрентсе ӳстернӗ лагере асра тытса халӗ те тав туса саламлать.'
sentences:
- Он уже знал, что кораблем этим командует молодой моряк-командир, сам когда-то
бывший артековец и поныне хранящий благодарную память о лагере.
- И разведчики это поняли.
- До середины недели придется отдавать долги, погружаться в проблемы друзей и близких.
pipeline_tag: sentence-similarity
library_name: sentence-transformers
---
# SentenceTransformer based on sentence-transformers/LaBSE
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE)
- **Maximum Sequence Length:** 256 tokens
- **Output Dimensionality:** 768 dimensions
- **Similarity Function:** Cosine Similarity
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
(3): Normalize()
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
'Вӑл пӗлет: ҫак карапӑн командирӗ ҫамрӑк моряк, ӗлӗк артековец пулнӑскер, хӑйне вӗрентсе ӳстернӗ лагере асра тытса халӗ те тав туса саламлать.',
'Он уже знал, что кораблем этим командует молодой моряк-командир, сам когда-то бывший артековец и поныне хранящий благодарную память о лагере.',
'И разведчики это поняли.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 1,455,347 training samples
* Columns: sentence_0, sentence_1, and label
* Approximate statistics based on the first 1000 samples:
| | sentence_0 | sentence_1 | label |
|:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:--------------------------------------------------------------|
| type | string | string | float |
| details | - min: 3 tokens
- mean: 22.57 tokens
- max: 190 tokens
| - min: 3 tokens
- mean: 22.28 tokens
- max: 207 tokens
| - min: 1.0
- mean: 1.0
- max: 1.0
|
* Samples:
| sentence_0 | sentence_1 | label |
|:----------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
| Каяссипе каяс марри ҫинчен шухӑшланӑ ҫӗртех Петян каймалла пулнӑ, мӗншӗн тесен ачасем чылай малалла утнӑ ӗнтӗ. | Так что, когда в страшной борьбе с совестью победа осталась все-таки на стороне Пети, а совесть была окончательно раздавлена, оказалось, что мальчики зашли уже довольно далеко. | 1.0 |
| — Чавсаран? — тӗлӗнчӗ Ван-Конет. | — Локоть? — удивился Ван-Конет. | 1.0 |
| Юлашкинчен пирӗн гаубицӑсем те ӗҫе тытӑнчӗҫ. | Наконец открыли огонь и наши гаубицы. | 1.0 |
* Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
```json
{
"scale": 20.0,
"similarity_fct": "cos_sim"
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: steps
- `per_device_train_batch_size`: 20
- `per_device_eval_batch_size`: 20
- `num_train_epochs`: 1
- `fp16`: True
- `multi_dataset_batch_sampler`: round_robin
#### All Hyperparameters
Click to expand
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 20
- `per_device_eval_batch_size`: 20
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1
- `num_train_epochs`: 1
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `tp_size`: 0
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: round_robin