--- tags: - sentence-transformers - sentence-similarity - feature-extraction - dense - generated_from_trainer - dataset_size:32608 - loss:MultipleNegativesRankingLoss base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 widget: - source_sentence: Leslie Groves. Er absolvierte den vierten in seiner Klasse an der United States Military Academy in West Point im Jahr 1918 und wurde in Auftrag gegeben, um die US Army Corps of Engineers. sentences: - Das US Army Corps of Engineers beauftragte Leslie Groves. - 1981 veröffentlichte Stevie Nicks das Album "Bella Donna". - Homeland wurde von Alex Gansa entwickelt. - source_sentence: Die Kritiker, mit denen ich gesprochen habe, haben jedoch glaubwürdige Argumente vorgebracht. sentences: - Die Argumente der Kritiker schienen überzeugend. - Mein Mann hasst es, an dem Auto zu arbeiten, aber er würde es lieber selbst tun, als jemand anderen dafür zu bezahlen. - Das faschistische Regime wurde von Mussolini gegründet und geleitet. - source_sentence: Tatsächlich ist Kanha der wohl beste Nationalpark Indiens, um die Fülle an Wildtieren zu sehen, und sollte nicht verpasst werden. sentences: - Sie sollten Kanha sehen, weil es eine Menge Wildtiere gibt. - Abraham Lincoln debattierte Stephen A. Douglas. - Wie Sie das Alter Ihres Körpers bestimmen - source_sentence: Nein, ich bin sicher, du weißt, das ist eine Sache, die du nicht tust sentences: - Du weißt, dass du das nicht tun solltest. - Louis Tomlinson arbeitete als TV-Extra. - Zurück in die Zukunft Teil II ist ein Science-Fiction-Film. - source_sentence: Tamera Mowry. Sie gewann zum ersten Mal Ruhm für ihre jugendliche Rolle als Tamera Campbell auf der ABC / WB Sitcom Schwester, Schwester ( gegenüber ihrer identischen Zwillingsschwester Tia Mowry ). Sie und ihre identische Zwillingsschwester Tia Mowry waren in einer Gesangsgruppe in den frühen 1990er Jahren namens Voices. Zwillinge sind zwei Nachkommen von der gleichen Schwangerschaft produziert. sentences: - Tamera Mowry hat eine weibliche Geschwisterin. - Kells sagte nicht, dass Shiloh wild sei. - Paul Wesley trat in Smallville auf. pipeline_tag: sentence-similarity library_name: sentence-transformers --- # SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 384 dimensions - **Similarity Function:** Cosine Similarity ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'}) (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("Borsa356/deutsch_sentenceSimilarity_mnr3") # Run inference sentences = [ 'Tamera Mowry. Sie gewann zum ersten Mal Ruhm für ihre jugendliche Rolle als Tamera Campbell auf der ABC / WB Sitcom Schwester, Schwester ( gegenüber ihrer identischen Zwillingsschwester Tia Mowry ). Sie und ihre identische Zwillingsschwester Tia Mowry waren in einer Gesangsgruppe in den frühen 1990er Jahren namens Voices. Zwillinge sind zwei Nachkommen von der gleichen Schwangerschaft produziert.', 'Tamera Mowry hat eine weibliche Geschwisterin.', 'Kells sagte nicht, dass Shiloh wild sei.', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 384] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities) # tensor([[ 1.0000, 0.7997, 0.0009], # [ 0.7997, 1.0000, 0.0260], # [ 0.0009, 0.0260, 1.0000]]) ``` ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 32,608 training samples * Columns: sentence_0 and sentence_1 * Approximate statistics based on the first 1000 samples: | | sentence_0 | sentence_1 | |:--------|:-----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | sentence_0 | sentence_1 | |:------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------| | Ja, die meisten Kinder werden wahrscheinlich einfach tun müssen, was ich getan habe | Die meisten Kinder werden wahrscheinlich tun, was ich getan habe | | Bernie Sanders. Ein selbstbeschriebener demokratischer Sozialist, Sanders ist pro-Arbeit und betont die Umkehrung der wirtschaftlichen Ungleichheit. | Bernie Sanders ist Pro-Arbeit. | | CAGE ist eine Mnemonic aus vier Fragen, Cut Down, Annoyed, Schuldig und Augenöffner. | Ein Teil von CAGE ist "abgeschnitten". | * Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: ```json { "scale": 20.0, "similarity_fct": "cos_sim" } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `per_device_train_batch_size`: 32 - `per_device_eval_batch_size`: 32 - `num_train_epochs`: 2 - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: round_robin #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: no - `prediction_loss_only`: True - `per_device_train_batch_size`: 32 - `per_device_eval_batch_size`: 32 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 5e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1 - `num_train_epochs`: 2 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.0 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: False - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `hub_revision`: None - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `liger_kernel_config`: None - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: round_robin - `router_mapping`: {} - `learning_rate_mapping`: {}
### Training Logs | Epoch | Step | Training Loss | |:------:|:----:|:-------------:| | 0.4907 | 500 | 0.1565 | | 0.9814 | 1000 | 0.1092 | | 1.4720 | 1500 | 0.0449 | | 1.9627 | 2000 | 0.0385 | ### Framework Versions - Python: 3.13.5 - Sentence Transformers: 5.0.0 - Transformers: 4.53.0 - PyTorch: 2.7.1+cpu - Accelerate: 1.8.1 - Datasets: 3.6.0 - Tokenizers: 0.21.2 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### MultipleNegativesRankingLoss ```bibtex @misc{henderson2017efficient, title={Efficient Natural Language Response Suggestion for Smart Reply}, author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, year={2017}, eprint={1705.00652}, archivePrefix={arXiv}, primaryClass={cs.CL} } ```