Roflmax/Bge_user_checkpoint-1800

SentenceTransformer based on deepvk/USER-bge-m3

This is a sentence-transformers model finetuned from deepvk/USER-bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: deepvk/USER-bge-m3
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Roflmax/Bge_user_checkpoint-1800")
# Run inference
sentences = [
    'Какое решение принимает судья после признания дела подготовленным?',
    'Гражданский процессуальный кодекс  \nРаздел: II. ПРОИЗВОДСТВО В СУДЕ ПЕРВОЙ ИНСТАНЦИИ  \nПодраздел: II. ИСКОВОЕ ПРОИЗВОДСТВО  \nГлава: 14. ПОДГОТОВКА ДЕЛА К СУДЕБНОМУ РАЗБИРАТЕЛЬСТВУ  \n\nСтатья 153. Назначение дела к судебному разбирательству 1.  Судья,  признав  дело  подготовленным,  выносит  определение  о  назначении  его  к разбирательству в судебном заседании, извещает стороны, других лиц, участвующих в деле, о времени и месте рассмотрения дела, вызывает других участников процесса.\n2.  Судья,  признав  дело  подготовленным,  вправе  завершить  предварительное  судебное заседание и при согласии сторон открыть судебное заседание, если в предварительном судебном заседании присутствуют лица, участвующие в деле, либо лица, участвующие в деле, отсутствуют в предварительном  судебном  заседании, но они  извещены  о времени и месте  предварительного судебного заседания и просят рассмотреть дело по существу в их отсутствие, за исключением случая, если в соответствии с настоящим Кодексом требуется коллегиальное рассмотрение дела.\n(часть 2 введена Федеральным законом от 29.07.2018 N 265-ФЗ)',
    'Градостроительный кодекс  \nГлава: 3. ТЕРРИТОРИАЛЬНОЕ ПЛАНИРОВАНИЕ  \n\nСтатья 14. Содержание документов территориального планирования субъекта Российской Федерации (в ред. Федерального закона от 31.12.2017 N 507-ФЗ) 1. Документами территориального планирования субъекта Российской Федерации являются схемы территориального планирования субъекта Российской Федерации. Подготовка указанных схем  может  осуществляться  в  составе  одного  или  нескольких  документов  территориального планирования  субъекта  Российской  Федерации,  а  также  в  отношении  одной  или  нескольких областей, указанных в части 3 настоящей статьи.\n(в ред. Федеральных законов от 31.12.2017 N 507-ФЗ, от 01.07.2021 N 275-ФЗ) 2. Подготовка схемы территориального планирования субъекта Российской Федерации может осуществляться  применительно  ко  всей  территории  субъекта  Российской  Федерации  или к  ее частям.\n3.  Схемы  территориального  планирования  субъекта  Российской  Федерации  содержат положения  о  территориальном  планировании  и  карты  планируемого  размещения  объектов регионального значения, относящихся к следующим областям:\n(в ред. Федерального закона от 31.12.2017 N 507-ФЗ) 1)  транспорт  (железнодорожный,  водный,  воздушный  транспорт),  автомобильные  дороги регионального или межмуниципального значения;\n2) предупреждение чрезвычайных ситуаций межмуниципального и регионального характера, стихийных бедствий, эпидемий и ликвидация их последствий;\n3) образование;\n4) здравоохранение;\n5) физическая культура и спорт;\n5.1) энергетика;\n(п. 5.1 введен Федеральным законом от 31.12.2017 N 507-ФЗ) 6) иные области в соответствии с полномочиями субъектов Российской Федерации.\n(часть 3 в ред. Федерального закона от 20.03.2011 N 41-ФЗ) 4.  В  положениях  о  территориальном  планировании,  содержащихся  в  схемах территориального планирования субъекта Российской Федерации, указываются сведения о видах, назначении и наименованиях планируемых для размещения объектов регионального значения, их основные  характеристики,  их  местоположение  (указываются  наименования  муниципального района,  поселения,  муниципального  округа,  городского  округа,  населенного  пункта),  а  также характеристики зон с особыми условиями использования территорий в случае, если установление таких зон требуется в связи с размещением данных объектов.\n(в ред. Федеральных законов от 20.03.2011 N 41-ФЗ, от 31.12.2017 N 507-ФЗ, от 13.06.2023 N 240- ФЗ) 5.  На  картах  планируемого  размещения  объектов  регионального  значения  отображаются планируемые для размещения объекты регионального значения.\n(часть 5 в ред. Федерального закона от 20.03.2011 N 41-ФЗ) 6. Утратил силу. - Федеральный закон от 20.03.2011 N 41-ФЗ.\n7. К схемам территориального планирования субъекта Российской Федерации прилагаются материалы по обоснованию этих схем в текстовой форме и в виде карт.\n(в ред. Федеральных законов от 20.03.2011 N 41-ФЗ, от 31.12.2017 N 507-ФЗ) 8. Материалы по обоснованию схем территориального планирования субъекта Российской Федерации в текстовой форме содержат:\n(в ред. Федерального закона от 31.12.2017 N 507-ФЗ) 1)  сведения  об  утвержденных  документах  стратегического  планирования  Российской Федерации  и  субъектов  Российской  Федерации,  указанных  в  части  5.1  статьи  9  настоящего Кодекса,  о  национальных  проектах,  межгосударственных  программах,  об  инвестиционных программах  субъектов  естественных монополий,  о решениях  органов  государственной  власти, иных главных распорядителей средств соответствующих бюджетов, предусматривающих создание объектов регионального значения;\n(п. 1 в ред. Федерального закона от 31.07.2020 N 264-ФЗ) 2)  обоснование  выбранного  варианта  размещения  объектов  регионального  значения  на основе анализа использования соответствующей территории, возможных направлений ее развития и прогнозируемых ограничений ее использования;\n3)  оценку  возможного  влияния  планируемых  для  размещения  объектов  регионального значения на комплексное развитие соответствующей территории;\n4)  сведения  об  образовании,  утилизации,  обезвреживании,  о  размещении  твердых коммунальных  отходов,  содержащиеся  в  территориальных  схемах  в  области  обращения  с отходами, в том числе с твердыми коммунальными отходами.\n(п. 4 введен Федеральным законом от 29.12.2014 N 458-ФЗ) (часть 8 в ред. Федерального закона от 20.03.2011 N 41-ФЗ) 9.  Карты,  включаемые  в  состав  материалов  по  обоснованию  схемы  территориального планирования  субъекта  Российской  Федерации,  составляются  применительно  к  территории,  в отношении которой разрабатывается схема территориального планирования субъекта Российской Федерации. На указанных картах отображаются:\n1)  границы  муниципальных  образований  -  муниципальных  округов,  городских  округов, муниципальных районов, поселений, утвержденные в установленном порядке законом субъекта Российской Федерации;\n(в ред. Федерального закона от 13.06.2023 N 240-ФЗ) 2) объекты капитального строительства, иные объекты, территории, зоны, которые оказали влияние на определение планируемого размещения объектов регионального значения, в том числе:\nа) планируемые для размещения объекты федерального значения, объекты  регионального значения,  объекты  местного  значения  в  соответствии  с  документами  территориального планирования Российской Федерации, документами территориального планирования двух и более субъектов  Российской  Федерации,  документами  территориального  планирования  субъекта Российской  Федерации,  документами  территориального  планирования  муниципальных образований;\n(в ред. Федерального закона от 31.12.2017 N 507-ФЗ) б) особые экономические зоны;\nв)  особо  охраняемые  природные  территории  федерального,  регионального,  местного значения;\nг)  территории  объектов  культурного  наследия,  территории  исторических  поселений федерального значения и территории исторических поселений регионального значения;\n(в ред. Федерального закона от 12.11.2012 N 179-ФЗ) д) зоны с особыми условиями использования территорий;\nе) территории, подверженные риску возникновения чрезвычайных ситуаций природного и техногенного характера;\nе.1)  объекты,  используемые  для  утилизации,  обезвреживания,  захоронения  твердых коммунальных отходов и включенные в территориальную схему в области обращения с отходами, в том числе с твердыми коммунальными отходами;\n(пп. "е.1" введен Федеральным законом от 29.12.2014 N 458-ФЗ) ж) иные объекты, иные территории и (или) зоны.\n(часть 9 в ред. Федерального закона от 20.03.2011 N 41-ФЗ) 10 - 11. Утратили силу. - Федеральный закон от 20.03.2011 N 41-ФЗ.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 25,337 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 12 tokens mean: 22.3 tokens max: 43 tokens	min: 76 tokens mean: 318.1 tokens max: 512 tokens

• Samples:

  anchor	positive
  Каковы критерии участия граждан в обсуждении проектов благоустройства территорий?	Градостроительный кодекс Глава: 1. ОБЩИЕ ПОЛОЖЕНИЯ Статья 5.1. Общественные обсуждения, публичные слушания по проектам генеральных планов, проектам правил землепользования и застройки, проектам планировки территории, проектам межевания территории, проектам правил благоустройства территорий, проектам решений о предоставлении разрешения на условно разрешенный вид использования земельного участка или объекта капитального строительства, проектам решений о предоставлении разрешения на отклонение от предельных параметров разрешенного строительства, реконструкции объектов капитального строительства 2. Участниками общественных обсуждений или публичных слушаний по проектам генеральных планов, проектам правил землепользования и застройки, проектам планировки территории, проектам межевания территории, проектам правил благоустройства территорий, проектам, предусматривающим внесение изменений в один из указанных утвержденных документов, яв...
  Какие виды наемных домов упоминаются в контексте организации аукционов?	Градостроительный кодекс Глава: 6.3. ОСВОЕНИЕ ТЕРРИТОРИЙ В ЦЕЛЯХ СТРОИТЕЛЬСТВА И ЭКСПЛУАТАЦИИ НАЕМНЫХ ДОМОВ Статья 55.28. Порядок организации и проведения аукционов на право заключения договора об освоении территории в целях строительства и эксплуатации наемного дома коммерческого использования, договора об освоении территории в целях строительства и эксплуатации наемного дома социального использования 4. Участниками аукциона на право заключения договора об освоении территории в целях строительства и эксплуатации наемного дома социального использования могут быть юридические лица, соответствующие требованиям, указанным в части 2 или 4 статьи 55.29 настоящего Кодекса.
  Какие действия предпринимает федеральный орган исполнительной власти по селекционным достижениям в случае получения уведомления о намерении заключить договор?	Гражданский кодекс Раздел: VII. ПРАВА НА РЕЗУЛЬТАТЫ ИНТЕЛЛЕКТУАЛЬНОЙ ДЕЯТЕЛЬНОСТИ И СРЕДСТВА ИНДИВИДУАЛИЗАЦИИ Глава: 73. ПРАВО НА СЕЛЕКЦИОННОЕ ДОСТИЖЕНИЕ Параграф: 3. Распоряжение исключительным правом на селекционное достижение Статья 1427. Публичное предложение о заключении договора об отчуждении патента на селекционное достижение 1. Заявитель, являющийся автором селекционного достижения, при подаче заявки на выдачу патента на селекционное достижение может приложить к документам заявки заявление о том, что в случае выдачи патента он обязуется заключить договор об отчуждении патента на условиях, соответствующих установившейся практике, с любым гражданином Российской Федерации или российским юридическим лицом, кто первым изъявил такое желание и уведомил об этом патентообладателя и федеральный орган исполнительной власти по селекционным достижениям. При наличии такого заявления патентные пошлины, предусмотренные настоящим Кодексом, в отношении заявки на выдачу п...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 40,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 6,335 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 10 tokens mean: 22.39 tokens max: 42 tokens	min: 68 tokens mean: 328.17 tokens max: 512 tokens

• Samples:

  anchor	positive
  Какие действия может предпринять председатель Верховного Суда в отношении определения судьи об отказе в передаче кассационной жалобы?	Гражданский процессуальный кодекс Раздел: IV. ПЕРЕСМОТР ВСТУПИВШИХ В ЗАКОННУЮ СИЛУ СУДЕБНЫХ ПОСТАНОВЛЕНИЙ Глава: 41. ПРОИЗВОДСТВО В СУДЕ КАССАЦИОННОЙ ИНСТАНЦИИ Параграф: 2. Производство в судебной коллегии Верховного Суда Российской Федерации Статья 390.7. Рассмотрение кассационных жалобы, представления (введена Федеральным законом от 28.11.2018 N 451-ФЗ) 1. Судья судебной коллегии Верховного Суда Российской Федерации изучает кассационные жалобу, представление по материалам, приложенным к ним, либо по материалам истребованного дела. В случае истребования дела судья вправе вынести определение о приостановлении исполнения решения суда до окончания производства в суде кассационной инстанции при наличии просьбы об этом в кассационных жалобе, представлении или в отдельном ходатайстве. Ходатайство о приостановлении исполнения решения суда, подаваемое в электронном виде, должно быть подписано усиленной квалифицированной электронной подписью. (в ред. Федерального закона от 3...
  Какой тип топлива упоминается в контексте применения налоговых вычетов согласно налоговому законодательству?	Налоговый кодекс Раздел: VIII. ФЕДЕРАЛЬНЫЕ НАЛОГИ Глава: 22. АКЦИЗЫ Статья 201. Порядок применения налоговых вычетов 24. Налоговые вычеты, предусмотренные пунктом 24 статьи 200 настоящего Кодекса, производятся при представлении налогоплательщиком в налоговые органы следующих документов: 1) копии уведомления федерального органа исполнительной власти, осуществляющего функции по оказанию государственных услуг и управлению государственным имуществом в сфере морского и речного транспорта, о включении налогоплательщика в реестр поставщиков бункерного топлива; 2) копии контракта налогоплательщика на поставку топлива, относящегося в целях настоящей главы к средним дистиллятам (или, если этот контракт содержит сведения, составляющие государственную тайну, выписки из него, содержащей информацию, необходимую для проведения налогового контроля), с иностранной организацией, выполняющей работы (оказывающей услуги), связанные с рег...
  Какие дела исключаются из рассмотрения в порядке упрощенного производства и почему?	Арбитражный процессуальный кодекс Раздел: IV. ОСОБЕННОСТИ ПРОИЗВОДСТВА В АРБИТРАЖНОМ СУДЕ ПО ОТДЕЛЬНЫМ КАТЕГОРИЯМ ДЕЛ Глава: 29. РАССМОТРЕНИЕ ДЕЛ В ПОРЯДКЕ УПРОЩЕННОГО ПРОИЗВОДСТВА Статья 227. Дела, рассматриваемые в порядке упрощенного производства (в ред. Федерального закона от 28.11.2018 N 451-ФЗ) 1. В порядке упрощенного производства подлежат рассмотрению дела: 1) по исковым заявлениям о взыскании денежных средств , если цена иска не превышает для юридических лиц один миллион двести тысяч рублей, для индивидуальных предпринимателей - шестьсот тысяч рублей; (п. 1 в ред. Федерального закона от 25.12.2023 N 667-ФЗ) 2) об оспаривании ненормативных правовых актов, решений органов, осуществляющих публичные полномочия, должностных лиц, если в соответствующих ненормативном правовом акте, решении содержится требование об уплате денежных средств или предусмотрено взыскание денежных средств либо обращение взыскания на иное имущество заявителя при условии, что указанные ...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 40,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• learning_rate: 1e-05
• num_train_epochs: 5
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss
0.0253	10	0.3082	-
0.0505	20	0.1832	-
0.0758	30	0.2332	-
0.1010	40	0.1891	-
0.1263	50	0.17	-
0.1515	60	0.1631	-
0.1768	70	0.182	-
0.2020	80	0.1391	-
0.2273	90	0.1655	-
0.2525	100	0.1687	-
0.2778	110	0.1615	-
0.3030	120	0.1204	-
0.3283	130	0.1704	-
0.3535	140	0.154	-
0.3788	150	0.1518	-
0.4040	160	0.1246	-
0.4293	170	0.1712	-
0.4545	180	0.1393	-
0.4798	190	0.1635	-
0.5051	200	0.146	-
0.5303	210	0.1562	-
0.5556	220	0.1243	-
0.5808	230	0.1037	-
0.6061	240	0.1466	-
0.6313	250	0.0913	-
0.6566	260	0.1503	-
0.6818	270	0.0999	-
0.7071	280	0.1484	-
0.7323	290	0.141	-
0.7576	300	0.1428	0.0631
0.7828	310	0.1316	-
0.8081	320	0.1484	-
0.8333	330	0.1374	-
0.8586	340	0.1781	-
0.8838	350	0.1439	-
0.9091	360	0.1119	-
0.9343	370	0.1234	-
0.9596	380	0.1403	-
0.9848	390	0.1426	-
1.0101	400	0.0972	-
1.0354	410	0.0768	-
1.0606	420	0.0856	-
1.0859	430	0.0911	-
1.1111	440	0.0769	-
1.1364	450	0.067	-
1.1616	460	0.0953	-
1.1869	470	0.1046	-
1.2121	480	0.0831	-
1.2374	490	0.0665	-
1.2626	500	0.0882	-
1.2879	510	0.121	-
1.3131	520	0.0766	-
1.3384	530	0.097	-
1.3636	540	0.0711	-
1.3889	550	0.0712	-
1.4141	560	0.1096	-
1.4394	570	0.086	-
1.4646	580	0.1274	-
1.4899	590	0.0968	-
1.5152	600	0.1077	0.0567
1.5404	610	0.0834	-
1.5657	620	0.062	-
1.5909	630	0.1054	-
1.6162	640	0.0992	-
1.6414	650	0.0972	-
1.6667	660	0.0945	-
1.6919	670	0.0718	-
1.7172	680	0.1145	-
1.7424	690	0.076	-
1.7677	700	0.0807	-
1.7929	710	0.0871	-
1.8182	720	0.0761	-
1.8434	730	0.1024	-
1.8687	740	0.0972	-
1.8939	750	0.0932	-
1.9192	760	0.0768	-
1.9444	770	0.095	-
1.9697	780	0.0808	-
1.9949	790	0.0903	-
2.0202	800	0.0692	-
2.0455	810	0.0638	-
2.0707	820	0.0611	-
2.0960	830	0.0725	-
2.1212	840	0.0392	-
2.1465	850	0.0667	-
2.1717	860	0.0908	-
2.1970	870	0.0803	-
2.2222	880	0.0631	-
2.2475	890	0.0546	-
2.2727	900	0.0464	0.0544
2.2980	910	0.0901	-
2.3232	920	0.0734	-
2.3485	930	0.1047	-
2.3737	940	0.0555	-
2.3990	950	0.0857	-
2.4242	960	0.0565	-
2.4495	970	0.0666	-
2.4747	980	0.0674	-
2.5	990	0.0877	-
2.5253	1000	0.0788	-
2.5505	1010	0.0538	-
2.5758	1020	0.0593	-
2.6010	1030	0.0788	-
2.6263	1040	0.0799	-
2.6515	1050	0.0495	-
2.6768	1060	0.069	-
2.7020	1070	0.0479	-
2.7273	1080	0.0539	-
2.7525	1090	0.0802	-
2.7778	1100	0.0741	-
2.8030	1110	0.0581	-
2.8283	1120	0.0485	-
2.8535	1130	0.0848	-
2.8788	1140	0.0727	-
2.9040	1150	0.0372	-
2.9293	1160	0.0571	-
2.9545	1170	0.0913	-
2.9798	1180	0.0696	-
3.0051	1190	0.0525	-
3.0303	1200	0.0535	0.0531
3.0556	1210	0.0501	-
3.0808	1220	0.074	-
3.1061	1230	0.0449	-
3.1313	1240	0.0475	-
3.1566	1250	0.0401	-
3.1818	1260	0.039	-
3.2071	1270	0.0395	-
3.2323	1280	0.0418	-
3.2576	1290	0.0565	-
3.2828	1300	0.0674	-
3.3081	1310	0.0818	-
3.3333	1320	0.0306	-
3.3586	1330	0.066	-
3.3838	1340	0.0403	-
3.4091	1350	0.0612	-
3.4343	1360	0.067	-
3.4596	1370	0.0428	-
3.4848	1380	0.0705	-
3.5101	1390	0.0597	-
3.5354	1400	0.0616	-
3.5606	1410	0.0625	-
3.5859	1420	0.0565	-
3.6111	1430	0.0452	-
3.6364	1440	0.0432	-
3.6616	1450	0.0564	-
3.6869	1460	0.0502	-
3.7121	1470	0.0533	-
3.7374	1480	0.0598	-
3.7626	1490	0.0559	-
3.7879	1500	0.0573	0.0517
3.8131	1510	0.0531	-
3.8384	1520	0.0558	-
3.8636	1530	0.0611	-
3.8889	1540	0.0558	-
3.9141	1550	0.043	-
3.9394	1560	0.0548	-
3.9646	1570	0.0814	-
3.9899	1580	0.0693	-
4.0152	1590	0.0371	-
4.0404	1600	0.0418	-
4.0657	1610	0.0522	-
4.0909	1620	0.0649	-
4.1162	1630	0.0528	-
4.1414	1640	0.0524	-
4.1667	1650	0.0568	-
4.1919	1660	0.0489	-
4.2172	1670	0.0644	-
4.2424	1680	0.0704	-
4.2677	1690	0.0554	-
4.2929	1700	0.0518	-
4.3182	1710	0.0403	-
4.3434	1720	0.0425	-
4.3687	1730	0.0483	-
4.3939	1740	0.063	-
4.4192	1750	0.0395	-
4.4444	1760	0.0481	-
4.4697	1770	0.0695	-
4.4949	1780	0.0683	-
4.5202	1790	0.0449	-
4.5455	1800	0.0756	0.0510

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.1.0+cu118
• Accelerate: 0.34.2
• Datasets: 3.5.1
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}