SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: BAAI/bge-m3
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Какое решение принимает судья после признания дела подготовленным?',
    'Гражданский процессуальный кодекс  \nРаздел: II. ПРОИЗВОДСТВО В СУДЕ ПЕРВОЙ ИНСТАНЦИИ  \nПодраздел: II. ИСКОВОЕ ПРОИЗВОДСТВО  \nГлава: 14. ПОДГОТОВКА ДЕЛА К СУДЕБНОМУ РАЗБИРАТЕЛЬСТВУ  \n\nСтатья 153. Назначение дела к судебному разбирательству 1.  Судья,  признав  дело  подготовленным,  выносит  определение  о  назначении  его  к разбирательству в судебном заседании, извещает стороны, других лиц, участвующих в деле, о времени и месте рассмотрения дела, вызывает других участников процесса.\n2.  Судья,  признав  дело  подготовленным,  вправе  завершить  предварительное  судебное заседание и при согласии сторон открыть судебное заседание, если в предварительном судебном заседании присутствуют лица, участвующие в деле, либо лица, участвующие в деле, отсутствуют в предварительном  судебном  заседании, но они  извещены  о времени и месте  предварительного судебного заседания и просят рассмотреть дело по существу в их отсутствие, за исключением случая, если в соответствии с настоящим Кодексом требуется коллегиальное рассмотрение дела.\n(часть 2 введена Федеральным законом от 29.07.2018 N 265-ФЗ)',
    'Градостроительный кодекс  \nГлава: 3. ТЕРРИТОРИАЛЬНОЕ ПЛАНИРОВАНИЕ  \n\nСтатья 14. Содержание документов территориального планирования субъекта Российской Федерации (в ред. Федерального закона от 31.12.2017 N 507-ФЗ) 1. Документами территориального планирования субъекта Российской Федерации являются схемы территориального планирования субъекта Российской Федерации. Подготовка указанных схем  может  осуществляться  в  составе  одного  или  нескольких  документов  территориального планирования  субъекта  Российской  Федерации,  а  также  в  отношении  одной  или  нескольких областей, указанных в части 3 настоящей статьи.\n(в ред. Федеральных законов от 31.12.2017 N 507-ФЗ, от 01.07.2021 N 275-ФЗ) 2. Подготовка схемы территориального планирования субъекта Российской Федерации может осуществляться  применительно  ко  всей  территории  субъекта  Российской  Федерации  или к  ее частям.\n3.  Схемы  территориального  планирования  субъекта  Российской  Федерации  содержат положения  о  территориальном  планировании  и  карты  планируемого  размещения  объектов регионального значения, относящихся к следующим областям:\n(в ред. Федерального закона от 31.12.2017 N 507-ФЗ) 1)  транспорт  (железнодорожный,  водный,  воздушный  транспорт),  автомобильные  дороги регионального или межмуниципального значения;\n2) предупреждение чрезвычайных ситуаций межмуниципального и регионального характера, стихийных бедствий, эпидемий и ликвидация их последствий;\n3) образование;\n4) здравоохранение;\n5) физическая культура и спорт;\n5.1) энергетика;\n(п. 5.1 введен Федеральным законом от 31.12.2017 N 507-ФЗ) 6) иные области в соответствии с полномочиями субъектов Российской Федерации.\n(часть 3 в ред. Федерального закона от 20.03.2011 N 41-ФЗ) 4.  В  положениях  о  территориальном  планировании,  содержащихся  в  схемах территориального планирования субъекта Российской Федерации, указываются сведения о видах, назначении и наименованиях планируемых для размещения объектов регионального значения, их основные  характеристики,  их  местоположение  (указываются  наименования  муниципального района,  поселения,  муниципального  округа,  городского  округа,  населенного  пункта),  а  также характеристики зон с особыми условиями использования территорий в случае, если установление таких зон требуется в связи с размещением данных объектов.\n(в ред. Федеральных законов от 20.03.2011 N 41-ФЗ, от 31.12.2017 N 507-ФЗ, от 13.06.2023 N 240- ФЗ) 5.  На  картах  планируемого  размещения  объектов  регионального  значения  отображаются планируемые для размещения объекты регионального значения.\n(часть 5 в ред. Федерального закона от 20.03.2011 N 41-ФЗ) 6. Утратил силу. - Федеральный закон от 20.03.2011 N 41-ФЗ.\n7. К схемам территориального планирования субъекта Российской Федерации прилагаются материалы по обоснованию этих схем в текстовой форме и в виде карт.\n(в ред. Федеральных законов от 20.03.2011 N 41-ФЗ, от 31.12.2017 N 507-ФЗ) 8. Материалы по обоснованию схем территориального планирования субъекта Российской Федерации в текстовой форме содержат:\n(в ред. Федерального закона от 31.12.2017 N 507-ФЗ) 1)  сведения  об  утвержденных  документах  стратегического  планирования  Российской Федерации  и  субъектов  Российской  Федерации,  указанных  в  части  5.1  статьи  9  настоящего Кодекса,  о  национальных  проектах,  межгосударственных  программах,  об  инвестиционных программах  субъектов  естественных монополий,  о решениях  органов  государственной  власти, иных главных распорядителей средств соответствующих бюджетов, предусматривающих создание объектов регионального значения;\n(п. 1 в ред. Федерального закона от 31.07.2020 N 264-ФЗ) 2)  обоснование  выбранного  варианта  размещения  объектов  регионального  значения  на основе анализа использования соответствующей территории, возможных направлений ее развития и прогнозируемых ограничений ее использования;\n3)  оценку  возможного  влияния  планируемых  для  размещения  объектов  регионального значения на комплексное развитие соответствующей территории;\n4)  сведения  об  образовании,  утилизации,  обезвреживании,  о  размещении  твердых коммунальных  отходов,  содержащиеся  в  территориальных  схемах  в  области  обращения  с отходами, в том числе с твердыми коммунальными отходами.\n(п. 4 введен Федеральным законом от 29.12.2014 N 458-ФЗ) (часть 8 в ред. Федерального закона от 20.03.2011 N 41-ФЗ) 9.  Карты,  включаемые  в  состав  материалов  по  обоснованию  схемы  территориального планирования  субъекта  Российской  Федерации,  составляются  применительно  к  территории,  в отношении которой разрабатывается схема территориального планирования субъекта Российской Федерации. На указанных картах отображаются:\n1)  границы  муниципальных  образований  -  муниципальных  округов,  городских  округов, муниципальных районов, поселений, утвержденные в установленном порядке законом субъекта Российской Федерации;\n(в ред. Федерального закона от 13.06.2023 N 240-ФЗ) 2) объекты капитального строительства, иные объекты, территории, зоны, которые оказали влияние на определение планируемого размещения объектов регионального значения, в том числе:\nа) планируемые для размещения объекты федерального значения, объекты  регионального значения,  объекты  местного  значения  в  соответствии  с  документами  территориального планирования Российской Федерации, документами территориального планирования двух и более субъектов  Российской  Федерации,  документами  территориального  планирования  субъекта Российской  Федерации,  документами  территориального  планирования  муниципальных образований;\n(в ред. Федерального закона от 31.12.2017 N 507-ФЗ) б) особые экономические зоны;\nв)  особо  охраняемые  природные  территории  федерального,  регионального,  местного значения;\nг)  территории  объектов  культурного  наследия,  территории  исторических  поселений федерального значения и территории исторических поселений регионального значения;\n(в ред. Федерального закона от 12.11.2012 N 179-ФЗ) д) зоны с особыми условиями использования территорий;\nе) территории, подверженные риску возникновения чрезвычайных ситуаций природного и техногенного характера;\nе.1)  объекты,  используемые  для  утилизации,  обезвреживания,  захоронения  твердых коммунальных отходов и включенные в территориальную схему в области обращения с отходами, в том числе с твердыми коммунальными отходами;\n(пп. "е.1" введен Федеральным законом от 29.12.2014 N 458-ФЗ) ж) иные объекты, иные территории и (или) зоны.\n(часть 9 в ред. Федерального закона от 20.03.2011 N 41-ФЗ) 10 - 11. Утратили силу. - Федеральный закон от 20.03.2011 N 41-ФЗ.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 25,337 training samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 12 tokens
    • mean: 22.3 tokens
    • max: 43 tokens
    • min: 76 tokens
    • mean: 317.86 tokens
    • max: 512 tokens
  • Samples:
    anchor positive
    Каковы критерии участия граждан в обсуждении проектов благоустройства территорий? Градостроительный кодекс
    Глава: 1. ОБЩИЕ ПОЛОЖЕНИЯ

    Статья 5.1. Общественные обсуждения, публичные слушания по проектам генеральных планов, проектам правил землепользования и застройки, проектам планировки территории, проектам межевания территории, проектам правил благоустройства территорий, проектам решений о предоставлении разрешения на условно разрешенный вид использования земельного участка или объекта капитального строительства, проектам решений о предоставлении разрешения на отклонение от предельных параметров разрешенного строительства, реконструкции объектов капитального строительства
    2. Участниками общественных обсуждений или публичных слушаний по проектам генеральных планов, проектам правил землепользования и застройки, проектам планировки территории, проектам межевания территории, проектам правил благоустройства территорий, проектам, предусматривающим внесение изменений в один из указанных утвержденных документов, яв...
    Какие виды наемных домов упоминаются в контексте организации аукционов? Градостроительный кодекс
    Глава: 6.3. ОСВОЕНИЕ ТЕРРИТОРИЙ В ЦЕЛЯХ СТРОИТЕЛЬСТВА И ЭКСПЛУАТАЦИИ НАЕМНЫХ ДОМОВ

    Статья 55.28. Порядок организации и проведения аукционов на право заключения договора об освоении территории в целях строительства и эксплуатации наемного дома коммерческого использования, договора об освоении территории в целях строительства и эксплуатации наемного дома социального использования
    4. Участниками аукциона на право заключения договора об освоении территории в целях строительства и эксплуатации наемного дома социального использования могут быть юридические лица, соответствующие требованиям, указанным в части 2 или 4 статьи 55.29 настоящего Кодекса.
    Какие действия предпринимает федеральный орган исполнительной власти по селекционным достижениям в случае получения уведомления о намерении заключить договор? Гражданский кодекс
    Раздел: VII. ПРАВА НА РЕЗУЛЬТАТЫ ИНТЕЛЛЕКТУАЛЬНОЙ ДЕЯТЕЛЬНОСТИ И СРЕДСТВА ИНДИВИДУАЛИЗАЦИИ
    Глава: 73. ПРАВО НА СЕЛЕКЦИОННОЕ ДОСТИЖЕНИЕ
    Параграф: 3. Распоряжение исключительным правом на селекционное достижение

    Статья 1427. Публичное предложение о заключении договора об отчуждении патента на селекционное достижение 1. Заявитель, являющийся автором селекционного достижения, при подаче заявки на выдачу патента на селекционное достижение может приложить к документам заявки заявление о том, что в случае выдачи патента он обязуется заключить договор об отчуждении патента на условиях, соответствующих установившейся практике, с любым гражданином Российской Федерации или российским юридическим лицом, кто первым изъявил такое желание и уведомил об этом патентообладателя и федеральный орган исполнительной власти по селекционным достижениям.
    При наличии такого заявления патентные пошлины, предусмотренные настоящим Кодексом, в отношении заявки на выдачу п...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 40,
        "similarity_fct": "cos_sim"
    }
    

Evaluation Dataset

Unnamed Dataset

  • Size: 6,335 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 10 tokens
    • mean: 22.39 tokens
    • max: 42 tokens
    • min: 68 tokens
    • mean: 327.89 tokens
    • max: 512 tokens
  • Samples:
    anchor positive
    Какие действия может предпринять председатель Верховного Суда в отношении определения судьи об отказе в передаче кассационной жалобы? Гражданский процессуальный кодекс
    Раздел: IV. ПЕРЕСМОТР ВСТУПИВШИХ В ЗАКОННУЮ СИЛУ СУДЕБНЫХ ПОСТАНОВЛЕНИЙ
    Глава: 41. ПРОИЗВОДСТВО В СУДЕ КАССАЦИОННОЙ ИНСТАНЦИИ
    Параграф: 2. Производство в судебной коллегии Верховного Суда Российской Федерации

    Статья 390.7. Рассмотрение кассационных жалобы, представления (введена Федеральным законом от 28.11.2018 N 451-ФЗ) 1. Судья судебной коллегии Верховного Суда Российской Федерации изучает кассационные жалобу, представление по материалам, приложенным к ним, либо по материалам истребованного дела. В случае истребования дела судья вправе вынести определение о приостановлении исполнения решения суда до окончания производства в суде кассационной инстанции при наличии просьбы об этом в кассационных жалобе, представлении или в отдельном ходатайстве.
    Ходатайство о приостановлении исполнения решения суда, подаваемое в электронном виде, должно быть подписано усиленной квалифицированной электронной подписью.
    (в ред. Федерального закона от 3...
    Какой тип топлива упоминается в контексте применения налоговых вычетов согласно налоговому законодательству? Налоговый кодекс
    Раздел: VIII. ФЕДЕРАЛЬНЫЕ НАЛОГИ
    Глава: 22. АКЦИЗЫ

    Статья 201. Порядок применения налоговых вычетов
    24. Налоговые вычеты, предусмотренные пунктом 24 статьи 200 настоящего Кодекса, производятся при представлении налогоплательщиком в налоговые органы следующих документов:
    1) копии уведомления федерального органа исполнительной власти, осуществляющего функции по оказанию государственных услуг и управлению государственным имуществом в сфере морского и речного транспорта, о включении налогоплательщика в реестр поставщиков бункерного топлива;
    2) копии контракта налогоплательщика на поставку топлива, относящегося в целях настоящей главы к средним дистиллятам (или, если этот контракт содержит сведения, составляющие государственную тайну, выписки из него, содержащей информацию, необходимую для проведения налогового контроля), с иностранной организацией, выполняющей работы (оказывающей услуги), связанные с рег...
    Какие дела исключаются из рассмотрения в порядке упрощенного производства и почему? Арбитражный процессуальный кодекс
    Раздел: IV. ОСОБЕННОСТИ ПРОИЗВОДСТВА В АРБИТРАЖНОМ СУДЕ ПО ОТДЕЛЬНЫМ КАТЕГОРИЯМ ДЕЛ
    Глава: 29. РАССМОТРЕНИЕ ДЕЛ В ПОРЯДКЕ УПРОЩЕННОГО ПРОИЗВОДСТВА

    Статья 227. Дела, рассматриваемые в порядке упрощенного производства (в ред. Федерального закона от 28.11.2018 N 451-ФЗ) 1. В порядке упрощенного производства подлежат рассмотрению дела:
    1) по исковым заявлениям о взыскании денежных средств , если цена иска не превышает для юридических лиц один миллион двести тысяч рублей, для индивидуальных предпринимателей - шестьсот тысяч рублей;
    (п. 1 в ред. Федерального закона от 25.12.2023 N 667-ФЗ) 2) об оспаривании ненормативных правовых актов, решений органов, осуществляющих публичные полномочия, должностных лиц, если в соответствующих ненормативном правовом акте, решении содержится требование об уплате денежных средств или предусмотрено взыскание денежных средств либо обращение взыскания на иное имущество заявителя при условии, что указанные ...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 40,
        "similarity_fct": "cos_sim"
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: epoch
  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 64
  • learning_rate: 1e-05
  • num_train_epochs: 5
  • lr_scheduler_type: cosine
  • fp16: True
  • load_best_model_at_end: True
  • optim: adamw_torch_fused

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: epoch
  • prediction_loss_only: True
  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 64
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 1e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 5
  • max_steps: -1
  • lr_scheduler_type: cosine
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • tp_size: 0
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss
0.0253 10 0.2743 -
0.0505 20 0.1839 -
0.0758 30 0.2345 -
0.1010 40 0.1869 -
0.1263 50 0.1776 -
0.1515 60 0.1599 -
0.1768 70 0.1748 -
0.2020 80 0.1353 -
0.2273 90 0.1832 -
0.2525 100 0.1585 -
0.2778 110 0.1693 -
0.3030 120 0.1447 -
0.3283 130 0.1594 -
0.3535 140 0.1489 -
0.3788 150 0.1417 -
0.4040 160 0.1261 -
0.4293 170 0.168 -
0.4545 180 0.1396 -
0.4798 190 0.15 -
0.5051 200 0.1601 -
0.5303 210 0.1396 -
0.5556 220 0.118 -
0.5808 230 0.088 -
0.6061 240 0.1327 -
0.6313 250 0.1089 -
0.6566 260 0.1587 -
0.6818 270 0.1028 -
0.7071 280 0.1308 -
0.7323 290 0.1379 -
0.7576 300 0.1339 -
0.7828 310 0.1316 -
0.8081 320 0.152 -
0.8333 330 0.139 -
0.8586 340 0.1744 -
0.8838 350 0.1438 -
0.9091 360 0.1162 -
0.9343 370 0.1193 -
0.9596 380 0.1387 -
0.9848 390 0.1335 -
1.0 396 - 0.1071
1.0101 400 0.0974 -
1.0354 410 0.0913 -
1.0606 420 0.0926 -
1.0859 430 0.0762 -
1.1111 440 0.0901 -
1.1364 450 0.0703 -
1.1616 460 0.1066 -
1.1869 470 0.1115 -
1.2121 480 0.0923 -
1.2374 490 0.0688 -
1.2626 500 0.0937 -
1.2879 510 0.1019 -
1.3131 520 0.083 -
1.3384 530 0.1065 -
1.3636 540 0.0804 -
1.3889 550 0.0901 -
1.4141 560 0.1226 -
1.4394 570 0.0883 -
1.4646 580 0.102 -
1.4899 590 0.0857 -
1.5152 600 0.1048 -
1.5404 610 0.0979 -
1.5657 620 0.0671 -
1.5909 630 0.1198 -
1.6162 640 0.1103 -
1.6414 650 0.0911 -
1.6667 660 0.083 -
1.6919 670 0.0652 -
1.7172 680 0.1161 -
1.7424 690 0.0871 -
1.7677 700 0.0856 -
1.7929 710 0.0902 -
1.8182 720 0.0809 -
1.8434 730 0.0927 -
1.8687 740 0.0865 -
1.8939 750 0.0846 -
1.9192 760 0.0934 -
1.9444 770 0.091 -
1.9697 780 0.0977 -
1.9949 790 0.106 -
2.0 792 - 0.1010
2.0202 800 0.0587 -
2.0455 810 0.0634 -
2.0707 820 0.0514 -
2.0960 830 0.0669 -
2.1212 840 0.048 -
2.1465 850 0.0749 -
2.1717 860 0.083 -
2.1970 870 0.0842 -
2.2222 880 0.0587 -
2.2475 890 0.0586 -
2.2727 900 0.0449 -
2.2980 910 0.0907 -
2.3232 920 0.0622 -
2.3485 930 0.103 -
2.3737 940 0.0454 -
2.3990 950 0.0769 -
2.4242 960 0.0535 -
2.4495 970 0.0618 -
2.4747 980 0.0573 -
2.5 990 0.0738 -
2.5253 1000 0.088 -
2.5505 1010 0.056 -
2.5758 1020 0.0625 -
2.6010 1030 0.0678 -
2.6263 1040 0.0922 -
2.6515 1050 0.0413 -
2.6768 1060 0.0543 -
2.7020 1070 0.0492 -
2.7273 1080 0.066 -
2.7525 1090 0.0747 -
2.7778 1100 0.0745 -
2.8030 1110 0.0638 -
2.8283 1120 0.05 -
2.8535 1130 0.0745 -
2.8788 1140 0.0778 -
2.9040 1150 0.0378 -
2.9293 1160 0.0616 -
2.9545 1170 0.1004 -
2.9798 1180 0.0753 -
3.0 1188 - 0.0977
3.0051 1190 0.0639 -
3.0303 1200 0.0701 -
3.0556 1210 0.0565 -
3.0808 1220 0.0589 -
3.1061 1230 0.0556 -
3.1313 1240 0.0481 -
3.1566 1250 0.0567 -
3.1818 1260 0.0393 -
3.2071 1270 0.0463 -
3.2323 1280 0.0404 -
3.2576 1290 0.0563 -
3.2828 1300 0.0565 -
3.3081 1310 0.0675 -
3.3333 1320 0.0377 -
3.3586 1330 0.0692 -
3.3838 1340 0.0402 -
3.4091 1350 0.0644 -
3.4343 1360 0.0699 -
3.4596 1370 0.034 -
3.4848 1380 0.0842 -
3.5101 1390 0.0497 -
3.5354 1400 0.0469 -
3.5606 1410 0.0739 -
3.5859 1420 0.0584 -
3.6111 1430 0.0429 -
3.6364 1440 0.0407 -
3.6616 1450 0.0761 -
3.6869 1460 0.0627 -
3.7121 1470 0.0478 -
3.7374 1480 0.0739 -
3.7626 1490 0.0612 -
3.7879 1500 0.053 -
3.8131 1510 0.039 -
3.8384 1520 0.0408 -
3.8636 1530 0.0738 -
3.8889 1540 0.064 -
3.9141 1550 0.046 -
3.9394 1560 0.0417 -
3.9646 1570 0.074 -
3.9899 1580 0.0697 -
4.0 1584 - 0.0960

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 4.0.1
  • Transformers: 4.50.3
  • PyTorch: 2.2.0+cu121
  • Accelerate: 0.34.2
  • Datasets: 3.5.0
  • Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
11
Safetensors
Model size
568M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Roflmax/BGE-merged-results-MNRLoss-checkpoint-1584

Base model

BAAI/bge-m3
Finetuned
(303)
this model