SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: BAAI/bge-m3
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Roflmax/bge-user-mnrloss-checkpoint-800")
# Run inference
sentences = [
    'Как изменились положения о признании доходов и расходов в результате внесенных поправок, согласно последним изменениям законодательства?',
    'Налоговый кодекс  \nРаздел: VIII.1. СПЕЦИАЛЬНЫЕ НАЛОГОВЫЕ РЕЖИМЫ  \nГлава: 26.4. СИСТЕМА НАЛОГООБЛОЖЕНИЯ ПРИ ВЫПОЛНЕНИИ СОГЛАШЕНИЙ О РАЗДЕЛЕ ПРОДУКЦИИ  \n\nСтатья 346.38.  Особенности  определения  налоговой  базы,  исчисления  и  уплаты  налога  на  прибыль организаций при выполнении соглашений\n12. В целях настоящей главы применяется следующий порядок признания доходов и расходов:\n1) для дохода,  полученного  налогоплательщиком  в  виде  части  прибыльной  продукции,  датой  получения  дохода  признается последнее число отчетного (налогового) периода, в котором был осуществлен раздел прибыльной продукции;\n(в ред. Федерального закона от 27.07.2006 N 137-ФЗ) 2) по иным видам доходов и расходов применяется порядок признания доходов и расходов, установленный главой 25 настоящего Кодекса.',
    'Налоговый кодекс  \nРаздел: VIII. ФЕДЕРАЛЬНЫЕ НАЛОГИ  \nГлава: 25. НАЛОГ НА ПРИБЫЛЬ ОРГАНИЗАЦИЙ  \n\nСтатья 278.1.  Особенности  определения  налоговой  базы  по  доходам, полученным участниками консолидированной группы налогоплательщиков (введена Федеральным законом от 16.11.2011 N 321-ФЗ) 1. Налоговая база по консолидированной группе налогоплательщиков (далее в настоящей главе - консолидированная налоговая база) определяется как сумма всех налоговых баз участников консолидированной группы с учетом особенностей, установленных настоящей статьей. При этом налоговая база каждого участника консолидированной группы налогоплательщиков определяется в порядке,  установленном  статьей  274 настоящего  Кодекса,  с  учетом  положений  статьи  283 настоящего Кодекса.\nВ  налоговую  базу  каждого  участника  консолидированной  группы  налогоплательщиков, включаемую  в  консолидированную  налоговую  базу,  не  включаются  доходы  участников консолидированной группы налогоплательщиков, подлежащие обложению налогом у источника выплаты доходов.\nУбытки,  полученные  участниками  консолидированной  группы  налогоплательщиков  в отчетном  (налоговом)  периоде,  подлежат  суммированию.  Консолидированная  налоговая  база текущего отчетного (налогового) периода определяется с учетом указанной суммы убытков. При этом  такая  сумма  убытков  учитывается  в  размере,  не  превышающем  50  процентов консолидированной  налоговой  базы  текущего  отчетного  (налогового)  периода.  Порядок  учета убытков  участников  консолидированной  группы  налогоплательщиков  при  определении консолидированной налоговой базы текущего отчетного (налогового) периода устанавливается в учетной политике для целей налогообложения консолидированной группы налогоплательщиков.\nСумма убытка участника консолидированной группы налогоплательщиков, оставшаяся не учтенной при определении консолидированной налоговой базы за налоговый период, принимается в  целях  налогообложения  у  такого  участника  в  порядке  и  на  условиях,  которые  установлены статьей 283 настоящего Кодекса.\nВ  случае,  если  в  отчетном  (налоговом)  периоде  убытки  получены  всеми  участниками консолидированной  группы  налогоплательщиков,  в  данном  отчетном  (налоговом)  периоде консолидированная налоговая база признается равной нулю.\n(п. 1 в ред. Федерального закона от 30.11.2016 N 401-ФЗ) 2.  Налоговый  учет  операций,  осуществляемых  между  участниками  консолидированной группы налогоплательщиков, ведется в соответствии со статьей 321.2 настоящего Кодекса.\n3. Участники консолидированной группы  налогоплательщиков  не формируют резервы  по сомнительным долгам в соответствии со статьей 266 настоящего Кодекса в части задолженности одних участников этой группы перед другими участниками такой группы.\nУчастники  консолидированной  группы  налогоплательщиков  восстанавливают  резерв  по сомнительным долгам на сумму задолженности, относящейся к другим участникам этой группы.\nСоответствующие суммы включаются в состав внереализационных доходов в налоговом периоде, предшествующем  налоговому  периоду,  в  котором  налогоплательщик  стал  участником консолидированной группы налогоплательщиков.\n4. Участники консолидированной группы  налогоплательщиков  не формируют резервы  по гарантийному ремонту и гарантийному обслуживанию в соответствии со статьей 267 настоящего Кодекса в части реализации товаров (работ) другим участникам этой группы.\nПри  вхождении  налогоплательщика  в  состав  консолидированной  группы налогоплательщиков  резерв  по  гарантийному  ремонту  и  гарантийному  обслуживанию восстанавливается  в  части  сумм  резервов,  относящихся  к  товарам  (работам),  реализованным другим  участникам  этой  группы.  При  этом  производится  корректировка  определяемого  в соответствии  с  пунктом  3  статьи  267  настоящего  Кодекса  предельного  размера  резерва, исключающая  операции  между  участниками  одной  консолидированной  группы налогоплательщиков  при  определении  показателей  фактически  осуществленных налогоплательщиком расходов по гарантийному ремонту и гарантийному обслуживанию, в объеме выручки от реализации указанных товаров (работ) за предыдущие три года, а также выручки от реализации указанных товаров (работ) за отчетный (налоговый) период.\nКорректировка показателя выручки от реализации товаров (работ) за предыдущие три года до начала  налогового  периода,  в  котором  налогоплательщик  стал  участником  консолидированной группы  налогоплательщиков,  не  производится.  В  налоговых  периодах,  в  которых налогоплательщик  является  участником  консолидированной  группы  налогоплательщиков,  этот показатель не включает выручку от реализации указанных товаров (работ) другим участникам такой группы.\nСуммы восстановленных резервов по гарантийному ремонту и гарантийному обслуживанию, в  том  числе  в  результате  уменьшения  предельного  размера  резерва,  включаются  в  состав внереализационных  доходов  в  налоговом  периоде,  предшествующем  налоговому  периоду,  в котором налогоплательщик стал участником консолидированной группы налогоплательщиков.\n5.  Банки,  являющиеся  участниками  консолидированной  группы  налогоплательщиков,  не формируют  резервы  на  возможные  потери  по  ссудам  по  ссудной  и  приравненной  к  ней задолженности, включая задолженность по межбанковским кредитам и депозитам, в соответствии со статьей 292 настоящего Кодекса в части задолженности одних участников консолидированной группы налогоплательщиков перед другими участниками этой группы.\nБанки восстанавливают резерв на возможные потери по ссудам по ссудной и приравненной к ней задолженности, включая задолженность по межбанковским кредитам и депозитам, на сумму задолженности,  относящейся  к  другим  участникам  этой  группы.  Соответствующие  суммы включаются  в  состав  внереализационных  доходов  в  налоговом  периоде,  предшествующем налоговому  периоду,  в  котором  банк  стал  участником  консолидированной  группы налогоплательщиков.\n6.  Участники  консолидированной  группы  налогоплательщиков,  понесшие  убытки, исчисленные  в  соответствии  с  настоящей  главой,  в  налоговых  периодах,  предшествующих налоговому  периоду  их  вхождения  в  состав  этой  группы,  не  вправе  уменьшить консолидированную налоговую базу на всю сумму понесенного ими убытка (на часть этой суммы) (перенести  убыток  на  будущее)  в  порядке,  установленном  статьями  275.1 и  283 настоящего Кодекса, начиная с налогового периода, в котором они вошли в состав такой группы.\nНе  допускается  суммирование  убытков  участников  консолидированной  группы налогоплательщиков (включая убытки, понесенные от использования объектов обслуживающих производств и хозяйств, в соответствии со статьей 275.1 настоящего Кодекса), понесенных ими до вхождения в состав этой группы, с консолидированной налоговой базой. Указанное положение распространяется  также  на  убытки,  понесенные  организациями,  которые  вошли  в  состав консолидированной группы налогоплательщиков путем присоединения к участнику этой группы или слияния с участником такой группы.\n7.  Нормативы  принимаемых  для  целей  налогообложения  расходов,  предусмотренные пунктами 16 и 24.1 части второй статьи 255 , подпунктом 6 пункта 2 статьи 262 , подпунктами 11 и 48.2 пункта 1, пунктами 2 и 4 статьи 264, пунктом 4 статьи 266 , подпунктом 4 пункта 2 статьи 296 настоящего  Кодекса,  применяются  каждым  участником  консолидированной  группы налогоплательщиков.\n8.  Особенности  определения  налоговой  базы  по  операциям  с  ценными  бумагами  и производными  финансовыми  инструментами,  установленные  настоящим  Кодексом  для налогоплательщиков, не являющихся профессиональными участниками рынка ценных бумаг, в части отдельного определения налоговой базы, а также в части уменьшения налоговой базы на сумму  полученных  убытков  и  переноса  убытков  на  будущее  применяются  при  исчислении консолидированной налоговой базы.\n(в ред. Федерального закона от 03.07.2016 N 242-ФЗ) 9.  Правила,  установленные  настоящей  статьей,  распространяются  исключительно  на определение налоговой базы, к которой применяется налоговая ставка, установленная пунктом 1 статьи 284 настоящего Кодекса.\nУчастники консолидированной группы налогоплательщиков самостоятельно в соответствии с настоящей главой определяют налоговую базу, к которой применяются иные налоговые ставки.\nУказанная  в  настоящем  абзаце  налоговая  база  не  учитывается  при  исчислении  налога  по консолидированной группе налогоплательщиков.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 10,229 training samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 12 tokens
    • mean: 23.43 tokens
    • max: 42 tokens
    • min: 77 tokens
    • mean: 362.15 tokens
    • max: 512 tokens
  • Samples:
    anchor positive
    Каковы условия, при которых отрицательный финансовый результат признается убытком? Налоговый кодекс
    Раздел: VIII. ФЕДЕРАЛЬНЫЕ НАЛОГИ
    Глава: 23. НАЛОГ НА ДОХОДЫ ФИЗИЧЕСКИХ ЛИЦ

    Статья 214.11. Особенности определения налоговой базы, исчисления и уплаты налога на доходы по операциям с цифровыми финансовыми активами и (или) цифровыми правами, включающими одновременно цифровые финансовые активы и утилитарные цифровые права
    6. В целях настоящей статьи налоговой базой по операциям с цифровыми финансовыми активами и (или) цифровыми правами, включающими одновременно цифровые финансовые активы и утилитарные цифровые права, признается положительный финансовый результат по совокупности соответствующих операций, исчисленный в соответствии с пунктами 2 - 5 настоящей статьи.
    Налоговая база по доходам от операций с цифровыми финансовыми активами и (или) цифровыми правами, включающими одновременно цифровые финансовые активы и утилитарные цифровые права, предусмотренным подпунктами 1, 3 - 4 пункта 1 настоящей статьи, определяется отдельно о...
    Каковы сроки начала действия изменений, касающихся обязательных отчислений застройщиков в компенсационный фонд? Налоговый кодекс
    Раздел: VIII.1. СПЕЦИАЛЬНЫЕ НАЛОГОВЫЕ РЕЖИМЫ
    Глава: 26.2. УПРОЩЕННАЯ СИСТЕМА НАЛОГООБЛОЖЕНИЯ

    ксимальную массу свыше 12 тонн, зарегистрированными в реестре транспортных средств системы взимания платы.
    Абзацы второй - третий утратили силу с 1 января 2019 года. - Федеральный закон от 03.07.2016 N 249-ФЗ (ред. 30.09.2017);
    (пп. 37 введен Федеральным законом от 03.07.2016 N 249-ФЗ) 38) обязательные отчисления (взносы) застройщиков в компенсационный фонд, формируемый в соответствии с Федеральным законом от 29 июля 2017 года N 218-ФЗ "О публично-правовой компании "Фонд развития территорий" и о внесении изменений в отдельные законодательные акты Российской Федерации";
    (пп. 38 введен Федеральным законом от 27.11.2017 N 342-ФЗ; в ред. Федерального закона от 28.06.2022 N 211-ФЗ) Пп. 39 п. 1 ст. 346.16 (в ред. ФЗ от 22.04.2020 N 121-ФЗ) распространяется на правоотношения, возникшие с 01.01.2020.
    39) расходы на дезинфекцию помещений и приобретение приборов, лаборатор...
    Какие ограничения накладываются на налогоплательщиков в отношении проведения сделок с акциями в 2022-2023 годах? Налоговый кодекс
    Раздел: VIII. ФЕДЕРАЛЬНЫЕ НАЛОГИ
    Глава: 25. НАЛОГ НА ПРИБЫЛЬ ОРГАНИЗАЦИЙ

    Статья 284.2. Особенности применения налоговой ставки 0 процентов к налоговой базе, определяемой по операциям с акциями (долями участия в уставном капитале) российских организаций и (или) иностранных организаций
    7. Налоговая ставка 0 процентов, предусмотренная пунктом 4.1 статьи 284 настоящего Кодекса, применяется также к налоговой базе, определяемой по доходам от операций по реализации или от иного выбытия (в том числе погашения) в 2022 - 2023 годах акций (долей участия в уставном капитале) российских организаций, полученным по сделкам, заключенным в 2022 - 2023 годах налогоплательщиком, в отношении которого на дату заключения таких сделок иностранными государствами, экономическими, политическими, военными или иными объединениями стран, международными финансовыми и иными организациями были установлены запретительные, ограничительные и (или) иные а...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 40,
        "similarity_fct": "cos_sim"
    }
    

Evaluation Dataset

Unnamed Dataset

  • Size: 2,558 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 13 tokens
    • mean: 23.51 tokens
    • max: 44 tokens
    • min: 78 tokens
    • mean: 350.86 tokens
    • max: 512 tokens
  • Samples:
    anchor positive
    Каковы условия освобождения от уплаты государственной пошлины за выдачу справок о регистрации актов гражданского состояния лицам, получающим пенсии или пособия? Налоговый кодекс
    Раздел: VIII. ФЕДЕРАЛЬНЫЕ НАЛОГИ
    Глава: 25.3. ГОСУДАРСТВЕННАЯ ПОШЛИНА

    Статья 333.39. Льготы при государственной регистрации актов гражданского состояния От уплаты государственной пошлины за государственную регистрацию актов гражданского состояния и другие юридически значимые действия, совершаемые органами записи актов гражданского состояния и иными уполномоченными органами, освобождаются:
    (в ред. Федерального закона от 27.12.2009 N 374-ФЗ) 1) физические лица:
    за внесение изменений в запись акта о рождении в связи с усыновлением (удочерением), включая выдачу нового свидетельства о рождении;
    (в ред. Федерального закона от 02.11.2013 N 306-ФЗ) за внесение исправлений и (или) изменений в записи актов гражданского состояния и выдачу свидетельств в связи с ошибками, допущенными при государственной регистрации актов гражданского состояния по вине работников, производящих государственную регистрацию актов гражданского состояния;
    за выдачу справок о ...
    Каковы условия использования корпоративных электронных средств платежа для нотариусов и адвокатов? Налоговый кодекс
    Раздел: V. НАЛОГОВАЯ ДЕКЛАРАЦИЯ И НАЛОГОВЫЙ КОНТРОЛЬ
    Глава: 14. НАЛОГОВЫЙ КОНТРОЛЬ

    Статья 86. Обязанности банков, связанные с осуществлением налогового контроля
    4. Правила, предусмотренные пунктами 1.1 - 3 настоящей статьи, применяются также в отношении счетов, открываемых для осуществления профессиональной деятельности нотариусам, занимающимся частной практикой, и адвокатам, учредившим адвокатские кабинеты, а также в отношении корпоративных электронных средств платежа указанных лиц, используемых для переводов электронных денежных средств.
    (в ред. Федеральных законов от 27.06.2011 N 162-ФЗ, от 03.07.2016 N 241-ФЗ) С 01.01.2025 в абз. 2 п. 4 ст. 86 вносятся изменения ( ФЗ от 19.12.2023 N 610-ФЗ). См. будущую редакцию.
    Правила, предусмотренные настоящей статьей, применяются также в отношении счетов инвестиционного товарищества, открываемых участником договора инвестиционного товарищества - управляющим товарищем, ответственным...
    Какой коэффициент применяется, если участок недр содержит залежь углеводородного сырья и является ресурсной базой для региональной системы газоснабжения? Налоговый кодекс
    Раздел: VIII. ФЕДЕРАЛЬНЫЕ НАЛОГИ
    Глава: 26. НАЛОГ НА ДОБЫЧУ ПОЛЕЗНЫХ ИСКОПАЕМЫХ

    Статья 342.4. Порядок расчета базового значения единицы условного топлива (Еут), коэффициента, характеризующего степень сложности добычи газа горючего природного и (или) газового конденсата из залежи углеводородного сырья (К с), показателя, характеризующего расходы на транспортировку газа горючего природного (ТГ), и показателя К ГК
    11. Коэффициент, характеризующий принадлежность участка недр, содержащего залежь углеводородного сырья, к региональной системе газоснабжения (К ас), определяется налогоплательщиком в порядке, установленном настоящим пунктом.
    В случае, если участок недр, содержащий залежь углеводородного сырья, является ресурсной базой исключительно для региональной системы газоснабжения, коэффициент К ас принимается равным 0,1.
    В случаях, не указанных в абзаце втором настоящего пункта, коэффициент К ас принимается равным 1.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 40,
        "similarity_fct": "cos_sim"
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: epoch
  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 64
  • learning_rate: 1e-05
  • num_train_epochs: 5
  • lr_scheduler_type: cosine
  • fp16: True
  • load_best_model_at_end: True
  • optim: adamw_torch_fused

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: epoch
  • prediction_loss_only: True
  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 64
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 1e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 5
  • max_steps: -1
  • lr_scheduler_type: cosine
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • tp_size: 0
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss Validation Loss
0.0625 10 0.6116 -
0.125 20 0.5992 -
0.1875 30 0.4494 -
0.25 40 0.3948 -
0.3125 50 0.4476 -
0.375 60 0.4332 -
0.4375 70 0.3836 -
0.5 80 0.4193 -
0.5625 90 0.3807 -
0.625 100 0.3792 -
0.6875 110 0.3269 -
0.75 120 0.3241 -
0.8125 130 0.3909 -
0.875 140 0.2718 -
0.9375 150 0.2461 -
1.0 160 0.334 0.2895
1.0625 170 0.2821 -
1.125 180 0.2694 -
1.1875 190 0.2566 -
1.25 200 0.2449 -
1.3125 210 0.246 -
1.375 220 0.259 -
1.4375 230 0.2332 -
1.5 240 0.2652 -
1.5625 250 0.2093 -
1.625 260 0.2446 -
1.6875 270 0.2249 -
1.75 280 0.256 -
1.8125 290 0.214 -
1.875 300 0.2816 -
1.9375 310 0.2304 -
2.0 320 0.2803 0.2574
2.0625 330 0.2198 -
2.125 340 0.1972 -
2.1875 350 0.1886 -
2.25 360 0.1696 -
2.3125 370 0.1956 -
2.375 380 0.1646 -
2.4375 390 0.1707 -
2.5 400 0.1419 -
2.5625 410 0.1671 -
2.625 420 0.2371 -
2.6875 430 0.1865 -
2.75 440 0.1893 -
2.8125 450 0.1508 -
2.875 460 0.1728 -
2.9375 470 0.1895 -
3.0 480 0.164 0.2531
3.0625 490 0.1315 -
3.125 500 0.1331 -
3.1875 510 0.1644 -
3.25 520 0.1499 -
3.3125 530 0.1488 -
3.375 540 0.1934 -
3.4375 550 0.1627 -
3.5 560 0.1744 -
3.5625 570 0.1459 -
3.625 580 0.1471 -
3.6875 590 0.1814 -
3.75 600 0.1446 -
3.8125 610 0.164 -
3.875 620 0.1431 -
3.9375 630 0.1326 -
4.0 640 0.1491 0.2485
4.0625 650 0.1511 -
4.125 660 0.1319 -
4.1875 670 0.1382 -
4.25 680 0.161 -
4.3125 690 0.1462 -
4.375 700 0.1248 -
4.4375 710 0.1545 -
4.5 720 0.137 -
4.5625 730 0.1537 -
4.625 740 0.1527 -
4.6875 750 0.1562 -
4.75 760 0.1403 -
4.8125 770 0.1491 -
4.875 780 0.0986 -
4.9375 790 0.1196 -
5.0 800 0.1377 0.2470

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 4.0.2
  • Transformers: 4.50.3
  • PyTorch: 2.1.0+cu118
  • Accelerate: 0.34.2
  • Datasets: 3.5.0
  • Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
6
Safetensors
Model size
568M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Roflmax/bge-user-mnrloss-checkpoint-800

Base model

BAAI/bge-m3
Finetuned
(304)
this model