metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:1673974
  - loss:MultipleNegativesRankingLoss
base_model: tintnguyen/vietnamese-bi-encoder-ft
widget:
  - source_sentence: chim ưng finist là gì
    sentences:
      - >-
        Nam tinh hoa chuông ::: Arisaema franchetianum, tên gọi phổ thông nam
        tinh hoa chuông, là một loài thực vật có hoa trong họ Ráy (Araceae).
        Loài này được Engl. mô tả khoa học đầu tiên năm 1881.
      - >-
        Focke-Wulf Fw 58 ::: Focke-Wulf Fw 58 Weihe ("chim ưng") là một loại máy
        bay của Đức, trang bị cho Luftwaffe làm máy bay huấn luyện.
      - >-
        Chiếc lông Chim Ưng Finist ::: Chiếc lông Chim Ưng Finist (tiếng Nga:
        Финнст - Ясный сокол, Finist - Chim Ưng thông thái) là một câu chuyện cổ
        tích do nhà nghiên cứu văn hóa dân gian Aleksandr Afanasyev thu thập và
        in trong tập sách Những câu chuyện cổ tích Nga.
  - source_sentence: biến cố đảo song tử tây là gì
    sentences:
      - >-
        Biến cố đảo Song Tử Tây ::: Biến cố đảo Song Tử Tây là chuỗi sự kiện
        thay cờ đổi chủ trên đảo Song Tử Tây thuộc quần đảo Trường Sa giữa Hải
        quân Việt Nam Cộng hòa, Hải quân Philippines và Hải quân Việt Nam Dân
        chủ Cộng hòa.
      - >-
        Đảo chính Zimbabwe 2017 ::: Lỗi Lua trong Mô_đun:Location_map tại dòng
        481: Giá trị tọa độ dạng sai.
      - >-
        Vira, Pyrénées-Orientales ::: Vira là một xã thuộc tỉnh
        Pyrénées-Orientales trong vùng Occitanie phía nam Pháp. Xã này nằm ở khu
        vực có độ cao trung bình 668 mét trên mực nước biển.
  - source_sentence: iobenguane là gì
    sentences:
      - >-
        Eguenigue ::: Eguenigue là một làng và xã tại tỉnh Territoire de
        Belfort, vùng Bourgogne-Franche-Comté.
      - >-
        Iobenguane ::: Iobenguane, hay MIBG, là một chất tương tự
        aralkylguanidine của chất dẫn truyền thần kinh adrenergic norepinephrine
        và một dược phẩm phóng xạ. Nó hoạt động như một tác nhân ngăn chặn các
        tế bào thần kinh adrenergic. Khi được dán nhãn phóng xạ, nó có thể được
        sử dụng trong các kỹ thuật chẩn đoán y học hạt nhân cũng như trong các
        phương pháp điều trị chống ung thư thần kinh. Nó định vị vào mô
        adrenergic và do đó có thể được sử dụng để xác định vị trí của các khối
        u như pheochromocytomas và neuroblastomas. Với I-131, nó cũng có thể
        được sử dụng để loại bỏ các tế bào khối u chiếm và chuyển hóa
        norepinephrine.
      - >-
        Don Cheadle ::: Donald Frank Cheadle Jr. (/ˈtʃiːdəl/; sinh ngày 29 tháng
        11 năm 1964) là một diễn viên, biên kịch, đạo diễn và nhà sản xuất phim
        người Mỹ.
  - source_sentence: chu kì quỹ đạo của 23128 dorminy
    sentences:
      - >-
        23128 Dorminy ::: 23128 Dorminy là một tiểu hành tinh vành đai chính với
        chu kỳ quỹ đạo là 1265.7380462 ngày (3.47 năm).
      - >-
        Theo luật thời chiến ::: Theo luật thời chiến (tiếng Nga: По законам
        военного времени, Po zakonam voennogo vremeni) là một bộ phim truyền
        hình nhiều tập thuộc thể loại hình sự, hành động trong bối cảnh cuộc
        Chiến tranh Vệ quốc vĩ đại, do hãng phim truyền hình StarMedia (Nga) sản
        xuất.
      - >-
        23734 Kimgyehyun ::: 23734 Kimgyehyun là một tiểu hành tinh vành đai
        chính với chu kỳ quỹ đạo là 1203.4259933 ngày (3.29 năm).
  - source_sentence: nabartha là loài gì
    sentences:
      - >-
        Nabartha ::: Simplicia là một chi bướm đêm thuộc họ Noctuidae, bản địa
        của Nam và Đông Nam Á.
      - >-
        Vịt ép hạnh nhân ::: Vịt ép hạnh nhân hay còn được gọi là vịt ép Quan
        Thoại (tiếng Trung: 窩燒鴨; bính âm: wōshāoyā; Việt bính: wo1 siu1 ngaap3),
        là một món ăn Quảng Đông phổ biến trong các nhà hàng Trung Quốc và
        Polynesia ở Hoa Kỳ vào giữa thế kỷ 20. Món ăn được chiên ngập trong dầu
        và phục vụ ở dạng miếng vừa phải hoặc nguyên con. Nó thường được phục vụ
        với nước sốt được tưới lên trên, có màu nâu và vị chua ngọt. Hạnh nhân
        nghiền hoặc hạnh nhân bột thường được rắc lên món ăn ngay trước khi phục
        vụ, và đó cũng chính là nguồn góc tên gọi của món ăn này. Việc chuẩn bị
        nguyên liệu có thể là một quá trình dài bao gồm một số bước trong khoảng
        thời gian vài ngày, khiến món ăn có vẻ ngoài tương đối đơn giản này lại
        trở thành một quá trình tốn nhiều công sức. Điều này giải thích cho sự
        biến mất ảo của nó khỏi các nhà hàng Trung Quốc ngày nay: ngày nay chỉ
        một số ít nhà hàng có món này trong thực đơn thông thường của họ.
      - >-
        Nalanda ::: Nālandā (Bản mẫu:IAST3; /naːlən̪d̪aː/, phiên âm Hán-Việt: Na
        Lan Đà) là một trung tâm học tập bậc cao thời cổ đại, một tu viện Phật
        giáo lớn nằm ở vương quốc cổ Magadha, ngày nay thuộc tiểu bang Bihar, Ấn
        Độ. Địa điểm này nằm cách Patna chừng 95 kilômét (59 dặm) về phía đông
        nam, gần thành phố Bihar Sharif và là một trung tâm học thuật quan trọng
        từ thế kỷ thứ 5 đến phát triển rực rỡ trong giai đoạn từ thời vua
        Śakrāditya (danh tánh của người này chưa được chắc chắn, có thể là triều
        vua Kumara Gupta I hoặc Kumara Gupta II) đến năm 1197. Ngày nay, Nalanda
        là một Di sản thế giới được UNESCO công nhận từ năm 2016.
datasets:
  - tintnguyen/generated-viwiki-questions-negs
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on tintnguyen/vietnamese-bi-encoder-ft

This is a sentence-transformers model finetuned from tintnguyen/vietnamese-bi-encoder-ft on the train dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: tintnguyen/vietnamese-bi-encoder-ft
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- train

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tintnguyen/vietnamese-bi-encoder-ft-2")
# Run inference
sentences = [
    'nabartha là loài gì',
    'Nabartha ::: Simplicia là một chi bướm đêm thuộc họ Noctuidae, bản địa của Nam và Đông Nam Á.',
    'Nalanda ::: Nālandā (Bản mẫu:IAST3; /naːlən̪d̪aː/, phiên âm Hán-Việt: Na Lan Đà) là một trung tâm học tập bậc cao thời cổ đại, một tu viện Phật giáo lớn nằm ở vương quốc cổ Magadha, ngày nay thuộc tiểu bang Bihar, Ấn Độ. Địa điểm này nằm cách Patna chừng 95 kilômét (59 dặm) về phía đông nam, gần thành phố Bihar Sharif và là một trung tâm học thuật quan trọng từ thế kỷ thứ 5 đến phát triển rực rỡ trong giai đoạn từ thời vua Śakrāditya (danh tánh của người này chưa được chắc chắn, có thể là triều vua Kumara Gupta I hoặc Kumara Gupta II) đến năm 1197. Ngày nay, Nalanda là một Di sản thế giới được UNESCO công nhận từ năm 2016.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator on ir-eval

{'aaaaa_cosine_accuracy@1': 0.63,
 'aaaaa_cosine_accuracy@3': 0.7802,
 'aaaaa_cosine_accuracy@5': 0.8281,
 'aaaaa_cosine_accuracy@10': 0.8822,
 'aaaaa_cosine_precision@1': 0.63,
 'aaaaa_cosine_precision@3': 0.4519333333333333,
 'aaaaa_cosine_precision@5': 0.37512,
 'aaaaa_cosine_precision@10': 0.28753,
 'aaaaa_cosine_recall@1': 0.13777929675306055,
 'aaaaa_cosine_recall@3': 0.24131449086140638,
 'aaaaa_cosine_recall@5': 0.29659234974950643,
 'aaaaa_cosine_recall@10': 0.3865740651558402,
 'aaaaa_cosine_ndcg@10': 0.4835411072398472,
 'aaaaa_cosine_mrr@10': 0.7153021428571383,
 'aaaaa_cosine_map@100': 0.3784947452420437}

Training Details

Training Dataset

train

Dataset: train at 905c0bb
Size: 1,673,974 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 6 tokens mean: 11.02 tokens max: 32 tokens	min: 24 tokens mean: 99.38 tokens max: 256 tokens	min: 22 tokens mean: 98.11 tokens max: 256 tokens

Samples:

anchor	positive	negative
`đại học nghiên cứu chiến tranh là gì`	Đại học Nghiên cứu Chiến tranh ::: Đại học Nghiên cứu Chiến tranh (tiếng Ba Lan: Akademia Sztuki Wojennej; ASzWoj ) là tổ chức học thuật quân sự cao nhất ở Ba Lan. Nó được thành lập bởi Bộ Quốc phòng vào năm 2016 thay cho Học viện Đại học Quốc phòng cũ (Akademia Obrony Narodowej, AON) được thành lập vào năm 1990. Bộ trưởng Bộ Quốc phòng Wojciech Fałkowski giải thích rằng việc tổ chức lại học viện được lấy cảm hứng từ sự cần thiết phải cải thiện tỷ lệ sinh viên quân sự trong hồ sơ tổng thể của trường đại học.	`Hội Nghiên cứu Xã hội Khoa học ::: Hội Nghiên cứu Xã hội Khoa học viết tắt là 4S (Society for Social Studies of Science) là một tổ chức phi chính phủ quốc tế hoạt động trong lĩnh vực nghiên cứu các vấn đề khoa học và công nghệ.`
`đại học nghiên cứu chiến tranh là gì`	Đại học Nghiên cứu Chiến tranh ::: Đại học Nghiên cứu Chiến tranh (tiếng Ba Lan: Akademia Sztuki Wojennej; ASzWoj ) là tổ chức học thuật quân sự cao nhất ở Ba Lan. Nó được thành lập bởi Bộ Quốc phòng vào năm 2016 thay cho Học viện Đại học Quốc phòng cũ (Akademia Obrony Narodowej, AON) được thành lập vào năm 1990. Bộ trưởng Bộ Quốc phòng Wojciech Fałkowski giải thích rằng việc tổ chức lại học viện được lấy cảm hứng từ sự cần thiết phải cải thiện tỷ lệ sinh viên quân sự trong hồ sơ tổng thể của trường đại học.	Viện Nghiên cứu Cao cấp Princeton ::: Viện Nghiên cứu Cao cấp Princeton (tiếng Anh: Institute for Advanced Study, viết tắt là IAS) là một trung tâm nghiên cứu lý thuyết cao cấp có trụ sở tại Princeton, New Jersey, Hoa Kỳ. Được thành lập năm 1930, IAS được biết tới như là viện nghiên cứu lý thuyết nổi tiếng thế giới, nơi làm việc của nhiều nhà khoa học châu Âu lánh nạn Chiến tranh thế giới thứ hai như Albert Einstein, John von Neumann và Kurt Gödel. Là trung tâm nghiên cứu chuyên sâu về toán học và vật lý lý thuyết, IAS cũng từng là nơi nghiên cứu của nhiều nhà toán học và vật lý nổi tiếng như J. Robert Oppenheimer, Freeman Dyson, Erwin Panofsky, Homer A. Thompson, George Kennan, Hermann Weyl và Michael Walzer.
`đại học nghiên cứu chiến tranh là gì`	Đại học Nghiên cứu Chiến tranh ::: Đại học Nghiên cứu Chiến tranh (tiếng Ba Lan: Akademia Sztuki Wojennej; ASzWoj ) là tổ chức học thuật quân sự cao nhất ở Ba Lan. Nó được thành lập bởi Bộ Quốc phòng vào năm 2016 thay cho Học viện Đại học Quốc phòng cũ (Akademia Obrony Narodowej, AON) được thành lập vào năm 1990. Bộ trưởng Bộ Quốc phòng Wojciech Fałkowski giải thích rằng việc tổ chức lại học viện được lấy cảm hứng từ sự cần thiết phải cải thiện tỷ lệ sinh viên quân sự trong hồ sơ tổng thể của trường đại học.	Học viện Quốc phòng Úc ::: Học viện Quốc phòng Úc, dịch đầy đủ là Học viện Lực lượng Quốc phòng Úc (tiếng Anh: Australian Defence Force Academy, viết tắt: ADFA) là một học viện quân sự tam quân (lục quân, không quân, hải quân) chuyên cung cấp các chương trình đào tạo quân sự và sau trung học cho các sĩ quan trẻ của Lực lượng Quốc phòng Úc trong Không lực Hoàng gia Úc, Lục quân Úc và Hải quân Hoàng gia Úc.

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 64
per_device_eval_batch_size: 32
learning_rate: 2e-05
num_train_epochs: 2
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 64
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 2
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
0.0191	500	0.0418
0.0382	1000	0.0348
0.0573	1500	0.0345
0.0765	2000	0.0297
0.0956	2500	0.0291
0.1147	3000	0.0311
0.1338	3500	0.0322
0.1529	4000	0.0298
0.1720	4500	0.0328
0.1912	5000	0.0309
0.2103	5500	0.0283
0.2294	6000	0.0336
0.2485	6500	0.0339
0.2676	7000	0.0307
0.2867	7500	0.0292
0.3059	8000	0.0326
0.3250	8500	0.0305
0.3441	9000	0.0284
0.3632	9500	0.0285
0.3823	10000	0.0273
0.4014	10500	0.0295
0.4206	11000	0.032
0.4397	11500	0.0253
0.4588	12000	0.0309
0.4779	12500	0.0264
0.4970	13000	0.0266
0.5161	13500	0.0268
0.5353	14000	0.0251
0.5544	14500	0.0249
0.5735	15000	0.0277
0.5926	15500	0.0281
0.6117	16000	0.0256
0.6308	16500	0.0236
0.6499	17000	0.0268
0.6691	17500	0.023
0.6882	18000	0.026
0.7073	18500	0.0245
0.7264	19000	0.0236
0.7455	19500	0.0245
0.7646	20000	0.0234
0.7838	20500	0.0279
0.8029	21000	0.0223
0.8220	21500	0.0233
0.8411	22000	0.0232
0.8602	22500	0.0223
0.8793	23000	0.0219
0.8985	23500	0.0234
0.9176	24000	0.0189
0.9367	24500	0.0229
0.9558	25000	0.0225
0.9749	25500	0.0238
0.9940	26000	0.0231
1.0132	26500	0.0201
1.0323	27000	0.0183
1.0514	27500	0.0158
1.0705	28000	0.013
1.0896	28500	0.0115
1.1087	29000	0.0091
1.1278	29500	0.0095
1.1470	30000	0.0075
1.1661	30500	0.0074
1.1852	31000	0.0067
1.2043	31500	0.0052
1.2234	32000	0.0048
1.2425	32500	0.0058
1.2617	33000	0.0051
1.2808	33500	0.0045
1.2999	34000	0.0057
1.3190	34500	0.0051
1.3381	35000	0.0048
1.3572	35500	0.0043
1.3764	36000	0.0047
1.3955	36500	0.0046
1.4146	37000	0.0048

Framework Versions

Python: 3.11.10
Sentence Transformers: 3.3.1
Transformers: 4.46.3
PyTorch: 2.5.1+cu124
Accelerate: 1.1.1
Datasets: 3.1.0
Tokenizers: 0.20.4

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}