Add new SentenceTransformer model

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,479 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:1673974
+- loss:MultipleNegativesRankingLoss
+base_model: tintnguyen/vietnamese-bi-encoder-ft
+widget:
+- source_sentence: chim ưng finist là gì
+  sentences:
+  - 'Nam tinh hoa chuông ::: Arisaema franchetianum, tên gọi phổ thông nam tinh hoa
+    chuông, là một loài thực vật có hoa trong họ Ráy (Araceae). Loài này được Engl.
+    mô tả khoa học đầu tiên năm 1881.'
+  - 'Focke-Wulf Fw 58 ::: Focke-Wulf Fw 58 Weihe ("chim ưng") là một loại máy bay
+    của Đức, trang bị cho Luftwaffe làm máy bay huấn luyện.'
+  - 'Chiếc lông Chim Ưng Finist ::: Chiếc lông Chim Ưng Finist (tiếng Nga: Финнст
+    - Ясный сокол, Finist - Chim Ưng thông thái) là một câu chuyện cổ tích do nhà
+    nghiên cứu văn hóa dân gian Aleksandr Afanasyev thu thập và in trong tập sách
+    Những câu chuyện cổ tích Nga.'
+- source_sentence: biến cố đảo song tử tây là gì
+  sentences:
+  - 'Biến cố đảo Song Tử Tây ::: Biến cố đảo Song Tử Tây là chuỗi sự kiện thay cờ
+    đổi chủ trên đảo Song Tử Tây thuộc quần đảo Trường Sa giữa Hải quân Việt Nam Cộng
+    hòa, Hải quân Philippines và Hải quân Việt Nam Dân chủ Cộng hòa.'
+  - 'Đảo chính Zimbabwe 2017 ::: Lỗi Lua trong Mô_đun:Location_map tại dòng 481: Giá
+    trị tọa độ dạng sai.'
+  - 'Vira, Pyrénées-Orientales ::: Vira là một xã thuộc tỉnh Pyrénées-Orientales trong
+    vùng Occitanie phía nam Pháp. Xã này nằm ở khu vực có độ cao trung bình 668 mét
+    trên mực nước biển.'
+- source_sentence: iobenguane là gì
+  sentences:
+  - 'Eguenigue ::: Eguenigue là một làng và xã tại tỉnh Territoire de Belfort, vùng
+    Bourgogne-Franche-Comté.'
+  - 'Iobenguane ::: Iobenguane, hay MIBG, là một chất tương tự aralkylguanidine của
+    chất dẫn truyền thần kinh adrenergic norepinephrine và một dược phẩm phóng xạ.
+    Nó hoạt động như một tác nhân ngăn chặn các tế bào thần kinh adrenergic. Khi được
+    dán nhãn phóng xạ, nó có thể được sử dụng trong các kỹ thuật chẩn đoán y học hạt
+    nhân cũng như trong các phương pháp điều trị chống ung thư thần kinh. Nó định
+    vị vào mô adrenergic và do đó có thể được sử dụng để xác định vị trí của các khối
+    u như pheochromocytomas và neuroblastomas. Với I-131, nó cũng có thể được sử dụng
+    để loại bỏ các tế bào khối u chiếm và chuyển hóa norepinephrine.'
+  - 'Don Cheadle ::: Donald Frank Cheadle Jr. (/ˈtʃiːdəl/; sinh ngày 29 tháng 11 năm
+    1964) là một diễn viên, biên kịch, đạo diễn và nhà sản xuất phim người Mỹ.'
+- source_sentence: chu kì quỹ đạo của 23128 dorminy
+  sentences:
+  - '23128 Dorminy ::: 23128 Dorminy là một tiểu hành tinh vành đai chính với chu
+    kỳ quỹ đạo là 1265.7380462 ngày (3.47 năm).'
+  - 'Theo luật thời chiến ::: Theo luật thời chiến (tiếng Nga: По законам военного
+    времени, Po zakonam voennogo vremeni) là một bộ phim truyền hình nhiều tập thuộc
+    thể loại hình sự, hành động trong bối cảnh cuộc Chiến tranh Vệ quốc vĩ đại, do
+    hãng phim truyền hình StarMedia (Nga) sản xuất.'
+  - '23734 Kimgyehyun ::: 23734 Kimgyehyun là một tiểu hành tinh vành đai chính với
+    chu kỳ quỹ đạo là 1203.4259933 ngày (3.29 năm).'
+- source_sentence: nabartha là loài gì
+  sentences:
+  - 'Nabartha ::: Simplicia là một chi bướm đêm thuộc họ Noctuidae, bản địa của Nam
+    và Đông Nam Á.'
+  - 'Vịt ép hạnh nhân ::: Vịt ép hạnh nhân hay còn được gọi là vịt ép Quan Thoại (tiếng
+    Trung: 窩燒鴨; bính âm: wōshāoyā; Việt bính: wo1 siu1 ngaap3), là một món ăn Quảng
+    Đông phổ biến trong các nhà hàng Trung Quốc và Polynesia ở Hoa Kỳ vào giữa thế
+    kỷ 20. Món ăn được chiên ngập trong dầu và phục vụ ở dạng miếng vừa phải hoặc
+    nguyên con. Nó thường được phục vụ với nước sốt được tưới lên trên, có màu nâu
+    và vị chua ngọt. Hạnh nhân nghiền hoặc hạnh nhân bột thường được rắc lên món ăn
+    ngay trước khi phục vụ, và đó cũng chính là nguồn góc tên gọi của món ăn này.
+    Việc chuẩn bị nguyên liệu có thể là một quá trình dài bao gồm một số bước trong
+    khoảng thời gian vài ngày, khiến món ăn có vẻ ngoài tương đối đơn giản này lại
+    trở thành một quá trình tốn nhiều công sức. Điều này giải thích cho sự biến mất
+    ảo của nó khỏi các nhà hàng Trung Quốc ngày nay: ngày nay chỉ một số ít nhà hàng
+    có món này trong thực đơn thông thường của họ.'
+  - 'Nalanda ::: Nālandā (Bản mẫu:IAST3; /naːlən̪d̪aː/, phiên âm Hán-Việt: Na Lan
+    Đà) là một trung tâm học tập bậc cao thời cổ đại, một tu viện Phật giáo lớn nằm
+    ở vương quốc cổ Magadha, ngày nay thuộc tiểu bang Bihar, Ấn Độ. Địa điểm này nằm
+    cách Patna chừng 95 kilômét (59 dặm) về phía đông nam, gần thành phố Bihar Sharif
+    và là một trung tâm học thuật quan trọng từ thế kỷ thứ 5 đến phát triển rực rỡ
+    trong giai đoạn từ thời vua Śakrāditya (danh tánh của người này chưa được chắc
+    chắn, có thể là triều vua Kumara Gupta I hoặc Kumara Gupta II) đến năm 1197. Ngày
+    nay, Nalanda là một Di sản thế giới được UNESCO công nhận từ năm 2016.'
+datasets:
+- tintnguyen/generated-viwiki-questions-negs
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on tintnguyen/vietnamese-bi-encoder-ft
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [tintnguyen/vietnamese-bi-encoder-ft](https://huggingface.co/tintnguyen/vietnamese-bi-encoder-ft) on the [train](https://huggingface.co/datasets/tintnguyen/generated-viwiki-questions-negs) dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [tintnguyen/vietnamese-bi-encoder-ft](https://huggingface.co/tintnguyen/vietnamese-bi-encoder-ft) <!-- at revision 12ac3cef289bc0c24b09aa2e3125ed29c0e22a15 -->
+- **Maximum Sequence Length:** 256 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - [train](https://huggingface.co/datasets/tintnguyen/generated-viwiki-questions-negs)
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("tintnguyen/vietnamese-bi-encoder-ft-2")
+# Run inference
+sentences = [
+    'nabartha là loài gì',
+    'Nabartha ::: Simplicia là một chi bướm đêm thuộc họ Noctuidae, bản địa của Nam và Đông Nam Á.',
+    'Nalanda ::: Nālandā (Bản mẫu:IAST3; /naːlən̪d̪aː/, phiên âm Hán-Việt: Na Lan Đà) là một trung tâm học tập bậc cao thời cổ đại, một tu viện Phật giáo lớn nằm ở vương quốc cổ Magadha, ngày nay thuộc tiểu bang Bihar, Ấn Độ. Địa điểm này nằm cách Patna chừng 95 kilômét (59 dặm) về phía đông nam, gần thành phố Bihar Sharif và là một trung tâm học thuật quan trọng từ thế kỷ thứ 5 đến phát triển rực rỡ trong giai đoạn từ thời vua Śakrāditya (danh tánh của người này chưa được chắc chắn, có thể là triều vua Kumara Gupta I hoặc Kumara Gupta II) đến năm 1197. Ngày nay, Nalanda là một Di sản thế giới được UNESCO công nhận từ năm 2016.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### train
+
+* Dataset: [train](https://huggingface.co/datasets/tintnguyen/generated-viwiki-questions-negs) at [905c0bb](https://huggingface.co/datasets/tintnguyen/generated-viwiki-questions-negs/tree/905c0bbdffc3ec5cc38e4f556749b5c630eae395)
+* Size: 1,673,974 training samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                            | negative                                                                            |
+  |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                              | string                                                                              |
+  | details | <ul><li>min: 6 tokens</li><li>mean: 11.02 tokens</li><li>max: 32 tokens</li></ul> | <ul><li>min: 24 tokens</li><li>mean: 99.38 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 22 tokens</li><li>mean: 98.11 tokens</li><li>max: 256 tokens</li></ul> |
+* Samples:
+  | anchor                                            | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
+  |:--------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>đại học nghiên cứu chiến tranh là gì</code> | <code>Đại học Nghiên cứu Chiến tranh ::: Đại học Nghiên cứu Chiến tranh (tiếng Ba Lan: Akademia Sztuki Wojennej; ASzWoj ) là tổ chức học thuật quân sự cao nhất ở Ba Lan. Nó được thành lập bởi Bộ Quốc phòng vào năm 2016 thay cho Học viện Đại học Quốc phòng cũ (Akademia Obrony Narodowej, AON) được thành lập vào năm 1990. Bộ trưởng Bộ Quốc phòng Wojciech Fałkowski giải thích rằng việc tổ chức lại học viện được lấy cảm hứng từ sự cần thiết phải cải thiện tỷ lệ sinh viên quân sự trong hồ sơ tổng thể của trường đại học.</code> | <code>Hội Nghiên cứu Xã hội Khoa học ::: Hội Nghiên cứu Xã hội Khoa học viết tắt là 4S (Society for Social Studies of Science) là một tổ chức phi chính phủ quốc tế hoạt động trong lĩnh vực nghiên cứu các vấn đề khoa học và công nghệ.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
+  | <code>đại học nghiên cứu chiến tranh là gì</code> | <code>Đại học Nghiên cứu Chiến tranh ::: Đại học Nghiên cứu Chiến tranh (tiếng Ba Lan: Akademia Sztuki Wojennej; ASzWoj ) là tổ chức học thuật quân sự cao nhất ở Ba Lan. Nó được thành lập bởi Bộ Quốc phòng vào năm 2016 thay cho Học viện Đại học Quốc phòng cũ (Akademia Obrony Narodowej, AON) được thành lập vào năm 1990. Bộ trưởng Bộ Quốc phòng Wojciech Fałkowski giải thích rằng việc tổ chức lại học viện được lấy cảm hứng từ sự cần thiết phải cải thiện tỷ lệ sinh viên quân sự trong hồ sơ tổng thể của trường đại học.</code> | <code>Viện Nghiên cứu Cao cấp Princeton ::: Viện Nghiên cứu Cao cấp Princeton (tiếng  Anh: Institute for Advanced Study, viết tắt là IAS) là một trung tâm nghiên cứu lý thuyết cao cấp có trụ sở tại Princeton, New Jersey, Hoa Kỳ. Được thành lập năm 1930, IAS được biết tới như là viện nghiên cứu lý thuyết nổi tiếng thế giới, nơi làm việc của nhiều nhà khoa học châu Âu lánh nạn Chiến tranh thế giới thứ hai như Albert Einstein, John von Neumann và Kurt Gödel. Là trung tâm nghiên cứu chuyên sâu về toán học và vật lý lý thuyết, IAS cũng từng là nơi nghiên cứu của nhiều nhà toán học và vật lý nổi tiếng như J. Robert Oppenheimer, Freeman Dyson, Erwin Panofsky, Homer A. Thompson, George Kennan, Hermann Weyl và Michael Walzer.</code> |
+  | <code>đại học nghiên cứu chiến tranh là gì</code> | <code>Đại học Nghiên cứu Chiến tranh ::: Đại học Nghiên cứu Chiến tranh (tiếng Ba Lan: Akademia Sztuki Wojennej; ASzWoj ) là tổ chức học thuật quân sự cao nhất ở Ba Lan. Nó được thành lập bởi Bộ Quốc phòng vào năm 2016 thay cho Học viện Đại học Quốc phòng cũ (Akademia Obrony Narodowej, AON) được thành lập vào năm 1990. Bộ trưởng Bộ Quốc phòng Wojciech Fałkowski giải thích rằng việc tổ chức lại học viện được lấy cảm hứng từ sự cần thiết phải cải thiện tỷ lệ sinh viên quân sự trong hồ sơ tổng thể của trường đại học.</code> | <code>Học viện Quốc phòng Úc ::: Học viện Quốc phòng Úc, dịch đầy đủ là Học viện Lực lượng Quốc phòng Úc (tiếng Anh: Australian Defence Force Academy, viết tắt: ADFA) là một học viện quân sự tam quân (lục quân, không quân, hải quân) chuyên cung cấp các chương trình đào tạo quân sự và sau trung học cho các sĩ quan trẻ của Lực lượng Quốc phòng Úc trong Không lực Hoàng gia Úc, Lục quân Úc và Hải quân Hoàng gia Úc.</code>                                                                                                                                                                                                                                                                                                                         |
+* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 32
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 2
+- `warmup_ratio`: 0.1
+- `fp16`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: no
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 32
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 2
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch  | Step  | Training Loss |
+|:------:|:-----:|:-------------:|
+| 0.0191 | 500   | 0.0418        |
+| 0.0382 | 1000  | 0.0348        |
+| 0.0573 | 1500  | 0.0345        |
+| 0.0765 | 2000  | 0.0297        |
+| 0.0956 | 2500  | 0.0291        |
+| 0.1147 | 3000  | 0.0311        |
+| 0.1338 | 3500  | 0.0322        |
+| 0.1529 | 4000  | 0.0298        |
+| 0.1720 | 4500  | 0.0328        |
+| 0.1912 | 5000  | 0.0309        |
+| 0.2103 | 5500  | 0.0283        |
+| 0.2294 | 6000  | 0.0336        |
+| 0.2485 | 6500  | 0.0339        |
+| 0.2676 | 7000  | 0.0307        |
+| 0.2867 | 7500  | 0.0292        |
+| 0.3059 | 8000  | 0.0326        |
+| 0.3250 | 8500  | 0.0305        |
+| 0.3441 | 9000  | 0.0284        |
+| 0.3632 | 9500  | 0.0285        |
+| 0.3823 | 10000 | 0.0273        |
+| 0.4014 | 10500 | 0.0295        |
+| 0.4206 | 11000 | 0.032         |
+| 0.4397 | 11500 | 0.0253        |
+| 0.4588 | 12000 | 0.0309        |
+| 0.4779 | 12500 | 0.0264        |
+| 0.4970 | 13000 | 0.0266        |
+| 0.5161 | 13500 | 0.0268        |
+| 0.5353 | 14000 | 0.0251        |
+| 0.5544 | 14500 | 0.0249        |
+| 0.5735 | 15000 | 0.0277        |
+| 0.5926 | 15500 | 0.0281        |
+| 0.6117 | 16000 | 0.0256        |
+| 0.6308 | 16500 | 0.0236        |
+| 0.6499 | 17000 | 0.0268        |
+| 0.6691 | 17500 | 0.023         |
+| 0.6882 | 18000 | 0.026         |
+| 0.7073 | 18500 | 0.0245        |
+| 0.7264 | 19000 | 0.0236        |
+| 0.7455 | 19500 | 0.0245        |
+| 0.7646 | 20000 | 0.0234        |
+| 0.7838 | 20500 | 0.0279        |
+| 0.8029 | 21000 | 0.0223        |
+| 0.8220 | 21500 | 0.0233        |
+| 0.8411 | 22000 | 0.0232        |
+| 0.8602 | 22500 | 0.0223        |
+| 0.8793 | 23000 | 0.0219        |
+| 0.8985 | 23500 | 0.0234        |
+| 0.9176 | 24000 | 0.0189        |
+| 0.9367 | 24500 | 0.0229        |
+| 0.9558 | 25000 | 0.0225        |
+| 0.9749 | 25500 | 0.0238        |
+| 0.9940 | 26000 | 0.0231        |
+| 1.0132 | 26500 | 0.0201        |
+| 1.0323 | 27000 | 0.0183        |
+| 1.0514 | 27500 | 0.0158        |
+| 1.0705 | 28000 | 0.013         |
+| 1.0896 | 28500 | 0.0115        |
+| 1.1087 | 29000 | 0.0091        |
+| 1.1278 | 29500 | 0.0095        |
+| 1.1470 | 30000 | 0.0075        |
+| 1.1661 | 30500 | 0.0074        |
+| 1.1852 | 31000 | 0.0067        |
+| 1.2043 | 31500 | 0.0052        |
+| 1.2234 | 32000 | 0.0048        |
+| 1.2425 | 32500 | 0.0058        |
+| 1.2617 | 33000 | 0.0051        |
+| 1.2808 | 33500 | 0.0045        |
+| 1.2999 | 34000 | 0.0057        |
+| 1.3190 | 34500 | 0.0051        |
+| 1.3381 | 35000 | 0.0048        |
+| 1.3572 | 35500 | 0.0043        |
+| 1.3764 | 36000 | 0.0047        |
+| 1.3955 | 36500 | 0.0046        |
+| 1.4146 | 37000 | 0.0048        |
+
+
+### Framework Versions
+- Python: 3.11.10
+- Sentence Transformers: 3.3.1
+- Transformers: 4.46.3
+- PyTorch: 2.5.1+cu124
+- Accelerate: 1.1.1
+- Datasets: 3.1.0
+- Tokenizers: 0.20.4
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<mask>": 64000
+}

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "models/vietnamese-bi-encoder-ft/checkpoint-37000/",
+  "architectures": [
+    "RobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 258,
+  "model_type": "roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "tokenizer_class": "PhobertTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.46.3",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 64001
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.3.1",
+    "transformers": "4.46.3",
+    "pytorch": "2.5.1+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e2bea75bb9f8243ce0937f952905c04907be44083c3e4635d842acfb29481a81
+size 540015464

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 256,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64000": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 256,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "PhobertTokenizer",
+  "unk_token": "<unk>"
+}