batmangiaicuuthegioi/bge-m3-finetune-maxlen256-maxstep500

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the hard_examples_legal_zalo dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • hard_examples_legal_zalo

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("batmangiaicuuthegioi/bge-m3-finetune-maxlen256-maxstep500")
# Run inference
sentences = [
    'Bộ Thông tin và Truyền thông có trách nhiệm gì trong thực hiện thủ tục hành chính điện tử?',
    'Điều 29. Bộ Thông tin và Truyền thông. khoản 1. hướng dẫn việc giám sát, đánh giá hiệu quả, mức độ sử dụng dịch vụ công trực tuyến. Bộ Thông tin và Truyền thông. khoản 2. hướng dẫn, hỗ trợ việc triển khai tích hợp chữ ký số công cộng trong quá trình thực hiện dịch vụ công trực tuyến.',
    'Điều 14. Khai thác, sử dụng thông tin, dữ liệu về nhà ở và thị trường bất động sản qua mạng internet, trang điện tử. điểm b) khai thác, sử dụng thông tin, dữ liệu về nhà ở và thị trường bất động sản theo quy định của pháp luật được công khai, phổ biến rộng rãi. Khai thác, sử dụng thông tin, dữ liệu về nhà ở và thị trường bất động sản qua mạng internet, trang điện tử. điểm c) bên cung cấp gửi cho bên yêu cầu tài khoản truy cập tra cứu thông tin, dữ liệu trong thời hạn không quá 07 ngày làm việc kể từ khi nhận được yêu cầu hoặc thời điểm bên yêu cầu thanh toán chi phí sử dụng dịch vụ (nếu có); Khai thác, sử dụng thông tin, dữ liệu về nhà ở và thị trường bất động sản qua mạng internet, trang điện tử. điểm e) tuân theo các quy định của pháp luật về bảo vệ bí mật nhà nước; chịu trách nhiệm về sai phạm trong khai thác, sử dụng thông tin, dữ liệu. Khai thác, sử dụng thông tin, dữ liệu về nhà ở và thị trường bất động sản qua mạng internet, trang điện tử. điểm b) tiến hành các biện pháp khắc phục sự cố ngay sau khi hệ thống thông tin của mình bị lỗi trong quá trình hoạt động làm ảnh hưởng hoặc gây ngừng cung cấp thông tin, dữ liệu, dịch vụ có liên quan trên môi',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: zalo_legal
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9774

Training Details

Training Dataset

hard_examples_legal_zalo

• Dataset: hard_examples_legal_zalo at 6f0ea4d
• Size: 15,657 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 7 tokens mean: 23.52 tokens max: 47 tokens	min: 32 tokens mean: 225.93 tokens max: 355 tokens	min: 2 tokens mean: 237.17 tokens max: 355 tokens

• Samples:

  anchor	positive	negative
  Phá hoại thông tin trên môi trường mạng bị xử phạt bao nhiêu tiền?	Điều 75. Vi phạm các quy định về cơ sở hạ tầng thông tin phục vụ ứng dụng và phát triển công nghệ thông tin. khoản 1. phạt tiền từ < mức phạt tiền > đến < mức phạt tiền > đối với hành vi xâm phạm đến quyền, lợi ích hợp pháp của chủ sở hữu cơ sở dữ liệu hoặc cản trở việc sử dụng cơ sở dữ liệu của chủ sở hữu khi thực hiện tái sản xuất, phân phối, quảng bá, truyền đưa, cung cấp nội dung hợp thành cơ sở dữ liệu. Vi phạm các quy định về cơ sở hạ tầng thông tin phục vụ ứng dụng và phát triển công nghệ thông tin. khoản 2. phạt tiền từ < mức phạt tiền > đến < mức phạt tiền > đối với hành vi phá hoại cơ sở hạ tầng thông tin hoặc phá hoại thông tin trên môi trường mạng. Vi phạm các quy định về cơ sở hạ tầng thông tin phục vụ ứng dụng và phát triển công nghệ thông tin. điểm b) buộc khôi phục lại tình trạng ban đầu đã bị thay đổi do thực hiện hành vi vi phạm quy định tại khoản 2 điều này.	Điều 41. Vi phạm quy định về nhận biết, phân loại khách hàng theo mức độ rủi ro. khoản 1. phạt tiền từ < mức phạt tiền > đến < mức phạt tiền > đối với hành vi không áp dụng các biện pháp nhận biết khách hàng, biện pháp đánh giá tăng cường quy định tại các khoản 2, 3 và 4 điều 12 luật phòng, chống rửa tiền, điều 34 luật phòng, chống khủng bố. Vi phạm quy định về nhận biết, phân loại khách hàng theo mức độ rủi ro. khoản 2. phạt tiền từ < mức phạt tiền > đến < mức phạt tiền > đối với hành vi không phân loại khách hàng theo mức độ rủi ro về rửa tiền và tài trợ khủng bố theo quy định của pháp luật.
  Không báo cáo hoạt động trong các tổ chức quốc tế về bưu chính với cơ quan nhà nước có thẩm quyền bị phạt thế nào?	Điều 8. Vi phạm các quy định về cung ứng, sử dụng dịch vụ và báo cáo bưu chính. khoản 1. phạt cảnh cáo hoặc phạt tiền từ < mức phạt tiền > đến < mức phạt tiền > đối với hành vi cung cấp thông tin về bưu gửi không đầy đủ theo yêu cầu của dịch vụ. Vi phạm các quy định về cung ứng, sử dụng dịch vụ và báo cáo bưu chính. khoản 2. phạt tiền từ < mức phạt tiền > đến < mức phạt tiền > đối với hành vi cung cấp thông tin về bưu gửi không đúng theo yêu cầu của dịch vụ. Vi phạm các quy định về cung ứng, sử dụng dịch vụ và báo cáo bưu chính. điểm d) báo cáo chậm đến 15 ngày hoặc báo cáo không đầy đủ theo quy định hoặc không đúng theo yêu cầu của cơ quan nhà nước có thẩm quyền về bưu chính. Vi phạm các quy định về cung ứng, sử dụng dịch vụ và báo cáo bưu chính. điểm c) báo cáo chậm quá 15 ngày so với quy định. Vi phạm các quy định về cung ứng, sử dụng dịch vụ và báo cáo bưu chính. điểm c) báo cáo không chính xác, không trung thực hoặc không báo cáo theo quy định. Vi phạm các quy định về cung ứng, sử...	Điều 5. Hình thức báo cáo, phương thức gửi và nhận báo cáo. điểm b) trường hợp chưa sử dụng chữ ký số hoặc do yêu cầu công việc hay các trường hợp xảy ra sự cố kỹ thuật, sự việc bất khả kháng, sử dụng hình thức báo cáo bằng văn bản giấy do người có thẩm quyền ký và được đóng dấu theo quy định. Hình thức báo cáo, phương thức gửi và nhận báo cáo. điểm b) báo cáo bằng văn bản giấy được gửi tới nơi nhận báo cáo bằng phương thức gửi trực tiếp hoặc qua dịch vụ bưu chính, fax; có thể đồng thời gửi báo cáo bằng văn bản điện tử qua hệ thống thư điện tử, hoặc dưới dạng đĩa cd.
  Quy định về Giấy chứng nhận khả năng chuyên môn của thuyền viên được quy định như thế nào?	Điều 19. Giấy chứng nhận khả năng chuyên môn. khoản 1. gcnkncm do cục hàng hải việt nam hoặc chi cục hàng hải hoặc cảng vụ hàng hải được cục hàng hải việt nam ủy quyền cấp cho thuyên viên để đảm nhiệm các chức danh theo quy định của thông tư này, các quy định khác có liên quan của pháp luật việt nam và phù hợp với quy định của công ước stcw. Giấy chứng nhận khả năng chuyên môn. khoản 2. gcnkncm có giá trị sử dụng là 05 năm kể từ ngày cấp, trường hợp tuổi lao động của thuyền viên không còn đủ 05 năm thì thời hạn sử dụng của gcnkncm tương ứng với tuổi lao động còn lại của thuyền viên theo quy định của pháp luật về lao động.	Điều 62. Khung định biên an toàn tối thiểu. điểm b) định biên an toàn tối thiểu bộ phận máy theo tổng công suất máy chính (kw): Khung định biên an toàn tối thiểu. khoản 2. đối với tàu có thiết bị điện phức tạp, đa dạng thì chủ tàu có thể bố trí sỹ quan kỹ thuật điện, thợ kỹ thuật điện. Khung định biên an toàn tối thiểu. điểm c) đối với tàu khách và tàu khách ro-ro, ngoài định biên quy định tại khoản 1 điều này, phải bố trí thêm: 01 (một) thuyền viên phụ trách hành khách với tàu có sức chở đến 200 hành khách, 02 (hai) thuyền viên phụ trách hành khách với tàu có sức chở đến 300 hành khách, 03 (ba) thuyền viên phụ trách hành khách với tàu có sức chở đến 500 hành khách, 4 (bốn) thuyền viên phụ trách hành khách với tàu có sức chở trên 500 hành khách, số lượng thuyền viên phụ trách hành khách được ghi rõ trong phần ghi chú của giấy chứng nhận định biên an toàn tối thiểu. Khung định biên an toàn tối thiểu. khoản 4. đối với tàu biển công vụ, tàu đưa đón hoa tiêu, tàu ngầm, tàu lặn, kho chứa nổ...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

hard_examples_legal_zalo

• Dataset: hard_examples_legal_zalo at 6f0ea4d
• Size: 15,657 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 8 tokens mean: 22.92 tokens max: 46 tokens	min: 30 tokens mean: 224.4 tokens max: 355 tokens	min: 2 tokens mean: 238.59 tokens max: 355 tokens

• Samples:

  anchor	positive	negative
  Dịch vụ viễn thông công ích truyền dẫn vệ tinh để cung cấp dịch vụ băng rộng cho các huyện đảo được quy định ra sao?	Điều 18. Dịch vụ viễn thông công ích truyền dẫn vệ tinh để cung cấp dịch vụ băng rộng cho các huyện đảo. khoản 1. đối tượng được hưởng mức hỗ trợ dịch vụ viễn thông công ích truyền dẫn vệ tinh kết nối đến các huyện đảo là các doanh nghiệp viễn thông thuê kênh truyền dẫn vệ tinh để cung cấp dịch vụ băng rộng cho các huyện đảo. Dịch vụ viễn thông công ích truyền dẫn vệ tinh để cung cấp dịch vụ băng rộng cho các huyện đảo. khoản 2. mức hỗ trợ cho các doanh nghiệp viễn thông tại khoản 1 điều này là < mức phạt tiền >/mhz/tháng (ba mươi sáu triệu bốn trăm năm mươi nghìn đồng cho một megahertz một tháng).	Điều 34. Trách nhiệm của các bộ, cơ quan ngang bộ, cơ quan thuộc Chính phủ. điểm h) chủ trì thẩm định các kịch bản cảnh báo sóng thần đối với việt nam, báo cáo thủ tướng chính phủ. Trách nhiệm của các bộ, cơ quan ngang bộ, cơ quan thuộc Chính phủ. điểm b) chỉ đạo các tổ chức, cá nhân quản lý các hồ thủy lợi trong phạm vi quản lý của bộ thực hiện quy định về cung cấp thông tin về hồ chứa quy định tại điều 37 quyết định này. Trách nhiệm của các bộ, cơ quan ngang bộ, cơ quan thuộc Chính phủ. điểm c) phối hợp với ban chỉ huy phòng, chống thiên tai và tìm kiếm cứu nạn các tỉnh, thành phố trực thuộc trung ương có liên quan thực hiện bắn pháo hiệu và vận hành cột tín hiệu báo áp thấp nhiệt đới, bão theo quy định tại phụ lục vi và phụ lục viii quyết định này. Trách nhiệm của các bộ, cơ quan ngang bộ, cơ quan thuộc Chính phủ. điểm đ) chỉ đạo doanh nghiệp thông tin di động nhắn tin theo yêu cầu của thủ tướng chính phủ, ban chỉ đạo trung ương về phòng, chống thiên tai và ủy ban quốc gia ứng phó s...
  Nhiệm vụ của Bộ Tài chính về thực hiện cơ chế một cửa trong giải quyết thủ tục hành chính được quy định như thế nào?	Điều 34. Nhiệm vụ của các bộ, cơ quan ngang bộ. điểm i) chủ trì, phối hợp với bộ thông tin và truyền thông và các bộ, ngành, cơ quan có liên quan xây dựng, ban hành quy định thống nhất về mã số hồ sơ thủ tục hành chính và mã ngành, lĩnh vực thủ tục hành chính trên hệ thống thông tin một cửa điện tử cấp bộ, cấp tỉnh. Nhiệm vụ của các bộ, cơ quan ngang bộ. điểm b) chủ trì, phối hợp văn phòng chính phủ, bộ thông tin và truyền thông và các bộ, cơ quan liên quan hướng dẫn lưu trữ hồ sơ, dữ liệu điện tử. Nhiệm vụ của các bộ, cơ quan ngang bộ. điểm c) chủ trì, phối hợp với văn phòng chính phủ, bộ công an thực hiện các biện pháp giám sát, biện pháp bảo đảm an toàn thông tin cho cổng dịch vụ công quốc gia; hướng dẫn các bộ, ngành, địa phương bảo đảm an toàn thông tin cho cổng dịch vụ công và hệ thống thông tin một cửa điện tử cấp bộ, cấp tỉnh. Nhiệm vụ của các bộ, cơ quan ngang bộ. khoản 4. bộ tài chính ban hành quy định về mức chi phục vụ các hoạt động thực hiện cơ chế một cửa, một cửa liên th...	Điều 8. Thủ quỹ ngân hàng. khoản 1. chức trách là công chức chuyên môn nghiệp vụ chuyên ngành ngân hàng, thực hiện nhiệm vụ thu, chi, bảo quản tiền mặt và các giấy tờ có giá trị ở các đơn vị thuộc ngân hàng nhà nước. Thủ quỹ ngân hàng. điểm h) làm các báo cáo thống kê có liên quan khi được phân công. Thủ quỹ ngân hàng. điểm k) đã làm qua công tác kiểm ngân từ đủ 01 năm trở lên. Thủ quỹ ngân hàng. điểm c) có chứng chỉ tin học với trình độ đạt chuẩn kỹ năng sử dụng công nghệ thông tin cơ bản theo quy định tại thông tư số 03/2014/tt-btttt ngày 11 tháng 3 năm 2014 của bộ thông tin và truyền thông quy định chuẩn kỹ năng sử dụng công nghệ thông tin.
  Tòa gia đình có thẩm quyền xét xử các vụ án hình sự nào?	Điều 3. Thẩm quyền xét xử các vụ án hình sự của Tòa gia đình và người chưa thành niên. tòa gia đình và người chưa thành niên có thẩm quyền xét xử các vụ án hình sự sau đây: Thẩm quyền xét xử các vụ án hình sự của Tòa gia đình và người chưa thành niên. khoản 1. vụ án hình sự có bị cáo là người dưới 18 tuổi. Thẩm quyền xét xử các vụ án hình sự của Tòa gia đình và người chưa thành niên. khoản 2. vụ án hình sự có người bị hại là người dưới 18 tuổi bị tổn thương nghiêm trọng về tâm lý hoặc cần sự hỗ trợ về điều kiện sống, học tập do không có môi trường gia đình lành mạnh như những người dưới 18 tuổi khác.	Điều 6. Thẩm quyền bổ nhiệm, miễn nhiệm Thủ trưởng, Phó Thủ trưởng Cơ quan quản lý thi hành án hình sự thuộc Bộ Công an; Thủ trưởng, Phó Thủ trưởng Cơ quan thi hành án hình sự Công an cấp tỉnh; Thủ trưởng, Phó Thủ trưởng Cơ quan thi hành án hình sự Công an cấp huyện. khoản 1. bộ trưởng bộ công an quyết định bổ nhiệm thủ trưởng, phó thủ trưởng cơ quan quản lý thi hành án hình sự thuộc bộ công an. Thẩm quyền bổ nhiệm, miễn nhiệm Thủ trưởng, Phó Thủ trưởng Cơ quan quản lý thi hành án hình sự thuộc Bộ Công an; Thủ trưởng, Phó Thủ trưởng Cơ quan thi hành án hình sự Công an cấp tỉnh; Thủ trưởng, Phó Thủ trưởng Cơ quan thi hành án hình sự Công an cấp huyện. khoản 2. thứ trưởng phụ trách tổng cục cảnh sát thi hành án hình sự và hỗ trợ tư pháp quyết định bổ nhiệm thủ trưởng, phó thủ trưởng cơ quan thi hành án hình sự công an cấp tỉnh. Thẩm quyền bổ nhiệm, miễn nhiệm Thủ trưởng, Phó Thủ trưởng Cơ quan quản lý thi hành án hình sự thuộc Bộ Công an; Thủ trưởng, Phó Thủ trưởng Cơ quan thi hành án hì...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• max_steps: 500
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: 500
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	zalo_legal_cosine_accuracy
0	0	-	-	0.9885
0.0456	500	0.0819	0.0727	0.9774

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.0
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.3.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}