SentenceTransformer based on hiieu/halong_embedding

This is a sentence-transformers model finetuned from hiieu/halong_embedding on the law_data_finetune dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: hiieu/halong_embedding
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- law_data_finetune

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("test_finetune_law_5_matryoshkaloss")
# Run inference
sentences = [
    'Quy định pháp luật nào xử lý vi phạm đối với việc không thực hiện 38 thủ tục hành chính lĩnh vực tôn giáo trực tuyến toàn trình ở Tuyên Quang?',
    'Quyết định 1067/QĐ-UBND năm 2024 công bố danh mục 38 thủ tục hành chính đủ điều kiện thực hiện dịch vụ công trực tuyến toàn trình lĩnh vực tín ngưỡng, tôn giáo thuộc phạm vi quản lý nhà nước của Sở Nội vụ tỉnh Tuyên Quang\nĐiều 4. Chánh Văn phòng Ủy ban nhân dân tỉnh; Giám đốc các Sở, Thủ trưởng Ban, Ngành; Chủ tịch Ủy ban nhân dân huyện, thành phố; Chủ tịch Ủy ban nhân dân xã, phường, thị trấn và các cơ quan, tổ chức, cá nhân có liên quan chịu trách nhiệm thi hành Quyết định này',
    'Quyết định 2612/QĐ-BGTVT năm 2009 về việc thành lập Tổ Biên tập Dự thảo Nghị định của Chính phủ về xử phạt vi phạm hành chính trong lĩnh vực hàng không dân dụng do Bộ trưởng Bộ Giao thông vận tải ban hành\nĐiều 1. Thành lập Tổ Biên tập Dự thảo Nghị định của Chính phủ về xử phạt vi phạm hành chính trong lĩnh vực hàng không dân dụng gồm các ông (bà) như sau:\n1. Ông Nguyễn Văn Thuấn, Vụ trưởng Vụ An toàn giao thông, Bộ Giao thông vận tải – Tổ trưởng Tổ Biên tập;\n2. Ông Lại Xuân Thanh – Phó Cục trưởng Cục Hàng không Việt Nam – Phó Tổ trưởng Tổ Biên tập;\n3. Thượng tá Đỗ Văn Cương, Phó trưởng phòng Vụ Pháp chế, Bộ Công an – Tổ viên;\n4. Ông Nguyễn Trọng Thắng, Chánh Thanh tra Cục Hàng không Việt Nam – Tổ viên;\n5. Ông Trần Văn Trường, Trưởng phòng thanh tra 3, Bộ Giao thông vận tải – Tổ viên\n6. Ông Nguyễn Hồng Hà, Chuyên viên chính Vụ Kinh tế ngành, Văn phòng Chính phủ - Tổ viên;\n7. Bà Trương Phương Lan, Chuyên viên Vụ Pháp luật hình sự - hành chính, Bộ Tư pháp – Tổ viên;\n8. Ông Nguyễn Anh Văn, Cán bộ Vụ Pháp chế, Bộ Quốc phòng – Tổ viên;\n9. Bà Nguyễn Thị Hồng Quyên, Chuyên viên Vụ Luật Pháp và Điều ước quốc tế - Tổ viên;\n10. Bà Trịnh Thị Hằng Nga, Chuyên viên Vụ Pháp chế, Bộ Giao thông vận tải – Tổ viên;\n11. Ông Tạ Văn Thanh, Chuyên viên Vụ Vận tải, Bộ Giao thông vận tải – Tổ viên;\n12. Ông Nguyễn Văn Thuân, Chuyên viên Vụ An toàn giao thông, Bộ Giao thông vận tải – Tổ viên kiêm thư ký;\n13. Ông Đinh Văn Cung, Thanh tra viên Cục Hàng không Việt Nam – Tổ viên kiêm thư ký;\n14. Bà Nguyễn Thu Hằng, Chuyên viên Vụ Môi trường, Bộ Giao thông vận tải – Tổ viên;\n15. Ông Trần Quốc Thắng, Chuyên viên Vụ Kết cấu hạ tầng giao thông, Bộ Giao thông vận tải – Tổ viên.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

law_data_finetune

Dataset: law_data_finetune at e38bf75
Size: 806,451 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 21 tokens
mean: 37.09 tokens
max: 66 tokens

min: 45 tokens
mean: 257.2 tokens
max: 512 tokens

	anchor	positive
type	string	string
details	min: 21 tokens mean: 37.09 tokens max: 66 tokens	min: 45 tokens mean: 257.2 tokens max: 512 tokens

Samples:

anchor	positive
`Chính phủ quy định cụ thể những nội dung gì liên quan đến quy trình cưỡng chế bàn giao kinh phí bảo trì cho nhà chung cư có nhiều chủ sở hữu?`	Luật Nhà ở 2023 Chương IX: QUẢN LÝ, SỬ DỤNG NHÀ CHUNG CƯ Mục 4. QUẢN LÝ, SỬ DỤNG KINH PHÍ BẢO TRÌ CỦA NHÀ CHUNG CƯ CÓ NHIỀU CHỦ SỞ HỮU Điều 154. Cưỡng chế bàn giao kinh phí bảo trì của nhà chung cư có nhiều chủ sở hữu 1. Trường hợp chủ đầu tư dự án đầu tư xây dựng nhà ở không bàn giao kinh phí bảo trì theo quy định tại khoản 2 Điều 153 của Luật này, Ban quản trị nhà chung cư có văn bản đề nghị Ủy ban nhân dân cấp huyện nơi có nhà chung cư yêu cầu chủ đầu tư dự án đầu tư xây dựng nhà ở bàn giao kinh phí bảo trì. 2. Trong thời hạn 15 ngày, kể từ ngày nhận được văn bản của Ban quản trị nhà chung cư, Ủy ban nhân dân cấp huyện phải có văn bản yêu cầu chủ đầu tư dự án đầu tư xây dựng nhà ở bàn giao kinh phí bảo trì cho Ban quản trị nhà chung cư. 3. Trong thời hạn 10 ngày, kể từ ngày có văn bản của Ủy ban nhân dân cấp huyện mà chủ đầu tư dự án đầu tư xây dựng nhà ở không bàn giao kinh phí bảo trì thì Ủy ban nhân dân cấp huyện có trách nhiệm ban hành quyết định cưỡng chế và tổ chức thu hồi kin...
`Biên chế công chức đã được phê duyệt trong năm 2017 áp dụng cho đơn vị sự nghiệp công lập ở cấp nào trên địa bàn tỉnh Ninh Bình?`	Nghị quyết 45/NQ-HĐND năm 2016 về quyết định biên chế công chức trong cơ quan của Hội đồng nhân dân, Ủy ban nhân dân, đơn vị sự nghiệp công lập của Ủy ban nhân dân các cấp trên địa bàn tỉnh và phê duyệt tổng số lượng người làm việc trong đơn vị sự nghiệp công lập thuộc phạm vi quản lý của tỉnh Ninh Bình năm 2017 Điều 1. Quyết định biên chế công chức trong cơ quan của Hội đồng nhân dân, Ủy ban nhân dân, đơn vị sự nghiệp công lập của Ủy ban nhân dân các cấp trên địa bàn tỉnh Ninh Bình năm 2017 là 1.726 biên chế.
`Thủ tục hành chính về lao động ngoài nước tại An Giang hiện nay đã được chuyển sang xử lý trực tuyến qua hệ thống thông tin một cửa điện tử của tỉnh chưa?`	Quyết định 452/QĐ-UBND năm 2022 phê duyệt quy trình nội bộ trong giải quyết thủ tục hành chính về lĩnh vực quản lý lao động ngoài nước thuộc phạm vi chức năng quản lý của Sở Lao động - Thương binh và Xã hội tỉnh An Giang Điều 2. Quyết định này có hiệu lực kể từ ngày ký. Bãi bỏ quy trình nội bộ thủ tục hành chính số 1, 2 phần II, phụ lục I ban hành kèm theo Quyết định số 325/QĐ-UBND ngày 18/02/2020 của UBND tỉnh về việc phê duyệt quy trình nội bộ trong giải quyết thủ tục hành chính thuộc thẩm quyền giải quyết và phạm vi quản lý của Sở Lao động - Thương binh và Xã hội tỉnh An Giang. Giao Sở Lao động - Thương binh và Xã hội phối hợp với Sở Thông tin và Truyền thông và các đơn vị có liên quan trên cơ sở quy trình được ban hành kèm theo Quyết định này cập nhật quy trình điện tử giải quyết thủ tục hành chính vào hệ thống thông tin một cửa điện tử của tỉnh.

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 32
gradient_accumulation_steps: 16
learning_rate: 2e-05
num_train_epochs: 2
lr_scheduler_type: cosine
warmup_ratio: 0.05
save_safetensors: False
fp16: True
push_to_hub: True
hub_model_id: test_finetune_law_5_matryoshkaloss
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 16
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 2
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: False
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: True
resume_from_checkpoint: None
hub_model_id: test_finetune_law_5_matryoshkaloss
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
0.0127	10	2.1784
0.0254	20	1.748
0.0381	30	0.997
0.0508	40	0.7892
0.0635	50	0.5799
0.0762	60	0.5507
0.0889	70	0.5314
0.1016	80	0.5095
0.1143	90	0.4417
0.1270	100	0.4295
0.1397	110	0.4198
0.1524	120	0.4008
0.1651	130	0.3533
0.1778	140	0.3875
0.1905	150	0.3367
0.2032	160	0.3728
0.2159	170	0.3644
0.2286	180	0.4102
0.2413	190	0.3494
0.2540	200	0.3153
0.2667	210	0.348
0.2794	220	0.3175
0.2921	230	0.3008
0.3048	240	0.3414
0.3175	250	0.2953
0.3302	260	0.2933
0.3429	270	0.3475
0.3556	280	0.2988
0.3683	290	0.3126
0.3810	300	0.3055
0.3937	310	0.2891
0.4063	320	0.2745
0.4190	330	0.3032
0.4317	340	0.2743
0.4444	350	0.2839
0.4571	360	0.2914
0.4698	370	0.2682
0.4825	380	0.279
0.4952	390	0.2553
0.5079	400	0.2743
0.5206	410	0.2907
0.5333	420	0.2564
0.5460	430	0.2839
0.5587	440	0.2721
0.5714	450	0.2628
0.5841	460	0.2521
0.5968	470	0.2652
0.6095	480	0.2476
0.6222	490	0.2637
0.6349	500	0.253
0.6476	510	0.2323
0.6603	520	0.2593
0.6730	530	0.2367
0.6857	540	0.2636
0.6984	550	0.2412
0.7111	560	0.2403
0.7238	570	0.2641
0.7365	580	0.2387
0.7492	590	0.2569
0.7619	600	0.2541
0.7746	610	0.2331
0.7873	620	0.2487
0.8	630	0.2459
0.8127	640	0.2413
0.8254	650	0.225
0.8381	660	0.2312
0.8508	670	0.2349
0.8635	680	0.2367
0.8762	690	0.2128
0.8889	700	0.2295
0.9016	710	0.2134
0.9143	720	0.2373
0.9270	730	0.2586
0.9397	740	0.231
0.9524	750	0.2325
0.9651	760	0.2309
0.9778	770	0.229
0.9905	780	0.2148

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.3.1
Transformers: 4.47.0
PyTorch: 2.5.1+cu121
Accelerate: 1.2.1
Datasets: 3.3.1
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

iambestfeed
/

halong_finetune_law

You need to agree to share your contact information to access this model