SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: bkai-foundation-models/vietnamese-bi-encoder
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("truong1301/bi_encoder_vifactcheck")
# Run inference
sentences = [
    'Cần "vá" lỗ hổng luật BHXH như thế nào để người dân đóng BHXH nhiều năm mà công ty phá sản vẫn được hưởng chế độ?\n',
    'TPO - Từ thực trạng một số người dân đóng BHXH mấy năm liền nhưng khi công ty phá sản lại không được hưởng một chế độ gì, vị chuyên gia đề nghị cần “vá” những lỗ hổng của luật để đồng cảm với những đóng góp của người lao động, đồng thời xử lý những người làm sai để đảm bảo công bằng xã hội. Ngày 28/3, Ủy ban Mặt trận Tổ quốc (MTTQ) Việt Nam TPHCM tổ chức hội nghị phản biện xã hội dự thảo Nghị quyết quy định mức hỗ trợ chi phí thuê nhà ở tạm cư cho hộ gia đình, cá nhân trong thời gian chờ bố trí nhà ở, đất ở tái định cư trên địa bàn TPHCM và Luật Bảo hiểm xã hội (sửa đổi). Nêu ý kiến xoay quanh dự thảo Luật BHXH (sửa đổi), Luật sư Nguyễn Minh Trí, Hội viên Hội Luật gia quận Bình Thạnh nhìn nhận, bản chất Luật BHXH thể hiện tính ưu việt, quan tâm chăm sóc đời sống người lao động sau một thời gian tham gia quá trình lao động và đến tuổi mất sức lao động. Ông Trí đề nghị cần căn cứ trên tổng lương của người lao động và dựa vào tình hình kinh tế – xã hội nước ta để xác định mức đóng BHXH phù hợp và cạnh tranh hơn nhằm thu hút nguồn vốn đầu tư nước ngoài, đảm bảo sự bình ổn và tăng trưởng quỹ BHXH. Mặt khác, ông Trí cũng cho rằng, cần có chế tài đối với hành vi vi phạm BHXH. Theo ông, hiện nay phổ biến hai hành vi chính. Một là, doanh nghiệp có đóng BHXH cho người lao động nhưng đóng không đủ về mặt lượng và không đóng đủ mức tiền lương người lao động thực nhận theo quy định. Hai là, doanh nghiệp không quan tâm thực hiện đóng BHXH cho người lao động theo quy định, đặc biệt là trích tiền lương của người lao động nhưng không nộp (chiếm dụng tiền BHXH). "Vá" lỗ hổng của Luật BHXH Ông Châu Văn Hai, thành viên Ban Tư vấn Dân chủ - Pháp luật Ủy ban MTTQ Việt Nam quận 11 nêu thực tế một số công dân đóng BHXH mấy năm liền nhưng khi công ty phá sản họ lại không được hưởng một chế độ gì. Ông đề nghị cần “vá” những lỗ hổng như vậy của luật trong lần sửa đổi này. “Chúng ta phải cố gắng làm sao để đồng cảm, thương lấy người dân đã đóng bảo hiểm cũng như xử lý người làm sai để đảm bảo công bằng xã hội”, ông Hai bày tỏ. Dẫn một số điều của dự thảo, Phó chủ tịch Ủy ban MTTQ Việt Nam quận Tân Bình Lê Thị Thu Trà cho rằng, việc một số nội dung quy định cụ thể số tiền bảo hiểm là điều bất hợp lý bởi một luật tồn tại 10, 20 năm và lâu hơn nữa, dẫn đến những ảnh hưởng nhất định đến quyền lợi người dân về sau. Bà Trà đề nghị, nên quy ra con số tương đối theo tỉ lệ phần trăm (%) mức lương được hưởng của từng nội dung. Đồng tình, bà Nguyễn Thị Thu Trang (Ủy ban MTTQ Việt Nam quận 3) cho rằng nên đưa ra một tỷ lệ khung làm căn cứ thực hiện để không phải điều chỉnh luật về sau và tỷ lệ này phải thích đáng, phù hợp. Ngoài ra cũng tính toán quỹ lương hưu BHXH hợp lý với trường hợp người lao động muốn về hưu có được mức lương cao hơn, nhằm khuyến khích, tạo động lực cho người lao động. Liên quan đến mức giá hỗ trợ thuê nhà ở tạm cư, bà Trang nhìn nhận, việc tham khảo mức giá chưa xuất phát từ phía người dân (đối tượng chịu sự tác động) mà tạm thời chỉ dừng ở chính quyền, do đó cần khảo sát lại, trong đó cần nói rõ với UBND các quận, huyện phải lấy ý kiến của từng đối tượng chịu sự tác động để tạo sự đồng thuận của người dân khi HĐND ban hành nghị quyết này. Tiếp thu các ý kiến phản biện, góp ý của các chuyên gia, đại biểu, Phó giám đốc Sở Lao động – Thương binh và Xã hội TPHCM Huỳnh Lê Như Trang cho biết, từ tổng hợp của Ủy ban MTTQ Việt Nam TPHCM, sở sẽ báo cáo UBND TPHCM và gửi Bộ LĐ-TB&XH để hoàn thiện Luật BHXH (sửa đổi) nhằm mục tiêu thực hiện luật BHXH cho toàn dân với mục tiêu đảm bảo an sinh xã hội một cách tốt nhất. Chủ tịch Ủy ban MTTQ Việt Nam TPHCM Trần Kim Yến cho biết, cơ quan này sẽ làm đầu mối tiếp nhận thêm các ý kiến góp ý của các chuyên gia trước khi có tham mưu trực tiếp cho lãnh đạo UBND TPHCM trình HĐND thông qua nghị quyết hỗ trợ chi phí thuê nhà ở tạm cư và Luật BHXH (sửa đổi). Thông tin tại hội nghị, Phó Chủ tịch Ủy ban MTTQ Việt Nam TPHCM cho biết, khi thu hồi đất và bàn giao mặt bằng cho chủ đầu tư để thực hiện các dự án thì thành phố đã chuẩn bị đủ quỹ nhà ở, đất ở tái định cư. Để hỗ trợ, tạo điều kiện người bị thu hồi đất được đảm bảo về chỗ ở, ổn định đời sống và sản xuất, UBND TPHCM đã ban hành Quyết định số 10/2020/QĐ ngày 10/4/2020 (điều chỉnh, bổ sung tại Quyết định số 18/2022/QĐ ngày 9/6/2022) áp dụng chính sách về hỗ trợ chi phí thuê nhà tạm cư. Trong khi đó, Luật Bảo hiểm xã hội 2014 đã đi vào cuộc sống, khẳng định tính đúng đắn của chính sách, chế độ BHXH theo nguyên tắc đóng - hưởng, đáp ứng nguyện vọng của đông đảo người lao động, bảo đảm an sinh xã hội và hội nhập quốc tế. Quá trình thực hiện Luật BHXH 2014 cho thấy cần thiết phải sửa đổi nhằm thể chế hóa quan điểm, chính sách của Đảng, bảo đảm tính thống nhất, đồng bộ của hệ thống pháp luật; khắc phục những tồn tại, hạn chế, bất cập trong thực tiễn thi hành. Theo bà Hương, dự thảo Luật BHXH (sửa đổi) đã thể chế hóa các quan điểm chỉ đạo, mục tiêu, nội dung cải cách, nhiệm vụ và giải pháp chủ yếu của Nghị quyết số 28-NQ/TW về cải cách chính sách BHXH; thể chế hóa các nhiệm vụ, giải pháp liên quan trực tiếp đến việc hoàn thiện chính sách, pháp luật về an sinh xã hội của Văn kiện Đại hội đại biểu toàn quốc lần thứ XIII của Đảng...',
    '(Chinhphu.vn) - Chiều 10/3, tại Trụ sở Chính phủ, Thủ tướng Phạm Minh Chính đã tiếp bà Samantha Power, Tổng Giám đốc Cơ quan Phát triển quốc tế Hoa Kỳ (USAID). Thủ tướng Phạm Minh Chính tiếp bà Samantha Power, Tổng Giám đốc USAID - Ảnh: VGP/Nhật Bắc Thủ tướng Phạm Minh Chính hoan nghênh chuyến thăm Việt Nam của Tổng Giám đốc Samantha Power, khẳng định Việt Nam sẵn sàng cùng Hoa Kỳ tiếp tục thúc đẩy quan hệ Đối tác toàn diện, đi vào chiều sâu, hiệu quả, thực chất trên nguyên tắc Hoa Kỳ luôn ủng hộ một Việt Nam mạnh, độc lập, thịnh vượng và tôn trọng độc lập, chủ quyền, toàn vẹn lãnh thổ, thể chế chính trị của nhau, phù hợp với lợi ích của nhân dân hai nước và đóng góp cho hòa bình, hợp tác, phát triển ở khu vực và thế giới. Thủ tướng trân trọng chuyển lời thăm hỏi của Tổng Bí thư Nguyễn Phú Trọng, Chủ tịch nước Võ Văn Thưởng, Chủ tịch Quốc hội Vương Đình Huệ và cá nhân Thủ tướng đến Tổng thống, Chủ tịch Hạ viện, Thượng viện Hoa Kỳ. Thủ tướng nhấn mạnh quan hệ kinh tế, thương mại, đầu tư là một trụ cột quan trọng trong quan hệ hai nước, hoan nghênh USAID tiếp tục tăng ngân sách hỗ trợ phát triển cho Việt Nam, đề nghị USAID tiếp tục đẩy mạnh hỗ trợ Việt Nam khắc phục hậu quả chiến tranh, đặc biệt là tẩy độc da cam/dioxin, rà phá bom mìn; đẩy mạnh hợp tác trong ứng phó với biến đổi khí hậu, y tế, giáo dục, phát triển nguồn nhân lực chất lượng cao, hỗ trợ Trường Đại học Fulbright Việt Nam trở thành trung tâm đào tạo tầm cỡ khu vực; thúc đẩy chuyển đổi xanh, chuyển đổi số. Tổng Giám đốc USAID Samantha Power cam kết sẽ tiếp tục thúc đẩy hợp tác, hỗ trợ Việt Nam, nhất là trong những lĩnh vực Thủ tướng đã cho ý kiến - Ảnh: VGP/Nhật Bắc Bà Samantha Power khẳng định đã có một chuyến thăm Việt Nam rất thành công, ấn tượng. Tổng Giám đốc USAID cảm ơn Chính phủ, các bộ, ngành, địa phương của Việt Nam đã hợp tác chặt chẽ với USAID để triển khai hiệu quả các dự án do Hoa Kỳ tài trợ, đồng thời cam kết sẽ tiếp tục thúc đẩy hợp tác, hỗ trợ Việt Nam, nhất là trong những lĩnh vực Thủ tướng đã cho ý kiến. Hai bên cũng trao đổi về hợp tác ứng phó với biến đổi khí hậu. Bà Samantha Power khẳng định đây là vấn đề ưu tiên hàng đầu của Chính quyền Tổng thống Biden và cũng là một trong những nội dung mà USAID ưu tiên thúc đẩy hợp tác với Việt Nam. Thủ tướng Phạm Minh Chính đề nghị USAID ưu tiên hỗ trợ giảm thiểu tác hại của biến đổi khí hậu tại Đồng bằng sông Cửu Long, khu vực chịu ảnh hưởng biến đổi khí hậu nặng nề nhất tại Việt Nam. Hà Văn',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.7156, -0.0846],
#         [ 0.7156,  1.0000, -0.0097],
#         [-0.0846, -0.0097,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

Size: 5,012 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 13 tokens
mean: 34.28 tokens
max: 125 tokens

min: 81 tokens
mean: 254.56 tokens
max: 256 tokens

	anchor	positive
type	string	string
details	min: 13 tokens mean: 34.28 tokens max: 125 tokens	min: 81 tokens mean: 254.56 tokens max: 256 tokens

Samples:

anchor	positive
`Phó Thủ tướng Trần Hồng Hà thay mặt Chính phủ và Thủ tướng Chính phủ đã chúc mừng những đơn vị nào vì tổ chức thành công Liên hoan Truyền hình toàn quốc sau 2 năm gián đoạn do COVID-19?`	(Chinhphu.vn) - Đây là mong muốn, gửi gắm của Phó Thủ tướng Trần Hồng Hà đến những người làm truyền hình tại lễ bế mạc Liên hoan Truyền hình toàn quốc lần thứ 41, tối 18/3, tại TP. Hải Phòng. Phó Thủ tướng Trần Hồng Hà: Các tác phẩm truyền hình đã vun đắp, làm giàu cho nền văn hóa Việt Nam tiên tiến, đậm đà bản sắc dân tộc, góp phần tạo dựng môi trường văn hóa lành mạnh và xây dựng con người Việt Nam nhân cách, trách nhiệm, hội nhập - Ảnh: VGP/Minh Khôi Tham dự lễ bế mạc còn có Bí thư Trung ương Đảng, Trưởng Ban Tuyên giáo Trung ương Nguyễn Trọng Nghĩa, lãnh đạo các bộ, ngành Trung ương, địa phương, đại diện các đài truyền hình, đơn vị sản xuất chương trình truyền hình, cùng đông đảo cán bộ, phóng viên, biên tập viên, nghệ sĩ, diễn viên hoạt động trong lĩnh vực truyền hình… Thay mặt Chính phủ, Thủ tướng Chính phủ, Phó Thủ tướng Trần Hồng Hà chúc mừng Đài Truyền hình Việt Nam, Đài truyền hình các tỉnh, thành phố trên cả nước, các đơn vị sản xuất truyền hình và TP. Hải Phòng đã tổ chức r...
`Tô Văn Hải đã làm gì liên quan đến việc đổ và chôn lấp chất thải rắn trái phép ra môi trường?`	Ngày 24/3, Cơ quan Cảnh sát điều tra Công an tỉnh Bình Dương cho biết, đơn vị vừa thực hiện lệnh bắt bị can để tạm giam đối với Tô Văn Hải (sinh năm 1970, hộ khẩu thường trú xã Phước Hòa, huyện Phú Giáo) để điều tra làm rõ tội “Gây ô nhiễm môi trường” theo điểm d khoản 3 Điều 235, Bộ luật Hình sự. Theo đó, Tô Văn Hải là người trực tiếp điều hành, quản lý Cơ sở nuôi trồng thủy sản Thăng Tiến đã có hành vi cho phép người khác đổ, thải chất thải rắn thông thường ra môi trường tại thửa đất thuộc Cơ sở nuôi trồng thủy sản Thăng Tiến (xã Phước Hòa, huyện Phú Giáo). Sau đó, Hải tiến hành chôn, lấp tổng khối lượng 642.070 kg chất thải mà không được cơ quan nhà nước có thẩm quyền cho phép. Hành vi của Tô Văn Hải phạm vào tội “Gây ô nhiễm môi trường” theo điểm d khoản 3 Điều 235 Bộ luật Hình sự: “Chôn, lấp, đổ, thải ra môi trường trái pháp luật chất thải rắn thông thường 500.000 kilogam trở lên”. Ngày 21/3/2023, Cơ quan Cảnh sát điều tra Công an tỉnh Bình Dương thực hiện lệnh bắt bị can để tạm g...
`SAWACO thông báo tạm ngưng cung cấp nước khi nào và để làm gì?`	(PLO)- Theo Tổng Công ty Cấp nước Sài Gòn (SAWACO) việc cúp nước là để thực hiện công tác bảo trì, bảo dưỡng định kỳ Nhà máy nước Tân Hiệp. SAWACO cho biết đây là phương án để đảm bảo cung cấp nước sạch an toàn, liên tục phục vụ cho người dân TP. Vì vậy, SAWACO thông báo tạm ngưng cung cấp nước để thực hiện công tác nêu trên. Thời gian thực hiện dự kiến từ 22 giờ ngày 25-3 (thứ bảy) đến 4 giờ ngày 26-3 (chủ nhật). Các khu vực tạm ngưng cung cấp nước gồm quận 6, 8, 12, Gò Vấp, Tân Bình, Tân Phú, Bình Tân và huyện Hóc Môn, Bình Chánh. SAWACO cho biết do điều kiện đặc thù của vùng cung cấp nước nên thời gian phục hồi nước trên mạng lưới cấp nước tại một số nơi xa nguồn sẽ chậm hơn so với mốc thời gian chính nêu trên. Theo đó, để hạn chế đến mức thấp nhất ảnh hưởng đến sinh hoạt của người dân, SAWACO đã có phương án tăng cường cấp nước bằng xe bồn tại các khu vực trọng yếu; điều tiết hỗ trợ từ mạng truyền tải, theo dõi chặt chẽ diễn biến trên mạng lưới cấp nước để điều phối nguồn nước theo...

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "mini_batch_size": 1024,
    "gather_across_devices": false
}

Evaluation Dataset

Unnamed Dataset

Size: 723 evaluation samples
Columns: anchor and positive
Approximate statistics based on the first 723 samples:
anchor positive
type string string
details
min: 13 tokens
mean: 34.05 tokens
max: 87 tokens

min: 81 tokens
mean: 254.28 tokens
max: 256 tokens

	anchor	positive
type	string	string
details	min: 13 tokens mean: 34.05 tokens max: 87 tokens	min: 81 tokens mean: 254.28 tokens max: 256 tokens

Samples:

anchor	positive
`Vua hề Charlie Chaplin và vua Na Uy Harald V có từng ở khách sạn Saigon Morin không, vào thời gian nào và với mục đích gì?`	Saigon Morin, khách sạn 4 sao hàng đầu tại Huế, kỷ niệm 122 năm ra đời tối 26.3, là một trong những khách sạn lâu đời nhất Việt Nam với "bảng vàng" danh sách các yếu nhân và nguyên thủ quốc gia từng lưu trú. Khách sạn có 4 mặt tiền thuộc các giao lộ Lê Lợi - Hùng Vương, Hoàng Hoa Thám - Trương Định (TP.Huế, Thừa Thiên-Huế) bên cạnh cầu Trường Tiền với "view" sông Hương thơ mộng, Phó chủ tịch thường trực UBND tỉnh Thừa Thiên-Huế, ông Nguyễn Thanh Bình (phải), trao cờ đơn vị dẫn đầu thi đua có nhiều đóng góp cho du lịch của tỉnh cho ông Trần Văn Lâm, Tổng giám đốc Saigon Morin, tại lễ kỷ niệm 122 năm HƯƠNG GIANG Khách sạn ra đời vào năm 1901 khi ông Henri Bogaert, chủ nhà máy gạch ngói Long Thọ, cho khởi công xây dựng và lấy tên là "Grand Hotel de Hue". Ngoài việc phục vụ du khách, Saigon Morin còn đảm nhiệm vai trò "nhà khách" của Chính phủ Nam triều và Chính phủ bảo hộ, cơ quan Trung kỳ. Khách sạn nhanh chóng trở thành trung tâm thương mại, văn hóa và du lịch của kinh đô Huế thời nhà N...
`Mặc dù nhiều chi bộ chỉ mua báo đảng mà không đọc và áp dụng nội dung, liệu công tác mua và đọc báo Đảng vẫn đạt hiệu quả cao?`	(Chinhphu.vn) - Bí thư Trung ương Đảng, Trưởng Ban Tuyên giáo Trung ương Nguyễn Trọng Nghĩa khẳng định, trong thời đại bùng nổ thông tin như hiện nay thì vai trò của báo giấy, của các tờ báo, tạp chí của Đảng vẫn giữ nguyên giá trị, thậm chí có giá trị cao hơn và phải phát huy giá trị ấy. Trưởng Ban Tuyên giáo Trung ương Nguyễn Trọng Nghĩa phát biểu chỉ đạo Hội nghị - Ảnh: VGP/Vũ Phong Sáng 10/4, tại TPHCM, Báo Nhân dân, Tạp chí Cộng sản phối hợp với Thành ủy TPHCM và Tổng công ty Bưu điện Việt Nam tổ chức Hội nghị tiếp tục thực hiện Chỉ thị số 11 của Bộ Chính trị về tích cực đổi mới, nâng cao năng lực định hướng, hiệu quả tuyên truyền gắn với việc mua, đọc, làm theo báo, tạp chí của Đảng. Trưởng Ban Tuyên giáo Trung ương Nguyễn Trọng Nghĩa; Tổng Biên tập Báo Nhân dân Lê Quốc Minh; Phó Bí thư Thành ủy TPHCM Nguyễn Văn Hiếu; Phó Tổng Biên tập Tạp chí Cộng sản Nguyễn Ngọc Hà chủ trì Hội nghị. Cùng dự Hội nghị còn có các đại biểu đến từ các ban, bộ, ngành Trung ương; các đồng chí thường t...
`Công ty TNHH Mua bán nợ DSP có mua các khoản nợ mà khách hàng đã vay không?`	(NLĐO)- Sau khi mua khoản nợ từ Công ty Mirae Asset, các đối tượng Công ty TNHH Mua bán nợ DSP đã nhắn tin, gọi điện chửi bới, đe dọa hoặc cắt ghép ảnh của khách vay, người thân, đồng nghiệp của khách vay vào các hình ảnh đồi trụy rồi đăng lên các trang mạng xã hội để bôi nhọ Ngày 25-3, nguồn tin cho biết Cơ quan Cảnh sát điều tra Công an TP Hà Nội đang điều tra vụ án hình sự Cưỡng đoạt tài sản xảy ra trên địa bàn TP Hà Nội và một số tỉnh, TP trên cả nước. Công an TP HCM khám xét Công ty Mirae Asset Cảnh sát xác định Công ty TNHH Mua bán nợ DSP, địa chỉ: Tầng 4, Chung cư Lữ Gia, số 70 Lữ Gia, phường 15, quận 11, TP HCM, mua các khoản nợ mà khách hàng đã vay của Công ty Tài chính TNHH MTV Mirae Asset Việt Nam (Mã số doanh nghiệp: 0311132506; địa chỉ 91 Pasteur, phường Bến Nghé, quận 1, TP HCM) và một số tổ chức tín dụng khác nhưng không có khả năng trả. Sau khi có các thông tin khách hàng và các thông tin khoản nợ từ Công ty Mirae Asset, các đối tượng sử dụng nhiều số điện thoại khác nh...

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "mini_batch_size": 1024,
    "gather_across_devices": false
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
learning_rate: 2e-05
weight_decay: 0.01
num_train_epochs: 5
warmup_ratio: 0.1
warmup_steps: 50
fp16: True
load_best_model_at_end: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.01
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 50
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
tp_size: 0
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss
0.6369	100	0.3176	-
1.2739	200	0.2131	-
1.9108	300	0.1594	0.1393
2.5478	400	0.1163	-
3.1847	500	0.0845	-
3.8217	600	0.0559	0.1256
4.4586	700	0.0407	-

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.11.11
Sentence Transformers: 5.1.0
Transformers: 4.51.1
PyTorch: 2.5.1+cu124
Accelerate: 1.3.0
Datasets: 3.5.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

Downloads last month: 19

Safetensors

Model size

135M params

Tensor type

F32

Model tree for truong1301/bi_encoder_vifactcheck

Base model

bkai-foundation-models/vietnamese-bi-encoder

Finetuned

(39)

this model