phobert-base-v2-IR / README.md

datht

Add new SentenceTransformer model

f05b2a2 verified 5 months ago

preview code

raw

history blame contribute delete

58.5 kB

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:5143
  - loss:CachedMultipleNegativesRankingLoss
base_model: vinai/phobert-base-v2
widget:
  - source_sentence: Ngừng, giảm mức cung cấp điện không khẩn cấp trong những trường hợp nào?
    sentences:
      - >-
        ['Bên bán điện ngừng, giảm mức cung cấp điện không khẩn cấp trong các
        trường hợp sau:\n1. Ngừng, giảm mức cung cấp điện theo kế hoạch của bên
        bán điện khi có nhu cầu sửa chữa, bảo dưỡng, đại tu, xây lắp các công
        trình điện, điều hoà, hạn chế phụ tải do thiếu nguồn điện và các nhu cầu
        khác theo kế hoạch.\n2. Ngừng cấp điện theo yêu cầu của tổ chức, cá nhân
        có liên quan trong trường hợp để đảm bảo an toàn phục vụ thi công các
        công trình.\n3. Ngừng, giảm mức cung cấp điện theo yêu cầu của bên mua
        điện.']
      - >-
        Bên bán điện ngừng, giảm mức cung cấp điện không khẩn cấp trong các
        trường hợp sau:<unk> 1. Ngừng, giảm mức cung cấp điện theo kế hoạch của
        bên bán điện khi có nhu cầu sửa chữa, bảo dưỡng, đại tu, xây lắp các
        công trình điện, điều hoà, hạn chế phụ tải do thiếu nguồn điện và các
        nhu cầu khác theo kế hoạch.<unk> 2. Ngừng cấp điện theo yêu cầu của tổ
        chức, cá nhân có liên quan trong trường hợp để đảm bảo an toàn phục vụ
        thi công các công trình.<unk> 3. Ngừng, giảm mức cung
      - '[''22/2020/tt-bct_5'']'
  - source_sentence: >-
      Không được công chứng chữ ký thì di chúc miệng được lập ra có hợp pháp
      không?
    sentences:
      - >-
        Giải pháp đăng ký sáng kiến được coi là chưa bị bộc lộ công khai trong
        phạm vi cơ sở (theo quy định tại điểm b khoản 1 Điều 4 của Điều lệ Sáng
        kiến) nếu giải pháp đó chưa được biết đến và chưa có giải pháp nào của
        người khác trùng với giải pháp đó được mô tả trong các văn bản, sách
        báo, tài liệu kỹ thuật dưới bất kỳ hình thức nào có thể tiếp cận công
        khai trong cơ sở đó, đến mức căn cứ vào đó có thể thực hiện ngay được.
      - >-
        ['1. Di chúc hợp pháp phải có đủ các điều kiện sau đây:\na) Người lập di
        chúc minh mẫn, sáng suốt trong khi lập di chúc; không bị lừa dối, đe
        doạ, cưỡng ép;\nb) Nội dung của di chúc không vi phạm điều cấm của luật,
        không trái đạo đức xã hội; hình thức di chúc không trái quy định của
        luật.\n2. Di chúc của người từ đủ mười lăm tuổi đến chưa đủ mười tám
        tuổi phải được lập thành văn bản và phải được cha, mẹ hoặc người giám hộ
        đồng ý về việc lập di chúc.\n3. Di chúc của người bị hạn chế về thể chất
        hoặc của người không biết chữ phải được người làm chứng lập thành văn
        bản và có công chứng hoặc chứng thực.\n4. Di chúc bằng văn bản không có
        công chứng, chứng thực chỉ được coi là hợp pháp, nếu có đủ các điều kiện
        được quy định tại khoản 1 Điều này.\n5. Di chúc miệng được coi là hợp
        pháp nếu người di chúc miệng thể hiện ý chí cuối cùng của mình trước mặt
        ít nhất hai người làm chứng và ngay sau khi người di chúc miệng thể hiện
        ý chí cuối cùng, người làm chứng ghi chép lại, cùng ký tên hoặc điểm
        chỉ. Trong thời hạn 05 ngày làm việc, kể từ ngày người di chúc miệng thể
        hiện ý chí cuối cùng thì di chúc phải được công chứng viên hoặc cơ quan
        có thẩm quyền chứng thực xác nhận chữ ký hoặc điểm chỉ của người làm
        chứng.']
      - '[''91/2015/qh13_630'']'
  - source_sentence: >-
      Tiêu chí xây dựng, thực hiện đề án thuộc Chương trình cấp quốc gia về xúc
      tiến thương mại được quy định như thế nào?
    sentences:
      - >-
        1. Nhiệm vụ:<unk> a) Tham mưu đề xuất với cơ quan quản lý nhà nước trong
        việc nghiên cứu, xây dựng và thực hiện các quy định của pháp luật về
        quản lý thực hiện dự án đầu tư xây dựng công trình;<unk> b) Tổ chức biên
        soạn, hệ thống hóa tiêu chuẩn, quy chuẩn, định mức kinh tế - kỹ thuật
        xây dựng công trình;<unk> c) Tham gia nghiên cứu đề xuất các phương án
        đầu tư khoa học công nghệ, vật liệu xây dựng mới và chế độ quản lý kỹ
        thuật trong xây dựng công trình phù hợp với
      - '[''11/2019/tt-bct_3'', ''28/2018/nđ-cp_8'']'
      - >-
        ['1. Đề án phải phù hợp với các quy định tại Điều 8 Nghị định
        28/2018/NĐ-CP ngày 01 tháng 3 năm 2018 của Chính phủ.\n2. Đề án là hoạt
        động xúc tiến thương mại cho ngành hàng, sản phẩm có tiềm năng xuất khẩu
        của quốc gia, vùng kinh tế hoặc từ 02 tỉnh/thành phố trực thuộc trung
        ương trở lên; hoặc sản phẩm đã được bảo hộ chỉ dẫn địa lý, nhãn hiệu tập
        thể, nhãn hiệu chứng nhận.', '1. Chương trình cấp quốc gia về xúc tiến
        thương mại (Chương trình) bao gồm các hoạt động xúc tiến thương mại được
        thực hiện theo các tiêu chí\na) Xúc tiến thương mại cho sản phẩm, ngành
        hàng có tiềm năng xuất khẩu của vùng kinh tế, của quốc gia, phát triển
        thị trường xuất khẩu;\nb) Nâng cao hiệu quả nhập khẩu, phục vụ phát
        triển sản xuất trong nước và xuất khẩu;\nc) Phù hợp với chiến lược phát
        triển kinh tế - xã hội, chiến lược ngoại thương theo từng thời kỳ;\nd)
        Chương trình được Thủ tướng Chính phủ ban hành, có cơ chế phối hợp của
        bộ, ngành; Bộ Công Thương là cơ quan chủ trì, đầu mối;\nđ) Xúc tiến
        thương mại xuất khẩu, nhập khẩu liên kết giữa các bộ, ngành; liên kết
        giữa các ngành hàng hoặc giữa các địa phương;\ne) Triển khai thông qua
        các đề án thực hiện Chương trình cấp quốc gia về xúc tiến thương mại do
        cơ quan có thẩm quyền quy định tại Điều 10 Nghị định này quyết định và
        được ngân sách nhà nước hỗ trợ;\ng) Đơn vị chủ trì đề án phải là các tổ
        chức có uy tín, mang tính đại diện và phải có năng lực tổ chức.\n2. Mục
        tiêu của Chương trình\na) Góp Phần nâng cao năng lực sản xuất, kinh
        doanh của cộng đồng doanh nghiệp;\nb) Hỗ trợ phát triển hạ tầng thương
        mại, logistics phục vụ hoạt động ngoại thương;\nc) Ứng phó kịp thời,
        hiệu quả với những phản ứng, biến đổi của thị trường xuất khẩu, nhập
        khẩu.\n3. Các đơn vị chủ trì đề án của Chương trình gồm (đơn vị chủ
        trì):\na) Tổ chức xúc tiến thương mại thuộc các bộ, cơ quan ngang
        bộ;\nb) Tổ chức xúc tiến thương mại khác: Hiệp hội ngành hàng, hiệp hội
        doanh nghiệp có phạm vi hoạt động cả nước; liên minh hợp tác xã Việt
        Nam; hội nông dân Việt Nam; tổ chức xúc tiến thương mại của chính quyền
        địa phương; tổ chức xúc tiến thương mại do Thủ tướng Chính phủ quyết
        định thành lập.\n4. Đơn vị tham gia và hưởng lợi từ Chương trình là các
        doanh nghiệp thuộc mọi thành Phần kinh tế, các hợp tác xã, các tổ chức
        xúc tiến thương mại Việt Nam được thành lập theo quy định của pháp luật
        hiện hành. Đơn vị tham gia và hưởng lợi được hỗ trợ từ Chương trình,
        thực hiện theo các quy định của Nghị định này và có trách nhiệm trong
        việc thực hiện hiệu quả các đề án xúc tiến thương mại mà đơn vị tham
        gia.\n5. Các đề án thực hiện Chương trình phải đáp ứng các yêu cầu
        sau:\na) Phù hợp với nhu cầu thực tiễn của cộng đồng doanh nghiệp;\nb)
        Phù hợp với định hướng chiến lược xuất nhập khẩu và chiến lược phát
        triển ngành hàng được cấp có thẩm quyền phê duyệt;\nc) Phù hợp với chiến
        lược, quy hoạch phát triển các vùng kinh tế, địa phương;\nd) Phù hợp với
        quy định tại Điều 9, Điều 15 Nghị định này;\nđ) Đảm bảo tính khả thi về:
        Phương thức triển khai; thời gian, tiến độ triển khai; nguồn nhân lực,
        tài chính;\ne) Đối với các đề án mà quá trình thực hiện kéo dài trên 01
        năm, đơn vị chủ trì phải xây dựng nội dung và kinh phí, thực hiện quyết
        toán theo từng năm.']
  - source_sentence: >-
      Điều kiện phát hành hồ sơ mời thầu dự án đầu tư có sử dụng đất được quy
      định như thế nào?
    sentences:
      - >-
        1. Căn cứ lập hồ sơ mời thầu:<unk> a) Danh mục dự án đầu tư có sử đụng
        đất cần lựa chọn nhà đầu tư được công bố theo quy định;<unk> b) Kế hoạch
        lựa chọn nhà đầu tư được duyệt;<unk> c) Quy định hiện hành của pháp luật
        về đất đai, nhà ở, kinh doanh bất động sản, đầu tư, xây dựng và quy định
        của pháp luật có liên quan.<unk> 2. Nội dung hồ sơ mời thầu:<unk> Hồ sơ
        mời thầu không được nêu bất cứ điều kiện nào nhằm hạn chế sự tham gia
        của nhà đầu tư
      - >-
        ['Hồ sơ mời thầu chỉ được phát hành để lựa chọn nhà đầu tư dự án đầu tư
        có sử dụng đất khi có đủ các điều kiện sau đây:\n1. Đáp ứng các điều
        kiện quy định tại khoản 2 Điều 7 của Luật Đấu thầu;\n2. Có quy hoạch xây
        dựng có tỷ lệ 1/2.000 hoặc tỷ lệ 1/500 (nếu có) hoặc quy hoạch phân khu
        đô thị có tỷ lệ 1/2.000 hoặc tỷ lệ 1/5.000 được cấp có thẩm quyền phê
        duyệt theo quy định của pháp luật.']
      - '[''25/2020/nđ-cp_50'']'
  - source_sentence: >-
      Tiêu chuẩn về trình độ đào tạo của giáo viên THPT hạng II được quy định
      như thế nào?
    sentences:
      - >-
        Kinh phí đào tạo người học theo chế độ cử tuyển được cân đối trong dự
        toán chi ngân sách nhà nước của lĩnh vực giáo dục, đào tạo và giáo dục
        nghề nghiệp hằng năm theo phân cấp quản lý ngân sách nhà nước. Trong đó,
        Học bổng chính sách của người học theo chế độ cử tuyển được thực hiện
        theo quy định tại Nghị định số 84/2020/NĐ-CP ngày 17 tháng 7 năm 2020
        của Chính phủ Quy định chi tiết một số điều của Luật Giáo dục.<unk>
        Trường hợp người học cử tuyển học các ngành đào tạo giáo viên thì chính
        sách hỗ trợ tiền chi phí sinh hoạt được thực hiện
      - >-
        ['1. Nhiệm vụ\nNgoài những nhiệm vụ của giáo viên trung học phổ thông
        hạng III, giáo viên trung học phổ thông hạng II còn phải thực hiện các
        nhiệm vụ sau:\na) Làm báo cáo viên hoặc dạy minh họa ở các lớp bồi dưỡng
        giáo viên từ cấp trường trở lên hoặc dạy thử nghiệm các mô hình, phương
        pháp, công nghệ mới; chủ trì các nội dung bồi dưỡng và sinh hoạt chuyên
        đề ở tổ chuyên môn hoặc tham gia xây dựng học liệu điện tử;\nb) Tham gia
        hướng dẫn hoặc đánh giá các sản phẩm nghiên cứu khoa học và công nghệ từ
        cấp trường trở lên;\nc) Tham gia đánh giá ngoài hoặc công tác kiểm tra
        chuyên môn, nghiệp vụ cho giáo viên từ cấp trường trở lên;\nd) Tham gia
        ban giám khảo hội thi giáo viên dạy giỏi hoặc giáo viên chủ nhiệm lớp
        giỏi cấp trường trở lên;\nđ) Tham gia ra đề hoặc chấm thi học sinh giỏi
        trung học phổ thông từ cấp trường trở lên;\ne) Tham gia hướng dẫn hoặc
        đánh giá các hội thi hoặc các sản phẩm nghiên cứu khoa học kỹ thuật của
        học sinh trung học phổ thông từ cấp trường trở lên;\ng)\xa0Tham gia các
        hoạt động xã hội, phục vụ cộng đồng; thu hút sự tham gia của các tổ
        chức, cá nhân trong việc tổ chức các hoạt động dạy học, giáo dục học
        sinh.\n2. Tiêu chuẩn về đạo đức nghề nghiệp\nNgoài các tiêu chuẩn về đạo
        đức nghề nghiệp của giáo viên trung học phổ thông hạng III, giáo viên
        trung học phổ thông hạng II phải luôn luôn gương mẫu thực hiện các quy
        định về đạo đức nhà giáo.\n3. Tiêu chuẩn về trình độ đào tạo, bồi
        dưỡng\na) Có bằng cử nhân trở lên thuộc ngành đào tạo giáo viên đối với
        giáo viên trung học phổ thông.\nTrường hợp môn học chưa đủ giáo viên có
        bằng cử nhân thuộc ngành đào tạo giáo viên thì phải có bằng cử nhân
        chuyên ngành phù hợp và có chứng chỉ bồi dưỡng nghiệp vụ sư phạm dành
        cho giáo viên trung học phổ thông theo chương trình do Bộ trưởng Bộ Giáo
        dục và Đào tạo ban hành;\nb) Có chứng chỉ bồi dưỡng theo tiêu chuẩn chức
        danh nghề nghiệp giáo viên trung học phổ thông hạng II.\n4.\xa0Tiêu
        chuẩn về năng lực chuyên môn, nghiệp vụ\na) Nắm vững chủ trương, đường
        lối, chính sách, pháp luật của Đảng, Nhà nước, quy định và yêu cầu của
        ngành, địa phương về giáo dục trung học phổ thông và triển khai thực
        hiện có kết quả vào nhiệm vụ được giao;\nb) Có khả năng điều chỉnh kế
        hoạch dạy học và giáo dục phù hợp với điều kiện thực tế của nhà trường
        và địa phương; cập nhật, vận dụng linh hoạt và hiệu quả các phương pháp
        dạy học, giáo dục đáp ứng yêu cầu đổi mới, phù hợp với điều kiện thực
        tế;\nc) Có khả năng nghiên cứu, cập nhật kịp thời yêu cầu đối mới về
        kiến thức chuyên môn; vận dụng sáng tạo, phù hợp các hình thức, phương
        pháp và lựa chọn nội dung học tập, bồi dưỡng, nâng cao năng lực chuyên
        môn của bản thân;\nd) Có khả năng đánh giá hoặc hướng dẫn đồng nghiệp
        nghiên cứu khoa học sư phạm ứng dụng; đánh giá sản phẩm nghiên cứu khoa
        học kỹ thuật của học sinh trung học phổ thông từ cấp trường trở lên;\nđ)
        Có khả năng vận dụng sáng tạo các hình thức, phương pháp kiểm tra đánh
        giá kết quả học tập và sự tiến bộ của học sinh theo hướng phát triển
        phẩm chất, năng lực học sinh;\ne) Có khả năng vận dụng có hiệu quả các
        biện pháp tư vấn tâm lí, hướng nghiệp và công tác xã hội trường học phù
        hợp với từng đối tượng học sinh trong hoạt động dạy học và giáo dục;\ng)
        Có khả năng ứng dụng công nghệ thông tin trong thực hiện các nhiệm vụ
        của giáo viên trung học phổ thông hạng II và có khả năng sử dụng ngoại
        ngữ hoặc tiếng dân tộc thiểu số trong một số nhiệm vụ cụ thể được
        giao;\nh) Được công nhận là chiến sĩ thi đua cơ sở hoặc giáo viên dạy
        giỏi, giáo viên chủ nhiệm lớp giỏi cấp trường trở lên;\ni) Viên chức dự
        thi hoặc xét thăng hạng chức danh nghề nghiệp giáo viên trung học phổ
        thông hạng II (mã số V.07.05.14) phải có thời gian giữ chức danh nghề
        nghiệp giáo viên trung học phổ thông hạng III (mã số V.07.05.15) hoặc
        tương đương từ đủ 09 (chín) năm trở lên (không kể thời gian tập sự),
        tính đến thời hạn nộp hồ sơ đăng ký dự thi hoặc xét thăng hạng.']
      - '[''04/2021/tt-bgdđt_4'']'
datasets:
  - datht/Legal_Retrieval_2
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - mrr
  - ndcg
model-index:
  - name: SentenceTransformer based on vinai/phobert-base-v2
    results:
      - task:
          type: ranking
          name: Ranking
        dataset:
          name: Unknown
          type: unknown
        metrics:
          - type: mrr
            value: 0.5355654807761312
            name: Mrr
          - type: ndcg
            value: 0.5806788302958011
            name: Ndcg

SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2 on the legal_retrieval_2 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: vinai/phobert-base-v2
Maximum Sequence Length: 128 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- legal_retrieval_2

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("datht/phobert-base-v2-IR")
# Run inference
sentences = [
    'Tiêu chuẩn về trình độ đào tạo của giáo viên THPT hạng II được quy định như thế nào?',
    "['1. Nhiệm vụ\\nNgoài những nhiệm vụ của giáo viên trung học phổ thông hạng III, giáo viên trung học phổ thông hạng II còn phải thực hiện các nhiệm vụ sau:\\na) Làm báo cáo viên hoặc dạy minh họa ở các lớp bồi dưỡng giáo viên từ cấp trường trở lên hoặc dạy thử nghiệm các mô hình, phương pháp, công nghệ mới; chủ trì các nội dung bồi dưỡng và sinh hoạt chuyên đề ở tổ chuyên môn hoặc tham gia xây dựng học liệu điện tử;\\nb) Tham gia hướng dẫn hoặc đánh giá các sản phẩm nghiên cứu khoa học và công nghệ từ cấp trường trở lên;\\nc) Tham gia đánh giá ngoài hoặc công tác kiểm tra chuyên môn, nghiệp vụ cho giáo viên từ cấp trường trở lên;\\nd) Tham gia ban giám khảo hội thi giáo viên dạy giỏi hoặc giáo viên chủ nhiệm lớp giỏi cấp trường trở lên;\\nđ) Tham gia ra đề hoặc chấm thi học sinh giỏi trung học phổ thông từ cấp trường trở lên;\\ne) Tham gia hướng dẫn hoặc đánh giá các hội thi hoặc các sản phẩm nghiên cứu khoa học kỹ thuật của học sinh trung học phổ thông từ cấp trường trở lên;\\ng)\\xa0Tham gia các hoạt động xã hội, phục vụ cộng đồng; thu hút sự tham gia của các tổ chức, cá nhân trong việc tổ chức các hoạt động dạy học, giáo dục học sinh.\\n2. Tiêu chuẩn về đạo đức nghề nghiệp\\nNgoài các tiêu chuẩn về đạo đức nghề nghiệp của giáo viên trung học phổ thông hạng III, giáo viên trung học phổ thông hạng II phải luôn luôn gương mẫu thực hiện các quy định về đạo đức nhà giáo.\\n3. Tiêu chuẩn về trình độ đào tạo, bồi dưỡng\\na) Có bằng cử nhân trở lên thuộc ngành đào tạo giáo viên đối với giáo viên trung học phổ thông.\\nTrường hợp môn học chưa đủ giáo viên có bằng cử nhân thuộc ngành đào tạo giáo viên thì phải có bằng cử nhân chuyên ngành phù hợp và có chứng chỉ bồi dưỡng nghiệp vụ sư phạm dành cho giáo viên trung học phổ thông theo chương trình do Bộ trưởng Bộ Giáo dục và Đào tạo ban hành;\\nb) Có chứng chỉ bồi dưỡng theo tiêu chuẩn chức danh nghề nghiệp giáo viên trung học phổ thông hạng II.\\n4.\\xa0Tiêu chuẩn về năng lực chuyên môn, nghiệp vụ\\na) Nắm vững chủ trương, đường lối, chính sách, pháp luật của Đảng, Nhà nước, quy định và yêu cầu của ngành, địa phương về giáo dục trung học phổ thông và triển khai thực hiện có kết quả vào nhiệm vụ được giao;\\nb) Có khả năng điều chỉnh kế hoạch dạy học và giáo dục phù hợp với điều kiện thực tế của nhà trường và địa phương; cập nhật, vận dụng linh hoạt và hiệu quả các phương pháp dạy học, giáo dục đáp ứng yêu cầu đổi mới, phù hợp với điều kiện thực tế;\\nc) Có khả năng nghiên cứu, cập nhật kịp thời yêu cầu đối mới về kiến thức chuyên môn; vận dụng sáng tạo, phù hợp các hình thức, phương pháp và lựa chọn nội dung học tập, bồi dưỡng, nâng cao năng lực chuyên môn của bản thân;\\nd) Có khả năng đánh giá hoặc hướng dẫn đồng nghiệp nghiên cứu khoa học sư phạm ứng dụng; đánh giá sản phẩm nghiên cứu khoa học kỹ thuật của học sinh trung học phổ thông từ cấp trường trở lên;\\nđ) Có khả năng vận dụng sáng tạo các hình thức, phương pháp kiểm tra đánh giá kết quả học tập và sự tiến bộ của học sinh theo hướng phát triển phẩm chất, năng lực học sinh;\\ne) Có khả năng vận dụng có hiệu quả các biện pháp tư vấn tâm lí, hướng nghiệp và công tác xã hội trường học phù hợp với từng đối tượng học sinh trong hoạt động dạy học và giáo dục;\\ng) Có khả năng ứng dụng công nghệ thông tin trong thực hiện các nhiệm vụ của giáo viên trung học phổ thông hạng II và có khả năng sử dụng ngoại ngữ hoặc tiếng dân tộc thiểu số trong một số nhiệm vụ cụ thể được giao;\\nh) Được công nhận là chiến sĩ thi đua cơ sở hoặc giáo viên dạy giỏi, giáo viên chủ nhiệm lớp giỏi cấp trường trở lên;\\ni) Viên chức dự thi hoặc xét thăng hạng chức danh nghề nghiệp giáo viên trung học phổ thông hạng II (mã số V.07.05.14) phải có thời gian giữ chức danh nghề nghiệp giáo viên trung học phổ thông hạng III (mã số V.07.05.15) hoặc tương đương từ đủ 09 (chín) năm trở lên (không kể thời gian tập sự), tính đến thời hạn nộp hồ sơ đăng ký dự thi hoặc xét thăng hạng.']",
    'Kinh phí đào tạo người học theo chế độ cử tuyển được cân đối trong dự toán chi ngân sách nhà nước của lĩnh vực giáo dục, đào tạo và giáo dục nghề nghiệp hằng năm theo phân cấp quản lý ngân sách nhà nước. Trong đó, Học bổng chính sách của người học theo chế độ cử tuyển được thực hiện theo quy định tại Nghị định số 84/2020/NĐ-CP ngày 17 tháng 7 năm 2020 của Chính phủ Quy định chi tiết một số điều của Luật Giáo dục.<unk> Trường hợp người học cử tuyển học các ngành đào tạo giáo viên thì chính sách hỗ trợ tiền chi phí sinh hoạt được thực hiện',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Ranking

Evaluated with evaluator.RankingEvaluator

Metric	Value
mrr	0.5356
ndcg	0.5807

Training Details

Training Dataset

legal_retrieval_2

Dataset: legal_retrieval_2 at 0520159
Size: 5,143 training samples
Columns: anchor, positive, negative, and positive_id

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative	positive_id
type	string	string	string	string
details	min: 8 tokens mean: 23.8 tokens max: 44 tokens	min: 26 tokens mean: 121.23 tokens max: 128 tokens	min: 25 tokens mean: 115.91 tokens max: 128 tokens	min: 9 tokens mean: 11.12 tokens max: 28 tokens

Samples:

anchor	positive	negative	positive_id
`Công bố bản án, quyết định tòa án đối với doanh nghiệp nhỏ và vừa trên cổng thông tin điện tử được quy định như thế nào?`	1. Việc công bố bản án, quyết định có hiệu lực pháp luật của tòa án trên cổng thông tin điện tử của tòa án được thực hiện theo Nghị quyết số 03/2017/NQ-HĐTP ngày 16 tháng 3 năm 2017 của Hội đồng Thẩm phán Tòa án nhân dân tối cao về việc công bố bản án, quyết định trên cổng thông tin điện tử của Tòa án hoặc văn bản quy phạm pháp luật sửa đổi, bổ sung hoặc thay thế Nghị quyết này. 2. Việc công bố phán quyết, quyết định của trọng tài thương mại được thực hiện theo pháp luật trọng tài thương mại, thỏa thuận của các bên có liên quan đến phán quyết, quyết định đó. 3. Việc công bố quyết định xử lý vụ việc cạnh tranh được thực hiện theo quy định của Luật Cạnh tranh và văn bản quy phạm pháp luật quy định chi tiết Luật này. 4. Việc công bố quyết định xử lý vi phạm hành chính được thực hiện theo quy định của Luật Xử lý vi phạm hành chính và các văn bản quy phạm pháp luật quy định chi tiết Luật này. 5. Bộ, cơ quan ngang bộ, Ủy ban nhân dân cấp tỉnh có trách nhiệm cập nhật và đăng tải các bản án, q...	1. Thành phần hồ sơ quy định tại Điều 8 Thông tư này. 2. Ngoài thành phần hồ sơ quy định tại khoản 1 Điều này, nhà đầu tư nước ngoài bổ sung các thành phần hồ sơ sau: a) Văn bản cam kết về việc gắn bó lợi ích lâu dài với tổ chức tín dụng yếu kém, hỗ trợ tổ chức tín dụng yếu kém trong việc áp dụng công nghệ hiện đại; phát triển sản phẩm, dịch vụ ngân hàng; nâng cao năng lực quản trị, điều hành; b) Phương án mua cổ phần và cơ cấu lại tổ chức tín dụng yếu kém tối	`55/2019/nđ-cp_7`
`Công bố bản án, quyết định tòa án đối với doanh nghiệp nhỏ và vừa trên cổng thông tin điện tử được quy định như thế nào?`	1. Việc công bố bản án, quyết định có hiệu lực pháp luật của tòa án trên cổng thông tin điện tử của tòa án được thực hiện theo Nghị quyết số 03/2017/NQ-HĐTP ngày 16 tháng 3 năm 2017 của Hội đồng Thẩm phán Tòa án nhân dân tối cao về việc công bố bản án, quyết định trên cổng thông tin điện tử của Tòa án hoặc văn bản quy phạm pháp luật sửa đổi, bổ sung hoặc thay thế Nghị quyết này. 2. Việc công bố phán quyết, quyết định của trọng tài thương mại được thực hiện theo pháp luật trọng tài thương mại, thỏa thuận của các bên có liên quan đến phán quyết, quyết định đó. 3. Việc công bố quyết định xử lý vụ việc cạnh tranh được thực hiện theo quy định của Luật Cạnh tranh và văn bản quy phạm pháp luật quy định chi tiết Luật này. 4. Việc công bố quyết định xử lý vi phạm hành chính được thực hiện theo quy định của Luật Xử lý vi phạm hành chính và các văn bản quy phạm pháp luật quy định chi tiết Luật này. 5. Bộ, cơ quan ngang bộ, Ủy ban nhân dân cấp tỉnh có trách nhiệm cập nhật và đăng tải các bản án, q...	Quy trình tái cơ cấu doanh nghiệp 100% vốn nhà nước để chuyển thành công ty cổ phần quy định cụ thể tại Phụ lục kèm theo Thông tư này, bao gồm các bước cơ bản sau: 1. Triển khai kế hoạch chuyển doanh nghiệp 100% vốn nhà nước thành công ty cổ phần a) Thành lập Ban chỉ đạo cổ phần hóa/tái cơ cấu và Tổ giúp việc. b) Chuẩn bị các hồ sơ, tài liệu. c) Tổ chức kiểm kê, xử lý những vấn đề về tài chính và tổ chức xác định giá trị doanh nghiệp theo quy định tại Nghị định số 59/2011/NĐ-CP	`55/2019/nđ-cp_7`
`Mức phạt nếu ngồi trên tay lái mô tô, xe gắn máy ?`	1. Phạt tiền từ 80.000 đồng đến 100.000 đồng đối với người được chở trên xe đạp, xe đạp máy sử dụng ô (dù). 2. Phạt tiền từ 100.000 đồng đến 200.000 đồng đối với cá nhân thực hiện một trong các hành vi vi phạm sau đây: a) Tập trung đông người trái phép, nằm, ngồi trên đường bộ gây cản trở giao thông; b) Đá bóng, đá cầu, chơi cầu lông hoặc các hoạt động thể thao khác trái phép trên đường bộ; sử dụng bàn trượt, pa-tanh, các thiết bị tương tự trên phần đường xe chạy; c) Người được chở trên xe mô tô, xe gắn máy (kể cả xe máy điện), các loại xe tương tự xe mô tô và các loại xe tương tự xe gắn máy sử dụng ô (dù); d) Người được chở trên xe đạp, xe đạp máy bám, kéo, đẩy xe khác, vật khác, mang vác vật cồng kềnh. 3. Phạt tiền từ 200.000 đồng đến 300.000 đồng đối với người được chở trên xe mô tô, xe gắn máy (kể cả xe máy điện), các loại xe tương tự xe mô tô, các loại xe tương tự xe gắn máy, xe đạp máy (kể cả xe đạp điện) không đội “mũ bảo hiểm cho người đi mô tô, xe máy” hoặc đội “mũ bảo hiểm ch...	Trong Nghị định này, các từ ngữ dưới đây được hiểu như sau: 1. Lĩnh vực giao thông đường bộ: a) Máy kéo là loại xe gồm phần đầu máy tự di chuyển, được lái bằng càng hoặc vô lăng và rơ moóc được kéo theo (có thể tháo rời với phần đầu kéo); b) Các loại xe tương tự xe ô tô là loại phương tiện giao thông đường bộ chạy bằng động cơ có từ hai trục, bốn bánh xe trở lên, có phần động cơ và thùng hàng (nếu có) lắp trên cùng một xát xi (kể cả loại xe 4 bánh	`100/2019/nđ-cp_11`

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "mini_batch_size": 32
}

Evaluation Dataset

legal_retrieval_2

Dataset: legal_retrieval_2 at 0520159
Size: 640 evaluation samples
Columns: anchor, positive, negative, and positive_id

Approximate statistics based on the first 640 samples:

	anchor	positive	negative	positive_id
type	string	string	string	string
details	min: 9 tokens mean: 23.77 tokens max: 43 tokens	min: 28 tokens mean: 120.79 tokens max: 128 tokens	min: 21 tokens mean: 113.56 tokens max: 128 tokens	min: 12 tokens mean: 15.53 tokens max: 39 tokens

Samples:

anchor	positive	negative	positive_id
`Tiền lương của người quản lý công ty TNHH một thành viên do VIETTEL nắm giữ 100% vốn điều lệ được quy định như thế nào?`	['1. Tiền lương của người quản lý công ty được tính trong đơn giá tiền lương được giao ổn định và quỹ tiền lương thực hiện của công ty trách nhiệm hữu hạn một thành viên do Công ty mẹ - Tập đoàn Viễn thông Quân đội nắm giữ 100% vốn điều lệ theo quy định tại Điều 12 và Điều 13 Thông tư này.\n2. Căn cứ vào quỹ tiền lương thực hiện hằng năm, công ty thực hiện tạm ứng tiền lương và trả lương đối với người quản lý theo quy chế trả lương của công ty.']	Một số từ ngữ trong Thông tư này được hiểu như sau: 1. Kiểm soát viên công ty TNHH MTV do Nhà nước nắm giữ 100% vốn điều lệ (sau đây gọi là Kiểm soát viên) là cá nhân do cơ quan đại diện chủ sở hữu quyết định bổ nhiệm, bổ nhiệm lại, thực hiện các quyền và nghĩa vụ theo quy định tại Điều 104, 105 và 106 Luật Doanh nghiệp và quy định tại Quy chế hoạt động của Kiểm soát viên công ty TNHH MTV do Nhà nước nắm giữ 100% vốn điều lệ. 2. Kiểm soát viên tài chính là cá nhân do Bộ trưởng Bộ Tài chính	`['33/2016/tt-blđtbxh_14']`
`Tiền lương của người quản lý công ty TNHH một thành viên do VIETTEL nắm giữ 100% vốn điều lệ được quy định như thế nào?`	['1. Tiền lương của người quản lý công ty được tính trong đơn giá tiền lương được giao ổn định và quỹ tiền lương thực hiện của công ty trách nhiệm hữu hạn một thành viên do Công ty mẹ - Tập đoàn Viễn thông Quân đội nắm giữ 100% vốn điều lệ theo quy định tại Điều 12 và Điều 13 Thông tư này.\n2. Căn cứ vào quỹ tiền lương thực hiện hằng năm, công ty thực hiện tạm ứng tiền lương và trả lương đối với người quản lý theo quy chế trả lương của công ty.']	1. Ủy ban Quản lý vốn nhà nước tại doanh nghiệp là cơ quan thuộc Chính phủ (sau đây gọi là Ủy ban); được Chính phủ giao thực hiện quyền, trách nhiệm của đại diện chủ sở hữu nhà nước đối với doanh nghiệp do Nhà nước nắm giữ 100% vốn điều lệ và phần vốn nhà nước đầu tư tại công ty cổ phần, công ty trách nhiệm hữu hạn hai thành viên trở lên theo quy định của pháp luật. 2. Ủy ban Quản lý vốn nhà nước tại doanh nghiệp có tên giao dịch quốc tế tiếng Anh là Commission for the Management of State Capital at Enterprise	`['33/2016/tt-blđtbxh_14']`
`Điều kiện về nhà xưởng, trang thiết bị của cơ sở sản xuất thức ăn, sản phẩm xử lý môi trường nuôi trồng thủy sản được quy định như thế nào?`	['1. Điểm c khoản 1 Điều 32 Luật Thủy sản được quy định cụ thể như sau:\na) Có nhà xưởng kết cấu vững chắc, nền không đọng nước, liên thông và một chiều từ nguyên liệu đến thành phẩm; tường, trần, vách ngăn, cửa bảo đảm yêu cầu về kiểm soát chất lượng, an toàn sinh học; khu chứa trang thiết bị, nguyên liệu vật liệu, thành phẩm bảo đảm không nhiễm chéo lẫn nhau và bảo đảm theo yêu cầu bảo quản của nhà sản xuất, cung cấp;\nb) Trang thiết bị tiếp xúc với nguyên liệu, thành phẩm bảo đảm yêu cầu về kiểm soát chất lượng, an toàn sinh học; thiết bị thu gom và xử lý chất thải không gây ô nhiễm môi trường khu vực sản xuất. Trường hợp cơ sở sản xuất sinh khối vi sinh vật để sản xuất chế phẩm sinh học, vi sinh vật phải có thiết bị tạo môi trường, lưu giữ và nuôi cấy vi sinh vật.\n2. Điểm d khoản 1 Điều 32 Luật Thủy sản được quy định cụ thể như sau: Có phòng thử nghiệm hoặc có thuê phòng thử nghiệm đủ năng lực để kiểm tra chất lượng trong quá trình sản xuất.\n3. Điểm đ khoản 1 Điều 32 Luật Thủy sả...	Cơ sở mua bán, nhập khẩu thức ăn thủy sản, sản phẩm xử lý môi trường nuôi trồng thủy sản phải đáp ứng các điều kiện sau đây: 1. Nơi bày bán, nơi bảo quản cách biệt với thuốc bảo vệ thực vật, phân bón, hóa chất độc hại; 2. Có thiết bị, dụng cụ để bảo quản thức ăn thủy sản, sản phẩm xử lý môi trường nuôi trồng thủy sản theo hướng dẫn của nhà sản xuất, nhà cung cấp.	`['26/2019/nđ-cp_27']`

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "mini_batch_size": 32
}

Training Hyperparameters

Non-Default Hyperparameters

overwrite_output_dir: True
do_predict: True
eval_strategy: epoch
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
eval_accumulation_steps: 1
num_train_epochs: 5.0
lr_scheduler_type: constant
save_only_model: True
bf16: True
tf32: True
disable_tqdm: True
load_best_model_at_end: True
optim: adamw_torch_fused
use_liger_kernel: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: True
do_predict: True
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: 1
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5.0
max_steps: -1
lr_scheduler_type: constant
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: True
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: True
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
tp_size: 0
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: True
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
attn_implementation: flash_attention_2

Training Logs

Epoch	Step	Training Loss	Validation Loss
0.3106	50	0.9867	-
0.6211	100	0.3767	-
0.9317	150	0.1682	-
1.0	161	-	0.2302
1.2422	200	0.0632	-
1.5528	250	0.0628	-
1.8634	300	0.0503	-
2.0	322	-	0.1976
2.1739	350	0.0369	-
2.4845	400	0.0369	-
2.7950	450	0.0479	-
3.0	483	-	0.1819
3.1056	500	0.032	-
3.4161	550	0.0162	-
3.7267	600	0.0229	-
4.0	644	-	0.1896
4.0373	650	0.0151	-
4.3478	700	0.0178	-
4.6584	750	0.0144	-
4.9689	800	0.0144	-
5.0	805	-	0.1846

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.12
Sentence Transformers: 4.1.0
Transformers: 4.50.0
PyTorch: 2.6.0+cu124
Accelerate: 1.6.0
Datasets: 2.21.0
Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}