README.md

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:19478
  - loss:CachedMultipleNegativesRankingLoss
base_model: hiieu/halong_embedding
widget:
  - source_sentence: >-
      Em cần thông tin về việc kiểm định chất lượng giáo dục đối với các chương
      trình đào tạo từ xa.
    sentences:
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 4. Phát triển giáo dục

        Nội dung: Phát triển giáo dục

        1. Phát triển giáo dục là quốc sách hàng đầu.

        2. Phát triển giáo dục phải gắn với nhu cầu phát triển kinh tế - xã hội,
        tiến bộ khoa học, công nghệ, củng cố quốc phòng, an ninh; thực hiện
        chuẩn hóa, hiện đại hóa, xã hội hóa; bảo đảm cân đối cơ cấu ngành nghề,
        trình độ, nguồn nhân lực và phù hợp vùng miền; mở rộng quy mô trên cơ sở
        bảo đảm chất lượng và hiệu quả; kết hợp giữa đào tạo và sử dụng.

        3. Phát triển hệ thống giáo dục mở, xây dựng xã hội học tập nhằm tạo cơ
        hội để mọi người được tiếp cận giáo dục, được học tập ở mọi trình độ,
        mọi hình thức, học tập suốt đời.
      - >-
        Tiêu đề: Luật sửa đổi, bổ sung một số điều luật giáo dục đại học 2018

        Mục: Điều 4. Giải thích từ ngữ

        Nội dung: Đại học là cơ sở giáo dục đại học đào tạo, nghiên cứu nhiều
        lĩnh vực, được cơ cấu tổ chức theo quy định của Luật giáo dục; các đơn
        vị cấu thành đại học cùng thống nhất thực hiện mục tiêu, sứ mạng, nhiệm
        vụ chung.
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 5. Giải thích từ ngữ

        Nội dung: Kiểm định chất lượng giáo dục là hoạt động đánh giá, công nhận
        cơ sở giáo dục hoặc chương trình đào tạo đạt tiêu chuẩn chất lượng giáo
        dục do cơ quan, tổ chức có thẩm quyền ban hành.
  - source_sentence: Trường ĐHBK Hà Nội có những đóng góp gì cho xã hội?
    sentences:
      - >-
        Tiêu đề: Sổ tay sinh viên 2022

        Mục: Những điểm mốc lịch sử quan trọng

        Nội dung: Ngày 6/3/1956, Bộ trưởng Bộ Giáo dục Nguyễn Văn Huyên đã ký
        nghị định 147/NĐ về việc thành lập trường Đại học Chuyên nghiệp Bách
        khoa nay là trường ĐHBK Hà Nội.

        Ngày 15/10/1956,Trường đã long trọng tổ chức “Lễ khai giảng khóa I” cho
        848 sinh viên vào 14 ngành của 04 liên khoa Cơ-Điện, Mỏ-Luyện kim, Xây
        dựng, Hóa-Thực phẩm.
      - >-
        Tiêu đề: Luật giáo dục đại học 2012

        Mục: Điều 4. Giải thích từ ngữ

        Nội dung: Đại học là cơ sở giáo dục đại học bao gồm tổ hợp các trường
        cao đẳng, trường đại học, viện nghiên cứu khoa học thành viên thuộc các
        lĩnh vực chuyên môn khác nhau, tổ chức theo hai cấp, để đào tạo các
        trình độ của giáo dục đại học.
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 19. Hoạt động khoa học và công nghệ

        Nội dung: Hoạt động khoa học và công nghệ

        1. Hoạt động khoa học và công nghệ là một nhiệm vụ của cơ sở giáo dục.

        2. Cơ sở giáo dục tự triển khai hoặc phối hợp với tổ chức khoa học và
        công nghệ, cơ sở sản xuất, kinh doanh, dịch vụ trong việc đào tạo,
        nghiên cứu khoa học và chuyển giao công nghệ, phục vụ phát triển kinh tế
        - xã hội.

        3. Nhà nước tạo điều kiện cho cơ sở giáo dục hoạt động khoa học và công
        nghệ, kết hợp đào tạo với nghiên cứu khoa học và sản xuất nhằm nâng cao
        chất lượng giáo dục; xây dựng cơ sở giáo dục thành trung tâm văn hóa,
        khoa học và công nghệ của địa phương hoặc của cả nước.

        4. Nhà nước có chính sách ưu tiên phát triển hoạt động khoa học và công
        nghệ trong cơ sở giáo dục. Các chủ trương, chính sách về giáo dục phải
        được xây dựng trên cơ sở kết quả nghiên cứu khoa học phù hợp với thực
        tiễn Việt Nam và xu hướng quốc tế.
  - source_sentence: Mục tiêu giáo dục đại học là gì?
    sentences:
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 3. Tính chất, nguyên lý giáo dục

        Nội dung: Tính chất, nguyên lý giáo dục

        1. Nền giáo dục Việt Nam là nền giáo dục xã hội chủ nghĩa có tính nhân
        dân, dân tộc, khoa học, hiện đại, lấy chủ nghĩa Mác - Lê nin và tư tưởng
        Hồ Chí Minh làm nền tảng.

        2. Hoạt động giáo dục được thực hiện theo nguyên lý học đi đôi với hành,
        lý luận gắn liền với thực tiễn, giáo dục nhà trường kết hợp với giáo dục
        gia đình và giáo dục xã hội.
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 12. Văn bằng, chứng chỉ

        Nội dung: 1. Văn bằng của hệ thống giáo dục quốc dân được cấp cho người
        học sau khi tốt nghiệp cấp học hoặc sau khi hoàn thành chương trình giáo
        dục, đạt chuẩn đầu ra của trình độ tương ứng theo quy định của Luật này.

        2. Văn bằng của hệ thống giáo dục quốc dân gồm bằng tốt nghiệp trung học
        cơ sở, bằng tốt nghiệp trung học phổ thông, bằng tốt nghiệp trung cấp,
        bằng tốt nghiệp cao đẳng, bằng cử nhân, bằng thạc sĩ, bằng tiến sĩ và
        văn bằng trình độ tương đương.

        3. Chứng chỉ của hệ thống giáo dục quốc dân được cấp cho người học để
        xác nhận kết quả học tập sau khi được đào tạo, bồi dưỡng nâng cao trình
        độ học vấn, nghề nghiệp hoặc cấp cho người học dự thi lấy chứng chỉ theo
        quy định.

        4. Văn bằng, chứng chỉ do cơ sở giáo dục thuộc các loại hình và hình
        thức đào tạo trong hệ thống giáo dục quốc dân cấp có giá trị pháp lý như
        nhau.
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 2. Mục tiêu giáo dục

        Nội dung: Mục tiêu giáo dục nhằm phát triển toàn diện con người Việt Nam
        có đạo đức, tri thức, văn hóa, sức khỏe, thẩm mỹ và nghề nghiệp; có phẩm
        chất, năng lực và ý thức công dân; có lòng yêu nước, tinh thần dân tộc,
        trung thành với lý tưởng độc lập dân tộc và chủ nghĩa xã hội; phát huy
        tiềm năng, khả năng sáng tạo của mỗi cá nhân; nâng cao dân trí, phát
        triển nguồn nhân lực, bồi dưỡng nhân tài, đáp ứng yêu cầu của sự nghiệp
        xây dựng, bảo vệ Tổ quốc và hội nhập quốc tế.
  - source_sentence: Đại học quốc gia được thành lập với mục đích gì?
    sentences:
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 6. Hệ thống giáo dục quốc dân

        Nội dung: 2. Cấp học, trình độ đào tạo của hệ thống giáo dục quốc dân
        bao gồm:

        a) Giáo dục mầm non gồm giáo dục nhà trẻ và giáo dục mẫu giáo;

        b) Giáo dục phổ thông gồm giáo dục tiểu học, giáo dục trung học cơ sở và
        giáo dục trung học phổ thông;

        c) Giáo dục nghề nghiệp đào tạo trình độ sơ cấp, trình độ trung cấp,
        trình độ cao đẳng và các chương trình đào tạo nghề nghiệp khác;

        d) Giáo dục đại học đào tạo trình độ đại học, trình độ thạc sĩ và trình
        độ tiến sĩ.
      - >-
        Tiêu đề: Luật giáo dục đại học 2012

        Mục: Điều 8. Đại học quốc gia

        Nội dung: Đại học quốc gia là trung tâm đào tạo, nghiên cứu khoa học,
        công nghệ đa ngành, đa lĩnh vực chất lượng cao, được Nhà nước ưu tiên
        đầu tư phát triển.
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 5. Giải thích từ ngữ

        Nội dung: Giáo dục bắt buộc là giáo dục mà mọi công dân trong độ tuổi
        quy định bắt buộc phải học tập để đạt được trình độ học vấn tối thiểu
        theo quy định của pháp luật và được Nhà nước bảo đảm điều kiện để thực
        hiện.
  - source_sentence: Phát triển cơ sở giáo dục dân lập, tư thục như thế nào?
    sentences:
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 5. Giải thích từ ngữ

        Nội dung: Khối lượng kiến thức văn hóa trung học phổ thông là kiến thức,
        kỹ năng cơ bản, cốt lõi trong chương trình giáo dục trung học phổ thông
        mà người học phải tích lũy để có thể tiếp tục học trình độ giáo dục nghề
        nghiệp cao hơn.
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 5. Giải thích từ ngữ

        Nội dung: Giáo dục chính quy là giáo dục theo khóa học trong cơ sở giáo
        dục để thực hiện một chương trình giáo dục nhất định, được thiết lập
        theo mục tiêu của các cấp học, trình độ đào tạo và được cấp văn bằng của
        hệ thống giáo dục quốc dân.
      - >-
        Tiêu đề: Luật giáo dục 2019 

        Mục: Điều 16. Xã hội hóa sự nghiệp giáo dục

        Nội dung: Xã hội hóa sự nghiệp giáo dục: 

        1. Phát triển giáo dục, xây dựng xã hội học tập là sự nghiệp của Nhà
        nước và của toàn dân.

        2. Nhà nước giữ vai trò chủ đạo trong phát triển sự nghiệp giáo dục.
        Thực hiện đa dạng hóa các loại hình cơ sở giáo dục và hình thức giáo
        dục; khuyến khích, huy động và tạo điều kiện để tổ chức, cá nhân tham
        gia phát triển sự nghiệp giáo dục; khuyến khích phát triển cơ sở giáo
        dục dân lập, tư thục đáp ứng nhu cầu xã hội về giáo dục chất lượng cao.

        3. Tổ chức, gia đình và cá nhân có trách nhiệm chăm lo sự nghiệp giáo
        dục, phối hợp với cơ sở giáo dục thực hiện mục tiêu giáo dục, xây dựng
        môi trường giáo dục an toàn, lành mạnh.

        4. Tổ chức, cá nhân có thành tích trong sự nghiệp giáo dục được khen
        thưởng theo quy định của pháp luật.
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
model-index:
  - name: SentenceTransformer based on hiieu/halong_embedding
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: evaluation
          type: evaluation
        metrics:
          - type: cosine_accuracy@1
            value: 0.4152367879203844
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.6396705559368565
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.728894989704873
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.824296499656829
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.4152367879203844
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.25966598032486843
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.19354838709677424
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.11942347288949898
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.2991878288721116
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.5229924502402197
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.6269732326698696
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.7515442690459849
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.566127890564837
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.5449395910274438
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.49585987799094183
            name: Cosine Map@100

SentenceTransformer based on hiieu/halong_embedding

This is a sentence-transformers model finetuned from hiieu/halong_embedding. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: hiieu/halong_embedding
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("MinhViet/halong_embedding_no_negatives_1epoch")
# Run inference
sentences = [
    'Phát triển cơ sở giáo dục dân lập, tư thục như thế nào?',
    'Tiêu đề: Luật giáo dục 2019 \nMục: Điều 16. Xã hội hóa sự nghiệp giáo dục\nNội dung: Xã hội hóa sự nghiệp giáo dục: \n1. Phát triển giáo dục, xây dựng xã hội học tập là sự nghiệp của Nhà nước và của toàn dân.\n2. Nhà nước giữ vai trò chủ đạo trong phát triển sự nghiệp giáo dục. Thực hiện đa dạng hóa các loại hình cơ sở giáo dục và hình thức giáo dục; khuyến khích, huy động và tạo điều kiện để tổ chức, cá nhân tham gia phát triển sự nghiệp giáo dục; khuyến khích phát triển cơ sở giáo dục dân lập, tư thục đáp ứng nhu cầu xã hội về giáo dục chất lượng cao.\n3. Tổ chức, gia đình và cá nhân có trách nhiệm chăm lo sự nghiệp giáo dục, phối hợp với cơ sở giáo dục thực hiện mục tiêu giáo dục, xây dựng môi trường giáo dục an toàn, lành mạnh.\n4. Tổ chức, cá nhân có thành tích trong sự nghiệp giáo dục được khen thưởng theo quy định của pháp luật.',
    'Tiêu đề: Luật giáo dục 2019 \nMục: Điều 5. Giải thích từ ngữ\nNội dung: Khối lượng kiến thức văn hóa trung học phổ thông là kiến thức, kỹ năng cơ bản, cốt lõi trong chương trình giáo dục trung học phổ thông mà người học phải tích lũy để có thể tiếp tục học trình độ giáo dục nghề nghiệp cao hơn.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: evaluation
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.4152
cosine_accuracy@3	0.6397
cosine_accuracy@5	0.7289
cosine_accuracy@10	0.8243
cosine_precision@1	0.4152
cosine_precision@3	0.2597
cosine_precision@5	0.1935
cosine_precision@10	0.1194
cosine_recall@1	0.2992
cosine_recall@3	0.523
cosine_recall@5	0.627
cosine_recall@10	0.7515
cosine_ndcg@10	0.5661
cosine_mrr@10	0.5449
cosine_map@100	0.4959

Training Details

Training Dataset

Unnamed Dataset

• Size: 19,478 training samples
• Columns: question and context
• Approximate statistics based on the first 1000 samples:

  	question	context
  type	string	string
  details	min: 7 tokens mean: 18.46 tokens max: 41 tokens	min: 39 tokens mean: 123.93 tokens max: 322 tokens

• Samples:

  question	context
  Mục tiêu giáo dục đại học là gì?	Tiêu đề: Luật giáo dục 2019 Mục: Điều 2. Mục tiêu giáo dục Nội dung: Mục tiêu giáo dục nhằm phát triển toàn diện con người Việt Nam có đạo đức, tri thức, văn hóa, sức khỏe, thẩm mỹ và nghề nghiệp; có phẩm chất, năng lực và ý thức công dân; có lòng yêu nước, tinh thần dân tộc, trung thành với lý tưởng độc lập dân tộc và chủ nghĩa xã hội; phát huy tiềm năng, khả năng sáng tạo của mỗi cá nhân; nâng cao dân trí, phát triển nguồn nhân lực, bồi dưỡng nhân tài, đáp ứng yêu cầu của sự nghiệp xây dựng, bảo vệ Tổ quốc và hội nhập quốc tế.
  Em muốn biết về phát triển toàn diện con người Việt Nam trong giáo dục như thế nào?	Tiêu đề: Luật giáo dục 2019 Mục: Điều 2. Mục tiêu giáo dục Nội dung: Mục tiêu giáo dục nhằm phát triển toàn diện con người Việt Nam có đạo đức, tri thức, văn hóa, sức khỏe, thẩm mỹ và nghề nghiệp; có phẩm chất, năng lực và ý thức công dân; có lòng yêu nước, tinh thần dân tộc, trung thành với lý tưởng độc lập dân tộc và chủ nghĩa xã hội; phát huy tiềm năng, khả năng sáng tạo của mỗi cá nhân; nâng cao dân trí, phát triển nguồn nhân lực, bồi dưỡng nhân tài, đáp ứng yêu cầu của sự nghiệp xây dựng, bảo vệ Tổ quốc và hội nhập quốc tế.
  Phát huy tiềm năng, khả năng sáng tạo của mỗi cá nhân trong giáo dục được hiểu như thế nào?	Tiêu đề: Luật giáo dục 2019 Mục: Điều 2. Mục tiêu giáo dục Nội dung: Mục tiêu giáo dục nhằm phát triển toàn diện con người Việt Nam có đạo đức, tri thức, văn hóa, sức khỏe, thẩm mỹ và nghề nghiệp; có phẩm chất, năng lực và ý thức công dân; có lòng yêu nước, tinh thần dân tộc, trung thành với lý tưởng độc lập dân tộc và chủ nghĩa xã hội; phát huy tiềm năng, khả năng sáng tạo của mỗi cá nhân; nâng cao dân trí, phát triển nguồn nhân lực, bồi dưỡng nhân tài, đáp ứng yêu cầu của sự nghiệp xây dựng, bảo vệ Tổ quốc và hội nhập quốc tế.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 1024
• per_device_eval_batch_size: 1024
• weight_decay: 0.0001
• num_train_epochs: 1
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 1024
• per_device_eval_batch_size: 1024
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0001
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	evaluation_cosine_ndcg@10
1.0	20	1.2991	0.5661

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.5.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}