---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:19478
- loss:CachedMultipleNegativesRankingLoss
base_model: hiieu/halong_embedding
widget:
- source_sentence: Em cần thông tin về việc kiểm định chất lượng giáo dục đối với
các chương trình đào tạo từ xa.
sentences:
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 4. Phát triển giáo dục\nNội dung: Phát\
\ triển giáo dục\n1. Phát triển giáo dục là quốc sách hàng đầu.\n2. Phát triển\
\ giáo dục phải gắn với nhu cầu phát triển kinh tế - xã hội, tiến bộ khoa học,\
\ công nghệ, củng cố quốc phòng, an ninh; thực hiện chuẩn hóa, hiện đại hóa, xã\
\ hội hóa; bảo đảm cân đối cơ cấu ngành nghề, trình độ, nguồn nhân lực và phù\
\ hợp vùng miền; mở rộng quy mô trên cơ sở bảo đảm chất lượng và hiệu quả; kết\
\ hợp giữa đào tạo và sử dụng.\n3. Phát triển hệ thống giáo dục mở, xây dựng xã\
\ hội học tập nhằm tạo cơ hội để mọi người được tiếp cận giáo dục, được học tập\
\ ở mọi trình độ, mọi hình thức, học tập suốt đời."
- 'Tiêu đề: Luật sửa đổi, bổ sung một số điều luật giáo dục đại học 2018
Mục: Điều 4. Giải thích từ ngữ
Nội dung: Đại học là cơ sở giáo dục đại học đào tạo, nghiên cứu nhiều lĩnh vực,
được cơ cấu tổ chức theo quy định của Luật giáo dục; các đơn vị cấu thành đại
học cùng thống nhất thực hiện mục tiêu, sứ mạng, nhiệm vụ chung.'
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 5. Giải thích từ ngữ\nNội dung: Kiểm\
\ định chất lượng giáo dục là hoạt động đánh giá, công nhận cơ sở giáo dục hoặc\
\ chương trình đào tạo đạt tiêu chuẩn chất lượng giáo dục do cơ quan, tổ chức\
\ có thẩm quyền ban hành."
- source_sentence: Trường ĐHBK Hà Nội có những đóng góp gì cho xã hội?
sentences:
- 'Tiêu đề: Sổ tay sinh viên 2022
Mục: Những điểm mốc lịch sử quan trọng
Nội dung: Ngày 6/3/1956, Bộ trưởng Bộ Giáo dục Nguyễn Văn Huyên đã ký nghị định
147/NĐ về việc thành lập trường Đại học Chuyên nghiệp Bách khoa nay là trường
ĐHBK Hà Nội.
Ngày 15/10/1956,Trường đã long trọng tổ chức “Lễ khai giảng khóa I” cho 848 sinh
viên vào 14 ngành của 04 liên khoa Cơ-Điện, Mỏ-Luyện kim, Xây dựng, Hóa-Thực phẩm.'
- 'Tiêu đề: Luật giáo dục đại học 2012
Mục: Điều 4. Giải thích từ ngữ
Nội dung: Đại học là cơ sở giáo dục đại học bao gồm tổ hợp các trường cao đẳng,
trường đại học, viện nghiên cứu khoa học thành viên thuộc các lĩnh vực chuyên
môn khác nhau, tổ chức theo hai cấp, để đào tạo các trình độ của giáo dục đại
học.'
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 19. Hoạt động khoa học và công nghệ\n\
Nội dung: Hoạt động khoa học và công nghệ\n1. Hoạt động khoa học và công nghệ\
\ là một nhiệm vụ của cơ sở giáo dục.\n2. Cơ sở giáo dục tự triển khai hoặc phối\
\ hợp với tổ chức khoa học và công nghệ, cơ sở sản xuất, kinh doanh, dịch vụ trong\
\ việc đào tạo, nghiên cứu khoa học và chuyển giao công nghệ, phục vụ phát triển\
\ kinh tế - xã hội.\n3. Nhà nước tạo điều kiện cho cơ sở giáo dục hoạt động khoa\
\ học và công nghệ, kết hợp đào tạo với nghiên cứu khoa học và sản xuất nhằm nâng\
\ cao chất lượng giáo dục; xây dựng cơ sở giáo dục thành trung tâm văn hóa, khoa\
\ học và công nghệ của địa phương hoặc của cả nước.\n4. Nhà nước có chính sách\
\ ưu tiên phát triển hoạt động khoa học và công nghệ trong cơ sở giáo dục. Các\
\ chủ trương, chính sách về giáo dục phải được xây dựng trên cơ sở kết quả nghiên\
\ cứu khoa học phù hợp với thực tiễn Việt Nam và xu hướng quốc tế."
- source_sentence: Mục tiêu giáo dục đại học là gì?
sentences:
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 3. Tính chất, nguyên lý giáo dục\nNội\
\ dung: Tính chất, nguyên lý giáo dục\n1. Nền giáo dục Việt Nam là nền giáo dục\
\ xã hội chủ nghĩa có tính nhân dân, dân tộc, khoa học, hiện đại, lấy chủ nghĩa\
\ Mác - Lê nin và tư tưởng Hồ Chí Minh làm nền tảng.\n2. Hoạt động giáo dục được\
\ thực hiện theo nguyên lý học đi đôi với hành, lý luận gắn liền với thực tiễn,\
\ giáo dục nhà trường kết hợp với giáo dục gia đình và giáo dục xã hội."
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 12. Văn bằng, chứng chỉ\nNội dung: 1.\
\ Văn bằng của hệ thống giáo dục quốc dân được cấp cho người học sau khi tốt nghiệp\
\ cấp học hoặc sau khi hoàn thành chương trình giáo dục, đạt chuẩn đầu ra của\
\ trình độ tương ứng theo quy định của Luật này.\n2. Văn bằng của hệ thống giáo\
\ dục quốc dân gồm bằng tốt nghiệp trung học cơ sở, bằng tốt nghiệp trung học\
\ phổ thông, bằng tốt nghiệp trung cấp, bằng tốt nghiệp cao đẳng, bằng cử nhân,\
\ bằng thạc sĩ, bằng tiến sĩ và văn bằng trình độ tương đương.\n3. Chứng chỉ của\
\ hệ thống giáo dục quốc dân được cấp cho người học để xác nhận kết quả học tập\
\ sau khi được đào tạo, bồi dưỡng nâng cao trình độ học vấn, nghề nghiệp hoặc\
\ cấp cho người học dự thi lấy chứng chỉ theo quy định.\n4. Văn bằng, chứng chỉ\
\ do cơ sở giáo dục thuộc các loại hình và hình thức đào tạo trong hệ thống giáo\
\ dục quốc dân cấp có giá trị pháp lý như nhau."
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 2. Mục tiêu giáo dục\nNội dung: Mục tiêu\
\ giáo dục nhằm phát triển toàn diện con người Việt Nam có đạo đức, tri thức,\
\ văn hóa, sức khỏe, thẩm mỹ và nghề nghiệp; có phẩm chất, năng lực và ý thức\
\ công dân; có lòng yêu nước, tinh thần dân tộc, trung thành với lý tưởng độc\
\ lập dân tộc và chủ nghĩa xã hội; phát huy tiềm năng, khả năng sáng tạo của mỗi\
\ cá nhân; nâng cao dân trí, phát triển nguồn nhân lực, bồi dưỡng nhân tài, đáp\
\ ứng yêu cầu của sự nghiệp xây dựng, bảo vệ Tổ quốc và hội nhập quốc tế."
- source_sentence: Đại học quốc gia được thành lập với mục đích gì?
sentences:
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 6. Hệ thống giáo dục quốc dân\nNội dung:\
\ 2. Cấp học, trình độ đào tạo của hệ thống giáo dục quốc dân bao gồm:\na) Giáo\
\ dục mầm non gồm giáo dục nhà trẻ và giáo dục mẫu giáo;\nb) Giáo dục phổ thông\
\ gồm giáo dục tiểu học, giáo dục trung học cơ sở và giáo dục trung học phổ thông;\n\
c) Giáo dục nghề nghiệp đào tạo trình độ sơ cấp, trình độ trung cấp, trình độ\
\ cao đẳng và các chương trình đào tạo nghề nghiệp khác;\nd) Giáo dục đại học\
\ đào tạo trình độ đại học, trình độ thạc sĩ và trình độ tiến sĩ."
- 'Tiêu đề: Luật giáo dục đại học 2012
Mục: Điều 8. Đại học quốc gia
Nội dung: Đại học quốc gia là trung tâm đào tạo, nghiên cứu khoa học, công nghệ
đa ngành, đa lĩnh vực chất lượng cao, được Nhà nước ưu tiên đầu tư phát triển.'
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 5. Giải thích từ ngữ\nNội dung: Giáo\
\ dục bắt buộc là giáo dục mà mọi công dân trong độ tuổi quy định bắt buộc phải\
\ học tập để đạt được trình độ học vấn tối thiểu theo quy định của pháp luật và\
\ được Nhà nước bảo đảm điều kiện để thực hiện."
- source_sentence: Phát triển cơ sở giáo dục dân lập, tư thục như thế nào?
sentences:
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 5. Giải thích từ ngữ\nNội dung: Khối\
\ lượng kiến thức văn hóa trung học phổ thông là kiến thức, kỹ năng cơ bản, cốt\
\ lõi trong chương trình giáo dục trung học phổ thông mà người học phải tích lũy\
\ để có thể tiếp tục học trình độ giáo dục nghề nghiệp cao hơn."
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 5. Giải thích từ ngữ\nNội dung: Giáo\
\ dục chính quy là giáo dục theo khóa học trong cơ sở giáo dục để thực hiện một\
\ chương trình giáo dục nhất định, được thiết lập theo mục tiêu của các cấp học,\
\ trình độ đào tạo và được cấp văn bằng của hệ thống giáo dục quốc dân."
- "Tiêu đề: Luật giáo dục 2019 \nMục: Điều 16. Xã hội hóa sự nghiệp giáo dục\nNội\
\ dung: Xã hội hóa sự nghiệp giáo dục: \n1. Phát triển giáo dục, xây dựng xã hội\
\ học tập là sự nghiệp của Nhà nước và của toàn dân.\n2. Nhà nước giữ vai trò\
\ chủ đạo trong phát triển sự nghiệp giáo dục. Thực hiện đa dạng hóa các loại\
\ hình cơ sở giáo dục và hình thức giáo dục; khuyến khích, huy động và tạo điều\
\ kiện để tổ chức, cá nhân tham gia phát triển sự nghiệp giáo dục; khuyến khích\
\ phát triển cơ sở giáo dục dân lập, tư thục đáp ứng nhu cầu xã hội về giáo dục\
\ chất lượng cao.\n3. Tổ chức, gia đình và cá nhân có trách nhiệm chăm lo sự nghiệp\
\ giáo dục, phối hợp với cơ sở giáo dục thực hiện mục tiêu giáo dục, xây dựng\
\ môi trường giáo dục an toàn, lành mạnh.\n4. Tổ chức, cá nhân có thành tích trong\
\ sự nghiệp giáo dục được khen thưởng theo quy định của pháp luật."
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
model-index:
- name: SentenceTransformer based on hiieu/halong_embedding
results:
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: evaluation
type: evaluation
metrics:
- type: cosine_accuracy@1
value: 0.4152367879203844
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.6396705559368565
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.728894989704873
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.824296499656829
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.4152367879203844
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.25966598032486843
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.19354838709677424
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.11942347288949898
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.2991878288721116
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.5229924502402197
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.6269732326698696
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.7515442690459849
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.566127890564837
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.5449395910274438
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.49585987799094183
name: Cosine Map@100
---
# SentenceTransformer based on hiieu/halong_embedding
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [hiieu/halong_embedding](https://huggingface.co/hiieu/halong_embedding). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [hiieu/halong_embedding](https://huggingface.co/hiieu/halong_embedding)
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 dimensions
- **Similarity Function:** Cosine Similarity
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("MinhViet/halong_embedding_no_negatives_1epoch")
# Run inference
sentences = [
'Phát triển cơ sở giáo dục dân lập, tư thục như thế nào?',
'Tiêu đề: Luật giáo dục 2019 \nMục: Điều 16. Xã hội hóa sự nghiệp giáo dục\nNội dung: Xã hội hóa sự nghiệp giáo dục: \n1. Phát triển giáo dục, xây dựng xã hội học tập là sự nghiệp của Nhà nước và của toàn dân.\n2. Nhà nước giữ vai trò chủ đạo trong phát triển sự nghiệp giáo dục. Thực hiện đa dạng hóa các loại hình cơ sở giáo dục và hình thức giáo dục; khuyến khích, huy động và tạo điều kiện để tổ chức, cá nhân tham gia phát triển sự nghiệp giáo dục; khuyến khích phát triển cơ sở giáo dục dân lập, tư thục đáp ứng nhu cầu xã hội về giáo dục chất lượng cao.\n3. Tổ chức, gia đình và cá nhân có trách nhiệm chăm lo sự nghiệp giáo dục, phối hợp với cơ sở giáo dục thực hiện mục tiêu giáo dục, xây dựng môi trường giáo dục an toàn, lành mạnh.\n4. Tổ chức, cá nhân có thành tích trong sự nghiệp giáo dục được khen thưởng theo quy định của pháp luật.',
'Tiêu đề: Luật giáo dục 2019 \nMục: Điều 5. Giải thích từ ngữ\nNội dung: Khối lượng kiến thức văn hóa trung học phổ thông là kiến thức, kỹ năng cơ bản, cốt lõi trong chương trình giáo dục trung học phổ thông mà người học phải tích lũy để có thể tiếp tục học trình độ giáo dục nghề nghiệp cao hơn.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
## Evaluation
### Metrics
#### Information Retrieval
* Dataset: `evaluation`
* Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.4152 |
| cosine_accuracy@3 | 0.6397 |
| cosine_accuracy@5 | 0.7289 |
| cosine_accuracy@10 | 0.8243 |
| cosine_precision@1 | 0.4152 |
| cosine_precision@3 | 0.2597 |
| cosine_precision@5 | 0.1935 |
| cosine_precision@10 | 0.1194 |
| cosine_recall@1 | 0.2992 |
| cosine_recall@3 | 0.523 |
| cosine_recall@5 | 0.627 |
| cosine_recall@10 | 0.7515 |
| **cosine_ndcg@10** | **0.5661** |
| cosine_mrr@10 | 0.5449 |
| cosine_map@100 | 0.4959 |
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 19,478 training samples
* Columns: question and context
* Approximate statistics based on the first 1000 samples:
| | question | context |
|:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
| type | string | string |
| details | - min: 7 tokens
- mean: 18.46 tokens
- max: 41 tokens
| - min: 39 tokens
- mean: 123.93 tokens
- max: 322 tokens
|
* Samples:
| question | context |
|:---------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| Mục tiêu giáo dục đại học là gì? | Tiêu đề: Luật giáo dục 2019
Mục: Điều 2. Mục tiêu giáo dục
Nội dung: Mục tiêu giáo dục nhằm phát triển toàn diện con người Việt Nam có đạo đức, tri thức, văn hóa, sức khỏe, thẩm mỹ và nghề nghiệp; có phẩm chất, năng lực và ý thức công dân; có lòng yêu nước, tinh thần dân tộc, trung thành với lý tưởng độc lập dân tộc và chủ nghĩa xã hội; phát huy tiềm năng, khả năng sáng tạo của mỗi cá nhân; nâng cao dân trí, phát triển nguồn nhân lực, bồi dưỡng nhân tài, đáp ứng yêu cầu của sự nghiệp xây dựng, bảo vệ Tổ quốc và hội nhập quốc tế. |
| Em muốn biết về phát triển toàn diện con người Việt Nam trong giáo dục như thế nào? | Tiêu đề: Luật giáo dục 2019
Mục: Điều 2. Mục tiêu giáo dục
Nội dung: Mục tiêu giáo dục nhằm phát triển toàn diện con người Việt Nam có đạo đức, tri thức, văn hóa, sức khỏe, thẩm mỹ và nghề nghiệp; có phẩm chất, năng lực và ý thức công dân; có lòng yêu nước, tinh thần dân tộc, trung thành với lý tưởng độc lập dân tộc và chủ nghĩa xã hội; phát huy tiềm năng, khả năng sáng tạo của mỗi cá nhân; nâng cao dân trí, phát triển nguồn nhân lực, bồi dưỡng nhân tài, đáp ứng yêu cầu của sự nghiệp xây dựng, bảo vệ Tổ quốc và hội nhập quốc tế. |
| Phát huy tiềm năng, khả năng sáng tạo của mỗi cá nhân trong giáo dục được hiểu như thế nào? | Tiêu đề: Luật giáo dục 2019
Mục: Điều 2. Mục tiêu giáo dục
Nội dung: Mục tiêu giáo dục nhằm phát triển toàn diện con người Việt Nam có đạo đức, tri thức, văn hóa, sức khỏe, thẩm mỹ và nghề nghiệp; có phẩm chất, năng lực và ý thức công dân; có lòng yêu nước, tinh thần dân tộc, trung thành với lý tưởng độc lập dân tộc và chủ nghĩa xã hội; phát huy tiềm năng, khả năng sáng tạo của mỗi cá nhân; nâng cao dân trí, phát triển nguồn nhân lực, bồi dưỡng nhân tài, đáp ứng yêu cầu của sự nghiệp xây dựng, bảo vệ Tổ quốc và hội nhập quốc tế. |
* Loss: [CachedMultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
```json
{
"scale": 20.0,
"similarity_fct": "cos_sim",
"mini_batch_size": 32
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: epoch
- `per_device_train_batch_size`: 1024
- `per_device_eval_batch_size`: 1024
- `weight_decay`: 0.0001
- `num_train_epochs`: 1
- `batch_sampler`: no_duplicates
#### All Hyperparameters
Click to expand
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 1024
- `per_device_eval_batch_size`: 1024
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0001
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 1
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `tp_size`: 0
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional