|
|
--- |
|
|
license: llama3.2 |
|
|
base_model: |
|
|
- meta-llama/Llama-3.2-3B |
|
|
pipeline_tag: text-generation |
|
|
--- |
|
|
|
|
|
# 🇹🇷 LLaMA 3.2 - 3B Türkçe DAPT (LoRA Merge) |
|
|
|
|
|
Bu model, Meta'nın [Llama 3.2 3B](https://huggingface.co/meta-llama/Llama-3.2-3B) modeli üzerine Türkçe haber ve metin verileriyle **domain-adaptive pretraining (DAPT)** uygulanarak eğitilmiştir. Eğitim, [LoRA](https://arxiv.org/abs/2106.09685) yöntemiyle gerçekleştirilmiş olup bu sürüm, tam birleştirilmiş (merged) modeldir. |
|
|
|
|
|
--- |
|
|
|
|
|
## 📌 Temel Bilgiler |
|
|
|
|
|
🔗 Base Model: meta-llama/Llama-3.2-3B |
|
|
|
|
|
🧠 DAPT: Türkçe haber ve genel metinlerle domain-adaptive pretraining (DAPT) |
|
|
|
|
|
🧪 Eğitim Yöntemi: |
|
|
|
|
|
✅ 4-bit QLoRA (Quantized Low-Rank Adaptation) |
|
|
|
|
|
✅ LoRA adaptörleri şu katmanlara entegre edildi: |
|
|
q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
|
|
|
|
|
✅ SFTTrainer ile Supervised Fine-Tuning |
|
|
|
|
|
🔁 Merge: LoRA ağırlıkları merge_and_unload() yöntemiyle ana modele entegre edilerek tam model oluşturuldu. |
|
|
|
|
|
📏 Max sequence length: 4096 |
|
|
|
|
|
🖥️ Cihaz: A100 40GB / T4 16GB (donanıma göre batch size ayarlandı) |
|
|
|
|
|
⚖️ Lisans: Meta Llama 3 Community License Agreement |
|
|
|
|
|
--- |
|
|
|
|
|
|
|
|
--- |
|
|
|
|
|
## 📂 Kullanılan Veri Setleri |
|
|
|
|
|
| Veri Kaynağı | Açıklama | Örnek Sayısı | |
|
|
|-------------------------|---------------------------------------------------------------------------|-------------| |
|
|
| **Türkçe Wikipedia** | Türkçe Wikipedia'nın en güncel sürümü kullanılarak temizlenmiş ve ön işlenmiş metinler. | ~700.000 | |
|
|
| **Türkçe Haber Makaleleri** | Çeşitli makale, yorum ve analiz haberleri. | ~150.000 | |
|
|
| **Türkçe Haberler** | Çeşitli haber portallarından derlenen politika, ekonomi, spor, teknoloji ve kültür içerikleri. | ~50.000 | |
|
|
|
|
|
--- |
|
|
|
|
|
|
|
|
## 💡 Kullanım Örneği |
|
|
|
|
|
```python |
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
model = AutoModelForCausalLM.from_pretrained("emirhan-denizyol/llama-3.2-3b-tr-dapt-full") |
|
|
tokenizer = AutoTokenizer.from_pretrained("emirhan-denizyol/llama-3.2-3b-tr-dapt-full") |
|
|
|
|
|
prompt = "Türkiye’de yapay zekâ çalışmaları hangi alanlarda yoğunlaşmaktadır?" |
|
|
inputs = tokenizer(prompt, return_tensors="pt").to("cuda") |
|
|
outputs = model.generate(**inputs, max_new_tokens=200) |
|
|
print(tokenizer.decode(outputs[0], skip_special_tokens=True)) |
|
|
|
