Update README.md

README.md

@@ -1,3 +1,94 @@
----
-license: apache-2.0
----
+---
+license: apache-2.0
+datasets:
+- aydndglr/Alfa_TR_Content
+language:
+- tr
+pipeline_tag: text-classification
+library_name: transformers
+---
+# ✨ EchoLLM
+
+> ⚠️ *Experimental model – early stage development*  
+> ⚠️ *Deneysel model – erken geliştirme aşamasında*
+
+**Author / Geliştirici:** Aydın DAĞLAR  
+**Framework:** PyTorch  
+**License:** Apache 2.0  
+**Tags:** `experimental`, `transformer`, `moe`, `kv-memory`, `alibi`, `llm-research`
+
+---
+
+## 📌 Overview (English)
+
+**EchoLLM** is a modular transformer model that incorporates experimental techniques such as Performer attention, Mixture of Experts (MoE), persistent Key-Value Memory, and ALiBi positional biasing.
+
+🔬 **⚠️ This model has not been trained yet.**  
+It is currently in the **architecture prototyping phase**, and no official checkpoints or performance metrics are available.  
+The model is provided for research, experimentation, and extension purposes only.
+
+Key experimental features:
+
+- **Performer Attention** – For scalable linear-time attention.
+- **Mixture of Experts (MoE)** – Dynamic expert selection for efficient learning.
+- **Key-Value Memory** – A module to retain context across long sequences.
+- **ALiBi Positional Encoding** – A non-embedding approach to sequence length flexibility.
+- **Quantization and Pruning Ready** – Designed for post-training optimization (optional).
+- **Multi-format Export** – Can be exported to `.bin` or `.safetensors`.
+
+**Usage is currently limited to architecture testing and static exports.**
+
+---
+
+## 📌 Genel Bakış (Türkçe)
+
+**EchoLLM**, Performer dikkat yapısı, Uzman Karışımı (MoE), Anahtar-Değer Hafızası ve ALiBi pozisyon kodlaması gibi deneysel bileşenleri içeren modüler bir transformer mimarisidir.
+
+🔬 **⚠️ Bu model henüz eğitilmemiştir.**  
+Şu anda yalnızca **mimari prototip** aşamasındadır.  
+Herhangi bir eğitilmiş ağırlık, doğruluk metrikleri ya da kullanım senaryosu mevcut değildir.
+
+Öne çıkan deneysel özellikler:
+
+- **Performer Dikkat** – Uzun dizilerde verimli dikkat hesaplaması.
+- **MoE** – Token başına uzman seçimi ile hesaplama verimliliği.
+- **KV Hafıza** – Bağlamı uzun süreli olarak koruyabilen hafıza yapısı.
+- **ALiBi Kodlama** – Pozisyonel embedding yerine bias tabanlı esneklik.
+- **Quantization & Pruning Desteği** – Eğitim sonrası hafifletme için tasarlandı.
+- **Çoklu Format Desteği** – `.bin` ve `.safetensors` çıktıları alınabilir.
+
+**Şu an yalnızca mimari test ve dışa aktarım amaçlı kullanılabilir.**
+
+---
+
+## 🧠 Architecture Summary
+
+| Parametre                | Değer         |
+|--------------------------|---------------|
+| Gizli Katman Boyutu      | 768           |
+| Katman Sayısı            | 12            |
+| Dikkat Kafası Sayısı     | 12            |
+| Feedforward Genişliği    | 3072          |
+| MoE Uzman Sayısı         | 4             |
+| Maksimum Pozisyon        | 2048 token    |
+| Sözlük Boyutu            | 32,000        |
+| Hafıza Kapasitesi        | 512 token     |
+| Quantization / Pruning   | Opsiyonel     |
+
+---
+
+## 🧑‍💻 Developed By
+
+**Aydın DAĞLAR**  
+Design, prototyping, and modular engineering.
+
+> For feedback, collaboration, or updates, visit: https://huggingface.co/aydndglr or [email protected]
+
+---
+
+## 📄 License
+
+This project is licensed under the **Apache 2.0 License**.  
+Use freely for experimentation, but cite the author if you publish related work.
+
+---