Tokens with Meaning: A Hybrid Tokenization Approach for NLP
Paper
•
2508.14292
•
Published
•
1
papers
-
-
Doğal Dil İşlemede Tokenizasyon Standartları ve Ölçümü: Türkçe Üzerinden Büyük Dil Modellerinin Karşılaştırmalı Analizi
Paper • 2508.13058 • Published • 1 -
Büyük Dil Modelleri için TR-MMLU Benchmarkı: Performans Değerlendirmesi, Zorluklar ve İyileştirme Fırsatları
Paper • 2508.13044 • Published • 1 -
Tokenization Standards for Linguistic Integrity: Turkish as a Benchmark
Paper • 2502.07057 • Published -
Setting Standards in Turkish NLP: TR-MMLU for Large Language Model Evaluation
Paper • 2501.00593 • Published • 1