yeniguno/gpt2-turkish-poem-generator

Model Card for Model ID

This model is a fine-tuned version of ytu-ce-cosmos/turkish-gpt2-large, trained on 100,000 Turkish poems. It specializes in generating poetry in Turkish with fluency and coherence.

How to Get Started with the Model

Use the code below to get started with the model.

from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel

model = GPT2LMHeadModel.from_pretrained("yeniguno/gpt2-turkish-poem-generator")
tokenizer = AutoTokenizer.from_pretrained("yeniguno/gpt2-turkish-poem-generator")

text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer)

response = text_generator("Dağ başındasın, ", max_length=100)

print(f"\nRESPONSE\n{response}")
"""
RESPONSE
[{'generated_text': 'Dağ başındasın, uçar peşinde. Bir düştün şu garip dünyaya. Girdin sen de dünyamı başıma. Hiç acımadın bu genç yaşa. Uçtun, tozdun, bir başına. Sen de bir çocuk olmuştun. Ağlıyordun, o dünyada. Gel, gör bir de gör, ne olmuşsun. Yaşamak, düşlemek ne olmuşsun. Gel, gör bu genç yaşta ne olmuşsun.\nUçmayı, dağlarda gezmeyi düşlüyordun, Uçmak, ağaçlarda'}]
"""

Training Details

Training Details

• Training Dataset: 100K Turkish poems from diverse sources.
• Tokenizer: Inherited from turkish-gpt2-large.
• Training Steps: 18,714
• Epochs: 3
• Optimizer: AdamW

Loss Metrics

Epoch	Training Loss	Validation Loss
1	3.9527	3.8496
2	3.6406	3.7984
3	3.3847	3.7995

Final Training Metrics

• Global Steps: 18,714
• Final Training Loss: 3.6842
• Train Runtime: 15,003s (~4.2 hours)
• Samples per Second: 19.96
• Steps per Second: 1.25
• Total FLOPs: 6.52 × 10¹⁷