README.md

metadata

datasets:
  - jerteh/cc100-sr-jerteh
  - jerteh/SrpELTeC
  - jerteh/SrpWiki
  - srwac
  - procesaur/STARS
language:
  - sr
tags:
  - Srpski
  - Serbian
  - GPT2
  - generisanje
license: cc-by-sa-4.0
pipeline_tag: text-generation
widget:
  - text: Kada bi čovek znao gde će pasti,
  - text: Jednom davno,
  - text: Srbija je
  - text: Najbolji lek za stres je

gpt2-vrabac — Mali generativni model za srpski jezik.

• Generiše novi tekst, ili nastavlja započeti tekstualni unos
• Zasnovan na GPT2-small arhitekturi, 130 miliona parametara
• Obučavan na korpusu srpskog jezika veličine 4 milijarde tokena
• Jednaka podrška unosa i na ćirilici i na latinici!

Upotreba

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='jerteh/gpt2-vrabac')
>>> set_seed(23)
>>> generator("", max_length=30, num_return_sequences=5)

[{'generated_text': 'Ja, međutim, ne idem na put da idem već da se vratim na aerodrom.'},
 {'generated_text': 'Domaćinstvo se nalazilo na mestu zvanom Kutuzov kod Niša.'},
 {'generated_text': 'Regionalne razlike:'},
 {'generated_text': 'Od tada do sada smo u veoma teškoj situaciji“, poručio je on.'},
 {'generated_text': 'Iz tog razloga, na ovaj način u potpunosti bi se izbegla dodatna mogućnost da se sa istim problemima suoči i Vlada.'}]

Pored navedenih, model je obučavan i na ostalim korpusima Društva za jezičke resurse i tehnologije, uključujući korpuse savremenog srpskog jezika: SrpKor2013 i SrpKor2021, kao i korpus PDRS 1.0 razvijen od strane Instituta za Srpski jezik SANU.

U slučaju potrebe za većim modelom, pogledajte gpt2-orao — najveći generativni model za srpski jezik.

Modeli su obučavani na Nacionalnoj platformi za veštačku inteligenciju Srbije (sistem koji se bazira na nVidia DGX sistemima).

Autor

Mihailo Škorić

@procesaur

Citiranje

@article{skoric24modeli,
  author    = {Mihailo \vSkori\'c},
  title     = {Novi jezi\vcki modeli za srpski jezik},
  journal   = {Infoteka},
  volume    = {24},
  issue     = {1},
  year      = {2024},
  publisher = {Zajednica biblioteka univerziteta u Srbiji, Beograd},
  url       = {https://arxiv.org/abs/2402.14379}
}