Repeating words in output ( EOS Failure)
#1
by
epiCodex
- opened
When I transliterate it almost always gives repetetive characters in output like this
("یہ جنگ احد کا موثر ترین الفاظ میں تذکرہ ہے جب بنی ہوئی لڑائی درہ کوہ سے فرار کے بعد بگڑ گئی "-علی نقی) दीह-ए-जंग-ए-अहद का मोसिर तिरीन-ए-अल्फ़ाज़ में तज़्किरा है जब कबनी हुर दे को है सो ज़े को को है है है को को ज़े ज़े ज़े ज़ ज़ ज़
This does not happen with demo on rekhtalabs website.
Would appreciate if anyone can help.
the main reason of hallucination is model is trained on short sentences.Rekhtalabs Transliteration breaks text on "/n" n individually treating them. Try breaking your sentence into smaller chunks.I hope it helps