Text Generation
Transformers
Safetensors
llama
text-generation-inference

Thanks for the great model

#7
by fergusq - opened

I have been testing this model recently and I've found that it is maybe the best open-source model available for fluent Finnish language generation when compared to Poro 2, EuroLLM 22B Preview, and Gemma 3 27B. I've tested it with English->Finnish and French->Finnish translation of fiction. The other models, while making clear mistakes, also produce a lot of unnatural or anglicism-full language, which seems to be almost completely absent from this model. With some texts this model is rivalling large commercial models like GPT-5. Excellent work!

The only issue is that currently the translation quality is not constant. One generation may be extremely good, then the next one with the same source text might contain broken grammar. Setting temperature to 0 did not help, instead it introduced new problems. I'll have to test if few-shot prompting can fix these issues, otherwise a translation-focused finetune is likely required.

Below is an example translation for those interested.

Prompt:

ENGLISH:

After leaving Vienna, and long before you come to Budapest, the Danube enters a region of singular loneliness and desolation, where its waters spread away on all sides regardless of a main channel, and the country becomes a swamp for miles upon miles, covered by a vast sea of low willow-bushes. On the big maps this deserted area is painted in a fluffy blue, growing fainter in color as it leaves the banks, and across it may be seen in large straggling letters the word Sumpfe, meaning marshes.

In high flood this great acreage of sand, shingle-beds, and willow-grown islands is almost topped by the water, but in normal seasons the bushes bend and rustle in the free winds, showing their silver leaves to the sunshine in an ever-moving plain of bewildering beauty. These willows never attain to the dignity of trees; they have no rigid trunks; they remain humble bushes, with rounded tops and soft outline, swaying on slender stems that answer to the least pressure of the wind; supple as grasses, and so continually shifting that they somehow give the impression that the entire plain is moving and alive. For the wind sends waves rising and falling over the whole surface, waves of leaves instead of waves of water, green swells like the sea, too, until the branches turn and lift, and then silvery white as their underside turns to the sun.

Happy to slip beyond the control of the stern banks, the Danube here wanders about at will among the intricate network of channels intersecting the islands everywhere with broad avenues down which the waters pour with a shouting sound; making whirlpools, eddies, and foaming rapids; tearing at the sandy banks; carrying away masses of shore and willow-clumps; and forming new islands innumerably which shift daily in size and shape and possess at best an impermanent life, since the flood-time obliterates their very existence.

FINNISH (OFFICIAL TRANSLATION):

Completion:

Wienistä lähdettyään ja ennen Budapestiin tuloa Tonava kulkee pitkän matkaa yksinäistä ja autiota seutua, jossa sen vedet hajaantuvat joka suunnalle välittämättä pääuomasta ja jossa maa muuttuu monien mailien alalla rämeeksi, jota peittää laaja pajukko. Suurissa kartoissa tämä autio seutu on väritetty pehmeällä sinisellä, joka vaalenee kohti rantoja, ja sen yli on kirjoitettu isoilla harvoilla kirjaimilla sana Sumpfe, joka merkitsee rämettä.

Kun tulva on korkeimmillaan, tämä suuri hiekan, soran ja pajukkoisten saarten alue on melkein kokonaan veden peitossa, mutta normaaleina aikoina pajut kumartuvat ja kahisevat vapaassa tuulessa, näyttäen hopeanhohtoiset lehtensä auringolle alati liikkuvana, hämmästyttävän kauniina tasankona. Nämä pajut eivät koskaan saavuta puun arvokkuutta; niissä ei ole jäykkiä runkoja; ne jäävät nöyriksi pensaiksi, joiden pyöreät latvat ja pehmeä muoto huojuvat hoikilla varsilla, jotka reagoivat pienimpäänkin tuulen henkäykseen; ne ovat joustavia kuin ruohot ja niin jatkuvassa liikkeessä, että ne antavat jotenkin sen vaikutelman, että koko tasanko liikkuu ja elää. Tuuli nimittäin saa lehtien aallot kohoamaan ja laskemaan koko tasangolla, lehtiaaltoja siinä missä vesiaaltojakin, ja vihreitä aaltoja kuin meren, kunnes oksat kääntyvät ja nousevat, ja silloin niiden alapinta kääntyy aurinkoon päin, hopeisen valkoisena.

Onnellinen päästyään ankarien rantojen otteesta, Tonava vaeltaa täällä vapaasti mielihalujensa mukaan saarien välisen mutkikkaan kanavien verkoston halki, joka on täynnä leveitä katuja, joita pitkin vedet virtaavat äänekkäästi; se synnyttää pyörteitä, virtauksia ja kuohuvia koskia; raatelee hiekkarantoja ja pajuja; vie mukanaan suuria määriä rantoja ja pajuja; ja muodostaa lukemattomia uusia saaria, jotka muuttuvat päivittäin kooltaan ja muodoltaan ja joilla on korkeintaan väliaikainen elämä, sillä tulva-aika pyyhkii pois niiden olemassaolon.

Source: https://en.wikisource.org/wiki/The_Willows_(Blackwood)/I

Hey! I am really happy to hear!
Currently, we haven't adapted the model for translation yet! It has only seen some 5% of the training data as parallel texts.
The data format during the pretraining differed from what you use, so a few-shot prompting may help.
We will publish a dedicated translation model as soon as it is ready.

Sign up or log in to comment