Teszt eredmények
A modell minősége rendkívül alacsony. Szárnypróbálgatásnak talán megteszi, de a legegyszerűbb mondatformálással is gondjai vannak. Semmiféle gyakorlati felhasználásra nem alkalmas.
Kedves Júlia!
Nagyon köszönjük a visszajelzést. Valóban a mondatformálással vannak gondjai a modellnek, hiszen ez egy magyarosítási kísérlet, mivel az eredeti modell erősen angol központú volt, így a magyarosítás után is maradnak hibák. Gyakorlati felhasználásra valóban nem alkalmas, mivel ez egy alap/nyers nyelvmodell, nincsen semmilyen feladatra kiképezve. A modell létrehozásának célja egy (igyekszünk) jó alapmodell előállítása, amit tovább lehet tanítani akár specifikus (osztályozás, fordítás stb.), akár általános feladatokra, mint pl. utasításkövetésre/chatelésre. Nagyon örülünk, hogy teszteli a modellünket, kíváncsiak vagyunk a tesztelő anyagra, és szívesen megmérjük a megfelelő modellünket a tesztjeire.
Nem mondanám, hogy bármiféle tesztelő anyagot használtam. Csak egyszerű kérdéseket illetve utasításokat adtam a modellnek a demo oldalon. Pl.: "Mit jelent a négyzet szó?" vagy "Magyarázd meg a négyzet szó jelentését!". Előfordult, hogy a válasz közösségi médiában használt felhasználónevet tartalmazott: "@"-al kezdődő, "_"-t is tartalmazó szót - ez a tréning anyag alacsony minőségére utal.
Egyébként a tesztelést és finomhangolást sem is bíznám emberekre, hanem inkább egy komolyabb nagy nyelvi modellre mint a Grok, vagy a ChatGPT mivel az emberi visszajelzések meglehetősen lassúak és megbízhatatlanok. Talán magát a tréning anyagot is célszerű lenne megszűrni egy komolyabb modellel, hogy ne legyenek benne woke vagy egyéb módon elfogult tartalmak illetve nem témába vágó hulladékinformációk - mint pl. az előbb is említett felhasználónév.
Mivel a magyar nyelv szerkezete sokkal bonyolultabb mint az angolé, minőségi tréning adatra és valószínűleg nagy mennyiségű tréning adatra lenne szükség. Külön figyelmet fordítanék az angol-magyar magyar-angol fordító tréning anyagokra (szintén előállítható nagy mennyiségben ChatGPT-vel vagy Grok-kal). Ez jelentősen növelhetné a modell pontosságát mivel használni tudná a méregdrága eredeti, kifinomult, angol kiképzőanyagot, ami már eleve benne van a modellben mielőtt magyar nyelvű finetuning-nak vetnénk alá.
Kedves Júlia!
Köszönjük az értékes hozzászólást, nagyon jó ötleteket írt, sajnos folyamatosan versenyt futunk az idővel és az erőforrásokkal. Másfél évvel ezelőtt nem állt rendelkezésünkre ennyi jó minőségű LLM, de még a mai napig is elég költséges LLM-kel előállítani elegendő nagy mennyiségű és jó minőségű tanítóanyagot. Jelenleg pont a szintetikus anyagok előállításával foglalkozunk. Fontosnak tartjuk, hogy munkánkat a fejlesztés újabb és újabb fázisaiban is nyilvánossá és kipróbálhatóvá tegyük, ezért örömmel fogadjuk a visszajelzéseket. Köszönjük, hogy követi munkánkat, és bátran írjon nekünk, ha bármilyen további kérdése vagy észrevétele van: [email protected]