ikerion/mistral-7b-magyar-q4-gguf

Mistral 7B Magyar Q4 GGUF

Kvantált (Q4_0) magyar nyelvű Mistral 7B modell GGUF formátumban.

Modell részletek

• Alap modell: Mistral 7B
• Kvantálás: Q4_0 (4-bit)
• Fájl méret: ~3.8 GB
• Formátum: GGUF
• Optimalizálva: NVIDIA Jetson eszközökre

Használat

llama.cpp-vel:

./main -m mistral-magyar-q4.gguf -p "Kérdés: Mi a főváros?" -n 128

Python-ban:

from llama_cpp import Llama

llm = Llama(
    model_path="mistral-magyar-q4.gguf",
    n_ctx=2048,
    n_threads=4
)

response = llm("Kérdés: Mi Budapest?", max_tokens=128)
print(response['choices'][0]['text'])

Hardver követelmények

• RAM: Minimum 4 GB
• Tárhely: 4 GB szabad hely
• Optimális: NVIDIA Jetson vagy hasonló ARM64 platform

Licenc

Apache 2.0