🤖 JETSON NANO SETUP ÚTMUTATÓ
📋 Előfeltételek
- Jetson Nano Super (8GB RAM)
- Ubuntu 20.04+
- Ollama telepítve
🌐 1. GGUF Modell Letöltése
Online Konvertálóval:
- Megy ide: https://huggingface.co/spaces/ggml-org/gguf-my-repo
- Repository URL:
ikerion/mistral-7b-magyar-portas-for-gguf - Kvantálás: Q4_0
- Konvertálás indítása
- ~20 perc várakozás
- model-q4_0.gguf letöltése (~3-4 GB)
🚀 2. Jetson Telepítés
# Ollama telepítés (ha nincs)
curl -fsSL https://ollama.ai/install.sh | sh
# Modell fájlok előkészítése
mkdir ~/mistral-magyar
cd ~/mistral-magyar
# Modelfile létrehozása
cat > Modelfile << 'EOF'
FROM ./model-q4_0.gguf
TEMPLATE "<s>[INST] {{ .System }} [/INST]
{{ .Prompt }} [/INST]
"
SYSTEM "Az a feladatod, hogy az alábbi magyar szöveget két kategóriába osztályozd:
PARANCS: Ha a szöveg olyan parancsot tartalmaz, amelyhez létezik egy előre meghatározott, futtatható Python script (pl. lámpakapcsolás, időjárás lekérdezés stb.). Ebben az esetben a destination legyen \"RASPBERRY\", a value pedig a megfelelő script fájlneve .py kiterjesztéssel.
ERIK: Ha a szöveg általános beszélgetés, kérdés, mese, vagy olyan parancs, amelyhez nincs előre definiált script. Ebben az esetben a destination legyen \"ERIK\", a value pedig a teljes bemeneti szöveg változtatás nélkül.
Nagyon fontos szabályok:
- Soha ne válaszolj a szövegre!
- Ne magyarázz!
- Ne kérdezz vissza!
- Mindig kizárólag a kért JSON formátumban adj választ!"
PARAMETER num_ctx 2048
PARAMETER temperature 0.1
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
PARAMETER num_thread 4
EOF
# Ollama modell létrehozása
ollama create mistral-magyar-jetson -f Modelfile
# Teszt
ollama run mistral-magyar-jetson "Kapcsold fel a konyhai lámpát!"
🧪 3. Tesztelés
# PARANCS tesztek
ollama run mistral-magyar-jetson "Hány óra van?"
ollama run mistral-magyar-jetson "Főzz kávét!"
ollama run mistral-magyar-jetson "Kapcsold be a TV-t!"
# ERIK tesztek
ollama run mistral-magyar-jetson "Mesélj egy mesét!"
ollama run mistral-magyar-jetson "Rendelj pizzát!"
⚡ 4. Teljesítmény Optimalizálás
# Ha lassú
ollama run mistral-magyar-jetson --num-thread 2 "Kapcsold fel a lámpát!"
# Ha kevés RAM
ollama run mistral-magyar-jetson --num-ctx 1024 "Hány óra van?"
🐛 5. Hibaelhárítás
Probléma: "model not found"
Megoldás: ollama list és újra ollama create
Probléma: Lassú válaszidő
Megoldás: num_thread 2 vagy num_ctx 1024
Probléma: RAM hiány Megoldás: Swap file növelése vagy más folyamatok leállítása
🇭🇺🤖 Magyar AI Portás Jetson Nano-n!