start_server.sh

#!/bin/bash
ollama serve &

ollama pull mistral:7b  > /dev/null 2>&1
ollama pull llama3:8b   > /dev/null 2>&1
ollama pull gemma:2b    > /dev/null 2>&1
ollama pull gemma:7b    > /dev/null 2>&1

ollama create mistral4k:7b --file /home/user/app/mistral7b.Modelfile
ollama create llama38k:8b --file /home/user/app/llama38b.Modelfile

python main.py