Fine-tuning do Gemma-3-4B para Astronomia (GGUF)

Este repositório contém uma versão do modelo unsloth/gemma-3-4b-it que passou por fine-tuning para responder a perguntas sobre astronomia em português.

Processo de Fine-tuning

Modelo Base: unsloth/gemma-3-4b-it
Dataset: Foi utilizado um dataset customizado (perguntas_astronomia_langchain.json) contendo pares de pergunta e resposta sobre tópicos de astronomia.
Framework: O treinamento foi realizado com a biblioteca Unsloth para otimização de memória e velocidade.
Técnica: Foi aplicada a técnica de Low-Rank Adaptation (LoRA) para um fine-tuning eficiente, adaptando o modelo ao domínio específico.
Formato: Os dados foram formatados para seguir o template de chat gemma-3.

Objetivo

Especializar o modelo base para fornecer respostas mais precisas e contextuais no domínio da astronomia em português.

Formato de Saída

O modelo final foi quantizado e salvo no formato GGUF (Q8_0), otimizado para inferência eficiente em CPU com ferramentas como llama.cpp.

Como Usar (Exemplo com llama.cpp)

Teste o LM Studio

Uploaded finetuned model

Developed by: vinimuchulski
License: apache-2.0
Finetuned from model : unsloth/gemma-3-4b-it-unsloth-bnb-4bit

This gemma3 model was trained 2x faster with Unsloth and Huggingface's TRL library.