File size: 1,839 Bytes
29337a6 4b69f9f 29337a6 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 |
---
base_model: unsloth/gemma-3-4b-it-unsloth-bnb-4bit
tags:
- text-generation-inference
- transformers
- unsloth
- gemma3
license: apache-2.0
language:
- en
---
# Fine-tuning do Gemma-3-4B para Astronomia (GGUF)
Este repositório contém uma versão do modelo `unsloth/gemma-3-4b-it` que passou por fine-tuning para responder a perguntas sobre astronomia em português.
## Processo de Fine-tuning
- **Modelo Base:** `unsloth/gemma-3-4b-it`
- **Dataset:** Foi utilizado um dataset customizado (`perguntas_astronomia_langchain.json`) contendo pares de pergunta e resposta sobre tópicos de astronomia.
- **Framework:** O treinamento foi realizado com a biblioteca [Unsloth](https://github.com/unslothai/unsloth) para otimização de memória e velocidade.
- **Técnica:** Foi aplicada a técnica de Low-Rank Adaptation (LoRA) para um fine-tuning eficiente, adaptando o modelo ao domínio específico.
- **Formato:** Os dados foram formatados para seguir o template de chat `gemma-3`.
## Objetivo
Especializar o modelo base para fornecer respostas mais precisas e contextuais no domínio da astronomia em português.
## Formato de Saída
O modelo final foi quantizado e salvo no formato `GGUF (Q8_0)`, otimizado para inferência eficiente em CPU com ferramentas como [llama.cpp](https://github.com/ggerganov/llama.cpp).
## Como Usar (Exemplo com llama.cpp)
Teste o LM Studio
# Uploaded finetuned model
- **Developed by:** vinimuchulski
- **License:** apache-2.0
- **Finetuned from model :** unsloth/gemma-3-4b-it-unsloth-bnb-4bit
This gemma3 model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
|