jimytech

/

Llama-2-7b-chat-finetune

like 0

Fine Tunning del modelo llama-2-7b-chat-hf (modelo de chat).
Entrenado con 2000 muestras del dataset jimytech/guanaco-llama2-2k, subconjunto formateado del dataset openassistant-guanaco de Hugging Face, donde se reformatea cada conversación en un estilo estructurado para modelos tipo Instruct.
Generamos el modelo optimizado Llama-2-7b-chat-finetune. Utilizando la técnica QLoRA con un rango de 64 con un parámetro de escala de 16. Cargando el modelo Llama 2 directamente en precisión de 4 bits utilizando el tipo NF4.
Fuente: https://github.com/krishnaik06/Finetuning-LLM