GPT-Neo-125M for TinyBrain

Este repositorio contiene el modelo GPT-Neo-125M optimizado para su uso en la app TinyBrain en Apple Watch. El modelo ha sido convertido a formato Core ML (.mlpackage) y comprimido en un archivo .zip para facilitar su descarga y ejecución local en el dispositivo.

Contenido

gptneo_only_logits.zip: Modelo CoreML comprimido (.mlpackage) compatible con TinyBrain.
tokenizer/: Archivos necesarios para tokenizar texto correctamente usando el mismo esquema que el modelo original.
- vocab.json
- merges.txt
- tokenizer_config.json
convert_gptneo125_to_coreml.py: Script usado para convertir el modelo desde PyTorch a CoreML.
download_tokenizer_gptneo125.py: Script para descargar el tokenizer desde Hugging Face.

Requisitos de uso en TinyBrain

TinyBrain descomprime automáticamente gptneo_only_logits.zip al detectar que el modelo no ha sido instalado previamente.
El modelo debe estar en formato .mlpackage, no .mlmodel.
El nombre del modelo (gptneo_only_logits) debe coincidir con el valor definido en el JSON de TinyBrain (models.json).

Fuente del modelo

Modelo original: EleutherAI/gpt-neo-125M

Notas

Este modelo ha sido reducido para que solo devuelva los logits, eliminando elementos como past_key_values, attentions y hidden_states para evitar errores durante la conversión a CoreML.
El modelo fue trazado usando torch.jit.trace antes de la conversión.