munish0838
commited on
Commit
•
32e8c11
1
Parent(s):
cc28ab5
Upload README.md with huggingface_hub
Browse files
README.md
ADDED
@@ -0,0 +1,102 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
|
2 |
+
---
|
3 |
+
|
4 |
+
language: es
|
5 |
+
license: apache-2.0
|
6 |
+
tags:
|
7 |
+
- text-generation-inference
|
8 |
+
- transformers
|
9 |
+
- gemma
|
10 |
+
- chat
|
11 |
+
- qa
|
12 |
+
- multi-task-learning
|
13 |
+
- instruction-tuning
|
14 |
+
base_model: google/gemma-2b
|
15 |
+
|
16 |
+
---
|
17 |
+
|
18 |
+
![](https://lh7-rt.googleusercontent.com/docsz/AD_4nXeiuCm7c8lEwEJuRey9kiVZsRn2W-b4pWlu3-X534V3YmVuVc2ZL-NXg2RkzSOOS2JXGHutDuyyNAUtdJI65jGTo8jT9Y99tMi4H4MqL44Uc5QKG77B0d6-JfIkZHFaUA71-RtjyYZWVIhqsNZcx8-OMaA?key=xt3VSDoCbmTY7o-cwwOFwQ)
|
19 |
+
|
20 |
+
# QuantFactory/leniachat-gemma-2b-v0-GGUF
|
21 |
+
This is quantized version of [LenguajeNaturalAI/leniachat-gemma-2b-v0](https://huggingface.co/LenguajeNaturalAI/leniachat-gemma-2b-v0) created using llama.cpp
|
22 |
+
|
23 |
+
# Original Model Card
|
24 |
+
|
25 |
+
|
26 |
+
|
27 |
+
![image/png](https://cdn-uploads.huggingface.co/production/uploads/61f333df8f26cc42dc587011/KX0yrpzeH2x3M4FWyx40Y.png)
|
28 |
+
|
29 |
+
# Modelo LenguajeNatural.AI Chat e Instrucciones 2B
|
30 |
+
|
31 |
+
## Desarrollado por
|
32 |
+
|
33 |
+
Este modelo ha sido desarrollado por [**LenguajeNatural.AI**](https://lenguajenatural.ai/), con el objetivo de proporcionar a la comunidad de habla hispana herramientas avanzadas para la generación de texto, chat e instrucciones. Es el primero de una serie de modelos que planeamos lanzar.
|
34 |
+
|
35 |
+
## Licencia
|
36 |
+
|
37 |
+
Este modelo se distribuye bajo la licencia Apache 2.0.
|
38 |
+
|
39 |
+
## Modelo Base
|
40 |
+
|
41 |
+
Este modelo se ha afinado a partir de `google/gemma-2b`, incorporando características avanzadas para una mejor generación de texto y comprensión en tareas de chat e instrucciones en español.
|
42 |
+
|
43 |
+
## Idioma
|
44 |
+
|
45 |
+
El modelo ha sido entrenado exclusivamente en español, con el objetivo de maximizar su efectividad en aplicaciones destinadas a usuarios de habla hispana.
|
46 |
+
|
47 |
+
## Entrenamiento
|
48 |
+
|
49 |
+
El modelo se ha entrenado en tres fases distintas para asegurar un buen rendimiento en una amplia gama de tareas:
|
50 |
+
|
51 |
+
1. **Aprendizaje multi-tarea en español**: Utilizando múltiples conjuntos de datos supervisados para un entrenamiento al estilo FLAN.
|
52 |
+
2. **Entrenamiento de instrucciones de alta calidad**: Afinando el modelo para entender y generar respuestas a instrucciones complejas.
|
53 |
+
3. **Entrenamiento de chat y QA abstractivo**: Optimizando el modelo para conversaciones fluidas y la generación de respuestas a preguntas abstractas.
|
54 |
+
|
55 |
+
En las 3 fases se ha llevado a cabo el entrenamiento gracias a nuestra librería [autotransformers](https://github.com/lenguajenatural-ai/autotransformers).
|
56 |
+
|
57 |
+
|
58 |
+
![image/png](https://cdn-uploads.huggingface.co/production/uploads/61f333df8f26cc42dc587011/LbzqllY6iX7IHhqXx4qeA.png)
|
59 |
+
|
60 |
+
## Tamaño máximo de secuencia
|
61 |
+
|
62 |
+
El tamaño máximo de secuencia para este modelo es de 8192 tokens.
|
63 |
+
|
64 |
+
## Usos y Limitaciones
|
65 |
+
|
66 |
+
Este modelo está diseñado para ser utilizado en aplicaciones de generación de texto, chatbots, y asistentes virtuales en español. Aunque ha sido entrenado para minimizar sesgos y errores, recomendamos evaluar su desempeño en su contexto específico de uso. Los usuarios deben ser conscientes de las limitaciones inherentes a los modelos de lenguaje y utilizar este modelo de manera responsable.
|
67 |
+
Además, debe tenerse en cuenta que el modelo base es de únicamente 2b parámetros, por lo que este modelo comparte las limitaciones inherentes a los modelos de ese tamaño.
|
68 |
+
|
69 |
+
## ¿Cómo empezar?
|
70 |
+
|
71 |
+
Puedes empezar a utilizar este modelo a través de la API de Hugging Face o integrarlo en tus aplicaciones utilizando la biblioteca `transformers`. Aquí tienes un ejemplo de cómo cargar el modelo:
|
72 |
+
|
73 |
+
```python
|
74 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer
|
75 |
+
import torch
|
76 |
+
|
77 |
+
model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0"
|
78 |
+
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
79 |
+
model = AutoModelForCausalLM.from_pretrained(model_name)
|
80 |
+
|
81 |
+
# Generar texto
|
82 |
+
messages = [
|
83 |
+
{"role": "system", "content": "Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."},
|
84 |
+
{"role": "user", "content": "¿Qué fue la revolución industrial?"}
|
85 |
+
]
|
86 |
+
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")
|
87 |
+
with torch.no_grad():
|
88 |
+
output = model.generate(input_ids, max_new_tokens=50)
|
89 |
+
print(tokenizer.decode(output[0], skip_special_tokens=True))
|
90 |
+
```
|
91 |
+
|
92 |
+
## Evaluación
|
93 |
+
Para asegurar la calidad del modelo, se ha realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Los detalles específicos de la evaluación de los modelos LeNIA-Chat están disponibles en la siguiente tabla.
|
94 |
+
|
95 |
+
![image/png](https://cdn-uploads.huggingface.co/production/uploads/61f333df8f26cc42dc587011/5dSFtkZ6PmfoaDxBLDVvo.png)
|
96 |
+
|
97 |
+
## Contribuciones
|
98 |
+
Animamos a la comunidad a contribuir con retroalimentación, sugerencias, y mejoras para este modelo. La colaboración es fundamental para el avance de la inteligencia artificial accesible y ética.
|
99 |
+
|
100 |
+
## Futuras Versiones
|
101 |
+
Planeamos continuar mejorando este modelo y lanzar versiones futuras con capacidades ampliadas. Mantente atento a nuestras actualizaciones. Puedes estar al tanto en nuestra [página web](https://lenguajenatural.ai/) o nuestra [página de LinkedIn](https://www.linkedin.com/company/lenguajenatural-ai/).
|
102 |
+
|