somosnlp-hackathon-2025/mistral-7b-gastronomia-hispana-dpo

Mistral 7B Gastronomía Hispana DPO

Descripción del Modelo

Mistral 7B Gastronomía Hispana DPO es un modelo de lenguaje especializado en cocina internacional, específicamente optimizado para la gastronomía hispana mediante Direct Preference Optimization (DPO). Este modelo ha sido entrenado para ser un experto en ingredientes, técnicas culinarias, recetas tradicionales y sustituciones apropiadas en diferentes culturas gastronómicas del mundo hispanohablante.

Características Principales

• Especialización: Experto en gastronomía hispana e internacional
• Idioma: Respuestas exclusivamente en español
• Conocimientos: Ingredientes, técnicas de cocción, recetas tradicionales, sustituciones culinarias
• Optimización: Entrenado con DPO para respuestas de mayor calidad y preferencia humana
• Base: Mistral 7B Instruct v0.3 con optimizaciones de Unsloth

Detalles Técnicos

Parámetro	Valor
Modelo Base	unsloth/mistral-7b-instruct-v0.3-bnb-4bit
Método de Entrenamiento	Direct Preference Optimization (DPO)
Dataset	somosnlp-hackathon-2025/gastronomia-hispana-dpo
LoRA Rank	64
LoRA Alpha	64
Épocas	1
Learning Rate	2e-7
Batch Size	4 (con gradient accumulation = 8)
Secuencia Máxima	2,500 tokens
Template de Chat	ChatML
Precisión	bfloat16

Uso del Modelo

Instalación

pip install transformers torch accelerate

Carga del Modelo

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Cargar modelo y tokenizer
model_name = "somosnlp-hackathon-2025/mistral-7b-gastronomia-hispana-dpo"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

Ejemplo de Uso

def generar_respuesta_culinaria(pregunta):
    messages = [
        {
            "role": "system", 
            "content": "Eres un experto en ingredientes de cocina internacional, conoces sus propiedades, usos tradicionales y sustituciones apropiadas en diferentes culturas gastronómicas del mundo."
        },
        {
            "role": "user", 
            "content": pregunta
        }
    ]
    
    # Aplicar template de chat
    input_text = tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
    )
    
    # Tokenizar
    inputs = tokenizer(input_text, return_tensors="pt", truncation=True)
    
    # Generar respuesta
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            do_sample=True,
            temperature=0.7,
            top_p=0.9,
            pad_token_id=tokenizer.eos_token_id
        )
    
    # Decodificar respuesta
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response.split("assistant")[-1].strip()

# Ejemplo de consulta
pregunta = "¿Cómo puedo preparar un sofrito auténtico para paella valenciana?"
respuesta = generar_respuesta_culinaria(pregunta)
print(respuesta)

Uso con Unsloth (Recomendado para Inferencia Rápida)

from unsloth import FastLanguageModel

# Cargar con Unsloth para inferencia 2x más rápida
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="somosnlp-hackathon-2025/mistral-7b-gastronomia-hispana-dpo",
    max_seq_length=2500,
    dtype=None,  # Auto-detección
    load_in_4bit=True
)

# Habilitar inferencia rápida
FastLanguageModel.for_inference(model)

Casos de Uso

Casos de Uso Ideales

• Consultas sobre ingredientes: Propiedades, orígenes, usos tradicionales
• Técnicas culinarias: Métodos de cocción, tiempos y temperaturas
• Recetas tradicionales: Platos típicos de la gastronomía hispana
• Sustituciones culinarias: Alternativas para ingredientes no disponibles
• Maridajes: Combinaciones de sabores y bebidas
• Consejos culinarios: Tips para mejorar preparaciones

Limitaciones

• Idioma: Solo responde en español
• Especialización: Enfocado principalmente en gastronomía hispana
• Información médica: No proporciona consejos médicos sobre dietas
• Información actualizada: Conocimiento limitado a datos de entrenamiento

Rendimiento

El modelo ha sido optimizado mediante DPO para generar respuestas que:

• ✅ Son cultural y gastronómicamente precisas
• ✅ Incluyen contexto cultural relevante
• ✅ Proporcionan sustituciones apropiadas
• ✅ Mantienen un tono experto pero accesible
• ✅ Respetan las tradiciones culinarias regionales

Ejemplos de Interacción

Usuario: "¿Qué tipo de harina se utiliza para hacer los crackers de los canapés con crema de salmón?"

Asistente: "Para preparar los crackers de los canapés con crema de salmón, la receta especifica el uso de harina de fuerza. Esta harina, también conocida como harina fuerte o harina de panadería, es ideal para este tipo de preparaciones debido a su alto contenido de gluten (generalmente entre un 12-14%)..."

---

Usuario: "¿Cuáles son los ingredientes principales del Motepillo?"

Asistente: [Respuesta detallada sobre este plato tradicional ecuatoriano con maíz tostado, huevos y especias]

Dataset y Entrenamiento

• Dataset: Especializado en gastronomía hispana con pares de preferencias
• Tamaño: 7,092 ejemplos de entrenamiento
• Método: Direct Preference Optimization (DPO) con β=0.8
• Validación: Split 95%/5% para entrenamiento/validación
• Hardware: NVIDIA L40S (44.4GB VRAM)

🏆 Hackathon SomosNLP 2025

Este modelo fue desarrollado como parte del Hackathon SomosNLP 2025, enfocado en crear modelos de IA especializados para la comunidad hispanohablante.

Equipo de Desarrollo

• Especialización en gastronomía hispana e internacional
• Optimización con técnicas de entrenamiento avanzadas (DPO)
• Enfoque en preservación cultural gastronómica

📄 Licencia

Este modelo se distribuye bajo la Licencia Apache 2.0, permitiendo uso comercial y modificación con atribución apropiada.

🔗 Enlaces Relacionados

• Modelo Base: Mistral 7B Instruct v0.3
• Framework: Unsloth
• Dataset: Gastronomía Hispana DPO
• SomosNLP: Comunidad

🙏 Agradecimientos

Agradecemos a:

• SomosNLP por organizar el hackathon y promover la IA en español
• Unsloth por las optimizaciones de entrenamiento
• Mistral AI por el modelo base
• Cohere AI por la API para el dataset
• Hugging Face por la infraestructura y herramientas

---

¡Disfruta cocinando con IA! 👨‍🍳🤖

Desarrollado con ❤️ para la comunidad hispanohablante

Uploaded model

• Developed by: somosnlp-hackathon-2025
• License: apache-2.0
• Finetuned from model : unsloth/mistral-7b-instruct-v0.3-bnb-4bit

This mistral model was trained 2x faster with Unsloth and Huggingface's TRL library.