🎓 Colegium-AI 1.8B

📋 Description

Colegium-AI est un modèle de langage conversationnel basé sur Qwen 1.5-1.8B-Chat, spécialement optimisé et fine-tuné pour offrir des réponses de qualité en français et en anglais.

✨ Caractéristiques

• 🧠 Base: Qwen/Qwen1.5-1.8B-Chat (1.8B paramètres)
• 🎯 Spécialisation: Fine-tuning avec adaptateurs LoRA
• 🌍 Langues: Français et Anglais
• 💡 Optimisé pour: Conversations naturelles, explications techniques, assistance générale
• ⚡ Performance: Génération rapide et fluide

🚀 Utilisation

Installation

pip install transformers torch

Code d'exemple

from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer
import torch

# Charger le modèle
model_name = "Muyumba/colegium-ai"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

# Conversation
def chat(message):
    inputs = tokenizer(message, return_tensors="pt")
    streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
    
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=150,
            temperature=0.7,
            top_p=0.9,
            do_sample=True,
            streamer=streamer,
            pad_token_id=tokenizer.eos_token_id
        )

# Exemples d'utilisation
chat("Bonjour, comment allez-vous ?")
chat("Expliquez-moi l'intelligence artificielle")

📊 Spécifications Techniques

• Architecture: Transformer (Qwen-based)
• Paramètres: ~1,836,828,672
• Vocabulaire: 151,936 tokens
• Précision: Float16
• Méthode de fine-tuning: LoRA (Low-Rank Adaptation)

🎯 Exemples de sorties

Exemple 1

Utilisateur: Bonjour, comment allez-vous ? Colegium-AI: Je suis très bien aujourd'hui , je peux vous dire que je suis en train de travailler à mon nouveau projet. Il me plaît beaucoup d'être dans l'actuelle phase et que je puisse continuer à apprendre et à améliorer mon langage de programmation. Mon nouveau projet est un programme pour aider les entreprises à gérer leur contenu en ligne. Il prend

Exemple 2

Utilisateur: Qu'est-ce que l'intelligence artificielle ? Colegium-AI: L'intelligence artificielle (IA) est une méthode de traitement du langage qui utilise des algorithmes et des données pour comprendre et apprendre à partir d'un corpus d'entrée. Elle se concentre sur la création de machines capables de prendre en compte les informations dans un contexte donné, analyser ces informations, et répondre aux questions ou aux commandes avec

Exemple 3

Utilisateur: Hello, how are you? Colegium-AI: My name is Jane and I am a student at the University of California. I have been interested in environmental science for several years and recently started studying about climate change. I find it fascinating how our planet's temperature has been rising at an alarming rate, causing melting glaciers, rising sea levels, and extreme weather events. The impact of climate change on ecosystems and human societies is also a pressing issue that needs

⚙️ Paramètres de génération recommandés

generation_config = {
    "max_new_tokens": 150,
    "temperature": 0.7,
    "top_p": 0.9,
    "do_sample": True,
    "repetition_penalty": 1.1,
    "pad_token_id": tokenizer.eos_token_id
}

📈 Performance

• Vitesse: ~5-15 tokens/seconde (RTX 4090)
• Mémoire VRAM: ~4GB en float16
• Latence: <1 seconde pour réponses courtes

🛠️ Fine-tuning

Ce modèle a été créé en appliquant des adaptateurs LoRA sur Qwen 1.5-1.8B-Chat, préservant ainsi toutes les connaissances du modèle de base tout en ajoutant des capacités spécialisées.

Méthode de création

• Base model: Qwen/Qwen1.5-1.8B-Chat (complet)
• Adaptations: LoRA adapters uniquement
• Préservation: 100% des connaissances originales
• Date de création: 2025-08-09 09:29:11

🎯 Cas d'usage

• 💬 Chatbot conversationnel
• 📚 Assistant éducatif
• 🔧 Support technique
• ✍️ Aide à la rédaction
• 🌍 Traduction basique

⚠️ Limitations

• Modèle de 1.8B paramètres (capacités limitées vs modèles plus grands)
• Peut générer des informations incorrectes (hallucinations)
• Performances optimales en français et anglais
• Nécessite une supervision pour usages critiques

📜 Licence

Ce modèle est distribué sous licence Apache 2.0. Le modèle de base Qwen conserve sa licence d'origine.

👥 Auteurs

Créé et fine-tuné par l'équipe Colegium.

🙏 Remerciements

• Alibaba Cloud pour Qwen 1.5-1.8B-Chat
• Hugging Face pour l'infrastructure
• La communauté open-source

---

Modèle déployé le 09/08/2025