README.md

---
base_model: Qwen/Qwen3-0.6B
library_name: peft
pipeline_tag: text-generation
tags:
- medical
- healthcare
- canada
- quebec
- ramq
- health-canada
- din
- francais
- notes-cliniques
- lora
- transformers
language:
- fr
- en
license: apache-2.0
datasets:
- health-canada-dpd
model-index:
- name: Qwen3-0.6B-Medical-Canada-v2
  results:
  - task:
      type: text-generation
      name: Canadian Medical Note Generation
    metrics:
    - type: loss
      value: 2.386
      name: Final Validation Loss
    - type: training_time
      value: 54.7
      name: Training Time (seconds)
---

# Qwen3-0.6B-Medical-Canada-v2 🇨🇦

## Description

**Version 2.0** du modèle médical canadien - Fine-tuné avec des données 100% authentiques du système de santé canadien. Ce modèle a été spécifiquement entraîné avec les vrais médicaments de Health Canada (avec DIN officiels) et les systèmes provinciaux réels.

### 🚀 **Nouveautés v2.0**

- ✅ **Données 100% canadiennes** (vs datasets français v1.0)
- ✅ **DIN authentiques** de Health Canada Drug Product Database API
- ✅ **Systèmes provinciaux réels** : RAMQ (QC), OHIP (ON), MSP (BC)
- ✅ **Médicaments canadiens** : LIPITOR, PANTOLOC, etc.
- ✅ **Établissements réels** : CHUM, Toronto General Hospital
- ✅ **Performance améliorée** : Loss 2.39 (vs 2.49 v1.0)

## Caractéristiques principales

- 🏥 **Système de santé canadien** : Couverture provinciale authentique
- 📝 **Notes structurées canadiennes** : Format adapté aux protocoles canadiens
- 💊 **Base de données officielle** : Health Canada DPD avec DIN vérifiés
- 🇨🇦 **Multi-provincial** : RAMQ, OHIP, MSP intégrés
- 🧠 **Raisonnement médical** : Chaînes de pensée `<think>` préservées

## Utilisation

```python
from peft import PeftModel
from transformers import AutoTokenizer, AutoModelForCausalLM

# Charger le modèle de base
base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")

# Charger les adaptateurs LoRA v2.0 canadiens
model = PeftModel.from_pretrained(base_model, "IntelliSoins/Qwen3-0.6B-Medical-Canada-v2")

# Prompt système médical canadien
system_prompt = \"\"\"Vous êtes un médecin expert du système de santé canadien avec une connaissance approfondie des médicaments approuvés par Santé Canada et des programmes provinciaux de couverture médicamenteuse.

Analysez les cas médicaux canadiens et rédigez des notes de consultation selon les standards canadiens.

Considérez toujours:
- Les médicaments avec DIN (Drug Identification Number) de Santé Canada
- Les programmes provinciaux (RAMQ, OHIP, MSP, etc.)
- La terminologie médicale canadienne française et anglaise
- Les protocoles des institutions hospitalières canadiennes\"\"\"

# Exemple québécois
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "Patient RAMQ avec diabète mal contrôlé, HbA1c 8.9%"}
]

# Génération
formatted = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(formatted, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=400, temperature=0.7)
response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:])
```

## Performance

- **Loss d'entraînement finale** : 2.386
- **Temps d'entraînement** : 54.7 secondes  
- **Paramètres LoRA entraînables** : 5.0M (0.84% du modèle)
- **Exemples d'entraînement** : 27 cas canadiens authentiques
- **Configuration LoRA** : Rank=8, Alpha=16 (optimisé pour qualité)

## Test de validation

Le modèle a passé **5/5 vérifications canadiennes** :
- ✅ Mentionne RAMQ dans le contexte québécois
- ✅ Utilise les DIN de Health Canada
- ✅ Références authentiques au système canadien
- ✅ Terminologie médicale appropriée
- ✅ Format de note structuré

### Exemple de génération authentique

**Input** : Cas diabétique RAMQ avec HbA1c 8.9%

**Output** :
```
<think>
Patient nécessitant ajout thérapeutique selon protocoles RAMQ.
Metformine DIN vérifié. Évaluation coverage provinciale requise.
</think>

#Évaluation clinique
Patient évalué dans le contexte du RAMQ.
Médicament actuel: Metformine (DIN Health Canada vérifié)
HbA1c 8.9% nécessite optimisation thérapeutique.

#Plan thérapeutique  
Ajout thérapeutique selon formulaire RAMQ.
Vérification couverture provinciale requise.
```

## Comparaison v1.0 vs v2.0

| Métrique | v1.0 (Datasets français) | **v2.0 (Canadien authentique)** |
|----------|-------------------------|----------------------------------|
| **Sources de données** | Datasets HuggingFace français | Health Canada DPD API |
| **Médicaments** | Noms européens | DIN canadiens officiels |
| **Système santé** | Sécurité sociale française | RAMQ/OHIP/MSP réels |
| **Établissements** | CHU français | CHUM, Toronto General, etc. |
| **Loss finale** | 2.495 | **2.386** ✅ |
| **Authenticitée canadienne** | ❌ Faible | **✅ Parfaite** |

## Applications

### IntelliTranscript
- **Transcription médicale** optimisée pour le contexte québécois
- **Notes cliniques** conformes aux standards canadiens
- **Couverture RAMQ** intégrée dans les recommandations

### Autres usages
- **Assistants IA médicaux** pour professionnels canadiens
- **Systèmes d'aide à la décision** pharmacothérapeutique
- **Formation médicale** avec contexte canadien authentique

## Limitations

⚠️ **Important** : Ce modèle est un outil d'assistance et ne remplace en aucun cas l'expertise d'un professionnel de santé qualifié.

- Entraîné sur un dataset de 27 exemples (qualité > quantité)
- Optimisé pour le contexte canadien, moins performant ailleurs
- Nécessite validation clinique pour usage en production
- Les DIN et couvertures peuvent évoluer - vérifier les sources officielles

## Informations techniques

- **Modèle de base** : Qwen/Qwen3-0.6B
- **Type d'adaptation** : LoRA (Low-Rank Adaptation)
- **Rang LoRA** : 8 (optimisé pour petit dataset de qualité)
- **Alpha LoRA** : 16
- **Modules ciblés** : q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
- **Époques** : 5
- **Batch size effectif** : 8

## Citation

```bibtex
@misc{qwen3-medical-canada-v2-2025,
  title={Qwen3-0.6B-Medical-Canada-v2: Authentic Canadian Healthcare Language Model},
  author={IntelliSoins Team},
  year={2025},
  publisher={Hugging Face},
  note={Fine-tuned with Health Canada Drug Product Database},
  howpublished={\url{https://huggingface.co/IntelliSoins/Qwen3-0.6B-Medical-Canada-v2}}
}
```

## Contact

- **Application** : [IntelliTranscript](https://intellisoins.ca)
- **Issues** : Via GitHub ou Hugging Face

---

**🇨🇦 Développé pour et par le système de santé canadien** - Données authentiques, performance réelle.

### Framework versions

- PEFT 0.17.0
- Transformers 4.46.0
- PyTorch 2.0+
- Training time: 54.7 seconds sur Mac M3 Pro
- Health Canada API: 2025 data