File size: 796 Bytes
a197592 12a96d7 a197592 f7709af 12a96d7 f7709af 12a96d7 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
---
license: apache-2.0
tags:
- Russian
---
Qwen 0.5B chat by Alibaba, SFTuned on Saiga dataset. Finetuned with EasyDeL framework on v3-8 Google TPU, provided by TRC.
Модель Qwen 0.5B, дообученая на датасете Ильи Гусева. По моему краткому опыту общения с моделью, лучше чем Saiga-mistral. Не ошибается в падежах. Карточка модели будет дополнена после теста на Russian SuperGlue. Возможно, будет DPO
Чтобы использовать модель, необходимо назначить eos токен как <|im_end|>. Рабочий ноутбук на Kaggle: https://www.kaggle.com/code/defdet/smol-chatbot/notebook
|