Update README.md

README.md

@@ -4,4 +4,29 @@ tags:
 - Russian
 ---
 Qwen 4B chat by Alibaba, SFTuned on Saiga dataset. Finetuned with EasyDeL framework on v3-8 Google TPU, provided by TRC.
-Модель Qwen 4B, дообученая на датасете Ильи Гусева. По моему краткому опыту общения с моделью, лучше чем Saiga-mistral. Не ошибается в падежах. Карточка модели будет дополнена после теста на Russian SuperGlue. Возможно, будет DPO
+Модель Qwen 4B, дообученая на датасете Ильи Гусева. По моему краткому опыту общения с моделью, лучше чем Saiga-mistral. Не ошибается в падежах. Карточка модели будет дополнена после теста на Russian SuperGlue. Возможно, будет DPO
+
+Чтобы использовать модель, необходимо назначить eos токен как <|im_end|>. Полный код:
+
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+model = AutoModelForCausalLM.from_pretrained('Defetya/qwen-4B-saiga', torch_dtype=torch.bfloat16, device_map='auto')
+tokenizer = AutoTokenizer.from_pretrained('Defetya/qwen-4B-saiga')
+tokenizer.eos_token_id = 151645
+messages_json = [
+    {"role": "system", "content": "Ты - русскоязычный ассистент. Ты помогаешь пользователю и отвечаешь на его вопросы."},
+]
+while True:
+    user_input = str(input())
+    messages_json.append({'role': 'user', 'content': user_input})
+    messages = tokenizer.apply_chat_template(messages_json, return_tensors="pt", add_generation_prompt=True).to('cuda')
+    generated_ids = model.generate(messages, max_new_tokens=512, do_sample=True, temperature=0.7, pad_token_id=tokenizer.eos_token_id, eos_token_id=tokenizer.eos_token_id)
+    decoded = tokenizer.decode(generated_ids[0][len(messages[0]):])
+    print(decoded)
+    print("==============================")
+    
+
+    
+    
+    
+