Update README.md

README.md

@@ -6,26 +6,7 @@ tags:
 Qwen 4B chat by Alibaba, SFTuned on Saiga dataset. Finetuned with EasyDeL framework on v3-8 Google TPU, provided by TRC.
 Модель Qwen 4B, дообученая на датасете Ильи Гусева. По моему краткому опыту общения с моделью, лучше чем Saiga-mistral. Не ошибается в падежах. Карточка модели будет дополнена после теста на Russian SuperGlue. Возможно, будет DPO
 
-Чтобы использовать модель, необходимо назначить eos токен как <|im_end|>. Полный код:
-
-`import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
-model = AutoModelForCausalLM.from_pretrained('Defetya/qwen-4B-saiga', torch_dtype=torch.bfloat16, device_map='auto')
-tokenizer = AutoTokenizer.from_pretrained('Defetya/qwen-4B-saiga')
-tokenizer.eos_token_id = 151645
-messages_json = [
-    {"role": "system", "content": "Ты - русскоязычный ассистент. Ты помогаешь пользователю и отвечаешь на его вопросы."},
-]
-while True:
-    user_input = str(input())
-    messages_json.append({'role': 'user', 'content': user_input})
-    messages = tokenizer.apply_chat_template(messages_json, return_tensors="pt", add_generation_prompt=True).to('cuda')
-    generated_ids = model.generate(messages, max_new_tokens=512, do_sample=True, temperature=0.7, pad_token_id=tokenizer.eos_token_id, eos_token_id=tokenizer.eos_token_id)
-    decoded = tokenizer.decode(generated_ids[0][len(messages[0]):])
-    print(decoded)
-    print("==============================")`
-    
-
+Чтобы использовать модель, необходимо назначить eos токен как <|im_end|>. Рабочий ноутбук на Kaggle: https://www.kaggle.com/code/defdet/smol-chatbot/notebook