Update README.md

README.md

@@ -55,6 +55,29 @@ tokenizer = AutoTokenizer.from_pretrained(base_model, max_sequence_length=3072,
 model_base = AutoModelForCausalLM.from_pretrained(base_model, quantization_config=quantization_config, device_map="auto", torch_dtype=torch.float16, use_flash_attention_2=False)
 model = PeftModel.from_pretrained(model_base, "NLPForUA/gemma-2-it-zno-al", quantization_config=quantization_config, device_map="auto", torch_dtype=torch.float16, use_flash_attention_2=False)
 
+input_text = """
+Дайте відповідь на завдання, починаючи з ключового слова "Відповідь:" та використовуючи лише наведені нижче варіанти. У якості відповіді наведіть лише літеру, що відповідає правильному варіанту. Якщо правильних відповідей декілька, то перерахуйте їх через ";".
+
+Завдання: Обчисліть площу бічної поверхні правильної трикутної піраміди, сторона основи якої дорівнює 8 см, а апофема на 2 см більша за сторону основи піраміди.
+
+Варіанти відповіді:
+А - 72 см^2
+Б - 384 см^2
+В - 192 см^2
+Г - 120 см^2
+Д - 240 см^2
+"""
+
+messages = [{"role": "user", "content": input_text}]
+
+inputs = tokenizer.apply_chat_template(
+    messages,
+    tokenize=True,
+    add_generation_prompt=True,
+    return_tensors="pt",
+    add_special_tokens=False,
+).to("cuda")
+
 print(tokenizer.decode(
     model.generate(
         input_ids=inputs,
@@ -68,6 +91,12 @@ print(tokenizer.decode(
     )[0]))
 ```
 
+Output:
+```
+<start_of_turn>model
+Відповідь: В<end_of_turn>
+```
+
 
 ## Model Details