Update README.md

README.md

@@ -80,30 +80,46 @@ Daha detaylı bilgi için [yüksek lisans tezine](https://tez.yok.gov.tr/UlusalT
 
 ```python
 from huggingface_hub import login
-login("hesaba_ait_token")
-
-from transformers import AutoModelForCausalLM, AutoTokenizer
-
-tokenizer = AutoTokenizer.from_pretrained("kayrab/doktor-LLama2-sambanovasystems-7b")
-model = AutoModelForCausalLM.from_pretrained("kayrab/doktor-LLama2-sambanovasystems-7b")
-
-# Prompt'u input_text ile doldurmak için format kullanıyoruz
-input_text = "Merhaba doktor, baş ağrım ve ateşim var. Ne yapmalıyım?"
-prompt = """Sen bir doktorsun. Soruları buna göre cevapla.
+api_token = "hesaba_ait_token"
+login(api_token)
+
+# Unsloth, Xformers (Flash Attention) ve tüm diğer paketleri yükle!
+!pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
+!pip install --no-deps "xformers<0.0.27" "trl<0.9.0" peft accelerate bitsandbytes
+
+from unsloth import FastLanguageModel
+model_name = "kayrab/doktor-LLama2-sambanovasystems-7b"
+
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name = model_name,
+    max_seq_length = 2048,
+    dtype = "bf16",
+    load_in_4bit = False,
+    token = api_token,
+)
+FastLanguageModel.for_inference(model)
+
+input_text = "Merhaba doktor, son zamanlarda sık sık idrara çıkma, idrar renginde koyulaşma ve bel bölgemde hafif bir ağrı hissediyorum. Ayrıca, özellikle sabahları ellerimde ve ayaklarımda şişlik fark ediyorum. Bunun yanı sıra, son birkaç haftadır kendimi sürekli yorgun ve halsiz hissediyorum. Böbreklerimin sağlığıyla ilgili bir sorun olabileceğinden endişeleniyorum. Bu belirtiler böbrek taşı, enfeksiyon ya da başka bir böbrek rahatsızlığına işaret ediyor olabilir mi? Eğer öyleyse, hangi testleri yaptırmamı önerirsiniz ve bu süreçte nelere dikkat etmeliyim? Ayrıca, böbrek sağlığımı korumak için günlük yaşamımda yapabileceğim değişiklikler hakkında bilgi verirseniz çok sevinirim."
+prompt = f"""Sen bir doktorsun. Soruları buna göre cevapla.
 ### Soru:
-{}
+{input_text}
 
 ### Cevap:
-{}""".format(input_text, "")  # input_text'i yerleştiriyoruz, cevap kısmı boş bırakılıyor
+"""
 
-# Tokenizer ile prompt'u işliyoruz
-inputs = tokenizer(prompt, return_tensors="pt")
-outputs = model.generate(**inputs)
+# Girdileri hazırla ve cihaza taşı
+inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
 
-# Modelin çıktısını decode ediyoruz
-answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
+# Metin üretimi
+outputs = model.generate(
+    **inputs,
+    max_length=500,
+    do_sample=False,
+)
 
-print(answer)
+# Sonucu çöz ve yazdır
+generated_text = tokenizer.decode(outputs[0])
+print(generated_text)
 ```
 
 ## Referanslar
@@ -168,30 +184,46 @@ cd doktor-LLama2-sambanovasystems-7b
 
 ```python
 from huggingface_hub import login
-login("your_token")
-
-from transformers import AutoModelForCausalLM, AutoTokenizer
-
-tokenizer = AutoTokenizer.from_pretrained("kayrab/doktor-LLama2-sambanovasystems-7b")
-model = AutoModelForCausalLM.from_pretrained("kayrab/doktor-LLama2-sambanovasystems-7b")
-
-# Fill in the prompt with input_text
-input_text = "Merhaba doktor, baş ağrım ve ateşim var. Ne yapmalıyım?"
-prompt = """Sen bir doktorsun. Soruları buna göre cevapla.
+api_token = "your_token"  # Account-specific token
+login(api_token)
+
+# Install Unsloth, Xformers (Flash Attention), and all other required packages!
+!pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
+!pip install --no-deps "xformers<0.0.27" "trl<0.9.0" peft accelerate bitsandbytes
+
+from unsloth import FastLanguageModel
+model_name = "kayrab/doktor-LLama2-sambanovasystems-7b"
+
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name = model_name,
+    max_seq_length = 2048,  # Maximum sequence length
+    dtype = "bf16",  # Data type for model weights
+    load_in_4bit = False,  # Whether to load the model in 4-bit precision
+    token = api_token,  # API token for authentication
+)
+FastLanguageModel.for_inference(model)
+
+input_text = "Merhaba doktor, son zamanlarda sık sık idrara çıkma, idrar renginde koyulaşma ve bel bölgemde hafif bir ağrı hissediyorum. Ayrıca, özellikle sabahları ellerimde ve ayaklarımda şişlik fark ediyorum. Bunun yanı sıra, son birkaç haftadır kendimi sürekli yorgun ve halsiz hissediyorum. Böbreklerimin sağlığıyla ilgili bir sorun olabileceğinden endişeleniyorum. Bu belirtiler böbrek taşı, enfeksiyon ya da başka bir böbrek rahatsızlığına işaret ediyor olabilir mi? Eğer öyleyse, hangi testleri yaptırmamı önerirsiniz ve bu süreçte nelere dikkat etmeliyim? Ayrıca, böbrek sağlığımı korumak için günlük yaşamımda yapabileceğim değişiklikler hakkında bilgi verirseniz çok sevinirim."
+prompt = f"""You are a doctor. Answer the questions accordingly.
 ### Soru:
-{}
+{input_text}
 
 ### Cevap:
-{}""".format(input_text, "")  # We place input_text and leave the answer section empty
+"""
 
-# Process the prompt with the tokenizer
-inputs = tokenizer(prompt, return_tensors="pt")
-outputs = model.generate(**inputs)
+# Prepare inputs and move them to the device
+inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
 
-# Decode the model's output
-answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
+# Generate text
+outputs = model.generate(
+    **inputs,
+    max_length=500,  # Maximum length of the generated text
+    do_sample=False,  # Disable sampling for deterministic output
+)
 
-print(answer)
+# Decode and print the result
+generated_text = tokenizer.decode(outputs[0])
+print(generated_text)
 ```
 
 ## References