Update app.py

app.py

@@ -4,32 +4,29 @@ from peft import PeftModel
 import gradio as gr
 
 # 1. Cấu hình tên mô hình gốc (base model)
-base_model_name = "sail/Sailor-1.8B-Chat" 
+base_model_name = "sail/Sailor-1.8B-Chat"
 
-# 2. Load tokenizer từ thư mục adapter
-adapter_path = "./Sailor-1.8B-Chat-SFT"
-tokenizer = AutoTokenizer.from_pretrained(adapter_path, trust_remote_code=True)
+# 2. Load tokenizer từ thư mục hiện tại
+tokenizer = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
 
 # 3. Load base model và adapter
-model = AutoModelForCausalLM.from_pretrained(
+base_model = AutoModelForCausalLM.from_pretrained(
     base_model_name,
     torch_dtype=torch.float16,
     device_map="auto",
     trust_remote_code=True
 )
-model = PeftModel.from_pretrained(model, adapter_path, torch_dtype=torch.float16)
+model = PeftModel.from_pretrained(base_model, ".", torch_dtype=torch.float16)
 model.eval()
 
-# 4. Hàm trò chuyện
+# 4. Hàm xử lý hội thoại
 def chat_fn(message, history):
-    # Biên dịch lịch sử hội thoại sang định dạng messages
     messages = []
     for user_msg, bot_msg in history:
         messages.append({"role": "user", "content": user_msg})
         messages.append({"role": "assistant", "content": bot_msg})
     messages.append({"role": "user", "content": message})
 
-    # Áp dụng chat template chuẩn 
     input_ids = tokenizer.apply_chat_template(
         messages,
         return_tensors="pt",
@@ -37,7 +34,6 @@ def chat_fn(message, history):
         truncation=True
     ).to(model.device)
 
-    # Sinh phản hồi
     with torch.no_grad():
         outputs = model.generate(
             input_ids=input_ids,
@@ -51,9 +47,7 @@ def chat_fn(message, history):
             eos_token_id=tokenizer.eos_token_id
         )
 
-    # Tách phần phản hồi
     generated_text = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True).strip()
-
     return generated_text
 
 # 5. Giao diện Gradio