Update app.py

app.py

@@ -12,42 +12,46 @@ character_dict = {c["id"]: c for c in characters}
 
 # Hugging Face Inference API
 token = os.environ.get("HUGGINGFACEHUB_API_TOKEN")
-client = InferenceClient("meta-llama/Llama-2-7b-chat", token = token)
+if token is None:
+    raise ValueError("Bạn cần đặt biến môi trường HUGGINGFACEHUB_API_TOKEN để gọi API.")
+
+# Dùng model Zephyr đã được deploy sẵn
+client = InferenceClient("HuggingFaceH4/zephyr-7b-beta", token=token)
 
 # Hàm phản hồi
 def respond(message, history, character_id, max_tokens, temperature, top_p):
     char = character_dict[character_id]
     system_message = char["persona_prompt"]
 
-    # Chuyển history dạng messages => prompt dạng text
-    prompt = system_message.strip() + "\n"
+    # Tạo messages theo định dạng chat
+    messages = [{"role": "system", "content": system_message}]
     for user_msg, bot_msg in history:
-        prompt += f"User: {user_msg}\nAssistant: {bot_msg}\n"
-    prompt += f"User: {message}\nAssistant:"
+        messages.append({"role": "user", "content": user_msg})
+        messages.append({"role": "assistant", "content": bot_msg})
+    messages.append({"role": "user", "content": message})
 
     # Gọi API
-    response = client.text_generation(
-        prompt,
-        max_new_tokens=max_tokens,
+    response = client.chat_completion(
+        messages=messages,
+        max_tokens=max_tokens,
         temperature=temperature,
         top_p=top_p,
-        do_sample=True,
     )
 
-    reply = response.strip()
+    reply = response.choices[0].message.content.strip()
     history.append((message, reply))
     return history, history
 
-# Hiển thị tên nhân vật đẹp hơn
+# Hiển thị tên nhân vật
 def format_label(c):
     return f"{c['name']} ({c['personality']}, {c['appearance']}, {c['voice']})"
 
 char_choices = [(format_label(c), c["id"]) for c in characters]
 
-# Gradio UI
+# Giao diện Gradio
 demo = gr.ChatInterface(
     fn=respond,
-    chatbot=gr.Chatbot(label="Trò chuyện", type="tuples"),  # ĐÃ SỬA
+    chatbot=gr.Chatbot(label="Trò chuyện", type="tuples"),  # vẫn dùng tuples để giữ format cũ
     additional_inputs=[
         gr.Dropdown(choices=char_choices, value=characters[0]["id"], label="Chọn nhân vật"),
         gr.Slider(1, 2048, value=512, step=1, label="Max new tokens"),