Update app.py

app.py

@@ -1,47 +1,59 @@
-from transformers import AutoModelForCausalLM, AutoTokenizer
 import gradio as gr
-import torch
-
-
-title = "????AI ChatBot"
-description = "A State-of-the-Art Large-scale Pretrained Response generation model (DialoGPT)"
-examples = [["How are you?"]]
-
-
-tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-large")
-model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-large")
-
-
-def predict(input, history=[]):
-    # tokenize the new input sentence
-    new_user_input_ids = tokenizer.encode(
-        input + tokenizer.eos_token, return_tensors="pt"
-    )
-
-    # append the new user input tokens to the chat history
-    bot_input_ids = torch.cat([torch.LongTensor(history), new_user_input_ids], dim=-1)
-
-    # generate a response
-    history = model.generate(
-        bot_input_ids, max_length=4000, pad_token_id=tokenizer.eos_token_id
-    ).tolist()
-
-    # convert the tokens to text, and then split the responses into lines
-    response = tokenizer.decode(history[0]).split("<|endoftext|>")
-    # print('decoded_response-->>'+str(response))
-    response = [
-        (response[i], response[i + 1]) for i in range(0, len(response) - 1, 2)
-    ]  # convert to tuples of list
-    # print('response-->>'+str(response))
-    return response, history
-
-
-gr.Interface(
-    fn=predict,
-    title=title,
-    description=description,
-    examples=examples,
-    inputs=["text", "state"],
-    outputs=["chatbot", "state"],
-    theme="finlaymacklon/boxy_violet",
-).launch()
+from huggingface_hub import InferenceClient
+
+# Cliente de inferência com modelo de IA pública
+client = InferenceClient(model="mistralai/Mistral-7B-Instruct-v0.3")  # Modelo gratuito e avançado
+
+# Função para processar a conversa
+def responder(mensagem, historico):
+    mensagens = []
+    if historico is None:
+        historico = []
+    
+    for item in historico:
+        if isinstance(item, list) and len(item) == 2:
+            user_msg, bot_msg = item
+            mensagens.append({"role": "user", "content": user_msg})
+            if bot_msg:
+                mensagens.append({"role": "assistant", "content": bot_msg})
+    
+    mensagens.append({"role": "user", "content": mensagem})
+    resposta = ""
+
+    try:
+        for mensagem in client.chat_completion(
+            mensagens,
+            max_tokens=250,
+            stream=True,
+            temperature=0.2,
+            top_p=0.7,
+        ):
+            if not mensagem or not isinstance(mensagem, dict):
+                continue
+            
+            try:
+                conteudo = mensagem["choices"][0]["delta"].get("content", "")
+                if conteudo.strip():
+                    resposta += conteudo
+                    yield resposta
+            except (AttributeError, IndexError, KeyError) as e:
+                print(f"Erro ao processar mensagem: {e}")
+                continue
+    
+    except Exception as e:
+        print(f"Erro inesperado: {e}")
+        yield "Ocorreu um erro ao gerar a resposta."
+
+    if not resposta.strip():
+        yield "Nenhuma resposta gerada. Tente novamente."
+
+# Interface do chat com labels em português
+demo = gr.ChatInterface(
+    responder,
+    title="Benjamin – Assistente Virtual da CEaD - IBC. Tire suas dúvidas com a minha inteligência artificial! Minha base de conhecimento vai até 2021, por isso posso não trazer respostas precisas sobre pessoas, conceitos, lugares ou fatos históricos. Se isso acontecer, entre em contato com o mediador do curso para obter ajuda mais adequada.", 
+    textbox=gr.Textbox(label="Campo de mensagem: Digite uma mensagem e depois tecle Enter para enviar"),
+    type="messages" 
+)
+
+if __name__ == "__main__":
+    demo.launch()