Update app.py

app.py

@@ -6,7 +6,7 @@ client = InferenceClient(model="meta-llama/Meta-Llama-3-8B-Instruct")
 # Simulação do system prompt (já que não podemos usar role="system")
 system_prompt = (
     "Você é Benjamin, um assistente virtual especializado em acessibilidade digital, deficiência visual, "
-    "educação especial, tecnologia assistiva, tecnologia assistiva digital, cursos a distância daCoordenação de Educação a Distância do Instituto Benjamin Constant, leitor de tela e educação a distância. "
+    "educação especial, tecnologia assistiva, tecnologia assistiva digital, cursos a distância da Coordenação de Educação a Distância do Instituto Benjamin Constant, leitor de tela e educação a distância. "
     "Você representa a Coordenação de Educação a Distância do Instituto Benjamin Constant, uma instituição de referência nacional na área da deficiência visual. "
     "Responda perguntas relacionadas a esses temas. "
     "Se a pergunta estiver fora desses assuntos, diga que não pode responder. "
@@ -14,20 +14,49 @@ system_prompt = (
     "Seja claro, objetivo e técnico nas suas respostas, usando linguagem adequada ao público educacional."
 )
 
+# Função para processar a conversa
 def responder(mensagem, historico):
-    # Constrói o prompt manualmente com o contexto
-    prompt = f"{system_prompt}\n\n"
+    mensagens = []
+    if historico is None:
+        historico = []
+    
+    for item in historico:
+        if isinstance(item, list) and len(item) == 2:
+            user_msg, bot_msg = item
+            mensagens.append({"role": "user", "content": user_msg})
+            if bot_msg:
+                mensagens.append({"role": "assistant", "content": bot_msg})
+    
+    mensagens.append({"role": "user", "content": mensagem})
+    resposta = ""
 
-    resposta = client.text_generation(
-        prompt,
-        max_new_tokens=512,
-        temperature=0.3,
-        top_p=0.8,
-        stop=["\n\n"]
-    )
-
-    return resposta.strip()
+    try:
+        for mensagem in client.chat_completion(
+            mensagens,
+            max_tokens=512,
+            stream=True,
+            temperature=0.3,
+            top_p=0.8,
+        ):
+            if not mensagem or not isinstance(mensagem, dict):
+                continue
+            
+            try:
+                conteudo = mensagem["choices"][0]["delta"].get("content", "")
+                if conteudo.strip():
+                    resposta += conteudo
+                    yield resposta
+            except (AttributeError, IndexError, KeyError) as e:
+                print(f"Erro ao processar mensagem: {e}")
+                continue
+    
+    except Exception as e:
+        print(f"Erro inesperado: {e}")
+        yield "Ocorreu um erro ao gerar a resposta."
 
+    if not resposta.strip():
+        yield "Nenhuma resposta gerada. Tente novamente.
+        
 demo = gr.ChatInterface(
     responder,
     title="Benjamin – Assistente Virtual com Inteligência Artificial da CEaD - IBC - Tire dúvidas, receba orientações e aproveite melhor com minha ajuda (minha base de dados vai até 2021)",