ceadibc commited on
Commit
fc5cc2e
·
verified ·
1 Parent(s): 0786c5d

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +33 -26
app.py CHANGED
@@ -2,50 +2,57 @@ import gradio as gr
2
  from huggingface_hub import InferenceClient
3
 
4
  # Cliente de inferência com modelo de IA pública
5
- client = InferenceClient(model="meta-llama/Meta-Llama-3-8B-Instruct")
6
 
7
  # Função para processar a conversa
8
  def responder(mensagem, historico):
9
- prompt = ""
10
-
11
  if historico is None:
12
  historico = []
13
-
14
- # Constrói o histórico no estilo "chat"
15
  for item in historico:
16
  if isinstance(item, list) and len(item) == 2:
17
  user_msg, bot_msg = item
18
- prompt += f"<s>[INST] {user_msg} [/INST] {bot_msg}\n"
19
-
20
- # Adiciona a nova pergunta
21
- prompt += f"<s>[INST] {mensagem} [/INST]"
22
-
23
  resposta = ""
 
24
  try:
25
- for r in client.text_generation(
26
- prompt,
27
- max_new_tokens=250,
28
  stream=True,
29
  temperature=0.2,
30
  top_p=0.7,
31
- stop_sequences=["</s>"]
32
  ):
33
- resposta += r
34
- yield resposta
 
 
 
 
 
 
 
 
 
 
35
  except Exception as e:
36
- print(f"Erro: {e}")
37
- yield "Erro ao gerar resposta. Verifique sua conexão ou tente novamente."
 
 
 
38
 
39
- # Interface do Gradio
40
  demo = gr.ChatInterface(
41
  responder,
42
- title="Benjamin – Assistente Virtual da CEaD - IBC",
43
- textbox=gr.Textbox(
44
- placeholder="Digite sua pergunta e pressione Enter",
45
- show_label=True,
46
- label="Campo de mensagem"
47
- ),
48
- type="messages"
49
  )
50
 
51
  if __name__ == "__main__":
 
2
  from huggingface_hub import InferenceClient
3
 
4
  # Cliente de inferência com modelo de IA pública
5
+ client = InferenceClient(model="meta-llama/Meta-Llama-3-8B-Instruct") # Modelo gratuito e avançado
6
 
7
  # Função para processar a conversa
8
  def responder(mensagem, historico):
9
+ mensagens = []
 
10
  if historico is None:
11
  historico = []
12
+
 
13
  for item in historico:
14
  if isinstance(item, list) and len(item) == 2:
15
  user_msg, bot_msg = item
16
+ mensagens.append({"role": "user", "content": user_msg})
17
+ if bot_msg:
18
+ mensagens.append({"role": "assistant", "content": bot_msg})
19
+
20
+ mensagens.append({"role": "user", "content": mensagem})
21
  resposta = ""
22
+
23
  try:
24
+ for mensagem in client.chat_completion(
25
+ mensagens,
26
+ max_tokens=250,
27
  stream=True,
28
  temperature=0.2,
29
  top_p=0.7,
 
30
  ):
31
+ if not mensagem or not isinstance(mensagem, dict):
32
+ continue
33
+
34
+ try:
35
+ conteudo = mensagem["choices"][0]["delta"].get("content", "")
36
+ if conteudo.strip():
37
+ resposta += conteudo
38
+ yield resposta
39
+ except (AttributeError, IndexError, KeyError) as e:
40
+ print(f"Erro ao processar mensagem: {e}")
41
+ continue
42
+
43
  except Exception as e:
44
+ print(f"Erro inesperado: {e}")
45
+ yield "Ocorreu um erro ao gerar a resposta."
46
+
47
+ if not resposta.strip():
48
+ yield "Nenhuma resposta gerada. Tente novamente."
49
 
50
+ # Interface do chat com labels em português
51
  demo = gr.ChatInterface(
52
  responder,
53
+ title="Benjamin – Assistente Virtual da CEaD - IBC. Tire suas dúvidas com a minha inteligência artificial! Minha base de conhecimento vai até 2021, por isso posso não trazer respostas precisas sobre pessoas, conceitos, lugares ou fatos históricos. Se isso acontecer, entre em contato com o mediador do curso para obter ajuda mais adequada.",
54
+ textbox=gr.Textbox(label="Campo de mensagem: Digite uma mensagem e depois tecle Enter para enviar"),
55
+ type="messages"
 
 
 
 
56
  )
57
 
58
  if __name__ == "__main__":