Update app.py
Browse files
app.py
CHANGED
@@ -1,15 +1,16 @@
|
|
1 |
-
import gradio as gr
|
2 |
from huggingface_hub import InferenceClient
|
3 |
|
4 |
# Cliente de inferência com modelo de IA pública
|
5 |
-
client = InferenceClient(model="meta-llama/Llama-3
|
6 |
|
7 |
# Função para processar a conversa
|
8 |
def responder(mensagem, historico):
|
9 |
mensagens = []
|
|
|
10 |
if historico is None:
|
11 |
historico = []
|
12 |
|
|
|
13 |
for item in historico:
|
14 |
if isinstance(item, list) and len(item) == 2:
|
15 |
user_msg, bot_msg = item
|
@@ -23,10 +24,11 @@ def responder(mensagem, historico):
|
|
23 |
try:
|
24 |
for mensagem in client.chat_completion(
|
25 |
mensagens,
|
26 |
-
max_tokens=
|
27 |
stream=True,
|
28 |
-
temperature=0.
|
29 |
-
top_p=0.
|
|
|
30 |
):
|
31 |
if not mensagem or not isinstance(mensagem, dict):
|
32 |
continue
|
@@ -50,10 +52,9 @@ def responder(mensagem, historico):
|
|
50 |
# Interface do chat com labels em português
|
51 |
demo = gr.ChatInterface(
|
52 |
responder,
|
53 |
-
title="Benjamin – Assistente Virtual da CEaD - IBC. Tire dúvidas com minha inteligência artificial
|
54 |
-
textbox=gr.Textbox(
|
55 |
type="messages"
|
56 |
)
|
57 |
|
58 |
-
if __name__ == "__main__":
|
59 |
-
demo.launch()
|
|
|
|
|
1 |
from huggingface_hub import InferenceClient
|
2 |
|
3 |
# Cliente de inferência com modelo de IA pública
|
4 |
+
client = InferenceClient(model="meta-llama/Meta-Llama-3-8B-Instruct") # Modelo gratuito e avançado
|
5 |
|
6 |
# Função para processar a conversa
|
7 |
def responder(mensagem, historico):
|
8 |
mensagens = []
|
9 |
+
|
10 |
if historico is None:
|
11 |
historico = []
|
12 |
|
13 |
+
|
14 |
for item in historico:
|
15 |
if isinstance(item, list) and len(item) == 2:
|
16 |
user_msg, bot_msg = item
|
|
|
24 |
try:
|
25 |
for mensagem in client.chat_completion(
|
26 |
mensagens,
|
27 |
+
max_tokens=250,
|
28 |
stream=True,
|
29 |
+
temperature=0.2,
|
30 |
+
top_p=0.7,
|
31 |
+
|
32 |
):
|
33 |
if not mensagem or not isinstance(mensagem, dict):
|
34 |
continue
|
|
|
52 |
# Interface do chat com labels em português
|
53 |
demo = gr.ChatInterface(
|
54 |
responder,
|
55 |
+
title="Benjamin – Assistente Virtual da CEaD - IBC. Tire suas dúvidas com a minha inteligência artificial! Minha base de conhecimento vai até 2021, por isso posso não trazer respostas precisas sobre pessoas, conceitos, lugares ou fatos históricos. Se isso acontecer, entre em contato com o mediador do curso para obter ajuda mais adequada.",
|
56 |
+
textbox=gr.Textbox(label="Campo de mensagem: Digite uma mensagem e depois tecle Enter para enviar"),
|
57 |
type="messages"
|
58 |
)
|
59 |
|
60 |
+
if __name__ == "__main__":
|
|