Update app.py

app.py

@@ -2,6 +2,11 @@ import os
 from threading import Thread
 from typing import Iterator
 
+import weaviate
+from haystack.components.builders import PromptBuilder
+from sentence_transformers import SentenceTransformer
+from haystack import Pipeline
+
 import gradio as gr
 import spaces
 import torch
@@ -23,6 +28,49 @@ if torch.cuda.is_available():
     tokenizer = AutoTokenizer.from_pretrained(model_id)
     tokenizer.use_default_system_prompt = False
 
+    model1 = SentenceTransformer('intfloat/multilingual-e5-large')
+
+    key='rJ2yBbVQedQvaSH3TABtf9KcuQsnLNRPXguq'
+    url = "https://mmchpi0yssanukk5t3ofta.c0.europe-west3.gcp.weaviate.cloud"
+    client = weaviate.Client(
+        url = url,  
+        auth_client_secret=weaviate.auth.AuthApiKey(api_key=key),
+    )
+
+
+
+def prompt_template(materiali, query):
+    mat = ''
+    for i, doc in enumerate(materiali):
+        mat += f'DOCUMENTO {i+1}: {doc['content']};\n'
+    prompt_template = f"""
+    Basandoti sulle tue conoscenze e usando le informazioni che ti fornisco di seguito.
+    CONTESTO:
+      {mat}
+      
+    Rispondi alla seguente domanda in modo esaustivo e conciso in massimo 100 parole, evitando inutili giri di parole o ripetizioni, .
+      {query}
+    """
+    return prompt_template
+
+
+
+def richiamo_materiali(query, vett_query, alpha=1.0, N_items=5):
+    try:
+        materiali = client.query.get("Default", ["content"]).with_hybrid(
+            query=text_query,
+            vector=vett_query,
+            alpha=alpha,
+            fusion_type=HybridFusion.RELATIVE_SCORE,
+        ).with_additional(["score"]).with_limit(N_items).do()
+        
+        mat = [{'score':i['_additional']['score'],'content':i['content']} for i in materiali['data']['Get']['Default']]
+    except:
+        mat =[{'score':0, 'content':'NESSUN MATERIALE FORNITO'}]
+    
+    return mat
+
+
 
 @spaces.GPU
 def generate(
@@ -35,15 +83,20 @@ def generate(
     top_k: int = 50,
     repetition_penalty: float = 1.2,
 ) -> Iterator[str]:
+
+    embeddings_query = model1.encode('query: '+message, normalize_embeddings=True)
+    vettor_query = embeddings_query
+    materiali = richiamo_materiali(message, vettor_query)
+    prompt_finale = prompt_template(materiali, message)
     conversation = []
     conversation.append({"role": "system", "content": 
-                         '''Sei un assistente AI di nome 'AvvoChat' specializzato nel rispondere a domande riguardanti la legge Italiana. 
+                         '''Sei un an assistente AI di nome 'AvvoChat' specializzato nel rispondere a domande riguardanti la legge Italiana. 
                          Rispondi in lingua italiana in modo chiaro, semplice ed esaustivo alle domande che ti vengono fornite.
-                         Le risposte devono essere sintetiche e chiare di massimo 500 token o anche più corte. 
+                         Le risposte devono essere sintetiche e chiare di massimo 100 parole o anche più corte. 
                          Firmati alla fine di ogni risposta '-AvvoChat'.'''})
     for user, assistant in chat_history:
         conversation.extend([{"role": "user", "content": user}, {"role": "assistant", "content": assistant}])
-    conversation.append({"role": "user", "content": message})
+    conversation.append({"role": "user", "content": prompt_finale})
 
     input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
     if input_ids.shape[1] > MAX_INPUT_TOKEN_LENGTH: