Update app.py

app.py

@@ -26,44 +26,44 @@ if torch.cuda.is_available():
     tokenizer.use_default_system_prompt = False
 
 
-    key='4vNfIDO8PmFwCloxA40y2b4PSHm62vmcuPoM'
-    url = "https://mmchpi0yssanukk5t3ofta.c0.europe-west3.gcp.weaviate.cloud"
-    client = weaviate.Client(
-        url = url,  
-        auth_client_secret=weaviate.auth.AuthApiKey(api_key=key),
-    )
-
-
-def prompt_template(materiali, query):
-    mat = ''
-    for i, doc in enumerate(materiali):
-        mat += f"""DOCUMENTO {i+1}: {doc["contenuto"]};\n"""
-    prompt_template = f"""
-    Basandoti sulle tue conoscenze e usando le informazioni che ti fornisco di seguito.
-    CONTESTO:
-      {mat}
+    #key='4vNfIDO8PmFwCloxA40y2b4PSHm62vmcuPoM'
+    #url = "https://mmchpi0yssanukk5t3ofta.c0.europe-west3.gcp.weaviate.cloud"
+    #client = weaviate.Client(
+    #    url = url,  
+    #    auth_client_secret=weaviate.auth.AuthApiKey(api_key=key),
+    #)
+
+
+#def prompt_template(materiali, query):
+#    mat = ''
+#    for i, doc in enumerate(materiali):
+#        mat += f"""DOCUMENTO {i+1}: {doc["contenuto"]};\n"""
+#    prompt_template = f"""
+#    Basandoti sulle tue conoscenze e usando le informazioni che ti fornisco di seguito.
+#    CONTESTO:
+#      {mat}
       
-    Rispondi alla seguente domanda in modo esaustivo e conciso in massimo 100 parole, evitando inutili giri di parole o ripetizioni, .
-      {query}
-    """
-    return prompt_template
+#    Rispondi alla seguente domanda in modo esaustivo e conciso in massimo 100 parole, evitando inutili giri di parole o ripetizioni, .
+#      {query}
+#    """
+#    return prompt_template
 
 
 
-def richiamo_materiali(query, vett_query, alpha=1.0, N_items=5):
-    try:
-        materiali = client.query.get("Default", ["content"]).with_hybrid(
-            query=text_query,
-            vector=vett_query,
-            alpha=alpha,
-            fusion_type=HybridFusion.RELATIVE_SCORE,
-        ).with_additional(["score"]).with_limit(N_items).do()
-        
-        mat = [{"score":i["_additional"]["score"],'contenuto':i["content"]} for i in materiali["data"]["Get"]["Default"]]
-    except:
-        mat =[{"score":0, "contenuto":'NESSUN MATERIALE FORNITO'}]
-    
-    return mat
+#def richiamo_materiali(query, vett_query, alpha=1.0, N_items=5):
+#    try:
+#        materiali = client.query.get("Default", ["content"]).with_hybrid(
+#            query=text_query,
+#            vector=vett_query,
+#            alpha=alpha,
+#            fusion_type=HybridFusion.RELATIVE_SCORE,
+#        ).with_additional(["score"]).with_limit(N_items).do()
+#        
+#        mat = [{"score":i["_additional"]["score"],'contenuto':i["content"]} for i in materiali["data"]["Get"]["Default"]]
+#    except:
+#        mat =[{"score":0, "contenuto":'NESSUN MATERIALE FORNITO'}]
+#    
+#    return mat
 
 
 
@@ -79,11 +79,11 @@ def generate(
     top_k: int = 50,
     repetition_penalty: float = 1.2,
 ) -> Iterator[str]:
-    model1 = SentenceTransformer('intfloat/multilingual-e5-large')
-    embeddings_query = model1.encode('query: '+str(message), normalize_embeddings=True)
-    vettor_query = embeddings_query
-    materiali = richiamo_materiali(message, vettor_query)
-    prompt_finale = prompt_template(materiali, message)
+    #model1 = SentenceTransformer('intfloat/multilingual-e5-large')
+    #embeddings_query = model1.encode('query: '+str(message), normalize_embeddings=True)
+    #vettor_query = embeddings_query
+    #materiali = richiamo_materiali(message, vettor_query)
+    #prompt_finale = prompt_template(materiali, message)
     conversation = []
     conversation.append({"role": "system", "content": 
                          '''Sei un an assistente AI di nome 'AvvoChat' specializzato nel rispondere a domande riguardanti la legge Italiana. 
@@ -92,7 +92,7 @@ def generate(
                          Firmati alla fine di ogni risposta '-AvvoChat'.'''})
     for user, assistant in chat_history:
         conversation.extend([{"role": "user", "content": user}, {"role": "assistant", "content": assistant}])
-    conversation.append({"role": "user", "content": prompt_finale})
+    conversation.append({"role": "user", "content": message})
 
     input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
     if input_ids.shape[1] > MAX_INPUT_TOKEN_LENGTH: