Update app.py

app.py

@@ -25,9 +25,7 @@ from sentence_transformers.util import cos_sim
 import llama_cpp
 from llama_cpp import Llama
 
-
-
-SYSTEM_PROMPT = "Ты — русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."
+SYSTEM_PROMPT = "Ты — русскоязычный автоматический ассистент. Тебя зовут Digital Human Chat. Ты разговариваешь с людьми и помогаешь им. Если ты не знаешь ответа, то скажи, что не знаешь, не придумывай ответ. Используй максимум три предложения и будь кратким."
 
 LOADER_MAPPING = {
     ".csv": (CSVLoader, {}),
@@ -46,37 +44,14 @@ LOADER_MAPPING = {
 
 
 def load_model(
-    directory: str = ".",
-    model_name: str = "Mistral-Nemo-Instruct-2407-Q4_K_M.gguf",
-    model_url: str = "https://huggingface.co/second-state/Mistral-Nemo-Instruct-2407-GGUF/resolve/main/Mistral-Nemo-Instruct-2407-Q4_K_M.gguf"
+    directory: str = "."
 ):
-#    final_model_path = os.path.join(directory, model_name)
-    
-#    print("Downloading all files...")
-#    if not os.path.exists(final_model_path):
-#        with open(final_model_path, "wb") as f:
-#            http_get(model_url, f)
-#    os.chmod(final_model_path, 0o777)
-#    print("Files downloaded!")
-
     model = Llama(model_path = "1.gguf", n_ctx = 3096, n_gpu_layers=-1, n_batch = 512, verbose=False)
-    #model = Llama(
-    #    model_path="1.gguf",
-    #    n_ctx=2000,
-    #    n_parts=1,
-    #)
     
     print("Model loaded!")
     return model
 
 
-#EMBEDDER = SentenceTransformer("sentence-transformers/paraphrase-multilingual-mpnet-base-v2")
-#Alibaba-NLP/gte-multilingual-base
-#Лидерборд по эмбеддингам
-#intfloat/e5-mistral-7b-instruct-лучшая для русского языка
-#deepvk/USER-bge-m3 - немного отстает по качеству, но в 10 раз меньше и быстрее
-#BAAI/bge-multilingual-gemma2
-#EMBEDDER = SentenceTransformer("intfloat/multilingual-e5-large-instruct")
 EMBEDDER = SentenceTransformer("deepvk/USER-bge-m3")
 MODEL = load_model()
 
@@ -208,9 +183,7 @@ with gr.Blocks(
 ) as demo:
     db = gr.State(None)
     conversation_id = gr.State(get_uuid)
-    #favicon = '<img src="https://cdn.midjourney.com/b88e5beb-6324-4820-8504-a1a37a9ba36d/0_1.png" width="48px" style="display: inline">'
     gr.Markdown(
-        #f"""<h1><center>{favicon}Saiga 13B llama.cpp: retrieval QA</center></h1>
         f"""<h1><center>Вопросно-ответная система по Вашим документам. Работает на CPU.\n 
         На демо-стенде реализован простейший алгоритм поиска информации.\n 
         При внедрении в IT-контуре компании, качество поиска выше в разы.\n
@@ -230,7 +203,7 @@ with gr.Blocks(
                 chunk_size = gr.Slider(
                     minimum=50,
                     maximum=2000,
-                    value=250,
+                    value=256,
                     step=50,
                     interactive=True,
                     label="Размер фрагментов",
@@ -238,7 +211,7 @@ with gr.Blocks(
                 chunk_overlap = gr.Slider(
                     minimum=0,
                     maximum=500,
-                    value=30,
+                    value=32,
                     step=10,
                     interactive=True,
                     label="Пересечение"
@@ -249,7 +222,7 @@ with gr.Blocks(
         k_documents = gr.Slider(
             minimum=1,
             maximum=10,
-            value=2,
+            value=4,
             step=1,
             interactive=True,
             label="Кол-во фрагментов для контекста"
@@ -287,7 +260,7 @@ with gr.Blocks(
                 temp = gr.Slider(
                     minimum=0.0,
                     maximum=2.0,
-                    value=0.1,
+                    value=0.01,
                     step=0.1,
                     interactive=True,
                     label="Temp"