update model

app.py

@@ -10,11 +10,12 @@ db = FAISS.load_local('faiss_qa_2023-08-20', embeddings)
 
 def main(query):
     query = query.lower()
-    query_keywords = set(extract_keywords2(query))
+    query_keywords, query = extract_keywords2(query)
     result_docs = db.similarity_search_with_score(query, k=20)
+    print(query, query_keywords)
 
     if len(query_keywords) > 0:
-        result_docs = list(filter(lambda doc: len(set(extract_keywords2(doc[0].page_content)).intersection(query_keywords)) > 0, result_docs))
+        result_docs = list(filter(lambda doc: len(extract_keywords2(doc[0].page_content)[0].intersection(query_keywords)) > 0, result_docs))
 
     if len(result_docs) == 0:
         return 'Ответ не найден', 0, ''

extract_keywords.py

@@ -19,7 +19,7 @@ aliases = [
   ('пешкарики', []),
   ('импорт лидов директ', []),
   ('яндекс доставка экспресс', ['яндекс доставка express', 'яд экспресс', 'ядоставка экспресс']),
-  ('яндекс доставка ndd', ['яд ндд', 'я доставка ндд', 'ядоставка ндд', 'модуль ндд']),
+  ('яндекс доставка ndd', ['ндд', 'ndd', 'яд ндд', 'я доставка ндд', 'ядоставка ндд', 'модуль ндд']),
   ('яндекс доставка', ['яд', 'я доставка', 'ядоставка']),
   ('яндекс метрика', ['яндекс метрика импорт']),
   ('альфабанк', ['альфа банк', 'alfabank', 'альфа']),
@@ -142,8 +142,10 @@ def extract_keywords(text):
 def extract_keywords2(text):
     vocab = sorted([" ".join(tokenize_sentence(s)) for s in vocab_raw], key=len, reverse=True)
     text = normalize_sentence(text)
-    keywords = []
-    for w in vocab:
-        if w in text:
-            keywords.append(w)
-    return merge_keywords(canonical_keywords(keywords))
+    keywords = [w for w in vocab if w in text]
+    #for w in vocab:
+    #    if w in text:
+    #        keywords.append(w)
+    for k in keywords:
+        text = text.replace(k, '')
+    return set(merge_keywords(canonical_keywords(keywords))), text