Update helpers.py

helpers.py

@@ -15,7 +15,33 @@ import shutil
 import requests
 from bs4 import BeautifulSoup
 
-from file_loader import get_vectorstore
+# from file_loader import get_vectorstore
+
+###
+
+def get_vectorstore():
+    ### Xử lý tất cả các tài liệu và nhét vào database
+    folder_path = "syllabus_nct_word_format/"
+    docx_files = list_docx_files(folder_path)
+    
+    all_splits = []  # Khởi tạo danh sách lưu kết quả
+    for i, file_path in enumerate(tqdm(docx_files, desc="Đang xử lý", unit="file")):
+        output_json_path = f"output_{i}.json"
+        splits = get_splits(file_path, output_json_path)
+        all_splits += splits
+    
+    # Xử lý FAQ
+    FAQ_path = "syllabus_nct_word_format/FAQ.json"
+    FAQ_splits = get_json_splits_only(FAQ_path)
+    all_splits += FAQ_splits
+    
+    # Lưu vào vectorstore với nhúng từ Google GenAI
+    embedding = GoogleGenerativeAIEmbeddings(model="models/text-embedding-004")
+    vectorstore = FAISS.from_documents(documents=all_splits, embedding=embedding)
+
+    return vectorstore
+
+###
 
 async def get_urls_splits(url='https://nct.neu.edu.vn/', char='https://nct.neu.edu.vn/'):
     reqs = requests.get(url)