update

rag_pipeline.py

@@ -80,74 +80,104 @@ def initialize_components(data_path):
         "bm25_model": bm25_model
     }
 
-def generate_response(query, components):
+def _format_context_with_summary(retrieved_results: list[dict]) -> str:
     """
-    Tạo câu trả lời cho một query (single-turn) bằng cách sử dụng các thành phần đã được khởi tạo.
+    Hàm phụ trợ: Định dạng ngữ cảnh từ kết quả truy xuất, bổ sung tóm tắt từ metadata.
+    Hàm này được tách ra để làm cho code sạch sẽ và dễ quản lý hơn.
     """
-    print("--- Bắt đầu quy trình RAG (Single-turn) cho query mới ---")
-    
-    # Unpack các thành phần
-    llm_model = components["llm_model"]
-    tokenizer = components["tokenizer"]
+    if not retrieved_results:
+        return "Không tìm thấy thông tin luật liên quan trong cơ sở dữ liệu."
+
+    context_parts = []
+    for i, res in enumerate(retrieved_results):
+        metadata = res.get('metadata', {})
+        text = res.get('text', '*Nội dung không có*')
+        
+        # Tạo header rõ ràng
+        header = f"Trích dẫn {i+1}: Điều {metadata.get('article', 'N/A')}, Điểm {metadata.get('point_id', '')} Khoản {metadata.get('clause_number', 'N/A')} (Nguồn: {metadata.get('source_document', 'N/A')})"
+        
+        # --- LOGIC TÓM TẮT THÔNG MINH TỪ METADATA ---
+        metadata_summary = ""
+        penalty_details_list = metadata.get("penalties_detail", [])
+        
+        if penalty_details_list:
+            summary_parts = []
+            # Chỉ lấy thông tin từ mục hình phạt đầu tiên trong danh sách
+            details = penalty_details_list[0].get('details', {})
+            
+            # Tóm tắt mức phạt tiền cho cá nhân (phổ biến nhất)
+            i_min = details.get("individual_fine_min")
+            i_max = details.get("individual_fine_max")
+            if i_min is not None and i_max is not None:
+                summary_parts.append(f"Phạt tiền cá nhân từ {i_min:,} - {i_max:,} đồng.")
+
+            # Tóm tắt mức trừ điểm
+            points = details.get("points_deducted")
+            if points is not None:
+                 summary_parts.append(f"Trừ {points} điểm GPLX.")
+            
+            if summary_parts:
+                 # Chèn dòng tóm tắt vào giữa header và text
+                 metadata_summary = f"\n[Tóm tắt từ metadata: {' '.join(summary_parts)}]"
+
+        context_parts.append(f"{header}{metadata_summary}\n{text}")
+        
+    return "\n\n---\n\n".join(context_parts)
+
+
+def generate_response(query: str, components: dict) -> str:
+    """
+    Tạo câu trả lời (single-turn) bằng cách sử dụng các thành phần đã được khởi tạo.
+    Phiên bản đã được tối ưu và tái cấu trúc.
+    """
+    print("--- Bắt đầu quy trình RAG cho query mới ---")
     
-    # 1. Truy xuất ngữ cảnh trực tiếp từ câu hỏi của người dùng
+    # 1. Truy xuất ngữ cảnh bằng retriever đã được nâng cấp
+    # (Giả định search_relevant_laws đã được sửa để ưu tiên loại xe)
     retrieved_results = search_relevant_laws(
         query_text=query,
         embedding_model=components["embedding_model"],
         faiss_index=components["faiss_index"],
         chunks_data=components["chunks_data"],
         bm25_model=components["bm25_model"],
-        k=5,
-        initial_k_multiplier=18
+        k=5, 
+        initial_k_multiplier=15
     )
 
-    # 2. Định dạng Context
-    if not retrieved_results:
-        context = "Không tìm thấy thông tin luật liên quan trong cơ sở dữ liệu."
-    else:
-        context_parts = []
-        for i, res in enumerate(retrieved_results):
-            metadata = res.get('metadata', {})
-            header = f"Trích dẫn {i+1}: Điều {metadata.get('article', 'N/A')}, Khoản {metadata.get('clause_number', 'N/A')} (Nguồn: {metadata.get('source_document', 'N/A')})"
-            text = res.get('text', '*Nội dung không có*')
-            context_parts.append(f"{header}\n{text}")
-        context = "\n\n---\n\n".join(context_parts)
-
-    # 3. Xây dựng Prompt đơn giản (không có lịch sử trò chuyện)
-    prompt = f"""Bạn là trợ lý pháp luật chuyên trả lời các câu hỏi liên quan đến luật giao thông đường bộ Việt Nam.
-
-Dựa trên các đoạn luật dưới đây:
+    # 2. Định dạng Context một cách thông minh bằng hàm phụ trợ
+    context = _format_context_with_summary(retrieved_results)
+
+    # 3. Xây dựng Prompt
+    prompt = f"""Bạn là một trợ lý pháp luật chuyên trả lời các câu hỏi về luật giao thông Việt Nam. Dựa vào các trích dẫn luật dưới đây để trả lời câu hỏi của người dùng một cách chính xác.
+
+### Thông tin luật:
 {context}
 
-Hãy trả lời câu hỏi của người dùng bằng tiếng Việt, chính xác và dễ hiểu. Nếu cần, hãy trích dẫn điều, khoản hoặc điểm tương ứng trong văn bản luật. Nếu không đủ thông tin trong các đoạn trên, hãy trả lời “Tôi không chắc, cần kiểm tra thêm văn bản luật liên quan.”
+### Câu hỏi:
+{query}
 
-Câu hỏi: {query}
-"""
+### Trả lời:"""
 
-    print("--- Bắt đầu tạo câu trả lời từ LLM ---")
+    # 4. Tạo câu trả lời từ LLM
+    llm_model = components["llm_model"]
+    tokenizer = components["tokenizer"]
     
-    # SỬA LỖI CHO VISION MODEL: Sử dụng API tường minh
-    inputs = tokenizer(
-        text=prompt, 
-        images=None, 
-        return_tensors="pt"
-    ).to("cuda" if torch.cuda.is_available() else "cpu")
+    # Chuyển input lên cùng device với model
+    inputs = tokenizer(prompt, return_tensors="pt").to(llm_model.device)
 
+    # Cấu hình generation tối ưu cho việc trả lời câu hỏi dựa trên facts
     generation_config = dict(
         max_new_tokens=256,
-        temperature=0.5,
-        top_p=0.7,
-        top_k=50,
-        repetition_penalty=1.1,
-        do_sample=True,
-        pad_token_id=tokenizer.eos_token_id,
-        eos_token_id=tokenizer.eos_token_id
+        temperature=0.1,         # Rất thấp để câu trả lời bám sát ngữ cảnh
+        repetition_penalty=1.1,  # Phạt nhẹ việc lặp từ
+        do_sample=True,          # Vẫn cần bật để temperature và các tham số khác có hiệu lực
+        pad_token_id=tokenizer.eos_token_id
     )
     
     output_ids = llm_model.generate(**inputs, **generation_config)
-    input_length = inputs.input_ids.shape[1]
-    generated_ids = output_ids[0][input_length:]
-    response_text = tokenizer.decode(generated_ids, skip_special_tokens=True)
+    
+    # Chỉ decode phần văn bản được sinh ra mới, bỏ qua phần prompt
+    response_text = tokenizer.decode(output_ids[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
 
     print("--- Tạo câu trả lời hoàn tất ---")
-    return response_text
+    return response_text

retriever.py

@@ -12,106 +12,119 @@ def tokenize_vi_for_bm25_setup(text):
     text = re.sub(r'[^\w\s]', '', text)
     return text.split()
 
+def _get_vehicle_type(query_lower: str) -> str | None:
+    """Xác định loại xe được đề cập trong câu truy vấn."""
+    # Từ điển định nghĩa các từ khóa cho từng loại xe
+    vehicle_keywords = {
+        "ô tô": ["ô tô", "xe con", "xe chở người", "xe chở hàng"],
+        "xe máy": ["xe máy", "xe mô tô", "xe gắn máy"],
+        "xe đạp": ["xe đạp", "xe thô sơ"],
+        "máy kéo": ["máy kéo", "xe chuyên dùng"]
+    }
+    for vehicle_type, keywords in vehicle_keywords.items():
+        if any(keyword in query_lower for keyword in keywords):
+            return vehicle_type
+    return None
+
 def search_relevant_laws(
-        query_text,
-        embedding_model,
-        faiss_index,
-        chunks_data,
-        bm25_model,
-        k=5,
-        initial_k_multiplier=10,
-        rrf_k_constant=60
-    ):
+    query_text: str,
+    embedding_model,
+    faiss_index,
+    chunks_data: list[dict],
+    bm25_model,
+    k: int = 5,
+    initial_k_multiplier: int = 15,
+    rrf_k_constant: int = 60
+) -> list[dict]:
     """
-    Thực hiện tìm kiếm lai (Hybrid Search) kết hợp Semantic Search (FAISS) và Keyword Search (BM25),
-    sau đó kết hợp kết quả bằng Reciprocal Rank Fusion (RRF) và tăng cường bằng metadata.
+    Thực hiện Tìm kiếm Lai (Hybrid Search) với logic tăng điểm (boosting) cho loại xe.
+
+    Quy trình:
+    1. Tìm kiếm song song bằng FAISS (ngữ nghĩa) và BM25 (từ khóa).
+    2. Kết hợp kết quả bằng Reciprocal Rank Fusion (RRF).
+    3. Tăng điểm (boost) cho các kết quả khớp với metadata quan trọng (loại xe).
+    4. Sắp xếp lại và trả về top-k kết quả cuối cùng.
     """
     if k <= 0:
-        print("Lỗi: k (số lượng kết quả) phải là số dương.")
         return []
 
-    print(f"\n🔎 Đang tìm kiếm (Hybrid) cho truy vấn: '{query_text}'")
-    query_lower = query_text.lower()
-
-    # Phân tích query
-    fine_keywords = r'tiền|phạt|bao nhiêu đồng|bao nhiêu tiền|mức phạt|xử phạt hành chính'
-    points_keywords = r'điểm|trừ điểm|mấy điểm|trừ bao nhiêu điểm|bằng lái|gplx'
-    query_mentions_fine = bool(re.search(fine_keywords, query_lower))
-    query_mentions_points = bool(re.search(points_keywords, query_lower))
-    needs_specific_metadata_filter = query_mentions_fine or query_mentions_points
-    print(f"   Phân tích query: Đề cập tiền phạt? {query_mentions_fine}, Đề cập điểm trừ? {query_mentions_points}")
-
     num_vectors_in_index = faiss_index.ntotal
     if num_vectors_in_index == 0:
-        print("Lỗi: FAISS index rỗng.")
         return []
 
-    num_candidates_each_retriever = min(k * initial_k_multiplier, num_vectors_in_index)
+    num_candidates = min(k * initial_k_multiplier, num_vectors_in_index)
 
-    # === 1. Semantic Search (FAISS) ===
+    # --- 1. Semantic Search (FAISS) ---
     try:
-        query_embedding_tensor = embedding_model.encode([query_text], convert_to_tensor=True, device=embedding_model.device)
-        query_embedding_np = query_embedding_tensor.cpu().numpy().astype('float32')
+        query_embedding = embedding_model.encode([query_text], convert_to_tensor=True)
+        query_embedding_np = query_embedding.cpu().numpy().astype('float32')
         faiss.normalize_L2(query_embedding_np)
-        semantic_scores_raw, semantic_indices_raw = faiss_index.search(query_embedding_np, num_candidates_each_retriever)
+        _, semantic_indices = faiss_index.search(query_embedding_np, num_candidates)
+        semantic_indices = semantic_indices[0]
     except Exception as e:
-        print(f"Lỗi khi tìm kiếm ngữ nghĩa (FAISS): {e}")
-        semantic_indices_raw = np.array([[]], dtype=int)
+        print(f"Lỗi FAISS search: {e}")
+        semantic_indices = []
 
-    # === 2. Keyword Search (BM25) ===
+    # --- 2. Keyword Search (BM25) ---
     try:
-        tokenized_query_bm25 = tokenize_vi_for_bm25_setup(query_text)
-        all_bm25_scores = bm25_model.get_scores(tokenized_query_bm25)
-        bm25_results_with_indices = [{'index': i, 'score': score} for i, score in enumerate(all_bm25_scores) if score > 0]
-        bm25_results_with_indices.sort(key=lambda x: x['score'], reverse=True)
-        top_bm25_results = bm25_results_with_indices[:num_candidates_each_retriever]
+        tokenized_query = tokenize_vi_for_bm25_setup(query_text)
+        bm25_scores = bm25_model.get_scores(tokenized_query)
+        # Lấy top N chỉ mục từ BM25
+        top_bm25_indices = np.argsort(bm25_scores)[::-1][:num_candidates]
     except Exception as e:
-        print(f"Lỗi khi tìm kiếm từ khóa (BM25): {e}")
-        top_bm25_results = []
+        print(f"Lỗi BM25 search: {e}")
+        top_bm25_indices = []
 
-    # === 3. Result Fusion (RRF) ===
+    # --- 3. Result Fusion (RRF) ---
     rrf_scores = defaultdict(float)
-    all_retrieved_indices_set = set()
+    all_indices = set(semantic_indices) | set(top_bm25_indices)
 
-    if semantic_indices_raw.size > 0:
-        for rank, doc_idx in enumerate(semantic_indices_raw[0]):
-            if 0 <= doc_idx < num_vectors_in_index:
-                rrf_scores[doc_idx] += 1.0 / (rrf_k_constant + rank)
-                all_retrieved_indices_set.add(doc_idx)
-
-    for rank, item in enumerate(top_bm25_results):
-        doc_idx = item['index']
+    for rank, doc_idx in enumerate(semantic_indices):
         rrf_scores[doc_idx] += 1.0 / (rrf_k_constant + rank)
-        all_retrieved_indices_set.add(doc_idx)
 
-    fused_initial_results = [{'index': doc_idx, 'fused_score': rrf_scores[doc_idx]} for doc_idx in all_retrieved_indices_set]
-    fused_initial_results.sort(key=lambda x: x['fused_score'], reverse=True)
+    for rank, doc_idx in enumerate(top_bm25_indices):
+        rrf_scores[doc_idx] += 1.0 / (rrf_k_constant + rank)
 
-    # === 4. Lọc và Tái xếp hạng cuối cùng ===
-    final_processed_results = []
-    num_to_process_metadata = min(len(fused_initial_results), num_candidates_each_retriever * 2)
+    # --- 4. Metadata Boosting & Final Ranking ---
+    query_lower = query_text.lower()
+    matched_vehicle = _get_vehicle_type(query_lower)
+    final_results = []
 
-    for rank_idx, res_item in enumerate(fused_initial_results[:num_to_process_metadata]):
+    for doc_idx in all_indices:
         try:
-            result_index = res_item['index']
-            base_score_from_fusion = res_item['fused_score']
-            original_chunk = chunks_data[result_index]
-            original_metadata = original_chunk.get('metadata', {})
-            # Thêm logic xử lý metadata boosting ở đây nếu cần...
-            # Hiện tại, chỉ trả về kết quả đã fusion.
-            # Bạn có thể copy lại toàn bộ logic boosting từ script gốc vào đây.
+            metadata = chunks_data[doc_idx].get('metadata', {})
+            final_score = rrf_scores[doc_idx]
             
-            final_score_calculated = base_score_from_fusion # (Thêm boosting vào đây)
-
-            final_processed_results.append({
-                "rank_after_fusion": rank_idx + 1,
-                "index": int(result_index),
-                "final_score": final_score_calculated,
-                "text": original_chunk.get('text', '*Không có text*'),
-                "metadata": original_metadata
+            # **LOGIC BOOSTING QUAN TRỌNG NHẤT**
+            if matched_vehicle:
+                article_title_lower = metadata.get("article_title", "").lower()
+                # Định nghĩa lại từ khóa bên trong để tránh phụ thuộc bên ngoài
+                vehicle_keywords = {
+                    "ô tô": ["ô tô", "xe con"], "xe máy": ["xe máy", "xe mô tô"],
+                    "xe đạp": ["xe đạp", "xe thô sơ"], "máy kéo": ["máy kéo", "xe chuyên dùng"]
+                }
+                if any(keyword in article_title_lower for keyword in vehicle_keywords.get(matched_vehicle, [])):
+                    # Cộng một điểm thưởng rất lớn để đảm bảo nó được ưu tiên
+                    final_score += 0.5 
+            
+            final_results.append({
+                'index': doc_idx,
+                'final_score': final_score
             })
-        except Exception as e:
-            print(f"Lỗi khi xử lý ứng viên tại chỉ số {res_item.get('index')}: {e}")
-
-    final_processed_results.sort(key=lambda x: x["final_score"], reverse=True)
-    return final_processed_results[:k]
+        except IndexError:
+            continue
+
+    final_results.sort(key=lambda x: x['final_score'], reverse=True)
+
+    # Lấy đầy đủ thông tin cho top-k kết quả cuối cùng
+    top_k_results = []
+    for res in final_results[:k]:
+        doc_idx = res['index']
+        top_k_results.append({
+            'index': doc_idx,
+            'final_score': res['final_score'],
+            'text': chunks_data[doc_idx].get('text', ''),
+            'metadata': chunks_data[doc_idx].get('metadata', {})
+        })
+
+    return top_k_results