Update app.py

app.py

@@ -3,12 +3,6 @@ import gradio as gr
 import shutil
 import os
 import subprocess
-import sys
-import platform
-import transformers
-import numpy
-import torch
-
 from llama_cpp import Llama
 from llama_index.core import SimpleDirectoryReader, VectorStoreIndex, Settings
 from llama_index.core.llms import ChatMessage
@@ -17,14 +11,31 @@ from llama_index.embeddings.huggingface import HuggingFaceEmbedding
 from huggingface_hub import hf_hub_download
 from llama_index.core.node_parser import SentenceSplitter
 
-# Fungsi untuk memeriksa dan memastikan CUDA tersedia
-def check_cuda_availability():
-    if torch.cuda.is_available():
-        print("CUDA Toolkit tersedia di sistem.")
-        return True
-    else:
-        print("CUDA Toolkit tidak ditemukan di sistem.")
-        return False
+# Fungsi untuk memasang ulang llama-cpp-python dengan dukungan CUDA
+def install_llama_with_cuda():
+    try:
+        # Baca file requirements.txt
+        with open("requirements.txt", "r") as f:
+            packages = f.read().splitlines()
+
+        # Install setiap paket dengan CMAKE_ARGS untuk dukungan CUDA
+        for package in packages:
+            subprocess.run(
+            env={"CMAKE_ARGS": "-DGGML_CUDA=on"},
+        check=True
+        )
+        # Periksa apakah CUDA Toolkit tersedia
+        if not shutil.which("nvcc"):
+            print("CUDA Toolkit tidak ditemukan. Pastikan sudah diinstal.")
+            return
+
+        print("Memasang ulang llama-cpp-python dengan dukungan CUDA...")
+        
+        print("llama-cpp-python berhasil diinstal ulang dengan dukungan CUDA.")
+    except subprocess.CalledProcessError as e:
+        print(f"Error saat menginstal ulang llama-cpp-python: {e}")
+    except Exception as e:
+        print(f"Kesalahan umum: {e}")
 
 # Fungsi untuk mengunduh model Llama
 def initialize_llama_model():
@@ -36,19 +47,14 @@ def initialize_llama_model():
     )
     return model_path
 
-# Fungsi untuk mengatur konfigurasi Settings (tanpa CUDA)
+# Fungsi untuk mengatur konfigurasi Settings
 def initialize_settings(model_path):  
-    llama_model = Llama(
+    Settings.llm = Llama(
         model_path=model_path,
-        n_threads=4,  # Sesuaikan jumlah thread CPU sesuai kebutuhan
+        n_gpu_layers=1,  # Sesuaikan dengan kebutuhan perangkat Anda
         temperature=0.7,  # Sesuaikan untuk respons yang lebih cepat
         top_p=0.9       # Mengurangi eksplorasi token
     )
-    # Pastikan Llama model yang dibuat sudah sesuai
-    print(f"Model type: {type(llama_model)}")
-    
-    # Simpan model di Settings
-    Settings.llm = llama_model
 
 # Fungsi untuk Menginisialisasi Index
 def initialize_index():
@@ -94,7 +100,7 @@ def generate_response(message, history, chat_engine):
 
 def clear_history(chat_engine):
     chat_engine.clear()
-
+    
 # Inisialisasi Komponen Gradio untuk UI
 def launch_gradio(chat_engine):
     with gr.Blocks() as demo:
@@ -110,7 +116,7 @@ def launch_gradio(chat_engine):
 
 # Fungsi Utama untuk Menjalankan Aplikasi
 def main():
-    # Tidak perlu memeriksa atau menginstal llama-cpp-python dengan CUDA
+    install_llama_with_cuda()
     # Unduh model dan inisialisasi pengaturan
     model_path = initialize_llama_model()
     initialize_settings(model_path)  # Mengirimkan model_path ke fungsi initialize_settings
@@ -119,6 +125,6 @@ def main():
     chat_engine = initialize_chat_engine(index)
     # Luncurkan antarmuka
     launch_gradio(chat_engine)
-
+    
 if __name__ == "__main__":
     main()