update dataset

evaluate_jawa.py

@@ -47,18 +47,18 @@ class PNPRAGEvaluator:
         )
         
         # Initialize Replicate LLM
-        self.llm = Replicate(
-            model="fauziisyrinapridal/sahabat-ai-v1:afb9fa89fe786362f619fd4fef34bd1f7a4a4da23073d8a6fbf54dcbe458f216",
-            model_kwargs={"temperature": 0.5, "top_p": 1, "max_new_tokens": 10000},
-            replicate_api_token=os.getenv("REPLICATE_API_TOKEN")
-        )
-
-        # self.llm = ChatOllama(
-        #     model="llama3",
-        #     temperature=0.1,
-        #     max_tokens=10000,
-        #     top_p=0.9
+        # self.llm = Replicate(
+        #     model="fauziisyrinapridal/sahabat-ai-v1:afb9fa89fe786362f619fd4fef34bd1f7a4a4da23073d8a6fbf54dcbe458f216",
+        #     model_kwargs={"temperature": 0.5, "top_p": 1, "max_new_tokens": 10000},
+        #     replicate_api_token=os.getenv("REPLICATE_API_TOKEN")
         # )
+
+        self.llm = ChatOllama(
+            model="llama3",
+            temperature=0.1,
+            max_tokens=10000,
+            top_p=0.9
+        )
         
         # Initialize memory
         self.memory = ConversationBufferMemory(
@@ -469,7 +469,7 @@ Penjelasan: <alasan_detail_mengapa_skor_tersebut>"""
 # PNP Evaluation Dataset
 evaluation_dataset = [
     {
-        "question": "Pripiye sistem pendidikan sing diterapake ing Politeknik Negeri Padang?",
+        "question": "Pripun tatanan panggulawentah sing diterapaken ing Politeknik Negeri Padang??",
         "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional."
     },
     {
@@ -477,11 +477,11 @@ evaluation_dataset = [
         "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)"
     },
     {
-        "question": "Pripiye Politeknik Negeri Padang ndhukung misi tridharma perguruan tinggi?",
+        "question": "pripun Politeknik Negeri Padang ndhukung misi tridharma perguruan tinggi?",
         "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang."
     },
     {
-        "question": "Pripiye Politeknik Negeri Padang nyediakake akses internet kanggo mahasiswa?",
+        "question": "pripun Politeknik Negeri Padang nyediakake akses internet kanggo mahasiswa?",
         "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC."
     },
     {
@@ -489,15 +489,15 @@ evaluation_dataset = [
         "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN."
     },
     {
-        "question": "Pripiye Politeknik Negeri Padang nulungi mahasiswa ing babagan prestasi lan ekonomi?",
+        "question": "pripun Politeknik Negeri Padang nulungi mahasiswa ing babagan prestasi lan ekonomi?",
         "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar."
     },
     {
-        "question": "Pripiye status akreditasi program studi ing Politeknik Negeri Padang?",
+        "question": "pripun status akreditasi program studi ing Politeknik Negeri Padang?",
         "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi."
     },
     {
-        "question": "Pripiye proses penerimaan mahasiswa anyar ing Politeknik Negeri Padang?",
+        "question": "pripun proses penerimaan mahasiswa anyar ing Politeknik Negeri Padang?",
         "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring."
     },
     {
@@ -509,7 +509,7 @@ evaluation_dataset = [
         "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus."
     },
     {
-        "question": "Pripiye sejarah singkat berdirinya Politeknik Negeri Padang?",
+        "question": "pripun sejarah singkat berdirinya Politeknik Negeri Padang?",
         "ground_truth": "Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu dari 17 politeknik pertama di Indonesia. Awalnya bernama Politeknik Engineering Universitas Andalas. Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang. Saat ini memiliki 32 program studi dari jenjang D3 hingga Magister Terapan."
     }
 ]

evaluate_sunda.py

@@ -47,18 +47,18 @@ class PNPRAGEvaluator:
         )
         
         # Initialize Replicate LLM
-        self.llm = Replicate(
-            model="fauziisyrinapridal/sahabat-ai-v1:afb9fa89fe786362f619fd4fef34bd1f7a4a4da23073d8a6fbf54dcbe458f216",
-            model_kwargs={"temperature": 0.5, "top_p": 1, "max_new_tokens": 10000},
-            replicate_api_token=os.getenv("REPLICATE_API_TOKEN")
-        )
-
-        # self.llm = ChatOllama(
-        #     model="llama3",
-        #     temperature=0.1,
-        #     max_tokens=10000,
-        #     top_p=0.9
+        # self.llm = Replicate(
+        #     model="fauziisyrinapridal/sahabat-ai-v1:afb9fa89fe786362f619fd4fef34bd1f7a4a4da23073d8a6fbf54dcbe458f216",
+        #     model_kwargs={"temperature": 0.5, "top_p": 1, "max_new_tokens": 10000},
+        #     replicate_api_token=os.getenv("REPLICATE_API_TOKEN")
         # )
+
+        self.llm = ChatOllama(
+            model="llama3",
+            temperature=0.1,
+            max_tokens=10000,
+            top_p=0.9
+        )
         
         # Initialize memory
         self.memory = ConversationBufferMemory(
@@ -481,7 +481,7 @@ evaluation_dataset = [
         "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang."
     },
     {
-        "question": "Kumaha Politeknik Negeri Padang nyayogikeun aksés internét pikeun mahasiswa?",
+        "question": "Kumaha Politeknik Negeri Padang nyadiaken aksés internét pikeun mahasiswa?",
         "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC."
     },
     {