fabhiansan/indoBERT-Large-FactChecking-Summarization

Indonesian BERT Large for Natural Language Inference (Perturbation Weighted)

Deskripsi Model

Model ini adalah versi fine-tuned dari indobenchmark/indobert-large-p2 yang dilatih untuk tugas Natural Language Inference (NLI) biner pada data berbahasa Indonesia. Tujuan utama NLI adalah untuk menentukan apakah sebuah "hipotesis" dapat disimpulkan dari sebuah "premis".
Model ini secara spesifik dilatih dengan strategi pembobotan sampel ganda:

1. Pembobotan untuk menyeimbangkan kelas label utama (entailment vs. non-entailment).
2. Pembobotan tambahan untuk jenis-jenis perturbasi spesifik dalam sampel kelas negatif (label 0), untuk meningkatkan ketahanan model terhadap variasi linguistik atau artefak data tertentu.

Model ini menghasilkan salah satu dari dua label (0 untuk non-entailment/kontradiksi, 1 untuk entailment).

metrik	score
accuracy	0.9129205120571598
macro_precision	0.9052220320834325
macro_recall	0.8766231236407768
macro_f1	0.8893040191206835
average_loss	0.5746491376413663
train_loss_sample_weighted	0.07019188567586254

Penggunaan yang Ditujukan

Model ini ditujukan untuk digunakan dalam tugas klasifikasi teks NLI biner dalam bahasa Indonesia. Dapat digunakan untuk:

• Memverifikasi apakah suatu klaim (hipotesis) didukung oleh teks sumber (premis).
• Menganalisis hubungan logis antara beberapa kalimat teks sumber dan kalimat ringkasannya.
• Model akan menganggap ringkasan tidak entails ketika terjadi halusinasi.
• Halusinasi yang dapat dideteksi oleh model ini adalah (Pagnoni dkk., 2021):
  • Predicate error
  • Discourse link error
  • Entity Error
  • Circumstance Error
  • Out of Article Error

Cara Menggunakan

Anda dapat menggunakan model ini dengan pustaka transformers dari Hugging Face:

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "fabhiansan/indoBERT-Large-FactChecking-Summarization"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForSequenceClassification.from_pretrained(model_name_or_path)

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

premise = "Timnas Indonesia berhasil memenangkan pertandingan sepak bola."
hypothesis = "Indonesia kalah dalam laga tersebut."

inputs = tokenizer(premise, hypothesis, return_tensors="pt", truncation=True, padding=True, max_length=512)
inputs = {k: v.to(device) for k, v in inputs.items()}

model.eval() # Set model ke mode evaluasi
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits
    predictions = torch.argmax(logits, dim=-1)

# Interpretasi hasil (asumsi label 0 = non-entailment, label 1 = entailment)
if predictions.item() == 1:
    print("Hipotesis dapat disimpulkan dari premis (Entailment).")
else:
    print("Hipotesis TIDAK dapat disimpulkan dari premis (Non-Entailment).")