Model Card for Model ID

Model Details

Model Description

TripleBits/Sinhala-Llama-3.2-1B is a LLaMA 3.2 1B-based model that has undergone continual pretraining (CPT) on a diverse Sinhala corpus.

Trained by: Team TripleBits for Shared Task 2025

How to Get Started with the Model

Use the code below to get started with the model.

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
from huggingface_hub import login

login(token="your_hf_token")

# Load base model
base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.2-1B")

# Load trained LoRA adapter
model = PeftModel.from_pretrained(base_model, "iCIIT/TripleBits-Sinhala-Llama-3.2-1B-CP")


question = "ශ්‍රී ලංකාවේ අගනුවර කුමක්ද?"

instruction = f"""පහත සදහන් ප්‍රශ්නයට නිවැරදි පිළිතුරක් ලබා දෙන්න. පිළිතුරු ලබා දීමේදී ප්‍රශ්නයේ ස්වභාවය අනුව - සරල ප්‍රශ්න සඳහා කෙටි පිළිතුරු ද, සංකීර්ණ ප්‍රශ්න සඳහා විස්තරාත්මක පැහැදිලි කිරීම් ද ලබා දෙන්න.
### ප්‍රශ්නය: {question}
### පිළිතුර:"""

inputs = tokenizer(instruction, return_tensors="pt").to(model.device)
outputs = model.generate(
            **inputs,
            max_new_tokens=100,
            num_beams=10,
            repetition_penalty=1.2,
            no_repeat_ngram_size=3,
            do_sample=False,
            early_stopping=True,
            eos_token_id=tokenizer.eos_token_id, 
            pad_token_id=tokenizer.pad_token_id
            )

generated_answer_tokens = outputs[0][inputs.input_ids.shape[1]:]
generated_answer = tokenizer.decode(generated_answer_tokens, skip_special_tokens=True).strip()
print(generated_answer)