demoap3909/kanana-1.5-8b-instruct-2505-lora-kli-sft-25

소개

[2025]한국어 어문 규범 기반 생성(RAG)(가 유형) 경진대회 참여를 위해 개발하였습니다.

• Developed by: 최강인공지능팀

Kanana-1.5-8B Instruct LoRA SFT

Kakao의 Kanana-1.5-8B Instruct 모델을 LoRA 방식으로 SFT 파인튜닝한 한국어 instruction following 모델입니다.

사용법

from unsloth import FastLanguageModel
import torch

def load_model_with_adapter(base_model_id, adapter_path, max_seq_length=4096):
    """베이스 모델 로드 후 LoRA 어댑터 적용"""
    
    # 베이스 모델 로드
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name=base_model_id,
        max_seq_length=max_seq_length,
        dtype=torch.float16,
        load_in_4bit=False,
        load_in_8bit=False,
        trust_remote_code=True
    )
    
    # padding token 설정
    if tokenizer.pad_token is None:
        tokenizer.pad_token = tokenizer.eos_token
    if tokenizer.unk_token is None:
        tokenizer.unk_token = tokenizer.eos_token
    
    # 추론 모드로 변경
    model = FastLanguageModel.for_inference(model)
    
    # LoRA 어댑터 로드
    model.load_adapter(adapter_path)
    
    return model, tokenizer

def make_chat(inp):
    """입력 데이터를 채팅 형식으로 변환"""
    question_type_instructions = {
        "선다형": (
            "[질문]을 잘 읽고 답변을 생성하시오. 문제를 그대로 출력하지 마시오. "
            "[지침] 주어진 보기 중에서 가장 적절한 답을 숫자로만 응답하시오."
        ),
        "서술형": (
            "[질문]을 잘 읽고 답변을 생성하시오. 문제를 그대로 출력하지 마시오. "
            "[지침] 질문에 대한 답변을 완성된 문장으로 서술하시오."
        ),
        "단답형": (
            "[질문]을 잘 읽고 답변을 생성하시오. 문제를 그대로 출력하지 마시오. "
            "[지침] 질문에 대한 답을 2단어 이내로 간단히 답하시오."
        ),
        "교정형": (
            "[질문]을 잘 읽고 답변을 생성하시오. 문제를 그대로 출력하지 마시오. "
            "[지침] 주어진 문장이 올바른지 판단하고, 틀린 경우 올바르게 교정하여 \"~가 옳다.\" 형태로 답변하고, 그 이유를 설명하시오."
        ),
        "선택형": (
            "[질문]을 잘 읽고 답변을 생성하시오. 문제를 그대로 출력하지 마시오. "
            "[지침] 주어진 보기들 중에서 가장 적절한 것을 선택하여 \"~가 옳다.\" 형태로 답변하고, 그 이유를 설명하시오."
        )
    }
    
    # instruction 가져오기
    instruction = question_type_instructions.get(inp.get('question_type', ''), "")
    
    # RAG 컨텍스트 추가
    if 'retrieved_context' in inp and inp['retrieved_context']:
        instruction += f" [관련 정보] {inp['retrieved_context']}"
    
    # 기타 정보 생성 (question, retrieved_context 제외)
    other_info = {k: v for k, v in inp.items() if k not in ['question', 'retrieved_context']}
    
    chat_parts = [instruction]
    if other_info:
        info_list = ["[기타 정보]"]
        for key, value in other_info.items():
            if value is not None and value != "":
                info_list.append(f" {key}: {value}")
        chat_parts.append(" ".join(info_list))
    
    # 질문 추가
    chat_parts.append(f"[질문] {inp['question']}")
    
    return " ".join(chat_parts)

# 사용 예시
base_model_id = "kakaocorp/kanana-1.5-8b-instruct-2505"
adapter_path = "demoap3909/kanana-1.5-8b-instruct-2505-lora-kli-sft-25"

model, tokenizer = load_model_with_adapter(base_model_id, adapter_path)

# 데이터 예시
sample_data = {
    "id": "623",
    "question_type": "선택형",
    "question": "\"나는 그를 본 적이 있음을 {기억해냈다/기억해 냈다}.\" 가운데 올바른 것을 선택하고, 그 이유를 설명하세요.",
    "retrieved_context": "<띄어쓰기 - 한글 맞춤법 제42항> 의존 명사는 띄어 쓴다. 아는 것이 힘이다., 나도 할 수 있다., 먹을 만큼 먹어라., 아는 이를 만났다., 네가 뜻한 바를 알겠다., 그가 떠난 지가 오래다. <한글 맞춤법, 표준어 규정 - 한글 맞춤법 제57항> 있거라. 는 이보다의존 명사 오는 이가 가는 이보다 많다. 으리만큼어미 나를 미워하리만큼 그에게 잘못한 일이 없다. 으 이만큼의존 명사 찬성할 이도 반대할 이만큼이나 많을 것이다. 으러목적 공부하러 간다. 으려의도 서울 가려 한다. 으로서자격 사람으로서 그럴 수는 없다. 으로써수단 닭으로써 꿩을 대신했다. 으므로어미 그가 나를 믿으므로 나도 그를 믿는다. , 음으로써조사 그는 믿음으로써 산 보람을 느꼈다. <한글 맞춤법, 표준어 규정 - 한글 맞춤법 제36항> 뒤에 어가 와서 로 줄 적에는 준 대로 적는다. 본말 가지어, 견디어, 다니어, 막히어, 버티어, 치이어, 가지었다, 견디었다, 다니었다, 막히었다, 버티었다, 치이었다 준말 가져, 견뎌, 다녀, 막혀, 버텨, 치여, 가졌다, 견뎠다, 다녔다, 막혔다, 버텼다, 치였 다"
}

# 프롬프트 생성
user_prompt = make_chat(sample_data)

# 시스템 프롬프트
system_prompt = (
    "You are a helpful AI assistant. Please answer the user's questions kindly. "
    "당신은 한국의 전통 문화와 역사, 문법, 사회, 과학기술 등 다양한 분야에 대해 잘 알고 있는 유능한 AI 어시스턴트 입니다. "
    "사용자의 질문에 대해 친절하게 답변해주세요. 단, 동일한 문장을 절대 반복하지 마시오."
)

message = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": user_prompt},
]

# 토크나이즈
inputs = tokenizer.apply_chat_template(
    message,
    add_generation_prompt=True,
    return_tensors="pt",
).to(model.device)

attention_mask = (inputs != tokenizer.pad_token_id).long().to(model.device)

# 생성
outputs = model.generate(
    inputs,
    max_new_tokens=2048,
    do_sample=False,
    attention_mask=attention_mask,
)

# 답변 추출
answer = tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True)

# 후처리
if answer.startswith("답변: "):
    answer = answer[4:]
elif answer.startswith("답변:"):
    answer = answer[3:]

if "#" in answer:
    answer = answer.split("#")[0].strip()

print(answer)