iRASC/Meerkat-Ko-8B-d6-w5-dpo

이 모델은 iRASC/Llama-Ko-8B 모델 개발의 후속 연구로 진행되었습니다.

모델 설명

이 모델은 한국어 의료 질의응답(QA) 성능을 최적화하기 위해 개발된 대규모 언어 모델(LLM)입니다. 특히, 단일 소비자용 GPU(RTX 4090)와 같은 자원 제약 환경에서도 효율적으로 활용될 수 있도록 파라미터 효율적인 방법론을 적용하여 구축되었습니다.

본 모델은 다음과 같은 과정을 통해 생성되었습니다:

1. 모델 병합(Model Merging): 영어 의료 특화 모델인 dmis-lab/llama-3-meerkat-8b-v1.0과 범용 한국어 모델인 beomi/Llama-3-Open-Ko-8B를 DARE (Drop and Rescale) 기법 (밀도 d=0.6)을 사용하여 병합하였습니다. 이를 통해 영어 의료 지식과 한국어 능력을 효과적으로 결합한 강력한 기반 모델을 구축했습니다.
2. 직접 선호도 최적화 (Direct Preference Optimization, DPO): 생성된 병합 모델을 QLoRA (Quantized Low-Rank Adaptation) 방식으로 DPO 튜닝을 진행하여, 한국어 의료 QA 태스크(KorMedMCQA 데이터셋 기반)에 대한 성능을 더욱 향상시키고 모델을 정렬(Align)했습니다.

결과적으로, 이 모델은 제한된 자원 하에서도 한국어 의료 관련 질문에 대해 향상된 답변 능력을 보여주도록 최적화되었습니다.

자세한 학습 정보는 여기에서 확인할 수 있습니다

활용 목적 및 한계점

활용 목적

• 한국어 의료 질의응답: 한국어로 된 의료 관련 질문에 답변하는 데 활용될 수 있습니다.
• 의료 정보 검색 보조: 사용자의 의료 관련 정보 검색을 돕는 시스템의 백엔드로 사용될 수 있습니다.
• 의료 상담 챗봇 개발: 간단한 의료 상담이나 정보 제공을 위한 챗봇 개발의 기반 모델로 활용될 수 있습니다.
• 연구 목적: 자원 제약 환경에서의 LLM 튜닝, 모델 병합, DPO 등 관련 연구에 활용될 수 있습니다.

한계점 및 주의사항

• 전문 의료 진단 대체 불가: 이 모델은 전문 의료인의 진단이나 상담을 대체할 수 없습니다. 생성된 정보는 참고용으로만 사용해야 합니다.
• 정보의 정확성 및 최신성: 모델은 학습 데이터에 기반하여 답변을 생성하므로, 최신 의료 정보나 특정 희귀 질환 등에 대한 정보가 부정확하거나 누락될 수 있습니다.
• 환각 (Hallucination): 다른 LLM과 마찬가지로, 사실과 다르거나 관련 없는 정보를 생성하는 환각 현상이 발생할 수 있습니다. 중요한 정보는 반드시 교차 검증이 필요합니다.
• 편향성 (Bias): 학습 데이터에 내재된 편향이 모델의 답변에 영향을 미칠 수 있습니다.
• KorMedMCQA 특화: DPO 튜닝이 KorMedMCQA 데이터셋 기반으로 이루어졌으므로, 해당 형식의 QA에는 강점을 보일 수 있으나 다른 형태의 의료 관련 태스크에서는 성능이 달라질 수 있습니다.

사용 방법

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "iRASC/Meerkat-Ko-8B-d6-w5-dpo"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

messages = [
    {"role": "system", "content": "당신은 의료 관련 질문에 답변하는 AI 어시스턴트입니다."},
    {"role": "user", "content": "콜레스테롤'이 정확히 무엇인가요? HDL과 LDL은 어떻게 다른가요? "}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=1000,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.7,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))