supermon2018/qwen3-8b-korean-finetuned

Qwen3-8B Korean Finetuned Model

이 모델은 Qwen3-8B를 한국어 데이터로 파인튜닝한 LoRA 모델입니다.

모델 상세 정보

• 기본 모델: Qwen/Qwen3-8B
• 파인튜닝 방법: LoRA (Low-Rank Adaptation)
• 훈련 프레임워크: DeepSpeed ZeRO-2 + Transformers
• 언어: 한국어, 영어
• 개발자: supermon2018

훈련 구성

LoRA 설정

• Rank (r): 4
• Alpha: 8
• Dropout: 0.05
• Target Modules: qkv_proj, o_proj, gate_proj, up_proj, down_proj

훈련 파라미터

• Epochs: 2
• Batch Size: 2 per device
• Gradient Accumulation: 8 steps
• Learning Rate: 2e-4
• Precision: BF16
• Optimizer: AdamW

하드웨어

• GPU: 3x RTX 4090 (24GB each)
• 분산 훈련: DeepSpeed ZeRO-2
• 메모리 최적화: Gradient Checkpointing

사용 방법

의존성 설치

pip install torch transformers peft

모델 로드 및 사용

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 기본 모델과 토크나이저 로드
base_model_name = "Qwen/Qwen3-8B"
model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(base_model_name)

# LoRA 어댑터 로드
model = PeftModel.from_pretrained(
    model, 
    "supermon2018/qwen3-8b-korean-finetuned"
)

# 추론
def generate_response(prompt, max_length=512):
    inputs = tokenizer(prompt, return_tensors="pt")
    
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_length=max_length,
            temperature=0.7,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id
        )
    
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response[len(prompt):].strip()

# 사용 예시
prompt = "안녕하세요. 한국어로 대화해 주세요."
response = generate_response(prompt)
print(response)

성능 및 특징

• 메모리 효율성: LoRA를 사용하여 16MB 크기의 가벼운 어댑터
• 다국어 지원: 한국어와 영어 모두 지원
• 빠른 추론: 기본 모델에 어댑터만 추가하여 빠른 로딩

제한사항

• 이 모델은 LoRA 어댑터이므로 기본 Qwen3-8B 모델과 함께 사용해야 합니다
• 특정 도메인이나 태스크에 따라 추가 파인튜닝이 필요할 수 있습니다

라이선스

Apache 2.0 라이선스를 따릅니다.

인용

이 모델을 사용하실 때는 다음과 같이 인용해 주세요:

@misc{qwen3-korean-finetuned,
  author = {supermon2018},
  title = {Qwen3-8B Korean Finetuned Model},
  year = {2024},
  publisher = {Hugging Face},
  url = {https://huggingface.co/supermon2018/qwen3-8b-korean-finetuned}
}

문의사항

모델 사용 중 문의사항이 있으시면 이슈를 남겨주세요.