Model Card for Model TwinDoc/RedWhale-2-3B

meta-llama/Llama-3.2-3B 모델로부터 사전학습한 모델입니다. 사전학습은 한국어 Corpus로 진행하였습니다.

Model Details

Model Description

• Developed by: AgileSoda
• Model type: Llama
• Language(s) (NLP): 한국어
• License: [More Information Needed]
• Finetuned from model [optional]: TwinDoc/RedWhale-2-3B-Instruct
• Foundation Model: meta-llama/Llama-3.2-3B

Model Sources [optional]

• Repository: [More Information Needed]
• Paper [optional]: [More Information Needed]
• Demo [optional]: [More Information Needed]

Uses

RedWhale-2-3B 모델 사용 방법은 meta-llama/Llama-3.2-3B 모델 사용 방법과 동일합니다. 사용하고자 하는 서빙 엔진의 공식 문서를 참고하세요. 다음은 예시입니다.

Direct Use

usage with Transformers 예시 코드는 transformers == 4.48.1에서 작성되었습니다.

from transformers import AutoModelForCausalLM,AutoTokenizer
import torch

loading_args = {"torch_dtype": torch.bfloat16, "device_map": "auto"} ## for multi gpu loading
model = AutoModelForCausalLM.from_pretrained("TwinDoc/RedWhale-2-3B",**loading_args)
tokenizer = AutoTokenizer.from_pretrained("TwinDoc/RedWhale-2-3B")

text = "대한민국의 수도는 "
inputs = tokenizer(text,return_tensors="pt")
outputs = model.generate(**inputs,max_new_tokens = 100)

>>> print(tokenizer.decode(outputs[0]))
"<|begin_of_text|>대한민국의 수도는 4개의 시도 중에서 가장 작은 도시로 서울시가 605.2㎢를 차지한다. 서울시의 면적은 605.2㎢이며, 그 중에서 222.2㎢가 서울의 중심부인 종로구에 속해 있다. 서울시의 면적은 605.2㎢이며, 그 중에서 222.2㎢가 서울의 중심부인 종로구에 속해 있다. 서울시"

Out-of-Scope Use

사전학습만 진행한 모델이기 때문에 Instruction을 따르는 능력은 없습니다. 특정 Task에 바로 사용하기 보다는 Fine-Tuning을 위한 Base모델로 사용하는 것을 권장합니다.

Training Details

Training Data

• dataset information
  • 사전학습 데이터의 max length는 8192입니다.
• download dataset

Compute Infrastructure

Hardware

• H100 80GB * 1EA