devngho/llama-ablation-large-korean-corpus

Llama 아키텍쳐로 pretrain된 모델입니다. 약 20.7B 토큰으로 약 2.8에포크 학습했습니다. MaxText를 통해 학습되었습니다.

500step마다 체크포인트가 제공됩니다.

이 연구는 Google의 TPU Research Cloud (TRC)의 Cloud TPU 제공으로 수행되었습니다. ⚡

예시

굵은 부분이 입력입니다.

• max_new_tokens: 500

예시 1 <s> 인공지능은 '인간은 자신의 능력을 최대한 발휘한다'는 것을 목표로 한다. '인간은 자신의 능력을 최대한 발휘한다'는 것은 '인간은 자신의 능력을 최대한 발휘한다'는 것을 의미한다. '인간은 자신의 능력을 최대한 발휘한다'는 것은 '인간은 자신의 능력을 최대한 발휘한다'는 것을 의미한다. '인간은 자신의 능력을 최대한 발휘한다'는 것은 '인간은 자신의 능력을 최대한 발휘한다'는 것을 의미한다</s>

예시 2 <s> 한글의 특징은 '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을 '한글'로, '한글'을

예시 3 <s> 커피는 '커피'라는 말처럼 '커피'라는 말처럼 '커피'라는 말은 '커피'라는 말과 함께 '커피'라는 말을 붙여놓았다. 커피는 '커피'라는 말처럼 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다. 커피는 '커피'라는 말과 함께 '커피'라는 단어를 '커피'라는 말로 바꾸어놓았다

상당한 환각과 어색함, 반복이 있습니다.

상세

• 제작: devngho
• 언어: ko
• 라이선스: mit

학습 상세

• learning_rate: 6e-4 (cosine, initial/end 6e-5)
• warmup_ratio: 0.05
• batch_size: 1024(fsdp 16 * per device 8 * ga 8)
• optimizer: adamw(b1=0.9, b2=0.95, eps=1e-5, weight_decay=0.01)
• duration: about 29h 17m
• steps: 10000
• wandb에서 전체 설정과 결과를 볼 수 있습니다.

학습 장비

TPU v4-32

학습 데이터셋

AI Hub, 모두의말뭉치를 dedup, length filtering했습니다 (약 16,056,320행).

AI Hub, 모두의말뭉치 규정으로 인해 데이터셋을 공개할 수 없지만, 원본 데이터를 준비한다면 devngho/dataset-preprocess의 과정으로 동일하게 전처리할 수 있습니다.

소프트웨어

jax==0.4.35

MaxText를 포크한 devngho/MaxText

학습 결과

• learning/loss: 2.6237056255340576
• eval/avg_loss: 2.6179106279033793

아래에 벤치마크 결과가 제공됩니다.

devngho/llama-ablation-large-korean-corpus

Pretrained using Llama architecture. Trained with about 20.7B tokens(approximately 2.8 epoch), using MaxText.

Checkpoints for every 500 steps are available.

This research was supported with Cloud TPUs from Google's TPU Research Cloud (TRC). ⚡

Details

• Made by: devngho
• Language: ko
• License: mit

Training details

• learning_rate: 6e-4 (cosine, initial/end 6e-5)
• warmup_ratio: 0.05
• batch_size: 1024(fsdp 16 * per device 8 * ga 8)
• optimizer: adamw(b1=0.9, b2=0.95, eps=1e-5, weight_decay=0.01)
• duration: about 27h 50m
• steps: 10000
• You can check all the configs and training results on wandb

Training devices

TPU v4-32

Training datasets

I applied deduplication and length filtering to a corpus from AI Hub and Modu Corpus (16,056,320 rows).

I couldn't make the training dataset public because of the terms of AI Hub and Modu Corpus. You can still preprocess the dataset in the same way as the dataset used during training this model using devngho/dataset-preprocess with the raw datas.

Software

jax==0.4.35

devngho/MaxText, a fork of MaxText

Training results

• learning/loss: 2.6237056255340576
• eval/avg_loss: 2.6179106279033793