taeyoon12321421/gorani-gemma-model-2b

Gorani Model Card

소개 (Introduce)

이 모델은 번역을 위한 모델입니다. 한국 고유어의 정확한 번역을 생성하기 위해 한국어, 영어, 일본어의 언어 데이터를 혼합하여 unsloth/gemma-2b-it-bnb-4bit을 학습시켜 생성된 gorani-2B 입니다.
gorani는 현재 한국어, 영어, 일본어만 번역을 지원합니다.

모델 정보

• 개발자: taeyoon0620
• 모델 유형: gemma를 기반으로 하는 2B 매개변수 모델인 gorani-2B
• 지원 언어: 한국어, 영어, 일본어
• 라이센스: gemma

Training Hyperparameters

• per_device_train_batch_size: 8
• gradient_accumulation_steps: 4
• warmup_steps: 5
• learning_rate: 2e-5
• fp16: not is_bfloat16_supported()
• num_train_epochs: 3
• weight_decay: 0.01
• lr_scheduler_type: "linear"

학습 데이터

데이터셋 링크

학습 성능 비교

Step	Training Loss	Validation Loss
50	0.856900	1.243296
100	0.637300	1.080636
150	0.561300	1.015324
200	0.523100	0.972539
250	0.491600	0.951547
300	0.485000	0.942520
350	0.457100	0.928466
400	0.482600	0.913566
450	0.445000	0.915080
500	0.447300	0.900509
550	0.443200	0.896823
600	0.420800	0.898253
650	0.430200	0.888035
700	0.428700	0.884415
750	0.416400	0.875832
800	0.397400	0.877212
850	0.403800	0.878696
900	0.410400	0.873603
950	0.423900	0.876391
1000	0.412100	0.874712
1050	0.404000	0.878219
1100	0.391000	0.868475
1150	0.383800	0.867502
1200	0.388800	0.877054
1250	0.382200	0.864894
1300	0.389500	0.862716
1350	0.401100	0.857156
1400	0.364600	0.865956
1450	0.386700	0.858560
1500	0.379200	0.860608
1550	0.370000	0.864580
1600	0.367900	0.863778
1650	0.360100	0.866951
1700	0.372300	0.867361
1750	0.378400	0.867690
1800	0.371100	0.863734
1850	0.376400	0.862673
1900	0.364200	0.862987
1950	0.368000	0.865702
2000	0.374900	0.865652