README.md

metadata

library_name: transformers

• 실행 결과: werty1248/s1.1-Ko-Native-result
• werty1248/EXAONE-3.5-7.8B-s1-Ko-no-sample-packing 보단 낫지만, 오리지널 모델과 점수 차이 거의 없음

Training Details

• 공식 학습 코드 사용
• 8xA40, 2.5 hours
  • Total batch size: 16 -> 8
• block_size=16384
• gradient_checkpointing=True

Others

• VRAM 아슬아슬 (block_size=20000, gradient_accumulation_steps=2 전부 CUDA OOM)
• 고질적인 "한 번 잘못 생각하면 잠깐만요 해놓고도 계속 같은 실수를 반복하는 현상"이 해결이 안됨
  • EXAONE의 특성 or 소형모델의 특성 or 번역 데이터의 특성