Transformers documentation
Pelatihan presisi campuran
Pelatihan presisi campuran
Pelatihan presisi penuh (fp32) menyimpan dan menghitung semuanya dalam 32 bit. Presisi campuran menggunakan fp16 atau bf16 untuk langkah maju dan mundur yang intensif komputasi, sambil mempertahankan salinan fp32 dari bobot untuk pembaruan optimizer. Komputasi menjadi lebih cepat, memori bobot dan aktivasi berkurang, dan stabilitas pelatihan tetap terjaga.
βββββββββββββββββββββββββββββββββββββββββββββββββββββββ β MIXED PRECISION TRAINING LOOP β β β β fp32 master weights ββcastβββΆ fp16/bf16 β β β² β β β β FORWARD (autocast) β β β matmuls in fp16/bf16 β β β reductions stay fp32 β β β β loss β β β LOSS SCALE ΓS ββfp16 β β β β β β β BACKWARD β β β grads in fp16/bf16 β β β β β β β UNSCALE Γ·S ββfp16 β β β check inf/nan β β β cast grads β fp32 β β βββββββββββββββββββββββββββ optimizer.step β βββββββββββββββββββββββββββββββββββββββββββββββββββββββ
Set bf16() atau fp16() ke True untuk mengaktifkan pelatihan presisi campuran. Keduanya adalah tipe 16-bit, tetapi bf16 memiliki rentang eksponen yang sama dengan fp32 sehingga hampir tidak pernah mengalami overflow. Gunakan bf16 pada GPU Ampere atau yang lebih baru (A100, H100) dan gunakan fp16 pada perangkat keras yang lebih lama seperti V100 atau T4.
Muat model dalam fp32, jika tidak autocast menjadi tidak berfungsi. Memuat dalam bf16 atau fp16 tidak menyisakan salinan master fp32 untuk diperbarui oleh optimizer.
from transformers import TrainingArguments
args = TrainingArguments(..., bf16=True)
args = TrainingArguments(..., fp16=True)Jika model Anda stabil secara numerik dalam bf16/fp16, Anda dapat sepenuhnya melewati presisi campuran dan memuat serta melatih langsung dalam bf16/fp16. Hal ini menghindari salinan fp32 dari bobot di memori.
tf32
tf32 adalah mode komputasi pada GPU Ampere yang menggunakan mantisa 10-bit untuk matmul alih-alih 23-bit. Hal ini dapat memberikan peningkatan kecepatan, terutama ketika dipasangkan dengan bf16/fp16. PyTorch mengaktifkan tf32 untuk matmul secara default pada GPU Ampere dan yang lebih baru, tetapi menyetelnya secara eksplisit di TrainingArguments memastikan mode ini aktif terlepas dari versi PyTorch atau default lingkungan.
from transformers import TrainingArguments
args = TrainingArguments(..., bf16=True, tf32=True)Langkah selanjutnya
- Lihat panduan Kernels untuk mempelajari cara mempercepat pelatihan dengan kernel fused kustom.
- Lihat panduan torch.compile untuk mempelajari cara mengompilasi jalur maju dan mundur guna meningkatkan throughput.