Transformers documentation

Pelatihan presisi campuran

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Pelatihan presisi campuran

Pelatihan presisi penuh (fp32) menyimpan dan menghitung semuanya dalam 32 bit. Presisi campuran menggunakan fp16 atau bf16 untuk langkah maju dan mundur yang intensif komputasi, sambil mempertahankan salinan fp32 dari bobot untuk pembaruan optimizer. Komputasi menjadi lebih cepat, memori bobot dan aktivasi berkurang, dan stabilitas pelatihan tetap terjaga.

β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
β”‚           MIXED PRECISION TRAINING LOOP             β”‚
β”‚                                                     β”‚
β”‚  fp32 master weights ──cast──▢ fp16/bf16            β”‚
β”‚         β–²                          β”‚                β”‚
β”‚         β”‚                    FORWARD (autocast)     β”‚
β”‚         β”‚                    matmuls in fp16/bf16   β”‚
β”‚         β”‚                    reductions stay fp32   β”‚
β”‚         β”‚                          β”‚ loss           β”‚
β”‚         β”‚                    LOSS SCALE Γ—S  ──fp16  β”‚
β”‚         β”‚                          β”‚                β”‚
β”‚         β”‚                    BACKWARD               β”‚
β”‚         β”‚                    grads in fp16/bf16     β”‚
β”‚         β”‚                          β”‚                β”‚
β”‚         β”‚                    UNSCALE Γ·S    ──fp16   β”‚
β”‚         β”‚                    check inf/nan          β”‚
β”‚         β”‚                    cast grads β†’ fp32      β”‚
β”‚         └────────────────────────── optimizer.step  β”‚
β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜

Set bf16() atau fp16() ke True untuk mengaktifkan pelatihan presisi campuran. Keduanya adalah tipe 16-bit, tetapi bf16 memiliki rentang eksponen yang sama dengan fp32 sehingga hampir tidak pernah mengalami overflow. Gunakan bf16 pada GPU Ampere atau yang lebih baru (A100, H100) dan gunakan fp16 pada perangkat keras yang lebih lama seperti V100 atau T4.

Muat model dalam fp32, jika tidak autocast menjadi tidak berfungsi. Memuat dalam bf16 atau fp16 tidak menyisakan salinan master fp32 untuk diperbarui oleh optimizer.

from transformers import TrainingArguments

args = TrainingArguments(..., bf16=True)
args = TrainingArguments(..., fp16=True)

Jika model Anda stabil secara numerik dalam bf16/fp16, Anda dapat sepenuhnya melewati presisi campuran dan memuat serta melatih langsung dalam bf16/fp16. Hal ini menghindari salinan fp32 dari bobot di memori.

tf32

tf32 adalah mode komputasi pada GPU Ampere yang menggunakan mantisa 10-bit untuk matmul alih-alih 23-bit. Hal ini dapat memberikan peningkatan kecepatan, terutama ketika dipasangkan dengan bf16/fp16. PyTorch mengaktifkan tf32 untuk matmul secara default pada GPU Ampere dan yang lebih baru, tetapi menyetelnya secara eksplisit di TrainingArguments memastikan mode ini aktif terlepas dari versi PyTorch atau default lingkungan.

from transformers import TrainingArguments

args = TrainingArguments(..., bf16=True, tf32=True)

Langkah selanjutnya

  • Lihat panduan Kernels untuk mempelajari cara mempercepat pelatihan dengan kernel fused kustom.
  • Lihat panduan torch.compile untuk mempelajari cara mengompilasi jalur maju dan mundur guna meningkatkan throughput.
Update on GitHub