# T5v1.1

## Ikhtisar

T5v1.1 dirilis di repositori [google-research/text-to-text-transfer-transformer](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511) oleh Colin Raffel dkk. Ini adalah versi yang ditingkatkan dari model T5 asli. Model ini disumbangkan oleh [patrickvonplaten](https://huggingface.co/patrickvonplaten). Kode aslinya dapat ditemukan [di sini](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511).

## Tips penggunaan

Seseorang dapat langsung memasukkan bobot T5v1.1 ke dalam model T5, seperti berikut:

```python
from transformers import T5ForConditionalGeneration

model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")
```

Versi T5 1.1 mencakup peningkatan berikut dibandingkan dengan model T5 asli:

- Aktivasi GEGLU pada lapisan tersembunyi feed-forward, alih-alih ReLU. Lihat [makalah ini](https://huggingface.co/papers/2002.05202).

- Dropout dimatikan selama pre-training (meningkatkan kualitas). Dropout harus diaktifkan kembali selama fine-tuning.

- Dilatih sebelumnya hanya pada C4 tanpa mencampurkan tugas turunan.

- Tidak ada pembagian parameter antara lapisan embedding dan lapisan classifier.

- "xl" dan "xxl" menggantikan "3B" dan "11B". Bentuk modelnya sedikit berbeda - `d_model` lebih besar dan `num_heads` serta `d_ff` lebih kecil.

Catatan: T5 Version 1.1 hanya dilatih sebelumnya pada [C4](https://huggingface.co/datasets/allenai/c4) tanpa pelatihan berlabel. Oleh karena itu, model ini harus disempurnakan sebelum dapat digunakan pada tugas turunan, berbeda dengan model T5 asli. Karena t5v1.1 dilatih sebelumnya secara tidak berlabel, tidak ada keuntungan nyata untuk menggunakan awalan tugas selama penyempurnaan tugas tunggal. Jika Anda melakukan penyempurnaan multi-tugas, Anda harus menggunakan awalan.

Google telah merilis varian berikut:

- [google/t5-v1_1-small](https://huggingface.co/google/t5-v1_1-small)

- [google/t5-v1_1-base](https://huggingface.co/google/t5-v1_1-base)

- [google/t5-v1_1-large](https://huggingface.co/google/t5-v1_1-large)

- [google/t5-v1_1-xl](https://huggingface.co/google/t5-v1_1-xl)

- [google/t5-v1_1-xxl](https://huggingface.co/google/t5-v1_1-xxl).

Lihat [halaman dokumentasi T5](t5) untuk semua referensi API, tips, contoh kode, dan notebook.

