Quiz la final de capitol

1. Care este ordinea pipeline-ului de modelare a limbajului?

2. Câte dimensiuni are tensorul generat de modelul Transformer și care sunt acestea?

3. Care dintre următoarele este un exemplu de tokenizare a cuvintelor secundare?

4. Ce este un model head?

5. Ce este un AutoModel?

6. Care sunt tehnicile de care trebuie să țineți cont atunci când grupați secvențe de diferite lungimi?

7. Care este scopul aplicării unei funcții SoftMax asupra logit-urilor produse de un model de clasificare a secvențelor?

8. În jurul cărei metode se concentrează cea mai mare parte a API-ului tokenizer?

9. Ce conține variabila result în acest exemplu de cod?

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")

10. Este ceva greșit în următorul cod?

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)