Modelos decodificadores

Os modelos de decodificador usam apenas o decodificador de um modelo Transformer. Em cada etapa, para uma determinada palavra, as camadas de atenção só podem acessar as palavras posicionadas antes dela na frase. Esses modelos geralmente são chamados de modelos auto-regressivos.

O pré-treinamento de modelos de decodificadores geralmente gira em torno de prever a próxima palavra na frase.

Esses modelos são mais adequados para tarefas que envolvem geração de texto.

Os representantes desta família de modelos incluem:

• CTRL
• GPT
• GPT-2
• Transformer XL

Update on GitHub