16 lines
424 B
Markdown
16 lines
424 B
Markdown
# Transformer Encoder - RoBERTa
|
|
## Modyfikacje
|
|
1. Głowa klasyfikacyjna używająca LeakyReLU
|
|
|
|
# Transformer Decoder - GPT-2
|
|
## Modyfikacje
|
|
1. Zamrożenie pierwszych 40 warstw
|
|
2. Zmiana głowy klasyfikacyjnej poprzez dodanie po 2 warstwy dropout i relu()
|
|
|
|
|
|
# Transformer Encoder-Decoder - T5
|
|
## Modyfikacje
|
|
1. Zamrożenie pierwszych 20 warstw
|
|
|
|
# Transformer w trybie few-shot/zero-shot learning - FLAN-T5
|
|
## Brak modyfikacji |