# Transformer Encoder - RoBERTa
## Modyfikacje
1. ????

# Transformer Decoder - GPT-2
## Modyfikacje
1. Zamrożenie pierwszych 40 warstw
2. Zmiana głowy klasyfikacyjnej poprzez dodanie po 2 warstwy dropout i relu()


# Transformer Encoder-Decoder - T5
## Modyfikacje
1. Zamrożenie pierwszych 20 warstw

# Transformer w trybie few-shot/zero-shot learning - ?????