projekt-glebokie/README.md

Transformer Encoder - RoBERTa

Modyfikacje

1. Głowa klasyfikacyjna używająca LeakyReLU

Transformer Decoder - GPT-2

Modyfikacje

1. Zamrożenie pierwszych 40 warstw
2. Zmiana głowy klasyfikacyjnej poprzez dodanie po 2 warstwy dropout i relu()

Transformer Encoder-Decoder - T5

Modyfikacje

1. Zamrożenie pierwszych 20 warstw

Transformer w trybie few-shot/zero-shot learning - ?????