projekt-glebokie/README.md

Transformer Encoder - RoBERTa

Modyfikacje

1. Głowa klasyfikacyjna używająca LeakyReLU

Transformer Decoder - GPT-2

Modyfikacje

1. Dodanie dodatkowej warstwy Linear do głowy
2. Wykorzystanie ukrytych stanów z 5 ostatnich warstw

Transformer Encoder-Decoder - T5

Modyfikacje

1. Zamrożenie pierwszych 20 warstw

Transformer w trybie few-shot/zero-shot learning - FLAN-T5

Brak modyfikacji