411 B
411 B
Transformer Encoder - RoBERTa
Modyfikacje
- Głowa klasyfikacyjna używająca LeakyReLU
Transformer Decoder - GPT-2
Modyfikacje
- Dodanie dodatkowej warstwy Linear do głowy
- Wykorzystanie ukrytych stanów z 5 ostatnich warstw
Transformer Encoder-Decoder - T5
Modyfikacje
- Zamrożenie pierwszych 20 warstw