Go to file
2023-02-13 00:52:13 +01:00
models GPT-2 NEW 2023-02-13 00:49:10 +01:00
FLAN_T5.ipynb FLAN-T5 2023-02-12 23:22:40 +01:00
gpt2.py fix for real 2023-02-13 00:08:30 +01:00
GPT_2.ipynb GPT-2 NEW 2023-02-13 00:49:10 +01:00
README.md readme fix 2023-02-13 00:52:13 +01:00
ROBERTA.ipynb roberta new 2023-02-12 21:42:54 +01:00
roberta.py roberta with leaky relu 2023-02-12 21:21:21 +01:00
run_glue.py remove custom head 2023-02-12 21:05:09 +01:00
run_translation_freezing.py fix 2023-02-12 14:54:19 +01:00
run_translation.py freezing test 2023-02-12 14:27:00 +01:00
T5.ipynb T5 2023-02-12 15:22:23 +01:00

Transformer Encoder - RoBERTa

Modyfikacje

  1. Głowa klasyfikacyjna używająca LeakyReLU

Transformer Decoder - GPT-2

Modyfikacje

  1. Dodanie dodatkowej warstwy Linear do głowy
  2. Wykorzystanie ukrytych stanów z 5 ostatnich warstw

Transformer Encoder-Decoder - T5

Modyfikacje

  1. Zamrożenie pierwszych 20 warstw

Transformer w trybie few-shot/zero-shot learning - FLAN-T5

Brak modyfikacji