s444465/projekt-glebokie
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity
32 Commits 1 Branch 0 Tags 1.4 GiB
Jupyter Notebook 80.7%
Python 19.3%
e9b32f02c9
Go to file
s444501 e9b32f02c9 remove custom head
2023-02-12 21:05:09 +01:00
models GPT-2 2023-02-12 20:03:40 +01:00
gpt2.py GPT2 head 2023-02-12 19:33:45 +01:00
GPT_2.ipynb GPT-2 2023-02-12 20:03:40 +01:00
README.md README modified 2023-02-12 20:07:25 +01:00
ROBERTA.ipynb Init commit + roberta 2023-02-08 21:45:52 +01:00
roberta.py remove custom head 2023-02-12 21:05:09 +01:00
run_glue.py remove custom head 2023-02-12 21:05:09 +01:00
run_translation_freezing.py fix 2023-02-12 14:54:19 +01:00
run_translation.py freezing test 2023-02-12 14:27:00 +01:00
T5.ipynb T5 2023-02-12 15:22:23 +01:00

README.md

Transformer Encoder - RoBERTa

Modyfikacje

  1. ????

Transformer Decoder - GPT-2

Modyfikacje

  1. Zamrożenie pierwszych 40 warstw
  2. Zmiana głowy klasyfikacyjnej poprzez dodanie po 2 warstwy dropout i relu()

Transformer Encoder-Decoder - T5

Modyfikacje

  1. Zamrożenie pierwszych 20 warstw

Transformer w trybie few-shot/zero-shot learning - ?????