diff --git a/README.md b/README.md index a392c51..1d855a3 100644 --- a/README.md +++ b/README.md @@ -4,11 +4,12 @@ # Transformer Decoder - GPT-2 ## Modyfikacje -1. ???? +1. Zamrożenie pierwszych 40 warstw +2. Zmiana głowy klasyfikacyjnej poprzez dodanie po 2 warstwy dropout i relu() # Transformer Encoder-Decoder - T5 ## Modyfikacje 1. Zamrożenie pierwszych 20 warstw -# Transformer w trybie few-shot/zero-shot learning - ????? \ No newline at end of file +# Transformer w trybie few-shot/zero-shot learning - ?????