README modified

This commit is contained in:
Andrzej Preibisz 2023-02-12 20:07:25 +01:00
parent a9e6944d12
commit 9da7c43ad1

View File

@ -4,7 +4,8 @@
# Transformer Decoder - GPT-2
## Modyfikacje
1. ????
1. Zamrożenie pierwszych 40 warstw
2. Zmiana głowy klasyfikacyjnej poprzez dodanie po 2 warstwy dropout i relu()
# Transformer Encoder-Decoder - T5