diff --git a/README.md b/README.md index 5bede05..98ddfd0 100644 --- a/README.md +++ b/README.md @@ -5,7 +5,7 @@ # Transformer Decoder - GPT-2 ## Modyfikacje 1. Dodanie dodatkowej warstwy Linear do głowy -2. Wykorzystanie ukrytych stanów z t ostatnich warstw +2. Wykorzystanie ukrytych stanów z 5 ostatnich warstw # Transformer Encoder-Decoder - T5