1.6 KiB
Rozwiązania do zadań proszę umieszczać w nowych komórkach pomiędzy zadaniami
Zadania (jeżeli wymagają napisania programu) piszemy w języku Python
Zadanie 1 (30 punktów)
Przepuść przez model GPT2 tekst "I live in New".
Wypisz 5 najbardziej prawdopodobnych tokenów, dla każdego tokenu w tekście wraz z wartościami prawdopodobieństwa. Proszę nie korzystać z funkcji generate z biblioteki transformers.
Zadanie 2 (50 punktów)
Wygeneruj 100 kolejnych tokenów po słowach "Today I was" w trzech różnych wariantach parametru temperatury (bez korzystania z funkcji generate z biblioteki transformers - proszę samemu napisać softmaxa z temperaturą):
- Temperatura = 0.01
- Temperatura = 1.0
- Temperatura = 5.0
Napisz czym różnią się powstałe teksty
Zadanie 3 (100 punktów)
Wykonaj trening modelu GPT2 na dowolnym korpusie składającym się z minimum 50000 słów bez użycia gotowych bibliotek do trenowania. Po wytrenowaniu modelu wygeneruj po 30 tokenów dla 3 różniących się przykładowych zdań.