final

dev-0/out.tsv

@@ -1,471 +1,471 @@
-pociągała
-mimochodem
-mikołaj
-demokratyzacja
-opowiadań
-postanawiając
-julianem
-kundmani
-ha
-kobietka
-gniewała
-pokazali
-grubo
-oczekiwałem
-chorobach
-pokaszlując
-lokajowi
-powierzchowność
-kiełbasę
-cofnę
-lasy
-niezłe
-pokarmów
-kandydaci
-ogromnie
-karmić
-namówiłem
-odpisał
-pocałujesz
-chory
-brzydko
-mgnieniem
-odzywa
-czapki
-kapitalistów
-modne
-melomanką
-mścił
-potulne
-kątem
-chciałem
-ożywienie
-ocalał
-moim
-fakt
-nierówny
-mówieniem
-naszej
-ceglasty
-list
-pokaszlując
-pociągnął
-dzieła
-powlecze
-kufelek
-12
-parzyste
-dawna
-niejednokrotnie
-czekają
-koncercie
-bucika
-bólów
-odpoczywaliśmy
-gardło
-pokoleniom
-porzucić
-nieciekawe
-patriotyzmu
-polityka
-dają
-jedyny
-lekceważeniem
-drudzy
-nielitościwy
-nabiegać
-porozumieją
-ogródek
-huczał
-majestatyczny
-papier
-bruku
-fryzjerczyk
-pozasłaniane
-pałac
-nowej
-cmentarze
-piękna
-katarynek
-nalana
-dziesięć
-patrzaj
-dostarczają
-mgnieniem
-obraziłby
-górną
-niecierpliwość
-dopatrzeć
-broszurek
-nadto
-asfaltów
-pogróżek
-anonim
-należącym
-nietuzinkowy
-bom
-linię
-moralizującą
-potrząsnęła
-najznakomitszy
-angielska
-balkonie
-kwiat
-kołmirz
-lękając
-powróci
-pomniki
-podniosłem
-karzesz
-machalskim
-dostrzegłszy
-cechy
-elegancka
-idąc
-otumanić
-pozmywane
-godziny
-duszę
-bywa
-podparłszy
-intrygantami
-mikroskop
-garbarzami
-powypychał
-legenda
-lochu
-oświetlił
-decyzję
-ostrzeż
-pracować
-górnik
-porwała
-chrześcijance
-nabywca
-edukacją
-operetkę
-część
-bosego
-feuille
-posłuchaj
-pięty
-powitam
-doktór
-korzysta
-narodzenie
-krajał
-ludzkimi
-masy
-janowi
-osacza
-osądzić
-nieśmiała
-dzikich
-pieczeni
-kwitnąć
-najszlachetniejsze
-mgnieniem
-oczekujemy
-produkta
-córki
-pragnienia
-jakimiż
-heca
-1853
-nieoddanie
-namawia
-pagórkiem
-honorem
-dyrektorze
-mogłoby
-ciężary
-kochałem
-odziany
-banalne
+pokoju
+)
+;
+lecz
+nie
+?
 .
-pościsz
-jamais
-oświetlił
-nobilingiem
-kobietom
-hultajom
-pachą
-powitaniu
-młode
-ku
-ogarniając
-bożym
-min
-polsku
-dachu
-pokazała
-panienka
-dzieła
-klaczą
-lizać
-lochu
-kępę
-pakowania
-janocką
-odpuść
-podłoga
-piekło
-okrążyli
-odpowiada
-najlepszego
-mlaśnięcia
-delikatne
-naraża
-nierozważne
-cudze
-górą
-osiemdziesiąt
-ołtarza
-buciki
-milczeniem
-królewno
-horyzontu
-okazywać
-odniosłem
-oszukiwanego
-odniosłem
-klepki
-jaśniejący
-chirurgiem
-aleś
-pieszczot
-literek
-ej
-lafayette
-milerowa
-nawarzyłem
-popielatym
-królewny
-chorobliwe
-daleka
-nabiegać
-daleka
-elegancka
-portretach
-odbierzemy
-amusant
-lewej
-ołtarza
-meble
-ostra
-głupia
-hozer
-liczyłam
-pakami
-odstraszył
-dobrał
-bywałem
-koneser
-kryształy
-nieoczekiwanie
-mieszczaństwo
-czuwał
-czystszą
-napisał
-diablica
-myślisz
-grupą
-prośbą
-deptać
-krzeszowskich
-książkach
-kopie
-cyfrach
-powłóczystymi
-prośbę
-męczy
-najszlachetniejsze
-korci
-padła
-porozumieją
-doskonała
-hultajom
-cel
-naturę
-odcienia
-czterdziestówki
-aferzystą
-1846
-naśladować
-gustem
-lepsze
-lepsze
-jasną
-1848
-obraziłby
-numerze
-butelki
-inszy
-nakłonił
-bladej
-milczeniem
-feuille
-deszcz
-polityką
+po
+do
+niego
+i
+jeszcze
+)
+.
+panna
+florentyna
+do
+głowy
+do
+domu
+!
+a
+potem
+,
+który
+na
+jego
+na
+dzień
+;
+do
+panny
+do
+panny
+?
+,
+ażeby
+nie
+ma
+mu
+,
+a
+on
+,
+ażeby
+nie
+jest
+nie
+.
+ale
+ja
+.
+pan
+ignacy
+?
+po
+chwili
+go
+?
+na
+jego
+dzień
+?
+)
+i
+nie
+.
+ale
+może
+do
+domu
+,
+nie
+jestem
+i
+co
+do
+niego
+)
+i
+nie
+będzie
+do
+głowy
+;
+i
+ja
+,
+na
+drugi
+i
+do
+mnie
+,
+który
+do
+niej
+nie
+może
+być
+do
+końca
+?
+)
+,
+ażeby
+nie
+było
+do
+pani
+krzeszowskiej
+)
+?
+a
+może
+nie
+mam
+na
+myśl
+;
+ale
+ja
+,
+który
+?
+nie
+mam
+nie
+ma
+do
+niego
+i
+na
+niego
+;
+nawet
+i
+do
+mego
+do
+paryża
+i
+nawet
+i
+nie
+,
+ale
+co
+,
+co
+do
+domu
+;
+może
+być
+do
+paryża
+:
+po
+nie
+?
+i
+ja
+.
+panna
+.
+a
+może
+?
+)
+na
+myśl
+nie
+było
+o
+?
+czy
+na
+myśl
+:
+a
+może
+?
+i
+o
+co
+,
+a
+pan
+nie
+będzie
+mnie
+o
+nim
+;
+ale
+po
+,
+który
+?
+do
+paryża
+?
+a
+potem
+!
+po
+.
+co
+nie
+jestem
+.
+i
+jeszcze
+do
+mnie
+?
+i
+na
+myśl
+do
+końca
+?
+i
+na
+myśl
+:
+po
+,
+jak
+nie
+jestem
+nie
 można
-czepeczek
-niedomaga
-pokażę
-ogródek
-cała
-cała
-pocałunku
-80
-przeciw
-cel
-byłbym
-apoteozie
-ordynarni
-kamieniu
-piękni
-niespodziany
-dobitkę
-naśmieliśmy
-chlubą
-kropla
-oznaki
-przebrał
-papierach
-osłabł
-niezwykłą
-draśnięty
-dziwniejszy
-poszedłby
-dar
-ginąć
-pokazali
-kozak
-marzyło
-jęcząc
-jaśniejący
-cytryny
-egzystencyj
-czerwienieje
-którym
-perpetuum
-karmić
-oświetlił
-należą
-majętnych
-pasieki
-powiada
-potwierdza
-botaniczny
-nikczemne
-dając
-oznaczenia
-dziewięciu
-miotle
-dostrzegłszy
-cierpieć
-obnażoną
-najświętszym
-pobłażliwą
-kwestii
-odzyskawszy
-arystokratą
-przebrać
-kandelabry
-liczman
-korzyła
-moralizującą
-fagasować
-lotaryngii
-pogrzeb
-doby
-najrezolutniejsza
-proponować
-brzmi
-grupie
-nabawić
-masę
-budowle
-licha
-logice
-ciszej
-mogliby
-połowie
-kanapie
-jadał
-porzucił
-oziębiła
-myślałżeś
-powozi
-dzwonek
-gadu
-poszukiwań
-poszukiwań
-bryndzę
-bratem
-jeść
-kłopot
-kłapiący
-czemu
-parchów
-możliwy
-grupy
-bom
-narzeczonego
-maluczkich
-dudnieniem
-odbijania
-handlarzu
-generacji
-istot
-doux
-francuzi
-furgonistów
-kazi
-drwiąco
-prostoty
-idea
-bednarskiej
-gipsowy
-falista
-odwróciłem
-nalegał
-ogniu
-kalkuluję
-ot
-niebezpieczeństwach
-dobroczynne
-poufnym
-przebaczająca
-cieszę
-najczcigodniejsza
-gruzach
-mizerne
-jakąkolwiek
-fale
-naiwnemu
-mieliby
-jako
-potęguje
-genialnych
-handel
-pogardy
-podejrzanych
-jana
-miały
-jechać
-oszukujących
-pożyczkę
-pokaszlując
-postanowić
-mleka
-oszukujących
-doboru
-drobną
-prezentem
-pietrek
-materacem
-kamieniarza
-morderca
-kupiłeś
-czarne
-palcem
+i
+o
+.
+panna
+na
+co
+,
+nie
+ma
+być
+)
+?
+nie
+może
+do
+czasu
+:
+nie
+jest
+bardzo
+,
+ani
+,
+a
+on
+na
+kilka
+nie
+ma
+być
+i
+o
+niej
+;
+do
+panny
+;
+na
+mnie
+nie
+mam
+na
+mnie
+,
+i
+nie
+na
+nią
+.
+panna
+na
+kilka
+dni
+na
+myśl
+i
+o
+:
+nie
+o
+do
+głowy
+:
+a
+może
+na
+nią
+:
+na
+mnie
+.
+po
+chwili
+mu
+,
+jak
+on
+nie
+może
+być
+)
+do
+niego
+i
+o
+jego
+,
+ale
+może
+?
+nie
+ma
+?
+ale
+ja
+,
+co
+i
+co
+nie
+będzie
+,
+co
+on
+,
+bo
+jest
+nie
+,
+co
+jest
+o
+,
+i
+nawet
+?
+nie
+,
+i
+co
+,
+nie
+mógł
+o
+nich
+nie
+,
+nie
+ma
+i
+nie
+mam
+,
+ale
+o
+nim
+nie
+będzie
+.
+a
+co
+nie
+będzie
+do
+niej
+.
+ale
+nie
+może
+do
+nas
+:
+po
+angielsku
+?
+po
+.
+po
+nie
+mam
+.
+po
+nie
+mam
+nic
+:
+co
+.
+po
+co
+.
+na
+co
+nie
+?
+)
+nie
+,
+który
+?
+do
+domu
+na
+co
+dzień
+nie
+było
+o
+co
+dzień
+,
+który
+na
+nich
+.
+do
+niego
+)
+?
+do
+domu
+na
+kilka
+lat
+na
+niego
+)
+;
+nie
+może
+być
+od
+innych
+.
+pan
+jest
+.
+panna
+na
+chwilę
+na
+co
+na
+niego
+;
+na
+co
+,
+ażeby
+i
+na
+chwilę
+;
+ale
+może
+być
+?

guessword.py

@@ -101,7 +101,6 @@ def get_ppl(dataset_ids):
 
     batches = 0
     loss_sum =0
-    # acc_score = 0
 
     for i in range(0, len(dataset_ids)-BATCH_SIZE+1, BATCH_SIZE):
         X = dataset_ids[i:i+BATCH_SIZE,:NGRAMS-1]
@@ -117,15 +116,12 @@ def get_ppl(dataset_ids):
 history_ppl_train  = []
 history_ppl_valid  = []
 
-for epoch in range(2):
+for epoch in range(EPOCHS):
     batches = 0
     loss_sum = 0
-    # acc_score = 0
     lm.train()
-    total = 1000-BATCH_SIZE+1
-    # total = len(train_ids)-BATCH_SIZE+1
+    total = len(train_ids)-BATCH_SIZE+1
     for i in range(0, total, BATCH_SIZE):
-    # for i in tqdm(range(0, len(train_ids)-BATCH_SIZE + 1, BATCH_SIZE)):
         print('batches: ' + str(batches))
 
         X = train_ids[i : i + BATCH_SIZE, :NGRAMS - 1]
@@ -194,7 +190,7 @@ for i in range(30):
     print(vocab_itos[candidate])
     ids =  torch.cat((ids, torch.tensor([[candidate]], device = device)), 1)
 
-print('starting dev...')
+print('starting outs...')
 
 with open("dev-0/in.tsv", "r", encoding="UTF-8") as dev_path:
     nr_of_dev_lines = len(dev_path.readlines())

test-A/out.tsv

@@ -1,471 +1,471 @@
-&
-apoteozie
-cicho
-pokorę
-gorczycą
-konserwatorium
-komorna
-miseczkami
-pokoje
-garncami
-pozna
-obrazi
-ostrogą
-poprawi
-masy
-potrafią
-mężczyzna
-pełną
-ciekawsza
-odzywa
-irkucka
-kiedyście
-kominów
-herein
-propozycję
-opierając
-polską
-handlarzu
-astronomów
-placu
-kończyła
-poznajemy
-niejakiej
-niezłe
-pozorem
-ach
-drzewami
-postanowił
-berlinka
-bukietu
-huknął
-melancholii
-odepchnąwszy
-oddam
-bucika
-ciosowego
-ośle
-ciągnione
-filozofii
-ciszę
-odważył
-obedrzemy
-angielskiej
-kossuth
-kupiłeś
-nagniotków
-emancypacji
-najśpieszniej
-godne
-niczym
-kłaniała
-kucharka
-konopiastą
-kwitnącym
-dalszą
-brzęczały
-gardzący
-ocknąłem
-biedaczki
-16
-prowincji
-mógł
-dziedziczności
-korzystne
-karabin
-postanawiając
-chin
-przechodząc
-nieoddanie
-opiekę
-orientowania
-indagowała
-demona
-godzinę
-powtórnie
-pragnienia
-pode
-opowiadań
-opowiadań
-ogrodem
-chmur
-doch
-jakimiż
-ogrodem
-kamieniarza
-nabożnej
-foczej
-marylami
-kariery
-najuprzejmiej
-kładę
-przebić
-okolicznościach
-odszukał
-kweście
-pogrążony
-ożywiała
-kortowe
-niezłe
-egzaminów
-fagasować
-błagalne
-latało
-druk
-budować
-pakietami
-plait
-kochankami
-najszlachetniejsze
-dostrzegłszy
-mi
-brzegu
-idźże
-całuje
-księżną
-nocną
-ogromnego
-kobietach
-lejcowe
-dziewczynka
-letkiewiczem
-pilniki
-piórem
-istotny
-otumanić
-polegający
+)
+.
+do
+nas
+po
+do
+domu
+.
+panna
+felicja
+?
+na
+nią
+do
+mnie
+,
+i
+co
+i
+jeszcze
+i
+do
+głowy
+do
+niego
+?
+ale
+jeżeli
+,
+ale
+nie
+mam
+mnie
+,
+i
+już
+i
+ja
+do
+niego
+na
+głowie
+.
+panna
+felicja
+i
+ja
+.
+pan
+ma
+do
+domu
+:
+ale
+,
+nie
+jestem
+nie
+mam
+i
+nie
+,
+na
+którym
+na
+jego
+pokoju
+)
+i
+bez
+i
+do
+paryża
+na
+myśl
+,
 gdzie
-1853
-girlanda
-cel
-osacza
-pożyczy
-pognali
-oględnego
-profilu
-furgonistów
-mace
-malborg
-ich
-miło
-miło
-bitwy
-jeograficzną
-numeru
-egipcie
-istotne
-desperatem
-krajem
-brodata
-broń
-ogromnego
-kobietach
-jarmarcznej
-komorna
-fere
-jeść
-bałaganowym
-dopadłszy
-chłopów
-nalewała
-miastem
-portmonetki
-dziesięcioma
-mniejszej
-nowością
-głupiś
-krzyku
-mienie
-popielatym
-jakiejże
-kamienica
-kapitalizować
-laty
-ledwie
-dojrzeli
-pogardą
-gazetach
-pokaszlując
-gościnnych
-pozasłaniane
-ewelinę
-komedię
-małżonkami
-prezentował
-dwuznacznej
-potarł
-oburzona
-obietnicy
-ofiarowuje
-anioł
-posiedzimy
-musiało
-niespodzianek
-popełnili
-przecenia
-ociężale
-niepokojów
-organizator
-opłaconej
-komorna
-niemca
-nazywam
-oświadczają
-przechodzień
-odzianymi
-anglicy
-dobrodziejstwa
-prostota
-beni
-pończosze
-faworytami
-powiernikiem
-opatrywać
-przebił
-geist
-kwartę
-omnibus
-kuzynkę
-nieszczęśliwie
-ignaz
-pociągnął
-modlącego
-położonej
-najpierwsze
-matce
-misiewiczowej
-gałgany
-niebieskiej
-magla
-nosek
-nowością
-grozi
-dostali
-podejrzywać
-opuścił
-odczytaniem
-ojcowskich
-pokrwawionej
-73
-fortuna
-podawał
-poważnego
-jeść
-doprowadziła
-niewiniątkiem
-omnibusów
-belę
-kamienicą
-podejrzywać
-odkocham
-francusku
-niedopyrze
-oszustwie
-idei
-głupowato
-ożywienie
-kosztowne
-nabiera
-moralizującą
-brzęczały
-gardzący
-jedną
-która
-jędrnością
-gotówkę
-despotyzmu
-naśmiewać
-besztyja
-dopłacamy
-prawidło
-podejrzenie
-dzieła
-ogień
-emancypacji
-dobroć
-anonim
-bezksiężycowa
-najwyższe
-kleopatry
-bezwzględniej
-małżonków
-domyślić
-odważył
-odpowiadał
-jedną
-polegający
-fugit
-nie-boskiej
-alei
-majestatyczny
-nieszczęśliwie
-higiena
-piorunujące
-osoba
-ambicje
-odgrywa
-bogiem
-butonierkach
-ojca
-pagórkiem
-p.
-biedaczki
-mlaśnięcia
-owinął
-furmana
-fałdu
-oficerowie
-otwarte
-podejrzenie
-biciu
-galicję
-lekarską
-herbata
-chustce
-ograniczeni
-porównaniu
-lokatorom
-kuzyni
-oszukano
-pigułki
-kąta
-nieobecnego
-bratem
-przeciw
-nawinął
-odgadywać
-młodego
-bluźnij
-naginają
-poderżnąć
-odpowiadały
-doby
-karku
-posiadłszy
-musiałby
-babę
-niezadowolony
+.
+panna
+nie
+na
+lewo
+i
+na
+mnie
+nie
+,
+który
+i
+nawet
+nie
+będzie
+;
+nie
+było
+mu
+do
+mieszkania
+do
+paryża
+i
+o
+czym
+do
+niego
+na
+myśl
+.
+panna
+na
+kilka
+i
+o
+mnie
+na
+co
+i
+o
+co
+na
+jego
+?
+i
+do
+końca
+.
+i
+nie
+mam
+nie
+mam
+nie
+o
+,
+który
+do
+końca
+do
+czasu
+:
+i
+jeszcze
+,
+na
+niego
+,
+nie
+można
+:
+i
+jeszcze
+i
+na
+chwilę
+i
+na
+lewo
+:
+na
+niego
+?
+do
+mnie
+do
+mnie
+i
+nie
+mógł
+o
+nich
+i
+do
+panny
+,
+nie
+mógł
+o
+nim
+i
+do
+końca
+;
+i
+ja
 go
-dole
-lejcowe
-innym
-nadto
-krótszy
-oszalałem
-martwego
-obrzucając
-odbitych
-misiewiczowej
-nadzwyczajną
-ginsów
-dokończyć
-kotłów
-pozawracasz
-krępują
-lasu
-ponury
-badaniem
-fryga
-czuba
-fechtunku
-nieobliczony
-kieszenie
-ogolić
-kundmanów
-ofiarowującego
-opierać
-najcięższe
-namów
-lukrecji
-ciągłego
-krajobrazów
-najcierpliwszymi
-powlecze
-parisien
-giełda
-antyżydowskich
-kufrze
-olbrzymia
-jegomości
-ostateczności
-jasności
-nienawistny
-marianny
-nura
-aniołem
-młodego
-poczerwieniał
-pokorą
-cieni
-automat
-odwieziesz
-propozycją
-osobliwie
-gwałtowniej
-ciężaru
-nowe
-gorączkowo
-pałacowi
-pieca
-błota
-miałam
-kazał
-nawiasowo
-neustadzie
-godność
-jesienny
-natchnie
-powściągliwości
-pokarmów
-jakimiż
-kundmani
-ołtarzem
-lutego
-pocałowało
-kopernika
-nitkami
-ogień
-jakimiż
-napomknąłem
-kępy
-pokorą
-defektem
-niebieskich
-gotowiźnie
-napomknąłem
-poczęło
-belą
-burboni
-kochanym
-kawałka
-gdzieżeś
-doradca
-jedynastą
-moskiewski
-janocką
-niepokojów
-mleka
-jednakże
-kiełbik
-mniejszej
-odlany
-blade
-dziewczynce
-oglądali
-ciągłego
-gwałt
-przechodzących
-przechodzących
-dymi
-ostatecznie
-pośrednictwem
-nieznajomym
-kutasik
-czekają
-maur
-fakt
-dorosłą
-ozdobionym
-cechy
-elegancka
-historie
+pan
+:
+czy
+,
+który
+?
+)
+nie
+jestem
+go
+i
+na
+myśl
+;
+nawet
+nie
+można
+na
+mnie
+nie
+będzie
+,
+co
+na
+kilka
+do
+niego
+i
+o
+co
+najmniej
+nie
+może
+;
+i
+o
+czym
+:
+czy
+co
+nie
+,
+a
+ja
+go
+i
+jeszcze
+:
+)
+:
+ale
+o
+,
+nie
+można
+na
+mnie
+i
+do
+pani
+baronowa
+;
+na
+co
+na
+kilka
+.
+po
+chwili
+do
+niego
+:
+po
+,
+nie
+ma
+,
+ale
+po
+do
+pokoju
+do
+mnie
+;
+nie
+na
+lewo
+:
+na
+głowie
+,
+a
+po
+południu
+i
+nie
+będę
+nie
+może
+o
+dziesiątej
+.
+na
+jego
+i
+jeszcze
+do
+czasu
+;
+a
+gdy
+nie
+będzie
+?
+o
+jej
+nie
+było
+?
+ale
+na
+kilka
+na
+kilka
+.
+po
+nie
+może
+,
+nie
+jest
+i
+o
+co
+na
+mnie
+:
+czy
+nie
+może
+nie
+będzie
+o
+nim
+;
+nawet
+nie
+jest
+o
+co
+,
+bo
+,
+a
+nawet
+na
+jego
+,
+ażeby
+,
+na
+których
+i
+co
+.
+po
+nie
+będzie
+mnie
+:
+ale
+o
+jej
+nie
+jest
+i
+o
+:
+co
+.
+)
+do
+paryża
+.
+ale
+czy
+co
+na
+nich
+;
+a
+nie
+będzie
+.
+a
+co
+nie
+mam
+nie
+mam
+nie
+.
+a
+co
+.
+panna
+do
+nas
+i
+nie
+będzie
+i
+co
+nie
+było
+.
+nie
+na
+nią
+i
+bez
+panny
+izabeli
+i
+na
+nią
+nie
+,
+ale
+jeszcze
+nie
+można
+do
+głowy
+?
+o
+,
+a
+nawet
+nie
+będzie
+do
+mnie
+do
+nas
+do
+końca
+nie
+.
+panna
+na
+niego
+;
+i
+o
+jej
+o
+dziesiątej
+.
+nie
+ma
+i
+ja
+na
+kilka
+minut
+?
+ale
+czy
+ja
+.
+ale
+ja
+do
+niej
+do
+końca
+i
+po
+do
+panny
+,
+nie
+można
+na
+niego