final

dev-0/out.tsv

@@ -1,471 +1,471 @@
-pociągała
+pokoju
-mimochodem
+)
-mikołaj
+;
-demokratyzacja
+lecz
-opowiadań
+nie
-postanawiając
+?
-julianem
-kundmani
-ha
-kobietka
-gniewała
-pokazali
-grubo
-oczekiwałem
-chorobach
-pokaszlując
-lokajowi
-powierzchowność
-kiełbasę
-cofnę
-lasy
-niezłe
-pokarmów
-kandydaci
-ogromnie
-karmić
-namówiłem
-odpisał
-pocałujesz
-chory
-brzydko
-mgnieniem
-odzywa
-czapki
-kapitalistów
-modne
-melomanką
-mścił
-potulne
-kątem
-chciałem
-ożywienie
-ocalał
-moim
-fakt
-nierówny
-mówieniem
-naszej
-ceglasty
-list
-pokaszlując
-pociągnął
-dzieła
-powlecze
-kufelek
-12
-parzyste
-dawna
-niejednokrotnie
-czekają
-koncercie
-bucika
-bólów
-odpoczywaliśmy
-gardło
-pokoleniom
-porzucić
-nieciekawe
-patriotyzmu
-polityka
-dają
-jedyny
-lekceważeniem
-drudzy
-nielitościwy
-nabiegać
-porozumieją
-ogródek
-huczał
-majestatyczny
-papier
-bruku
-fryzjerczyk
-pozasłaniane
-pałac
-nowej
-cmentarze
-piękna
-katarynek
-nalana
-dziesięć
-patrzaj
-dostarczają
-mgnieniem
-obraziłby
-górną
-niecierpliwość
-dopatrzeć
-broszurek
-nadto
-asfaltów
-pogróżek
-anonim
-należącym
-nietuzinkowy
-bom
-linię
-moralizującą
-potrząsnęła
-najznakomitszy
-angielska
-balkonie
-kwiat
-kołmirz
-lękając
-powróci
-pomniki
-podniosłem
-karzesz
-machalskim
-dostrzegłszy
-cechy
-elegancka
-idąc
-otumanić
-pozmywane
-godziny
-duszę
-bywa
-podparłszy
-intrygantami
-mikroskop
-garbarzami
-powypychał
-legenda
-lochu
-oświetlił
-decyzję
-ostrzeż
-pracować
-górnik
-porwała
-chrześcijance
-nabywca
-edukacją
-operetkę
-część
-bosego
-feuille
-posłuchaj
-pięty
-powitam
-doktór
-korzysta
-narodzenie
-krajał
-ludzkimi
-masy
-janowi
-osacza
-osądzić
-nieśmiała
-dzikich
-pieczeni
-kwitnąć
-najszlachetniejsze
-mgnieniem
-oczekujemy
-produkta
-córki
-pragnienia
-jakimiż
-heca
-1853
-nieoddanie
-namawia
-pagórkiem
-honorem
-dyrektorze
-mogłoby
-ciężary
-kochałem
-odziany
-banalne
 .
-pościsz
+po
-jamais
+do
-oświetlił
+niego
-nobilingiem
+i
-kobietom
+jeszcze
-hultajom
+)
-pachą
+.
-powitaniu
+panna
-młode
+florentyna
-ku
+do
-ogarniając
+głowy
-bożym
+do
-min
+domu
-polsku
+!
-dachu
+a
-pokazała
+potem
-panienka
+,
-dzieła
+który
-klaczą
+na
-lizać
+jego
-lochu
+na
-kępę
+dzień
-pakowania
+;
-janocką
+do
-odpuść
+panny
-podłoga
+do
-piekło
+panny
-okrążyli
+?
-odpowiada
+,
-najlepszego
+ażeby
-mlaśnięcia
+nie
-delikatne
+ma
-naraża
+mu
-nierozważne
+,
-cudze
+a
-górą
+on
-osiemdziesiąt
+,
-ołtarza
+ażeby
-buciki
+nie
-milczeniem
+jest
-królewno
+nie
-horyzontu
+.
-okazywać
+ale
-odniosłem
+ja
-oszukiwanego
+.
-odniosłem
+pan
-klepki
+ignacy
-jaśniejący
+?
-chirurgiem
+po
-aleś
+chwili
-pieszczot
+go
-literek
+?
-ej
+na
-lafayette
+jego
-milerowa
+dzień
-nawarzyłem
+?
-popielatym
+)
-królewny
+i
-chorobliwe
+nie
-daleka
+.
-nabiegać
+ale
-daleka
+może
-elegancka
+do
-portretach
+domu
-odbierzemy
+,
-amusant
+nie
-lewej
+jestem
-ołtarza
+i
-meble
+co
-ostra
+do
-głupia
+niego
-hozer
+)
-liczyłam
+i
-pakami
+nie
-odstraszył
+będzie
-dobrał
+do
-bywałem
+głowy
-koneser
+;
-kryształy
+i
-nieoczekiwanie
+ja
-mieszczaństwo
+,
-czuwał
+na
-czystszą
+drugi
-napisał
+i
-diablica
+do
-myślisz
+mnie
-grupą
+,
-prośbą
+który
-deptać
+do
-krzeszowskich
+niej
-książkach
+nie
-kopie
+może
-cyfrach
+być
-powłóczystymi
+do
-prośbę
+końca
-męczy
+?
-najszlachetniejsze
+)
-korci
+,
-padła
+ażeby
-porozumieją
+nie
-doskonała
+było
-hultajom
+do
-cel
+pani
-naturę
+krzeszowskiej
-odcienia
+)
-czterdziestówki
+?
-aferzystą
+a
-1846
+może
-naśladować
+nie
-gustem
+mam
-lepsze
+na
-lepsze
+myśl
-jasną
+;
-1848
+ale
-obraziłby
+ja
-numerze
+,
-butelki
+który
-inszy
+?
-nakłonił
+nie
-bladej
+mam
-milczeniem
+nie
-feuille
+ma
-deszcz
+do
-polityką
+niego
+i
+na
+niego
+;
+nawet
+i
+do
+mego
+do
+paryża
+i
+nawet
+i
+nie
+,
+ale
+co
+,
+co
+do
+domu
+;
+może
+być
+do
+paryża
+:
+po
+nie
+?
+i
+ja
+.
+panna
+.
+a
+może
+?
+)
+na
+myśl
+nie
+było
+o
+?
+czy
+na
+myśl
+:
+a
+może
+?
+i
+o
+co
+,
+a
+pan
+nie
+będzie
+mnie
+o
+nim
+;
+ale
+po
+,
+który
+?
+do
+paryża
+?
+a
+potem
+!
+po
+.
+co
+nie
+jestem
+.
+i
+jeszcze
+do
+mnie
+?
+i
+na
+myśl
+do
+końca
+?
+i
+na
+myśl
+:
+po
+,
+jak
+nie
+jestem
+nie
 można
-czepeczek
+i
-niedomaga
+o
-pokażę
+.
-ogródek
+panna
-cała
+na
-cała
+co
-pocałunku
+,
-80
+nie
-przeciw
+ma
-cel
+być
-byłbym
+)
-apoteozie
+?
-ordynarni
+nie
-kamieniu
+może
-piękni
+do
-niespodziany
+czasu
-dobitkę
+:
-naśmieliśmy
+nie
-chlubą
+jest
-kropla
+bardzo
-oznaki
+,
-przebrał
+ani
-papierach
+,
-osłabł
+a
-niezwykłą
+on
-draśnięty
+na
-dziwniejszy
+kilka
-poszedłby
+nie
-dar
+ma
-ginąć
+być
-pokazali
+i
-kozak
+o
-marzyło
+niej
-jęcząc
+;
-jaśniejący
+do
-cytryny
+panny
-egzystencyj
+;
-czerwienieje
+na
-którym
+mnie
-perpetuum
+nie
-karmić
+mam
-oświetlił
+na
-należą
+mnie
-majętnych
+,
-pasieki
+i
-powiada
+nie
-potwierdza
+na
-botaniczny
+nią
-nikczemne
+.
-dając
+panna
-oznaczenia
+na
-dziewięciu
+kilka
-miotle
+dni
-dostrzegłszy
+na
-cierpieć
+myśl
-obnażoną
+i
-najświętszym
+o
-pobłażliwą
+:
-kwestii
+nie
-odzyskawszy
+o
-arystokratą
+do
-przebrać
+głowy
-kandelabry
+:
-liczman
+a
-korzyła
+może
-moralizującą
+na
-fagasować
+nią
-lotaryngii
+:
-pogrzeb
+na
-doby
+mnie
-najrezolutniejsza
+.
-proponować
+po
-brzmi
+chwili
-grupie
+mu
-nabawić
+,
-masę
+jak
-budowle
+on
-licha
+nie
-logice
+może
-ciszej
+być
-mogliby
+)
-połowie
+do
-kanapie
+niego
-jadał
+i
-porzucił
+o
-oziębiła
+jego
-myślałżeś
+,
-powozi
+ale
-dzwonek
+może
-gadu
+?
-poszukiwań
+nie
-poszukiwań
+ma
-bryndzę
+?
-bratem
+ale
-jeść
+ja
-kłopot
+,
-kłapiący
+co
-czemu
+i
-parchów
+co
-możliwy
+nie
-grupy
+będzie
-bom
+,
-narzeczonego
+co
-maluczkich
+on
-dudnieniem
+,
-odbijania
+bo
-handlarzu
+jest
-generacji
+nie
-istot
+,
-doux
+co
-francuzi
+jest
-furgonistów
+o
-kazi
+,
-drwiąco
+i
-prostoty
+nawet
-idea
+?
-bednarskiej
+nie
-gipsowy
+,
-falista
+i
-odwróciłem
+co
-nalegał
+,
-ogniu
+nie
-kalkuluję
+mógł
-ot
+o
-niebezpieczeństwach
+nich
-dobroczynne
+nie
-poufnym
+,
-przebaczająca
+nie
-cieszę
+ma
-najczcigodniejsza
+i
-gruzach
+nie
-mizerne
+mam
-jakąkolwiek
+,
-fale
+ale
-naiwnemu
+o
-mieliby
+nim
-jako
+nie
-potęguje
+będzie
-genialnych
+.
-handel
+a
-pogardy
+co
-podejrzanych
+nie
-jana
+będzie
-miały
+do
-jechać
+niej
-oszukujących
+.
-pożyczkę
+ale
-pokaszlując
+nie
-postanowić
+może
-mleka
+do
-oszukujących
+nas
-doboru
+:
-drobną
+po
-prezentem
+angielsku
-pietrek
+?
-materacem
+po
-kamieniarza
+.
-morderca
+po
-kupiłeś
+nie
-czarne
+mam
-palcem
+.
+po
+nie
+mam
+nic
+:
+co
+.
+po
+co
+.
+na
+co
+nie
+?
+)
+nie
+,
+który
+?
+do
+domu
+na
+co
+dzień
+nie
+było
+o
+co
+dzień
+,
+który
+na
+nich
+.
+do
+niego
+)
+?
+do
+domu
+na
+kilka
+lat
+na
+niego
+)
+;
+nie
+może
+być
+od
+innych
+.
+pan
+jest
+.
+panna
+na
+chwilę
+na
+co
+na
+niego
+;
+na
+co
+,
+ażeby
+i
+na
+chwilę
+;
+ale
+może
+być
+?

guessword.py

@@ -101,7 +101,6 @@ def get_ppl(dataset_ids):
 
     batches = 0
     loss_sum =0
-    # acc_score = 0
 
     for i in range(0, len(dataset_ids)-BATCH_SIZE+1, BATCH_SIZE):
         X = dataset_ids[i:i+BATCH_SIZE,:NGRAMS-1]
@@ -117,15 +116,12 @@ def get_ppl(dataset_ids):
 history_ppl_train  = []
 history_ppl_valid  = []
 
-for epoch in range(2):
+for epoch in range(EPOCHS):
     batches = 0
     loss_sum = 0
-    # acc_score = 0
     lm.train()
-    total = 1000-BATCH_SIZE+1
+    total = len(train_ids)-BATCH_SIZE+1
-    # total = len(train_ids)-BATCH_SIZE+1
     for i in range(0, total, BATCH_SIZE):
-    # for i in tqdm(range(0, len(train_ids)-BATCH_SIZE + 1, BATCH_SIZE)):
         print('batches: ' + str(batches))
 
         X = train_ids[i : i + BATCH_SIZE, :NGRAMS - 1]
@@ -194,7 +190,7 @@ for i in range(30):
     print(vocab_itos[candidate])
     ids =  torch.cat((ids, torch.tensor([[candidate]], device = device)), 1)
 
-print('starting dev...')
+print('starting outs...')
 
 with open("dev-0/in.tsv", "r", encoding="UTF-8") as dev_path:
     nr_of_dev_lines = len(dev_path.readlines())

test-A/out.tsv

@@ -1,471 +1,471 @@
-&
+)
-apoteozie
+.
-cicho
+do
-pokorę
+nas
-gorczycą
+po
-konserwatorium
+do
-komorna
+domu
-miseczkami
+.
-pokoje
+panna
-garncami
+felicja
-pozna
+?
-obrazi
+na
-ostrogą
+nią
-poprawi
+do
-masy
+mnie
-potrafią
+,
-mężczyzna
+i
-pełną
+co
-ciekawsza
+i
-odzywa
+jeszcze
-irkucka
+i
-kiedyście
+do
-kominów
+głowy
-herein
+do
-propozycję
+niego
-opierając
+?
-polską
+ale
-handlarzu
+jeżeli
-astronomów
+,
-placu
+ale
-kończyła
+nie
-poznajemy
+mam
-niejakiej
+mnie
-niezłe
+,
-pozorem
+i
-ach
+już
-drzewami
+i
-postanowił
+ja
-berlinka
+do
-bukietu
+niego
-huknął
+na
-melancholii
+głowie
-odepchnąwszy
+.
-oddam
+panna
-bucika
+felicja
-ciosowego
+i
-ośle
+ja
-ciągnione
+.
-filozofii
+pan
-ciszę
+ma
-odważył
+do
-obedrzemy
+domu
-angielskiej
+:
-kossuth
+ale
-kupiłeś
+,
-nagniotków
+nie
-emancypacji
+jestem
-najśpieszniej
+nie
-godne
+mam
-niczym
+i
-kłaniała
+nie
-kucharka
+,
-konopiastą
+na
-kwitnącym
+którym
-dalszą
+na
-brzęczały
+jego
-gardzący
+pokoju
-ocknąłem
+)
-biedaczki
+i
-16
+bez
-prowincji
+i
-mógł
+do
-dziedziczności
+paryża
-korzystne
+na
-karabin
+myśl
-postanawiając
+,
-chin
-przechodząc
-nieoddanie
-opiekę
-orientowania
-indagowała
-demona
-godzinę
-powtórnie
-pragnienia
-pode
-opowiadań
-opowiadań
-ogrodem
-chmur
-doch
-jakimiż
-ogrodem
-kamieniarza
-nabożnej
-foczej
-marylami
-kariery
-najuprzejmiej
-kładę
-przebić
-okolicznościach
-odszukał
-kweście
-pogrążony
-ożywiała
-kortowe
-niezłe
-egzaminów
-fagasować
-błagalne
-latało
-druk
-budować
-pakietami
-plait
-kochankami
-najszlachetniejsze
-dostrzegłszy
-mi
-brzegu
-idźże
-całuje
-księżną
-nocną
-ogromnego
-kobietach
-lejcowe
-dziewczynka
-letkiewiczem
-pilniki
-piórem
-istotny
-otumanić
-polegający
 gdzie
-1853
+.
-girlanda
+panna
-cel
+nie
-osacza
+na
-pożyczy
+lewo
-pognali
+i
-oględnego
+na
-profilu
+mnie
-furgonistów
+nie
-mace
+,
-malborg
+który
-ich
+i
-miło
+nawet
-miło
+nie
-bitwy
+będzie
-jeograficzną
+;
-numeru
+nie
-egipcie
+było
-istotne
+mu
-desperatem
+do
-krajem
+mieszkania
-brodata
+do
-broń
+paryża
-ogromnego
+i
-kobietach
+o
-jarmarcznej
+czym
-komorna
+do
-fere
+niego
-jeść
+na
-bałaganowym
+myśl
-dopadłszy
+.
-chłopów
+panna
-nalewała
+na
-miastem
+kilka
-portmonetki
+i
-dziesięcioma
+o
-mniejszej
+mnie
-nowością
+na
-głupiś
+co
-krzyku
+i
-mienie
+o
-popielatym
+co
-jakiejże
+na
-kamienica
+jego
-kapitalizować
+?
-laty
+i
-ledwie
+do
-dojrzeli
+końca
-pogardą
+.
-gazetach
+i
-pokaszlując
+nie
-gościnnych
+mam
-pozasłaniane
+nie
-ewelinę
+mam
-komedię
+nie
-małżonkami
+o
-prezentował
+,
-dwuznacznej
+który
-potarł
+do
-oburzona
+końca
-obietnicy
+do
-ofiarowuje
+czasu
-anioł
+:
-posiedzimy
+i
-musiało
+jeszcze
-niespodzianek
+,
-popełnili
+na
-przecenia
+niego
-ociężale
+,
-niepokojów
+nie
-organizator
+można
-opłaconej
+:
-komorna
+i
-niemca
+jeszcze
-nazywam
+i
-oświadczają
+na
-przechodzień
+chwilę
-odzianymi
+i
-anglicy
+na
-dobrodziejstwa
+lewo
-prostota
+:
-beni
+na
-pończosze
+niego
-faworytami
+?
-powiernikiem
+do
-opatrywać
+mnie
-przebił
+do
-geist
+mnie
-kwartę
+i
-omnibus
+nie
-kuzynkę
+mógł
-nieszczęśliwie
+o
-ignaz
+nich
-pociągnął
+i
-modlącego
+do
-położonej
+panny
-najpierwsze
+,
-matce
+nie
-misiewiczowej
+mógł
-gałgany
+o
-niebieskiej
+nim
-magla
+i
-nosek
+do
-nowością
+końca
-grozi
+;
-dostali
+i
-podejrzywać
+ja
-opuścił
-odczytaniem
-ojcowskich
-pokrwawionej
-73
-fortuna
-podawał
-poważnego
-jeść
-doprowadziła
-niewiniątkiem
-omnibusów
-belę
-kamienicą
-podejrzywać
-odkocham
-francusku
-niedopyrze
-oszustwie
-idei
-głupowato
-ożywienie
-kosztowne
-nabiera
-moralizującą
-brzęczały
-gardzący
-jedną
-która
-jędrnością
-gotówkę
-despotyzmu
-naśmiewać
-besztyja
-dopłacamy
-prawidło
-podejrzenie
-dzieła
-ogień
-emancypacji
-dobroć
-anonim
-bezksiężycowa
-najwyższe
-kleopatry
-bezwzględniej
-małżonków
-domyślić
-odważył
-odpowiadał
-jedną
-polegający
-fugit
-nie-boskiej
-alei
-majestatyczny
-nieszczęśliwie
-higiena
-piorunujące
-osoba
-ambicje
-odgrywa
-bogiem
-butonierkach
-ojca
-pagórkiem
-p.
-biedaczki
-mlaśnięcia
-owinął
-furmana
-fałdu
-oficerowie
-otwarte
-podejrzenie
-biciu
-galicję
-lekarską
-herbata
-chustce
-ograniczeni
-porównaniu
-lokatorom
-kuzyni
-oszukano
-pigułki
-kąta
-nieobecnego
-bratem
-przeciw
-nawinął
-odgadywać
-młodego
-bluźnij
-naginają
-poderżnąć
-odpowiadały
-doby
-karku
-posiadłszy
-musiałby
-babę
-niezadowolony
 go
-dole
+pan
-lejcowe
+:
-innym
+czy
-nadto
+,
-krótszy
+który
-oszalałem
+?
-martwego
+)
-obrzucając
+nie
-odbitych
+jestem
-misiewiczowej
+go
-nadzwyczajną
+i
-ginsów
+na
-dokończyć
+myśl
-kotłów
+;
-pozawracasz
+nawet
-krępują
+nie
-lasu
+można
-ponury
+na
-badaniem
+mnie
-fryga
+nie
-czuba
+będzie
-fechtunku
+,
-nieobliczony
+co
-kieszenie
+na
-ogolić
+kilka
-kundmanów
+do
-ofiarowującego
+niego
-opierać
+i
-najcięższe
+o
-namów
+co
-lukrecji
+najmniej
-ciągłego
+nie
-krajobrazów
+może
-najcierpliwszymi
+;
-powlecze
+i
-parisien
+o
-giełda
+czym
-antyżydowskich
+:
-kufrze
+czy
-olbrzymia
+co
-jegomości
+nie
-ostateczności
+,
-jasności
+a
-nienawistny
+ja
-marianny
+go
-nura
+i
-aniołem
+jeszcze
-młodego
+:
-poczerwieniał
+)
-pokorą
+:
-cieni
+ale
-automat
+o
-odwieziesz
+,
-propozycją
+nie
-osobliwie
+można
-gwałtowniej
+na
-ciężaru
+mnie
-nowe
+i
-gorączkowo
+do
-pałacowi
+pani
-pieca
+baronowa
-błota
+;
-miałam
+na
-kazał
+co
-nawiasowo
+na
-neustadzie
+kilka
-godność
+.
-jesienny
+po
-natchnie
+chwili
-powściągliwości
+do
-pokarmów
+niego
-jakimiż
+:
-kundmani
+po
-ołtarzem
+,
-lutego
+nie
-pocałowało
+ma
-kopernika
+,
-nitkami
+ale
-ogień
+po
-jakimiż
+do
-napomknąłem
+pokoju
-kępy
+do
-pokorą
+mnie
-defektem
+;
-niebieskich
+nie
-gotowiźnie
+na
-napomknąłem
+lewo
-poczęło
+:
-belą
+na
-burboni
+głowie
-kochanym
+,
-kawałka
+a
-gdzieżeś
+po
-doradca
+południu
-jedynastą
+i
-moskiewski
+nie
-janocką
+będę
-niepokojów
+nie
-mleka
+może
-jednakże
+o
-kiełbik
+dziesiątej
-mniejszej
+.
-odlany
+na
-blade
+jego
-dziewczynce
+i
-oglądali
+jeszcze
-ciągłego
+do
-gwałt
+czasu
-przechodzących
+;
-przechodzących
+a
-dymi
+gdy
-ostatecznie
+nie
-pośrednictwem
+będzie
-nieznajomym
+?
-kutasik
+o
-czekają
+jej
-maur
+nie
-fakt
+było
-dorosłą
+?
-ozdobionym
+ale
-cechy
+na
-elegancka
+kilka
-historie
+na
+kilka
+.
+po
+nie
+może
+,
+nie
+jest
+i
+o
+co
+na
+mnie
+:
+czy
+nie
+może
+nie
+będzie
+o
+nim
+;
+nawet
+nie
+jest
+o
+co
+,
+bo
+,
+a
+nawet
+na
+jego
+,
+ażeby
+,
+na
+których
+i
+co
+.
+po
+nie
+będzie
+mnie
+:
+ale
+o
+jej
+nie
+jest
+i
+o
+:
+co
+.
+)
+do
+paryża
+.
+ale
+czy
+co
+na
+nich
+;
+a
+nie
+będzie
+.
+a
+co
+nie
+mam
+nie
+mam
+nie
+.
+a
+co
+.
+panna
+do
+nas
+i
+nie
+będzie
+i
+co
+nie
+było
+.
+nie
+na
+nią
+i
+bez
+panny
+izabeli
+i
+na
+nią
+nie
+,
+ale
+jeszcze
+nie
+można
+do
+głowy
+?
+o
+,
+a
+nawet
+nie
+będzie
+do
+mnie
+do
+nas
+do
+końca
+nie
+.
+panna
+na
+niego
+;
+i
+o
+jej
+o
+dziesiątej
+.
+nie
+ma
+i
+ja
+na
+kilka
+minut
+?
+ale
+czy
+ja
+.
+ale
+ja
+do
+niej
+do
+końca
+i
+po
+do
+panny
+,
+nie
+można
+na
+niego