dev-0/out.tsv

@@ -1,471 +0,0 @@
-pani
-baronowa
-!
-a
-jeżeli
-pani
-krzeszowskiej
-i
-o
-niej
-?
-do
-czasu
-na
-nie
-jest
-o
-.
-po
-czym
-o
-mnie
-i
-o
-czym
-o
-do
-mnie
-,
-ażeby
-pani
-meliton
-nie
-obchodzi
-.
-pan
-do
-nie
-i
-po
-południu
-.
-a
-po
-chwili
-do
-czasu
-nie
-może
-?
-na
-lewo
-nie
-jest
-pan
-ignacy
-!
-na
-myśl
-;
-i
-po
-do
-mnie
-,
-i
-jeszcze
-po
-do
-niej
-;
-jak
-do
-nas
-,
-jak
-ona
-!
-,
-czy
-do
-pani
-.
-na
-drugi
-na
-jego
-na
-dzień
-do
-pani
-.
-na
-prawo
-do
-panny
-florentyny
-na
-dzień
-:
-na
-nie
-nie
-,
-jak
-ja
-,
-na
-którym
-do
-pani
-meliton
-na
-lewo
-?
-czy
-na
-mnie
-do
-mnie
-i
-po
-,
-a
-nawet
-o
-pannie
-do
-pani
-?
-na
-mnie
-do
-czasu
-i
-do
-pani
-krzeszowskiej
-.
-ale
-pan
-na
-lewo
-do
-niego
-,
-i
-o
-mnie
-nie
-może
-na
-mnie
-;
-nie
-ma
-.
-na
-lewo
-;
-ale
-nawet
-i
-do
-niego
-;
-ja
-pan
-nie
-o
-.
-pan
-jest
-?
-o
-nim
-;
-ale
-ja
-,
-który
-na
-mnie
-nie
-,
-i
-pan
-na
-lewo
-i
-nie
-było
-.
-nawet
-do
-niej
-?
-na
-co
-dzień
-;
-na
-prawo
-nie
-ma
-pani
-baronowej
-na
-dzień
-?
-po
-,
-bo
-,
-a
-nie
-,
-nie
-jest
-do
-niej
-,
-bo
-,
-który
-,
-nie
-o
-do
-nas
-?
-a
-nawet
-?
-po
-na
-drugi
-dzień
-.
-nie
-ma
-pani
-baronowa
-na
-,
-i
-na
-mnie
-do
-niej
-do
-paryża
-i
-po
-na
-myśl
-,
-bo
-nie
-na
-dzień
-nie
-,
-co
-,
-bo
-nawet
-pan
-i
-nie
-na
-nią
-;
-nawet
-do
-niej
-do
-pani
-i
-jak
-nie
-ma
-pani
-.
-nie
-miał
-?
-na
-mnie
-od
-.
-nie
-jest
-nie
-o
-czym
-do
-mnie
-od
-,
-nie
-może
-i
-jeszcze
-o
-niej
-do
-paryża
-?
-czy
-nie
-było
-na
-,
-i
-jeszcze
-i
-o
-co
-do
-mnie
-i
-jak
-on
-po
-chwili
-do
-panny
-o
-do
-mnie
-do
-panny
-.
-ale
-na
-niego
-!
-,
-ażeby
-mi
-pan
-do
-czasu
-do
-domu
-:
-i
-po
-południu
-do
-niej
-do
-pani
-:
-po
-,
-nie
-do
-panny
-.
-ale
-co
-do
-niej
-na
-,
-bo
-nie
-na
-nią
-.
-i
-na
-,
-który
-,
-który
-do
-drzwi
-.
-nie
-ma
-do
-niego
-,
-nie
-jest
-bardzo
-do
-panny
-izabeli
-o
-nim
-;
-ja
-,
-ale
-co
-i
-po
-co
-nie
-na
-jej
-i
-nie
-miał
-,
-czy
-nawet
-na
-niego
-;
-na
-drugi
-i
-do
-domu
-na
-jego
-,
-który
-na
-jego
-na
-drugi
-dzień
-.
-na
-jego
-nie
-,
-co
-i
-po
-chwili
-,
-a
-potem
-.
-ale
-nie
-jest
-,
-bo
-pan
-i
-ja
-o
-pannie
-na
-niego
-nie
-na
-jej
-:
-a
-czy
-o
-nim
-;
-nie
-jest
-bardzo
-do
-panny
-do
-paryża
-i
-ja

main.py

@@ -1,216 +0,0 @@
-import numpy as np
-import torch
-from sklearn.model_selection import train_test_split
-from nltk.tokenize import word_tokenize
-
-
-lalka_path_train= 'train/train_train.tsv'
-
-lalka_path_valid= 'train/train_test.tsv'
-
-corpora_train = open(lalka_path_train).read()
-
-corpora_train_tokenized = list(word_tokenize(corpora_train))
-
-corpora_train_tokenized = [token.lower() for token in corpora_train_tokenized]
-
-vocab_itos = sorted(set(corpora_train_tokenized))
-
-
-vocab_itos = vocab_itos[:15005]
-vocab_itos[15001] = "<UNK>"
-vocab_itos[15002] = "<BOS>"
-vocab_itos[15003] = "<EOS>"
-vocab_itos[15004] = "<PAD>"
-
-
-with open("train/train.tsv", "r") as lalka:
-    lines = lalka.readlines()
-with open("train/train_train.tsv", "w") as out_train:
-    for i in train:
-        out_train.write(i)
-with open("train/train_test.tsv", "w") as out_test:
-    for i in test:
-        out_test.write(i)
-
-
-
-vocab_stoi = dict()
-for i, token in enumerate(vocab_itos):
-    vocab_stoi[token] = i
-
-NGRAMS = 5
-
-def get_token_id(dataset):
-    token_ids = [vocab_stoi['<PAD>']] * (NGRAMS-1) + [vocab_stoi['<BOS>']]
-    for token in dataset:
-        try:
-            token_ids.append(vocab_stoi[token])
-        except KeyError:
-            token_ids.append(vocab_stoi['<UNK>'])
-    token_ids.append(vocab_stoi['<EOS>'])
-    return token_ids
-
-train_ids = get_token_id(corpora_train_tokenized)
-
-def get_samples(dataset):
-    samples = []
-    for i in range(len(dataset)-NGRAMS):
-        samples.append(dataset[i:i+NGRAMS])
-    return samples
-
-train_ids = get_samples(train_ids)
-
-train_ids = torch.tensor(train_ids, device = device)
-
-corpora_valid = open(lalka_path_valid).read()
-
-corpora_valid_tokenized = list(word_tokenize(corpora_valid))
-
-valid_ids = get_token_id(corpora_valid_tokenized)
-
-valid_ids = torch.tensor(get_samples(valid_ids), dtype = torch.long, device = device)
-
-class GRU(torch.nn.Module):
-
-    def __init__(self):
-        super(GRU, self).__init__()
-        self.emb = torch.nn.Embedding(len(vocab_itos),100)
-        self.rec = torch.nn.GRU(100, 256, 1, batch_first = True)
-        self.fc1 = torch.nn.Linear( 256 ,len(vocab_itos))
-
-    def forward(self, x):
-        emb = self.emb(x)
-        output, h_n = self.rec(emb)
-        hidden = h_n.squeeze(0)
-        out = self.fc1(hidden)
-        return out
-
-lm = GRU().to(device)
-
-criterion = torch.nn.CrossEntropyLoss()
-
-optimizer = torch.optim.Adam(lm.parameters(),lr=0.0001)
-
-BATCH_SIZE = 128
-EPOCHS = 15
-
-def get_ppl(dataset_ids):
-    lm.eval()
-
-    batches = 0
-    loss_sum =0
-    acc_score = 0
-
-    for i in range(0, len(dataset_ids)-BATCH_SIZE+1, BATCH_SIZE):
-        X = dataset_ids[i:i+BATCH_SIZE,:NGRAMS-1]
-        Y = dataset_ids[i:i+BATCH_SIZE,NGRAMS-1]
-        predictions = lm(X)
-        
-        loss = criterion(predictions,Y)
-
-        loss_sum += loss.item()
-        batches += 1
-
-    return np.exp(loss_sum / batches)
-
-history_ppl_train  = []
-history_ppl_valid  = []
-for epoch in range(EPOCHS):
-    
-    batches = 0
-    loss_sum =0
-    acc_score = 0
-    lm.train()
-    #for i in range(0, len(train_ids)-BATCH_SIZE+1, BATCH_SIZE):
-    for i in range(0, len(train_ids)-BATCH_SIZE+1, BATCH_SIZE):
-        X = train_ids[i:i+BATCH_SIZE,:NGRAMS-1]
-        Y = train_ids[i:i+BATCH_SIZE,NGRAMS-1]
-        predictions = lm(X)
-        loss = criterion(predictions,Y)
-    
-    
-        
-        optimizer.zero_grad()
-        loss.backward()
-        optimizer.step()
-        
-        loss_sum += loss.item()
-        batches += 1
-        
-    ppl_train = get_ppl(train_ids)
-    ppl_valid = get_ppl(valid_ids)
-    
-    history_ppl_train.append(ppl_train)
-    history_ppl_valid.append(ppl_valid)
-    
-tokenized = list(word_tokenize('Gości innych nie widział oprócz spółleśników'))
-tokenized = tokenized[-NGRAMS  :-1 ] 
-
-ids = []
-for word in tokenized:
-    if word in vocab_stoi:
-        ids.append(vocab_stoi[word])
-    else:
-        ids.append(vocab_stoi['<UNK>'])
-
-lm.eval()
-
-ids = torch.tensor(ids, dtype = torch.long, device = device)
-
-preds= lm(ids.unsqueeze(0))
-
-vocab_itos[torch.argmax(torch.softmax(preds,1),1).item()]
-
-tokenized = list(word_tokenize('Lalka'))
-tokenized = [token.lower() for token in tokenized]
-
-ids = []
-for word in tokenized:
-    if word in vocab_stoi:
-        ids.append(vocab_stoi[word])
-    else:
-        ids.append(vocab_stoi['<UNK>'])
-ids = torch.tensor([ids], dtype = torch.long, device = device)
-
-candidates_number = 10
-for i in range(30):
-    preds= lm(ids)
-    candidates = torch.topk(torch.softmax(preds,1),candidates_number)[1][0].cpu().numpy()
-    candidate = 15001
-    while candidate > 15000:
-        candidate = candidates[np.random.randint(candidates_number)]
-    print(vocab_itos[candidate])
-    ids =  torch.cat((ids, torch.tensor([[candidate]], device = device)), 1)
-
-dev= open("dev-0/in.tsv", "r")
-dev_ = len(dev.readlines())
-a = open("test-A/in.tsv", "r")
-a_ = len(a.readlines())
-
-
-
-with open("dev-0/out.tsv", "w") as out_dev:
-    for i in range(dev_):
-        prediction = lm(id_list)
-        candidates = torch.topk(torch.softmax(prediction, 1), candidates_number)[1][0].cpu().numpy()
-        
-        candidate = 15001
-        
-        while candidate > 15000:
-            candidate = candidates[np.random.randint(candidates_number)]
-        id_list = torch.cat((id_list, torch.tensor([[candidate]], device=device)), 1)
-        out_dev_file.write(vocab_itos[candidate] + '\n')
-with open("test-A/out.tsv", "w") as out_test:
-    for i in range(dev_):
-        preds = lm(id_list)
-        candidates = torch.topk(torch.softmax(preds, 1), candidates_number)[1][0].cpu().numpy()
-        
-        candidate = 15001
-        
-        while candidate > 15000:
-            candidate = candidates[np.random.randint(candidates_number)]
-        id_list = torch.cat((id_list, torch.tensor([[candidate]], device=device)), 1)
-        out_test_file.write(vocab_itos[candidate] + '\n')
-
-

test-A/.~lock.in.tsv#

@@ -1 +0,0 @@
-,kasia,kasia-XPS-15-9550,23.06.2021 23:50,file:///home/kasia/.config/libreoffice/4;

test-A/.~lock.out.tsv#

@@ -1 +0,0 @@
-,kasia,kasia-XPS-15-9550,24.06.2021 00:25,file:///home/kasia/.config/libreoffice/4;

test-A/out.tsv

@@ -1,471 +0,0 @@
-.
-na
-mnie
-?
-czy
-nie
-było
-o
-.
-czy
-ja
-już
-i
-jeszcze
-:
-,
-a
-pan
-?
-na
-niego
-.
-panna
-do
-panny
-izabeli
-,
-który
-,
-czy
-nie
-było
-do
-czasu
-,
-czy
-nie
-ma
-pani
-?
-do
-paryża
-;
-nie
-jest
-do
-mnie
-na
-,
-ale
-,
-nie
-mam
-.
-pan
-ignacy
-do
-czasu
-na
-jego
-?
-czy
-ja
-.
-i
-co
-mi
-do
-paryża
-na
-niego
-o
-niej
-;
-ja
-?
-nie
-o
-czym
-o
-mnie
-nie
-będzie
-.
-nawet
-nie
-o
-,
-bo
-nawet
-i
-jak
-on
-do
-pani
-?
-czy
-co
-pan
-?
-)
-,
-co
-nie
-było
-;
-do
-niego
-do
-domu
-,
-a
-po
-,
-i
-jak
-pan
-?
-nie
-,
-ale
-czy
-o
-mnie
-,
-i
-pan
-nie
-było
-do
-niej
-.
-na
-drugi
-dzień
-do
-czasu
-?
-ale
-nawet
-do
-niego
-,
-i
-po
-nie
-do
-czasu
-i
-do
-nas
-do
-panny
-eweliny
-,
-ale
-nie
-,
-jak
-mnie
-.
-nie
-jest
-.
-nawet
-nawet
-,
-i
-ja
-o
-na
-mnie
-od
-nas
-i
-jeszcze
-nie
-było
-o
-pannie
-na
-mnie
-nie
-o
-do
-paryża
-?
-nie
-może
-nie
-o
-pannie
-i
-co
-.
-po
-nim
-i
-do
-pani
-.
-nie
-było
-i
-ja
-.
-o
-co
-dzień
-do
-niego
-,
-ażeby
-do
-mnie
-nie
-,
-nie
-było
-i
-jeszcze
-na
-niego
-?
-a
-potem
-:
-o
-ile
-i
-ja
-już
-.
-i
-po
-południu
-:
-i
-o
-nie
-może
-pan
-i
-na
-niego
-,
-ażeby
-nawet
-od
-na
-nią
-na
-prawo
-na
-mnie
-na
-drugi
-do
-niego
-:
-a
-ja
-i
-o
-,
-a
-pani
-?
-o
-mnie
-nie
-na
-nią
-.
-nie
-może
-,
-czy
-,
-ażeby
-pan
-,
-czy
-ja
-ja
-i
-na
-jego
-od
-do
-nas
-?
-)
-i
-nie
-było
-,
-bo
-pan
-nie
-będzie
-na
-niego
-!
-na
-,
-ale
-na
-mnie
-?
-o
-ile
-,
-ażeby
-nawet
-,
-bo
-ja
-,
-czy
-nie
-jest
-pan
-do
-pani
-krzeszowskiej
-;
-a
-może
-?
-o
-mnie
-,
-nie
-mam
-do
-mnie
-na
-,
-ażeby
-do
-mnie
-do
-panny
-i
-o
-mnie
-,
-jak
-do
-panny
-o
-nim
-;
-a
-pan
-nie
-o
-mnie
-i
-na
-nią
-do
-domu
-do
-domu
-do
-panny
-izabeli
-i
-jak
-.
-pan
-do
-niego
-?
-na
-lewo
-na
-niego
-;
-ale
-czy
-do
-nas
-?
-o
-nie
-mam
-?
-nie
-mam
-!
-nie
-było
-do
-paryża
-,
-nie
-było
-na
-niego
-.
-o
-nie
-miał
-i
-ja
-na
-nią
-na
-prawo
-i
-po
-chwili
-i
-jeszcze
-i
-po
-,
-na
-mnie
-,
-czy
-ja
-jak
-pan
-na
-prawo
-;
-,
-a
-na
-co
-dzień
-i
-do
-czasu
-;
-i
-ja
-nie
-o
-mnie
-do
-mnie
-od
-panny
-,
-nie
-będzie
-.
-i
-po
-do
-czasu
-?
-ale
-czy
-nie
-,
-nie
-było
-?
-o
-czym
-do
-niej
-,
-co
-mnie