dev-0/out.tsv

@@ -1,471 +0,0 @@
-ja
-o
-?
-do
-mego
-:
-a
-co
-.
-po
-,
-kiedy
-!
-a
-ja
-o
-.
-i
-ja
-na
-jej
-do
-domu
-i
-do
-nas
-.
-ale
-co
-do
-nich
-!
-a
-!
-po
-,
-ażeby
-i
-po
-.
-i
-na
-jego
-do
-drzwi
-nie
-.
-a
-może
-o
-?
-?
-i
-co
-o
-niej
-i
-po
-południu
-:
-a
-jeżeli
-?
-)
-,
-ale
-i
-jeszcze
-do
-nas
-i
-co
-!
-nie
-miał
-do
-głowy
-;
-do
-niego
-.
-ale
-już
-już
-na
-mnie
-.
-po
-,
-ale
-nawet
-na
-nią
-:
-i
-o
-mnie
-,
-co
-pan
-do
-niej
-do
-niego
-?
-)
-?
-po
-?
-?
-i
-o
-niej
-!
-i
-do
-końca
-?
-po
-chwili
-.
-co
-i
-co
-o
-czym
-nie
-.
-a
-gdy
-.
-ja
-?
-)
-na
-jej
-i
-co
-na
-mnie
-;
-ja
-nie
-ma
-na
-jej
-;
-lecz
-co
-,
-co
-.
-pan
-co
-do
-pani
-i
-nawet
-,
-czy
-na
-mnie
-:
-na
-kilka
-?
-a
-co
-do
-mnie
-,
-a
-,
-o
-co
-na
-drugi
-:
-po
-?
-?
-o
-jej
-.
-ale
-i
-po
-?
-.
-i
-ja
-,
-czy
-na
-mnie
-nie
-będzie
-i
-jeszcze
-na
-jej
-na
-co
-dzień
-,
-na
-drugi
-na
-niego
-?
-po
-.
-pani
-i
-.
-na
-jej
-na
-nią
-i
-po
-,
-co
-,
-na
-mnie
-do
-okna
-,
-czy
-,
-i
-o
-jego
-na
-kilka
-nie
-mam
-na
-mnie
-i
-o
-?
-na
-lewo
-nie
-będzie
-.
-i
-ja
-i
-nawet
-?
-.
-po
-,
-ażeby
-mu
-do
-niego
-o
-,
-który
-ma
-na
-drugi
-na
-jej
-na
-co
-dzień
-.
-gdy
-już
-,
-bo
-do
-panny
-.
-a
-nie
-na
-jej
-na
-drugi
-?
-,
-czy
-i
-co
-nie
-jest
-i
-nie
-mam
-na
-jej
-na
-myśl
-?
-i
-ja
-i
-ja
-i
-po
-co
-.
-i
-na
-nią
-o
-nim
-!
-na
-jego
-nie
-jest
-nie
-,
-i
-już
-o
-jej
-do
-nas
-i
-co
-?
-o
-.
-na
-lewo
-,
-co
-mu
-nie
-mam
-i
-ja
-o
-jej
-nie
-ma
-?
-nie
-mam
-na
-kilka
-i
-ja
-o
-.
-ale
-co
-na
-jego
-i
-nawet
-i
-nie
-mam
-,
-a
-ja
-do
-nas
-nie
-miał
-.
-pani
-nie
-jest
-?
-.
-gdy
-na
-co
-na
-co
-.
-po
-ja
-,
-czy
-nie
-może
-na
-co
-.
-a
-na
-mnie
-nie
-ma
-,
-czy
-nie
-będzie
-,
-a
-nawet
-i
-na
-jego
-?
-na
-co
-,
-a
-nie
-ma
-do
-niej
-o
-mnie
-na
-.
-co
-i
-pani
-meliton
-:
-co
-?
-i
-po
-południu
-do
-niego
-.
-po
-co
-?
-i
-nawet
-!
-nie
-jest
-mnie
-!
-na
-mnie
-?
-czy
-do
-niego
-na
-jej
-;
-ale
-na
-co
-!
-o
-nie
-jest
-mnie
-do
-mego
-!
-na
-mnie
-?
-czy
-ja
-.
-na
-lewo
-do
-drzwi

script.py

@@ -1,202 +0,0 @@
-import numpy as np
-import torch
-from sklearn.model_selection import train_test_split
-import nltk
-from nltk.tokenize import word_tokenize
-
-nltk.download('punkt')
-device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
-train_a = "train/train.tsv"
-lalka_path_train = 'train/train_train.tsv'
-lalka_path_valid = 'train/train_test.tsv'
-corpora_train = open(lalka_path_train).read()
-corpora_train_tokenized = list(word_tokenize(corpora_train))
-corpora_train_tokenized = [token.lower() for token in corpora_train_tokenized]
-
-vocab_itos = sorted(set(corpora_train_tokenized))
-vocab_itos = vocab_itos[:15005]
-vocab_itos[15001] = "<UNK>"
-vocab_itos[15002] = "<BOS>"
-vocab_itos[15003] = "<EOS>"
-vocab_itos[15004] = "<PAD>"
-
-BATCH_SIZE = 128
-EPOCHS = 15
-
-
-history_ppl_train = []
-history_ppl_valid = []
-
-vocab_stoi = dict()
-for i, token in enumerate(vocab_itos):
-    vocab_stoi[token] = i
-
-NGRAMS = 5
-
-
-def set_ppl(dataset_id_list):
-    lm.eval()
-
-    batches = 0
-    loss_sum = 0
-
-    for i in range(0, len(dataset_id_list) - BATCH_SIZE + 1, BATCH_SIZE):
-        X = dataset_id_list[i:i + BATCH_SIZE, :NGRAMS - 1]
-        Y = dataset_id_list[i:i + BATCH_SIZE, NGRAMS - 1]
-        predictions = lm(X)
-
-        loss = criterion(predictions, Y)
-
-        loss_sum += loss.item()
-        batches += 1
-
-    return np.exp(loss_sum / batches)
-
-
-def open_files(path_a, path_b, path_c):
-    with open(path_a, "r") as path:
-        lines = path.readlines()
-    train, test = train_test_split(lines, test_size=0.2)
-    with open(path_b, "w") as out_train_file:
-        for i in train:
-            out_train_file.write(i)
-    with open(path_c, "w") as out_test_file:
-        for i in test:
-            out_test_file.write(i)
-
-
-def get_samples(dataset):
-    samples = []
-    for i in range(len(dataset) - NGRAMS):
-        samples.append(dataset[i:i + NGRAMS])
-    return samples
-
-
-def get_token_id(dataset):
-    token_id_list = [vocab_stoi['<PAD>']] * (NGRAMS - 1) + [vocab_stoi['<BOS>']]
-    for token in dataset:
-        try:
-            token_id_list.append(vocab_stoi[token])
-        except KeyError:
-            token_id_list.append(vocab_stoi['<UNK>'])
-    token_id_list.append(vocab_stoi['<EOS>'])
-    return token_id_list
-
-
-open_files(train_a, lalka_path_train, lalka_path_valid)
-train_id_list = get_token_id(corpora_train_tokenized)
-train_id_list = get_samples(train_id_list)
-train_id_list = torch.tensor(train_id_list, device=device)
-corpora_valid = open(lalka_path_valid).read()
-corpora_valid_tokenized = list(word_tokenize(corpora_valid))
-corpora_valid_tokenized = [token.lower() for token in corpora_valid_tokenized]
-valid_id_list = get_token_id(corpora_valid_tokenized)
-valid_id_list = torch.tensor(get_samples(valid_id_list), dtype=torch.long, device=device)
-
-
-class GRU(torch.nn.Module):
-
-    def __init__(self):
-        super(GRU, self).__init__()
-        self.emb = torch.nn.Embedding(len(vocab_itos), 100)
-        self.rec = torch.nn.GRU(100, 256, 1, batch_first=True)
-        self.fc1 = torch.nn.Linear(256, len(vocab_itos))
-
-    def forward(self, x):
-        emb = self.emb(x)
-        output, h_n = self.rec(emb)
-        hidden = h_n.squeeze(0)
-        out = self.fc1(hidden)
-        return out
-
-
-lm = GRU().to(device)
-criterion = torch.nn.CrossEntropyLoss()
-optimizer = torch.optim.Adam(lm.parameters(), lr=0.0001)
-
-for epoch in range(EPOCHS):
-
-    batches = 0
-    loss_sum = 0
-    acc_score = 0
-    lm.train()
-    for i in range(0, len(train_id_list) - BATCH_SIZE + 1, BATCH_SIZE):
-        X = train_id_list[i:i + BATCH_SIZE, :NGRAMS - 1]
-        Y = train_id_list[i:i + BATCH_SIZE, NGRAMS - 1]
-        predictions = lm(X)
-        loss = criterion(predictions, Y)
-
-        optimizer.zero_grad()
-        loss.backward()
-        optimizer.step()
-
-        loss_sum += loss.item()
-        batches += 1
-
-    ppl_train = set_ppl(train_id_list)
-    ppl_valid = set_ppl(valid_id_list)
-
-    history_ppl_train.append(ppl_train)
-    history_ppl_valid.append(ppl_valid)
-
-
-tokenized = list(word_tokenize('Gości innych nie widział oprócz spółleśników'))
-tokenized = [token.lower() for token in tokenized]
-
-id_list = []
-for word in tokenized:
-    if word in vocab_stoi:
-        id_list.append(vocab_stoi[word])
-    else:
-        id_list.append(vocab_stoi['<UNK>'])
-
-lm.eval()
-
-id_list = torch.tensor(id_list, dtype=torch.long, device=device)
-
-preds = lm(id_list.unsqueeze(0))
-
-vocab_itos[torch.argmax(torch.softmax(preds, 1), 1).item()]
-
-tokenized = list(word_tokenize('Lalka'))
-tokenized = [token.lower() for token in tokenized]
-
-id_list = []
-for word in tokenized:
-    if word in vocab_stoi:
-        id_list.append(vocab_stoi[word])
-    else:
-        id_list.append(vocab_stoi['<UNK>'])
-id_list = torch.tensor([id_list], dtype=torch.long, device=device)
-
-candidates_number = 10
-for i in range(30):
-    preds = lm(id_list)
-    candidates = torch.topk(torch.softmax(preds, 1), candidates_number)[1][0].cpu().numpy()
-    candidate = 15001
-    while candidate > 15000:
-        candidate = candidates[np.random.randint(candidates_number)]
-    id_list = torch.cat((id_list, torch.tensor([[candidate]], device=device)), 1)
-
-with open("dev-0/in.tsv", "r") as dev_path:
-    nr_of_dev_lines = len(dev_path.readlines())
-with open("test-A/in.tsv", "r") as test_a_path:
-    nr_of_test_a_lines = len(test_a_path.readlines())
-with open("dev-0/out.tsv", "w") as out_dev_file:
-    for i in range(nr_of_dev_lines):
-        preds = lm(id_list)
-        candidates = torch.topk(torch.softmax(preds, 1), candidates_number)[1][0].cpu().numpy()
-        candidate = 15001
-        while candidate > 15000:
-            candidate = candidates[np.random.randint(candidates_number)]
-        id_list = torch.cat((id_list, torch.tensor([[candidate]], device=device)), 1)
-        out_dev_file.write(vocab_itos[candidate] + '\n')
-with open("test-A/out.tsv", "w") as out_test_file:
-    for i in range(nr_of_dev_lines):
-        preds = lm(id_list)
-        candidates = torch.topk(torch.softmax(preds, 1), candidates_number)[1][0].cpu().numpy()
-        candidate = 15001
-        while candidate > 15000:
-            candidate = candidates[np.random.randint(candidates_number)]
-        id_list = torch.cat((id_list, torch.tensor([[candidate]], device=device)), 1)
-        out_test_file.write(vocab_itos[candidate] + '\n')

test-A/out.tsv

@@ -1,471 +0,0 @@
-?
-a
-może
-o
-jej
-.
-na
-kilka
-dni
-i
-po
-południu
-,
-ale
-ja
-o
-.
-po
-i
-po
-prostu
-na
-mnie
-.
-pani
-na
-jej
-,
-jak
-ja
-i
-ja
-?
-po
-południu
-nie
-miał
-do
-nas
-nie
-było
-go
-o
-nie
-mam
-.
-i
-co
-do
-mnie
-!
-a
-po
-i
-ja
-,
-na
-niego
-i
-co
-?
-,
-a
-i
-nawet
-:
-do
-nas
-,
-na
-jego
-nie
-był
-.
-a
-jeżeli
-do
-domu
-!
-nie
-było
-do
-pani
-meliton
-.
-gdy
-na
-kilka
-na
-jej
-?
-)
-,
-na
-kilka
-na
-jej
-,
-nie
-miał
-do
-czasu
-na
-jej
-!
-)
-.
-ale
-ja
-nie
-mam
-.
-pani
-na
-jej
-nie
-będzie
-i
-na
-jego
-do
-.
-pani
-nie
-był
-?
-nie
-,
-co
-pan
-!
-o
-jej
-.
-ale
-na
-mnie
-,
-który
-?
-)
-o
-na
-jego
-i
-po
-kilka
-?
-.
-gdy
-,
-i
-na
-co
-o
-,
-bo
-.
-i
-już
-o
-nim
-do
-nas
-:
-na
-mnie
-i
-nawet
-nie
-było
-go
-.
-i
-gdy
-na
-mnie
-na
-kilka
-dni
-.
-po
-co
-do
-niej
-:
-o
-,
-i
-na
-nią
-:
-czy
-pan
-ignacy
-!
-)
-.
-ja
-,
-czy
-o
-nie
-był
-o
-czym
-do
-głowy
-!
-po
-co
-?
-o
-.
-po
-.
-na
-lewo
-.
-nie
-jestem
-,
-nie
-na
-nią
-o
-nim
-na
-co
-i
-nie
-na
-mnie
-do
-niej
-?
-)
-i
-o
-czym
-?
-nie
-ma
-pan
-o
-na
-kilka
-,
-ażeby
-,
-ażeby
-.
-ale
-już
-nie
-było
-do
-niego
-:
-po
-,
-a
-na
-co
-dzień
-i
-ja
-!
-)
-na
-jego
-dzień
-?
-a
-może
-o
-jego
-i
-na
-co
-do
-nas
-.
-nie
-,
-i
-o
-nie
-było
-.
-nie
-będzie
-mi
-po
-.
-co
-i
-po
-chwili
-na
-kilka
-.
-i
-o
-.
-i
-o
-na
-kilka
-na
-jego
-,
-który
-nie
-na
-drugi
-:
-co
-.
-ja
-.
-o
-jego
-nie
-ma
-do
-domu
-,
-bo
-na
-myśl
-:
-i
-o
-.
-po
-prostu
-,
-bo
-,
-a
-,
-i
-ja
-do
-czasu
-,
-i
-jeszcze
-do
-niego
-?
-na
-kilka
-:
-.
-ale
-co
-dzień
-,
-co
-pan
-na
-niego
-:
-i
-już
-do
-czasu
-,
-nie
-jest
-na
-niego
-,
-a
-jeżeli
-ja
-o
-jej
-.
-a
-może
-do
-niego
-do
-pani
-baronowej
-i
-nie
-jest
-,
-który
-do
-panny
-,
-ale
-ja
-o
-.
-a
-ja
-!
-ale
-o
-nie
-,
-nie
-miał
-do
-paryża
-!
-.
-i
-na
-jego
-do
-niego
-;
-po
-nie
-ma
-pani
-na
-nią
-.
-a
-ja
-.
-nie
-będzie
-o
-nie
-będzie
-do
-niego
-,
-ażeby
-na
-jego
-nie
-było
-go
-,
-bo
-już
-o
-czym
-;
-bo
-na
-nią
-do
-niej
-i
-nie
-na
-.
-pani
-?
-)
-,
-ale
-o
-na
-kilka
-.
-pani
-,
-co
-,