122
This commit is contained in:
parent
edec0b1cf5
commit
1c5a70349d
@ -44,6 +44,9 @@ for folder_name in ['dev-0', 'test-A']:
|
||||
if token in ['ia', 'ix', 'io', 'ik', 'ing']:
|
||||
continue
|
||||
|
||||
# Biore pierwsze slowo z prawego kontekstu i sprawdzam czy jest jednym z tokenów przewidzianych
|
||||
# przez prompt złożony z lewego kontekstu i kandydata na słowo w dziurze
|
||||
# jesli tak to zwiększam prawdopodobieństwo tego slowa
|
||||
new_prompt = f'{prefix} {token} '
|
||||
new_inputs = tokenizer.encode(new_prompt, return_tensors="pt", truncation=True).to(device)
|
||||
new_output = model(new_inputs)
|
||||
|
Loading…
Reference in New Issue
Block a user