122
This commit is contained in:
parent
edec0b1cf5
commit
1c5a70349d
@ -44,6 +44,9 @@ for folder_name in ['dev-0', 'test-A']:
|
|||||||
if token in ['ia', 'ix', 'io', 'ik', 'ing']:
|
if token in ['ia', 'ix', 'io', 'ik', 'ing']:
|
||||||
continue
|
continue
|
||||||
|
|
||||||
|
# Biore pierwsze slowo z prawego kontekstu i sprawdzam czy jest jednym z tokenów przewidzianych
|
||||||
|
# przez prompt złożony z lewego kontekstu i kandydata na słowo w dziurze
|
||||||
|
# jesli tak to zwiększam prawdopodobieństwo tego slowa
|
||||||
new_prompt = f'{prefix} {token} '
|
new_prompt = f'{prefix} {token} '
|
||||||
new_inputs = tokenizer.encode(new_prompt, return_tensors="pt", truncation=True).to(device)
|
new_inputs = tokenizer.encode(new_prompt, return_tensors="pt", truncation=True).to(device)
|
||||||
new_output = model(new_inputs)
|
new_output = model(new_inputs)
|
||||||
|
Loading…
Reference in New Issue
Block a user