Na podstawie prawdopodobieństw top 4 słów wygenerowanych z lewego kontekstu. Kolejno tworzę prompt składający się z przewidywanego słowa + następnego słowa.  

X - prawdopodobieństwo słowa wygenerowanego na podstawie lewego kontekstu

Y - słowo występujące po słowie X

Z - słowo występujące po słowie Y

finalne prawdopodobieństwo słowa liczę na podstawie wzoru poniżej:

(prawdopodobieństwo X na podstawie lewego kontekstu * prawdopodobieństwo słowa Z na podstawie X i Y) * 0.5