" The adoption of these amendments by the Committee on the Environment meant that we could place more emphasis on patients' rights to information, rather than make it an option for the pharmaceutical industries to provide that information.\tPrzyjęcie tych poprawek przez Komisję Ochrony Środowiska Naturalnego oznaczało, że mogliśmy położyć większy nacisk na prawo pacjentów do informacji, zamiast uczynić zeń możliwość, z której branża farmaceutyczna może skorzystać w celu dostarczenia informacji.\n",
" I hope that the High Representative - who is not here today - will raise this episode with China and also with Nepal, whose own nascent democracy is kept afloat partly by EU taxpayers' money in the form of financial aid.\tMam nadzieję, że nieobecna dzisiaj wysoka przedstawiciel poruszy tę kwestię w rozmowach z Chinami, ale również z Nepalem, którego młoda demokracja funkcjonuje częściowo dzięki finansowej pomocy pochodzącej z pieniędzy podatników w UE.\n",
" Immunity and privileges of Renato Brunetta (vote)\tWniosek o obronę immunitetu parlamentarnego Renata Brunetty (głosowanie)\n",
" The 'new Member States' - actually, the name continues to be sort of conditional, making it easier to distinguish between the 'old' Member States and those that acceded to the EU after two enlargement rounds, owing to their particular historical background and perhaps the fact that they are poorer than the old ones.\"Nowe państwa członkowskie” - ta nazwa nadal ma w pewnym sensie charakter warunkowy i ułatwia rozróżnienie pomiędzy \"starszymi” państwami członkowskimi oraz tymi, które przystąpiły do UE po dwóch rundach rozszerzenia, które wyróżnia ich szczególna historia, a zapewne także fakt, że są uboższe, niż starsze państwa członkowskie.\n",
" The number of armed attacks also rose by 200% overall.\tTakże liczba ataków zbrojnych wzrosła łącznie o 200 %.\n",
"\n",
"Zauważmy, że możemy taki (bi)tekst modelować po prostu traktując jako\n",
"jeden ciągły tekst. Innymi słowy, nie modelujemy tekstu angielskiego ani polskiego,\n",
"tylko angielsko-polską mieszankę, to znaczy uczymy model, który najpierw modeluje prawdopodobieństwo\n",
"po stronie źródłowej (powiedzmy — angielskiej):\n",
"\n",
" The number of armed attacks also ?\n",
"\n",
"W momencie napotkania specjalnego tokenu końca zdania źródłowego (powiedzmy `<eoss>`) model\n",
"powinien nauczyć się, że musi przełączyć się na modelowanie tekstu w języku docelowym (powiedzmy — polskim):\n",
"\n",
" The number of armed attacks also rose by 200% overall.<eoss>Także liczba ataków ?\n",
"\n",
"W czasie uczenia wykorzystujemy korpus równoległy traktując go po prostu jako zwykły ciągły tekst\n",
"(dodajemy tylko specjalne tokeny końca zdania źródłowego i końca zdania docelowego).\n",
"\n",
"W fazie inferencji (w tłumaczeniu maszynowym tradycyjnie nazywaną\n",
"**dekodowaniem**) zamieniamy nasz model języka w generator i podajemy\n",
"tłumaczone zdanie jako prefiks, doklejając tylko token `<eoss>`.\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### Neuronowe modele języka jako translatory\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Jako że n-gramowego modelu języka ani modelu opartego na worku słów\n",
"nie da się użyć w omawiany sposób w tłumaczeniu maszynowym\n",
"(dlaczego?), jako pierwszych użyto w neuronowym tłumaczeniu maszynowym\n",
"sieci LSTM, przy zastosowaniu omawianego wyżej sposobu.\n",
"\n",
"System tłumaczenia oparte na sieciach LSTM działały zaskakująco\n",
"dobrze, zważywszy na to, że cała informacja o zdaniu źródłowym musi\n",
"zostać skompresowana do wektora o stałym rozmiarze. (Dlaczego? W\n",
"momencie osiągnięcia tokenu `<eoss>` cały stan sieci to kombinacja\n",
"właściwego stanu $\\vec{s_i}$ i komórki pamięci $\\vec{c_i}$.)\n",
"\n",
"Neuronowe tłumaczenie oparte na sieciach LSTM działa względnie dobrze\n",
"dla krótkich zdań, dla dłuższych rezultaty są gorsze — po prostu sieć\n",
"nie jest w stanie skompresować w wektorze o stałej długości znaczenia\n",
"całego zdania. Na początku rozwoju neuronowego tłumaczenia maszynowego\n",
"opracowano kilka metod radzenia sobie z tym problemem (np. zaskakująco\n",
"dobrze działa odwrócenie zdania źródłowego — siec LSTM łatwiej zacząć\n",
"generować zdanie docelowe, jeśli niedawno „widziała” początek zdania\n",
"źródłowego, przynajmniej dla pary języków o podobnym szyku).\n",
"\n",
"Najlepsze efekty dodało dodanie atencji do modelu LSTM\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### Atencja w sieciach rekurencyjnych\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Funkcję rekurencyjną można rozbudować o trzeci argument, w którym\n",
"podany będzie wynik działania atencji $A'$ względem ostatniego wyrazu, tj.:\n",
