up wykłady
This commit is contained in:
parent
3b5eb2f0f3
commit
7b66c8c9df
@ -9,16 +9,19 @@ Używać będziemy generatorów.
|
||||
|
||||
*Pytanie* Dlaczego generatory zamiast list?
|
||||
|
||||
#+BEGIN_SRC ipython :session mysession :exports both :results raw drawer
|
||||
#+BEGIN_SRC python :session mysession :exports both :results raw drawer
|
||||
import requests
|
||||
|
||||
url = 'https://wolnelektury.pl/media/book/txt/pan-tadeusz.txt'
|
||||
pan_tadeusz = requests.get(url).content.decode('utf-8')
|
||||
|
||||
pan_tadeusz[100:150]
|
||||
pan_tadeusz[1000:1100]
|
||||
#+END_SRC
|
||||
|
||||
#+RESULTS:
|
||||
:results:
|
||||
:end:
|
||||
|
||||
:results:
|
||||
Księga pierwsza
|
||||
|
||||
|
||||
343
wyk/08_Podobienstwo_slow.ipynb
Normal file
343
wyk/08_Podobienstwo_slow.ipynb
Normal file
@ -0,0 +1,343 @@
|
||||
{
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"\n",
|
||||
"<div class=\"alert alert-block alert-info\">\n",
|
||||
"<h1> Modelowanie języka</h1>\n",
|
||||
"<h2> 08. <i>Podobieństwo słów</i> [wykład]</h2> \n",
|
||||
"<h3> Filip Graliński (2022)</h3>\n",
|
||||
"</div>\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"## Podobieństwo słów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Słabości $n$-gramowych modeli języka\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Podstawowa słabość $n$-gramowych modeli języka polega na tym, że każde\n",
|
||||
"słowo jest traktowane w izolacji. W, powiedzmy, bigramowym modelu\n",
|
||||
"języka każda wartość $P(w_2|w_1)$ jest estymowana osobno, nawet dla —\n",
|
||||
"w jakimś sensie podobnych słów. Na przykład:\n",
|
||||
"\n",
|
||||
"- $P(\\mathit{zaszczekał}|\\mathit{pies})$, $P(\\mathit{zaszczekał}|\\mathit{jamnik})$, $P(\\mathit{zaszczekał}|\\mathit{wilczur})$ są estymowane osobno,\n",
|
||||
"- $P(\\mathit{zaszczekał}|\\mathit{pies})$, $P(\\mathit{zamerdał}|\\mathit{pies})$, $P(\\mathit{ugryzł}|\\mathit{pies})$ są estymowane osobno,\n",
|
||||
"- dla każdej pary $u$, $v$, gdzie $u$ jest przyimkiem (np. *dla*), a $v$ — osobową formą czasownika (np. *napisał*) model musi się uczyć, że $P(v|u)$ powinno mieć bardzo niską wartość.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Podobieństwo słów jako sposób na słabości $n$-gramowych modeli języka?\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Intuicyjnie wydaje się, że potrzebujemy jakiegoś sposobu określania podobieństwa słów, tak aby\n",
|
||||
"w naturalny sposób, jeśli słowa $u$ i $u'$ oraz $v$ i $v'$ są bardzo podobne, wówczas\n",
|
||||
"$P(u|v) \\approx P(u'|v')$.\n",
|
||||
"\n",
|
||||
"Można wskazać trzy sposoby określania podobieństwa słów: odległość\n",
|
||||
"edycyjna Lewensztajna, hierarchie słów i odległość w przestrzeni wielowymiarowej.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Odległość Lewensztejna\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Słowo *dom* ma coś wspólnego z *domem*, *domkiem*, *domostwem*,\n",
|
||||
" *domownikami*, *domowym* i *udomowieniem* (?? — tu już można mieć\n",
|
||||
" wątpliwości). Więc może oprzeć podobieństwa na powierzchownym\n",
|
||||
" podobieństwie?\n",
|
||||
"\n",
|
||||
"Możemy zastosować tutaj **odległość Lewensztejna**, czyli minimalną liczbę operacji edycyjnych, które\n",
|
||||
"są potrzebne, aby przekształcić jedno słowo w drugie. Zazwyczaj jako elementarne operacje edycyjne\n",
|
||||
"definiuje się:\n",
|
||||
"\n",
|
||||
"- usunięcie znaku,\n",
|
||||
"- dodanie znaku,\n",
|
||||
"- zamianu znaku.\n",
|
||||
"\n",
|
||||
"Na przykład odległość edycyjna między słowami *domkiem* i *domostwem*\n",
|
||||
"wynosi 4: zamiana *k* na *o*, *i* na *s*, dodanie *t*, dodanie *w*.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"4"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"import Levenshtein\n",
|
||||
"Levenshtein.distance('domkiem', 'domostwem')"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Niestety, to nie jest tak, że słowa są podobne wtedy i tylko wtedy, gdy *wyglądają* podobnie:\n",
|
||||
"\n",
|
||||
"- *tapet* nie ma nic wspólnego z *tapetą*,\n",
|
||||
"- słowo *sowa* nie wygląda jak *ptak*, *puszczyk*, *jastrząb*, *kura* itd.\n",
|
||||
"\n",
|
||||
"Powierzchowne podobieństwo słów łączy się zazwyczaj z relacjami\n",
|
||||
"**fleksyjnymi** i **słowotwórczymi** (choć też nie zawsze, por. np. pary\n",
|
||||
"słów będące przykładem **supletywizmu**: *człowiek*-*ludzie*,\n",
|
||||
"*brać*-*zwiąć*, *rok*-*lata*). A co z innymi własnościami wyrazów czy\n",
|
||||
"raczej bytów przez nie denotowanych (słowa oznaczające zwierzęta\n",
|
||||
"należące do gromady ptaków chcemy traktować jako, w jakiejś mierze przynajmnie, podobne)?\n",
|
||||
"\n",
|
||||
"Dodajmy jeszcze, że w miejsce odległości Lewensztejna warto czasami\n",
|
||||
"używać podobieństwa Jaro-Winklera, które mniejszą wagę przywiązuje do zmian w końcówkach wyrazów:\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"0.6626984126984127"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"import Levenshtein\n",
|
||||
"Levenshtein.jaro_winkler('domu', 'domowy')\n",
|
||||
"Levenshtein.jaro_winkler('domowy', 'maskowy')"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Klasy i hierarchie słów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Innym sposobem określania podobieństwa między słowami jest zdefiniowanie klas słów.\n",
|
||||
"Słowa należące do jednej klasy będą podobne, do różnych klas — niepodobne.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"##### Klasy gramatyczne\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Klasy mogą odpowiadać standardowym kategoriom gramatycznym znanym z\n",
|
||||
"językoznawstwa, na przykład **częściom mowy** (rzeczownik, przymiotnik,\n",
|
||||
"czasownik itd.). Wiele jest niejednoznacznych jeśli chodzi o kategorię części mowy:\n",
|
||||
"\n",
|
||||
"- *powieść* — rzeczownik czy czasownik?\n",
|
||||
"- *komputerowi* — rzeczownik czy przymiotnik?\n",
|
||||
"- *lecz* — spójnik, czasownik (!) czy rzeczownik (!!)?\n",
|
||||
"\n",
|
||||
"Oznacza to, że musimy dysponować narzędziem, które pozwala\n",
|
||||
"automatycznie, na podstawie kontekstu, tagować tekst częściami mowy\n",
|
||||
"(ang. *POS tagger*). Takie narzędzia pozwalają na osiągnięcie wysokiej\n",
|
||||
"dokładności, niestety zawsze wprowadzają jakieś błędy, które mogą\n",
|
||||
"propagować się dalej.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"##### Klasy indukowane automatycznie\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Zamiast z góry zakładać klasy wyrazów można zastosować metody uczenia\n",
|
||||
"nienadzorowanego (podobne do analizy skupień) w celu **wyindukowanie**\n",
|
||||
"automatycznie klas (tagów) z korpusu.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"##### Użycie klas słów w modelu języka\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Najprostszy sposób uwzględnienia klas słów w $n$-gramowym modelowaniu\n",
|
||||
"języka polega stworzeniu dwóch osobnych modeli:\n",
|
||||
"\n",
|
||||
"- tradycyjnego modelu języka $M_W$ operującego na słowach,\n",
|
||||
"- modelu języka $M_T$ wyuczonego na klasach słów (czy to częściach\n",
|
||||
" mowy, czy klasach wyindukowanych automatycznie).\n",
|
||||
"\n",
|
||||
"Zauważmy, że rząd modelu $M_T$ ($n_T$) może dużo większy niż rząd modelu $M_W$ ($n_W$) — klas będzie\n",
|
||||
"dużo mniej niż wyrazów, więc problem rzadkości danych jest dużo mniejszy i można rozpatrywać dłuższe\n",
|
||||
"$n$-gramy.\n",
|
||||
"\n",
|
||||
"Dwa modele możemy połączyć za pomocą prostej kombinacji liniowej sterowanej hiperparametrem $\\lambda$:\n",
|
||||
"\n",
|
||||
"$$P(w_i|w_{i-n_T}+1\\ldots w_{i-1}) = \\lambda P_{M_T}(w_i|w_{i-n_W}+1\\ldots w_{i-1}) + (1 - \\lambda) P_{M_W}(w_i|w_{i-n_T}+1\\ldots w_{i-1}).$$\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"##### Hierarchie słów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Zamiast płaskiej klasyfikacji słów można zbudować hierarchię słów czy\n",
|
||||
"pojęć. Taka hierarchia może dotyczyć właściwości gramatycznych\n",
|
||||
"(na przykład rzeczownik w liczbie pojedynczej w dopełniaczu będzie podklasą\n",
|
||||
"rzeczownika) lub własności denotowanych bytów.\n",
|
||||
"\n",
|
||||
"Niekiedy dość łatwo stworzyć hierarchie (taksonomię) pojęć. Na\n",
|
||||
"przykład jamnik jest rodzajem psa (słowo *jamnik* jest **hiponimem**\n",
|
||||
"słowa *pies*, zaś słowo *pies* hiperonimem słowa *jamnik*), pies —\n",
|
||||
"ssaka, ssak — zwierzęcia, zwierzę — organizmu żywego, organizm — bytu\n",
|
||||
"materialnego.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"###### Analityczny język Johna Wilkinsa\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Już od dawna filozofowie myśleli o stworzenie języka uniwersalnego, w\n",
|
||||
"którym hierarchia bytów jest ułożona w „naturalny” sposób.\n",
|
||||
"\n",
|
||||
"Przykładem jest angielski uczony John Wilkins (1614-1672). W dziele\n",
|
||||
"*An Essay towards a Real Character and a Philosophical Language*\n",
|
||||
"zaproponował on rozbudowaną hierarchię bytów.\n",
|
||||
"\n",
|
||||
"![img](./08_Podobienstwo_slow/wilkins.png \"Fragment dzieła Johna Wilkinsa\")\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"###### Słowosieci\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Współczesnym odpowiednik hierarchii Wilkinsa są **słowosieci** (ang. /wordnets).\n",
|
||||
"Przykłady:\n",
|
||||
"\n",
|
||||
"- dla języka polskiego: [Słowosieć](http://plwordnet.pwr.wroc.pl),\n",
|
||||
"- dla języka angielskiego: [Princeton Wordnet](https://wordnet.princeton.edu/) (i Słowosieć!)\n",
|
||||
"\n",
|
||||
"![img](./08_Podobienstwo_slow/slowosiec.png \"Fragment Słowosieci\")\n",
|
||||
"\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"metadata": {
|
||||
"kernelspec": {
|
||||
"display_name": "Python 3 (ipykernel)",
|
||||
"language": "python",
|
||||
"name": "python3"
|
||||
},
|
||||
"language_info": {
|
||||
"codemirror_mode": {
|
||||
"name": "ipython",
|
||||
"version": 3
|
||||
},
|
||||
"file_extension": ".py",
|
||||
"mimetype": "text/x-python",
|
||||
"name": "python",
|
||||
"nbconvert_exporter": "python",
|
||||
"pygments_lexer": "ipython3",
|
||||
"version": "3.10.9"
|
||||
},
|
||||
"org": null
|
||||
},
|
||||
"nbformat": 4,
|
||||
"nbformat_minor": 1
|
||||
}
|
||||
BIN
wyk/08_Podobienstwo_slow/slowosiec.png
Normal file
BIN
wyk/08_Podobienstwo_slow/slowosiec.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 77 KiB |
BIN
wyk/08_Podobienstwo_slow/wilkins.png
Normal file
BIN
wyk/08_Podobienstwo_slow/wilkins.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 20 KiB |
647
wyk/09_Zanurzenia_slow.ipynb
Normal file
647
wyk/09_Zanurzenia_slow.ipynb
Normal file
@ -0,0 +1,647 @@
|
||||
{
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"\n",
|
||||
"<div class=\"alert alert-block alert-info\">\n",
|
||||
"<h1> Modelowanie języka</h1>\n",
|
||||
"<h2> 09. <i>Zanurzenia słów (Word2vec)</i> [wykład]</h2> \n",
|
||||
"<h3> Filip Graliński (2022)</h3>\n",
|
||||
"</div>\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"## Zanurzenia słów (Word2vec)\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"W praktyce stosowalność słowosieci okazała się zaskakująco\n",
|
||||
"ograniczona. Większy przełom w przetwarzaniu języka naturalnego przyniosły\n",
|
||||
"wielowymiarowe reprezentacje słów, inaczej: zanurzenia słów.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### „Wymiary” słów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Moglibyśmy zanurzyć (ang. *embed*) w wielowymiarowej przestrzeni, tzn. zdefiniować odwzorowanie\n",
|
||||
"$E \\colon V \\rightarrow \\mathcal{R}^m$ dla pewnego $m$ i określić taki sposób estymowania\n",
|
||||
"prawdopodobieństw $P(u|v)$, by dla par $E(v)$ i $E(v')$ oraz $E(u)$ i $E(u')$ znajdujących się w pobliżu\n",
|
||||
"(według jakiejś metryki odległości, na przykład zwykłej odległości euklidesowej):\n",
|
||||
"\n",
|
||||
"$$P(u|v) \\approx P(u'|v').$$\n",
|
||||
"\n",
|
||||
"$E(u)$ nazywamy zanurzeniem (embeddingiem) słowa.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Wymiary określone z góry?\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Można by sobie wyobrazić, że $m$ wymiarów mogłoby być z góry\n",
|
||||
"określonych przez lingwistę. Wymiary te byłyby związane z typowymi\n",
|
||||
"„osiami” rozpatrywanymi w językoznawstwie, na przykład:\n",
|
||||
"\n",
|
||||
"- czy słowo jest wulgarne, pospolite, potoczne, neutralne czy książkowe?\n",
|
||||
"- czy słowo jest archaiczne, wychodzące z użycia czy jest neologizmem?\n",
|
||||
"- czy słowo dotyczy kobiet, czy mężczyzn (w sensie rodzaju gramatycznego i/lub\n",
|
||||
" socjolingwistycznym)?\n",
|
||||
"- czy słowo jest w liczbie pojedynczej czy mnogiej?\n",
|
||||
"- czy słowo jest rzeczownikiem czy czasownikiem?\n",
|
||||
"- czy słowo jest rdzennym słowem czy zapożyczeniem?\n",
|
||||
"- czy słowo jest nazwą czy słowem pospolitym?\n",
|
||||
"- czy słowo opisuje konkretną rzecz czy pojęcie abstrakcyjne?\n",
|
||||
"- …\n",
|
||||
"\n",
|
||||
"W praktyce okazało się jednak, że lepiej, żeby komputer uczył się sam\n",
|
||||
"możliwych wymiarów — z góry określamy tylko $m$ (liczbę wymiarów).\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Bigramowy model języka oparty na zanurzeniach\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Zbudujemy teraz najprostszy model język oparty na zanurzeniach. Będzie to właściwie najprostszy\n",
|
||||
"**neuronowy model języka**, jako że zbudowany model można traktować jako prostą sieć neuronową.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Słownik\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"W typowym neuronowym modelu języka rozmiar słownika musi być z góry\n",
|
||||
"ograniczony. Zazwyczaj jest to liczba rzędu kilkudziesięciu wyrazów —\n",
|
||||
"po prostu będziemy rozpatrywać $|V|$ najczęstszych wyrazów, pozostałe zamienimy\n",
|
||||
"na specjalny token `<unk>` reprezentujący nieznany (*unknown*) wyraz.\n",
|
||||
"\n",
|
||||
"Aby utworzyć taki słownik, użyjemy gotowej klasy `Vocab` z pakietu torchtext:\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 2,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"data": {
|
||||
"text/plain": [
|
||||
"10518"
|
||||
]
|
||||
},
|
||||
"execution_count": 2,
|
||||
"metadata": {},
|
||||
"output_type": "execute_result"
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"from itertools import islice\n",
|
||||
"import regex as re\n",
|
||||
"import sys\n",
|
||||
"from torchtext.vocab import build_vocab_from_iterator\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"def get_words_from_line(line):\n",
|
||||
" line = line.rstrip()\n",
|
||||
" yield '<s>'\n",
|
||||
" for m in re.finditer(r'[\\p{L}0-9\\*]+|\\p{P}+', line):\n",
|
||||
" yield m.group(0).lower()\n",
|
||||
" yield '</s>'\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"def get_word_lines_from_file(file_name):\n",
|
||||
" with open(file_name, 'r') as fh:\n",
|
||||
" for line in fh:\n",
|
||||
" yield get_words_from_line(line)\n",
|
||||
"\n",
|
||||
"vocab_size = 20000\n",
|
||||
"\n",
|
||||
"vocab = build_vocab_from_iterator(\n",
|
||||
" get_word_lines_from_file('/home/filipg/in.txt'),\n",
|
||||
" max_tokens = vocab_size,\n",
|
||||
" specials = ['<unk>'])\n",
|
||||
"\n",
|
||||
"vocab['jest']"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 3,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"data": {
|
||||
"text/plain": [
|
||||
"['<unk>', 'the', ',', 'that', 'dividual']"
|
||||
]
|
||||
},
|
||||
"execution_count": 3,
|
||||
"metadata": {},
|
||||
"output_type": "execute_result"
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"vocab.lookup_tokens([0, 1, 2, 10, 12345])"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Definicja sieci\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Naszą prostą sieć neuronową zaimplementujemy używając frameworku PyTorch.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 5,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stderr",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"/home/filipg/.local/lib/python3.10/site-packages/torch/nn/modules/container.py:217: UserWarning: Implicit dimension choice for softmax has been deprecated. Change the call to include dim=X as an argument.\n",
|
||||
" input = module(input)\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"data": {
|
||||
"text/plain": [
|
||||
"tensor(2.9242e-05, grad_fn=<SelectBackward0>)"
|
||||
]
|
||||
},
|
||||
"execution_count": 5,
|
||||
"metadata": {},
|
||||
"output_type": "execute_result"
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"from torch import nn\n",
|
||||
"import torch\n",
|
||||
"\n",
|
||||
"embed_size = 100\n",
|
||||
"\n",
|
||||
"class SimpleBigramNeuralLanguageModel(nn.Module):\n",
|
||||
" def __init__(self, vocabulary_size, embedding_size):\n",
|
||||
" super(SimpleBigramNeuralLanguageModel, self).__init__()\n",
|
||||
" self.model = nn.Sequential(\n",
|
||||
" nn.Embedding(vocabulary_size, embedding_size),\n",
|
||||
" nn.Linear(embedding_size, vocabulary_size),\n",
|
||||
" nn.Softmax()\n",
|
||||
" )\n",
|
||||
"\n",
|
||||
" def forward(self, x):\n",
|
||||
" return self.model(x)\n",
|
||||
"\n",
|
||||
"model = SimpleBigramNeuralLanguageModel(vocab_size, embed_size)\n",
|
||||
"\n",
|
||||
"vocab.set_default_index(vocab['<unk>'])\n",
|
||||
"ixs = torch.tensor(vocab.forward(['dog']))\n",
|
||||
"out = model(ixs)\n",
|
||||
"out[0][vocab['jest']]"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Teraz wyuczmy model. Wpierw tylko potasujmy nasz plik:\n",
|
||||
"\n",
|
||||
" shuf < opensubtitlesA.pl.txt > opensubtitlesA.pl.shuf.txt\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 6,
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"source": [
|
||||
"from torch.utils.data import IterableDataset\n",
|
||||
"import itertools\n",
|
||||
"\n",
|
||||
"def look_ahead_iterator(gen):\n",
|
||||
" prev = None\n",
|
||||
" for item in gen:\n",
|
||||
" if prev is not None:\n",
|
||||
" yield (prev, item)\n",
|
||||
" prev = item\n",
|
||||
"\n",
|
||||
"class Bigrams(IterableDataset):\n",
|
||||
" def __init__(self, text_file, vocabulary_size):\n",
|
||||
" self.vocab = build_vocab_from_iterator(\n",
|
||||
" get_word_lines_from_file(text_file),\n",
|
||||
" max_tokens = vocabulary_size,\n",
|
||||
" specials = ['<unk>'])\n",
|
||||
" self.vocab.set_default_index(self.vocab['<unk>'])\n",
|
||||
" self.vocabulary_size = vocabulary_size\n",
|
||||
" self.text_file = text_file\n",
|
||||
"\n",
|
||||
" def __iter__(self):\n",
|
||||
" return look_ahead_iterator(\n",
|
||||
" (self.vocab[t] for t in itertools.chain.from_iterable(get_word_lines_from_file(self.text_file))))\n",
|
||||
"\n",
|
||||
"train_dataset = Bigrams('/home/filipg/in.txt', vocab_size)"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 7,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"data": {
|
||||
"text/plain": [
|
||||
"(19, 236)"
|
||||
]
|
||||
},
|
||||
"execution_count": 7,
|
||||
"metadata": {},
|
||||
"output_type": "execute_result"
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"from torch.utils.data import DataLoader\n",
|
||||
"\n",
|
||||
"next(iter(train_dataset))"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"[tensor([ 2, 5, 51, 3481, 231]), tensor([ 5, 51, 3481, 231, 4])]"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"from torch.utils.data import DataLoader\n",
|
||||
"\n",
|
||||
"next(iter(DataLoader(train_dataset, batch_size=5)))"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"0 tensor(10.1095, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"100 tensor(8.4894, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"200 tensor(7.6437, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"300 tensor(7.0887, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"400 tensor(6.7963, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"500 tensor(6.3892, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"600 tensor(6.1413, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"700 tensor(6.1875, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"800 tensor(6.1369, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"900 tensor(5.9865, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1000 tensor(5.9185, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1100 tensor(5.9149, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1200 tensor(5.8374, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1300 tensor(5.7507, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1400 tensor(5.7998, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1500 tensor(5.7555, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1600 tensor(5.7237, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1700 tensor(5.6886, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1800 tensor(5.7297, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"1900 tensor(5.7816, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2000 tensor(5.7083, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2100 tensor(5.7132, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2200 tensor(5.8103, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2300 tensor(5.7318, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2400 tensor(5.6933, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2500 tensor(5.5518, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2600 tensor(5.5967, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2700 tensor(5.7234, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2800 tensor(5.5497, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"2900 tensor(5.6449, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"3000 tensor(5.6020, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"3100 tensor(5.6002, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"3200 tensor(5.5400, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"3300 tensor(5.5242, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"3400 tensor(5.6654, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"3500 tensor(5.7363, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"3600 tensor(5.4690, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"3700 tensor(5.6095, device='cuda:0', grad_fn=<NllLossBackward0>)\n",
|
||||
"3800 tensor(5.6472, device='cuda:0', grad_fn=<NllLossBackward0>)\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"device = 'cuda'\n",
|
||||
"model = SimpleBigramNeuralLanguageModel(vocab_size, embed_size).to(device)\n",
|
||||
"data = DataLoader(train_dataset, batch_size=5000)\n",
|
||||
"optimizer = torch.optim.Adam(model.parameters())\n",
|
||||
"criterion = torch.nn.NLLLoss()\n",
|
||||
"\n",
|
||||
"model.train()\n",
|
||||
"step = 0\n",
|
||||
"for x, y in data:\n",
|
||||
" x = x.to(device)\n",
|
||||
" y = y.to(device)\n",
|
||||
" optimizer.zero_grad()\n",
|
||||
" ypredicted = model(x)\n",
|
||||
" loss = criterion(torch.log(ypredicted), y)\n",
|
||||
" if step % 100 == 0:\n",
|
||||
" print(step, loss)\n",
|
||||
" step += 1\n",
|
||||
" loss.backward()\n",
|
||||
" optimizer.step()\n",
|
||||
"\n",
|
||||
"torch.save(model.state_dict(), 'model1.bin')"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Policzmy najbardziej prawdopodobne kontynuacje dla zadanego słowa:\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"[('ciebie', 73, 0.1580502986907959), ('mnie', 26, 0.15395283699035645), ('<unk>', 0, 0.12862136960029602), ('nas', 83, 0.0410110242664814), ('niego', 172, 0.03281523287296295), ('niej', 245, 0.02104802615940571), ('siebie', 181, 0.020788608118891716), ('którego', 365, 0.019379809498786926), ('was', 162, 0.013852755539119244), ('wszystkich', 235, 0.01381855271756649)]"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"device = 'cuda'\n",
|
||||
"model = SimpleBigramNeuralLanguageModel(vocab_size, embed_size).to(device)\n",
|
||||
"model.load_state_dict(torch.load('model1.bin'))\n",
|
||||
"model.eval()\n",
|
||||
"\n",
|
||||
"ixs = torch.tensor(vocab.forward(['dla'])).to(device)\n",
|
||||
"\n",
|
||||
"out = model(ixs)\n",
|
||||
"top = torch.topk(out[0], 10)\n",
|
||||
"top_indices = top.indices.tolist()\n",
|
||||
"top_probs = top.values.tolist()\n",
|
||||
"top_words = vocab.lookup_tokens(top_indices)\n",
|
||||
"list(zip(top_words, top_indices, top_probs))"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Teraz zbadajmy najbardziej podobne zanurzenia dla zadanego słowa:\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"[('.', 3, 0.404473215341568), (',', 4, 0.14222915470600128), ('z', 14, 0.10945753753185272), ('?', 6, 0.09583134204149246), ('w', 10, 0.050338443368673325), ('na', 12, 0.020703863352537155), ('i', 11, 0.016762692481279373), ('<unk>', 0, 0.014571071602404118), ('...', 15, 0.01453721895813942), ('</s>', 1, 0.011769450269639492)]"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"vocab = train_dataset.vocab\n",
|
||||
"ixs = torch.tensor(vocab.forward(['kłopot'])).to(device)\n",
|
||||
"\n",
|
||||
"out = model(ixs)\n",
|
||||
"top = torch.topk(out[0], 10)\n",
|
||||
"top_indices = top.indices.tolist()\n",
|
||||
"top_probs = top.values.tolist()\n",
|
||||
"top_words = vocab.lookup_tokens(top_indices)\n",
|
||||
"list(zip(top_words, top_indices, top_probs))"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"[('poszedł', 1087, 1.0), ('idziesz', 1050, 0.4907470941543579), ('przyjeżdża', 4920, 0.45242372155189514), ('pojechałam', 12784, 0.4342481195926666), ('wrócił', 1023, 0.431664377450943), ('dobrać', 10351, 0.4312002956867218), ('stałeś', 5738, 0.4258835017681122), ('poszła', 1563, 0.41979148983955383), ('trafiłam', 18857, 0.4109022617340088), ('jedzie', 1674, 0.4091658890247345)]"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"cos = nn.CosineSimilarity(dim=1, eps=1e-6)\n",
|
||||
"\n",
|
||||
"embeddings = model.model[0].weight\n",
|
||||
"\n",
|
||||
"vec = embeddings[vocab['poszedł']]\n",
|
||||
"\n",
|
||||
"similarities = cos(vec, embeddings)\n",
|
||||
"\n",
|
||||
"top = torch.topk(similarities, 10)\n",
|
||||
"\n",
|
||||
"top_indices = top.indices.tolist()\n",
|
||||
"top_probs = top.values.tolist()\n",
|
||||
"top_words = vocab.lookup_tokens(top_indices)\n",
|
||||
"list(zip(top_words, top_indices, top_probs))"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Zapis przy użyciu wzoru matematycznego\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Powyżej zaprogramowaną sieć neuronową można opisać następującym wzorem:\n",
|
||||
"\n",
|
||||
"$$\\vec{y} = \\operatorname{softmax}(CE(w_{i-1}),$$\n",
|
||||
"\n",
|
||||
"gdzie:\n",
|
||||
"\n",
|
||||
"- $w_{i-1}$ to pierwszy wyraz w bigramie (poprzedzający wyraz),\n",
|
||||
"- $E(w)$ to zanurzenie (embedding) wyrazy $w$ — wektor o rozmiarze $m$,\n",
|
||||
"- $C$ to macierz o rozmiarze $|V| \\times m$, która rzutuje wektor zanurzenia w wektor o rozmiarze słownika,\n",
|
||||
"- $\\vec{y}$ to wyjściowy wektor prawdopodobieństw o rozmiarze $|V|$.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"##### Hiperparametry\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Zauważmy, że nasz model ma dwa hiperparametry:\n",
|
||||
"\n",
|
||||
"- $m$ — rozmiar zanurzenia,\n",
|
||||
"- $|V|$ — rozmiar słownika, jeśli zakładamy, że możemy sterować\n",
|
||||
" rozmiarem słownika (np. przez obcinanie słownika do zadanej liczby\n",
|
||||
" najczęstszych wyrazów i zamiany pozostałych na specjalny token, powiedzmy, `<UNK>`.\n",
|
||||
"\n",
|
||||
"Oczywiście możemy próbować manipulować wartościami $m$ i $|V|$ w celu\n",
|
||||
"polepszenia wyników naszego modelu.\n",
|
||||
"\n",
|
||||
"**Pytanie**: dlaczego nie ma sensu wartość $m \\approx |V|$ ? dlaczego nie ma sensu wartość $m = 1$?\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Diagram sieci\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Jako że mnożenie przez macierz ($C$) oznacza po prostu zastosowanie\n",
|
||||
"warstwy liniowej, naszą sieć możemy interpretować jako jednowarstwową\n",
|
||||
"sieć neuronową, co można zilustrować za pomocą następującego diagramu:\n",
|
||||
"\n",
|
||||
"![img](./09_Zanurzenia_slow/bigram1.drawio.png \"Diagram prostego bigramowego neuronowego modelu języka\")\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Zanurzenie jako mnożenie przez macierz\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Uzyskanie zanurzenia ($E(w)$) zazwyczaj realizowane jest na zasadzie\n",
|
||||
"odpytania (<sub>look</sub>-up\\_). Co ciekawe, zanurzenie można intepretować jako\n",
|
||||
"mnożenie przez macierz zanurzeń (embeddingów) $E$ o rozmiarze $m \\times |V|$ — jeśli słowo będziemy na wejściu kodowali przy użyciu\n",
|
||||
"wektora z gorącą jedynką (<sub>one</sub>-hot encoding\\_), tzn. słowo $w$ zostanie\n",
|
||||
"podane na wejściu jako wektor $\\vec{1_V}(w) = [0,\\ldots,0,1,0\\ldots,0]$ o rozmiarze $|V|$\n",
|
||||
"złożony z samych zer z wyjątkiem jedynki na pozycji odpowiadającej indeksowi wyrazu $w$ w słowniku $V$.\n",
|
||||
"\n",
|
||||
"Wówczas wzór przyjmie postać:\n",
|
||||
"\n",
|
||||
"$$\\vec{y} = \\operatorname{softmax}(CE\\vec{1_V}(w_{i-1})),$$\n",
|
||||
"\n",
|
||||
"gdzie $E$ będzie tym razem macierzą $m \\times |V|$.\n",
|
||||
"\n",
|
||||
"**Pytanie**: czy $\\vec{1_V}(w)$ intepretujemy jako wektor wierszowy czy kolumnowy?\n",
|
||||
"\n",
|
||||
"W postaci diagramu można tę interpretację zilustrować w następujący sposób:\n",
|
||||
"\n",
|
||||
"![img](./09_Zanurzenia_slow/bigram2.drawio.png \"Diagram prostego bigramowego neuronowego modelu języka z wejściem w postaci one-hot\")\n",
|
||||
"\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"metadata": {
|
||||
"kernelspec": {
|
||||
"display_name": "Python 3 (ipykernel)",
|
||||
"language": "python",
|
||||
"name": "python3"
|
||||
},
|
||||
"language_info": {
|
||||
"codemirror_mode": {
|
||||
"name": "ipython",
|
||||
"version": 3
|
||||
},
|
||||
"file_extension": ".py",
|
||||
"mimetype": "text/x-python",
|
||||
"name": "python",
|
||||
"nbconvert_exporter": "python",
|
||||
"pygments_lexer": "ipython3",
|
||||
"version": "3.10.10"
|
||||
},
|
||||
"org": null
|
||||
},
|
||||
"nbformat": 4,
|
||||
"nbformat_minor": 1
|
||||
}
|
||||
1
wyk/09_Zanurzenia_slow/bigram1.drawio
Normal file
1
wyk/09_Zanurzenia_slow/bigram1.drawio
Normal file
@ -0,0 +1 @@
|
||||
<mxfile host="app.diagrams.net" modified="2022-04-22T19:03:42.313Z" agent="5.0 (X11)" etag="ZAEuAed9XOFcdKZEx41Z" version="17.1.3" type="device"><diagram id="UNyY5TJjaPirS19H5Hif" name="Page-1">5VhNc9owEP01PiaDZGPMsZgk7UwymTYzbXPqKEixVWSvK0Rs8usr2TJGmDB0moYkvRjt04e1+96yLJ4fZ9WFJEV6BZQJDw9o5flTD+NxgPTTAKsGQOE4aJBEcmqxDrjhj8yCA4suOWULZ6ECEIoXLjiDPGcz5WBESijdZfcg3LcWJGE94GZGRB/9xqlKGzTCow7/yHiStm/WDjYzGWkX2yMWKaFQNlDtnH/m+bEEUM0oq2ImTPDauDQROH9idn0xyXJ1yIbP11fl9cV8fnH5Kf/y6zxRKLo8sW4s1Kp1mFHtvzVBqhQSyIk469CJhGVOmTl1oK1uzSVAoUGkwZ9MqZUlkywVaChVmbCzrOLqu9l+OrTWrT3MjKfVprGyRnNPc7kn3W/jDEs5Y3t8xlZGRCZM7VkXrknS6maQMSVXep9kgij+4N6DWJkl63UdE3pgyfgDYuwlH4hY2jf1mOp4MEEtU67YTUFq10udjG7M7XFMKlbtj2DfY7vBD21O2lzGgbXLLjGQb7F0Iyla7NmDNHwr6tURlquNTca8bc8zRrettv6B6v0DVY+PqXp/h+pDoa87ofxBDxNVB0WXkKD84Y0m/AR5o2kDtCv1i53FWwrR+lcuoQslYc5iECA1kkNuZHLPhdiCiOBJrs2Zjj3T+MRkE9el4oOdyDiltcZ25aKru+dIx/HQSUcf99MxfMlsHL+VbHzGrAoPzKromFkVvr5agpErXjTsizfAL6leFLwV+b6CYhIdKHvkH1P30evX/fFlP3iy5PK2hgqA+cmy2Ciw/P2X1zUN7a/d6MjlFaEeUyWRC1USDQqeczCjd0uHv0XHYEfzMXhRPvot2gLuVUaqd8wCcllAx2fhoJZBwuPci4dehAk1DktSUijgjrMaDWwWUWGec2LASUxZAp75FmjaDW7Gw5jn+vPr/pZjR8vSQHdyG/lfuhU8Gp26pW9deja0g9ue5i+1o83uj7V6buPvSf/sNw==</diagram></mxfile>
|
||||
BIN
wyk/09_Zanurzenia_slow/bigram1.drawio.png
Normal file
BIN
wyk/09_Zanurzenia_slow/bigram1.drawio.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 19 KiB |
1
wyk/09_Zanurzenia_slow/bigram2.drawio
Normal file
1
wyk/09_Zanurzenia_slow/bigram2.drawio
Normal file
@ -0,0 +1 @@
|
||||
<mxfile host="app.diagrams.net" modified="2022-04-22T19:41:13.408Z" agent="5.0 (X11)" etag="OnQQSV2F-gmrA3_YuImg" version="17.1.3" type="device"><diagram id="UNyY5TJjaPirS19H5Hif" name="Page-1">5Vlbc+IgFP41mdl90Akk3h7XaN2d6WV3O7NtnzpUaELF4CIa7a9fSIgRE7v2Zm37oHK+AIHzfYcD6HjBeDEQaBKdcEyYA128cLyeA2HHB+pbA8sMAM2OnyGhoNhgBXBO74kBXYPOKCZTq6LknEk6scEhj2MylBaGhOCJXe2WM/utExSSEnA+RKyMXlAsowxtw1aBfyc0jPI3qwlmT8Yor2y6mEYI8ySD0sl5fccLBOcyK40XAWHaeblfMg8cbXm6GpggsdylAYbXtX7v+uLmQpyC+PTyTgS0Bs3Y5DKfMMFq/sbkQkY85DFi/QLtCj6LMdG9usoq6hxzPlEgUOAdkXJpyEQzyRUUyTEzT8mCykvdvN4w1pXpTJd7i3VjaYxsnHpwW6ef+5nPxNDU+nV2kpwNRqPB8Y/499+jUIL2cTZn46MB4WMixVK1E4QhSed2/8jIJ1zVWzX9yal6M3SN1H3YyJoYpXuua3chkQiJNK0KnlRhbRgFlLJXzeT2WUF3jtiMrOQQbH5ABbbPT72eFTZEV0hK6yOJqCTnE5SymKh1xZbPVubnREiyWIPKJJuneaysyGoZOyli3M+XoGgtvj13uy4sRh9LX+O9BKJyuliuNdLmVd6fNopmqWUH8FPi1TPLfho//4+AjTXiGYH+LEK9Ujw6sMnU+LuYzlUxlKlTVDb0k2un1aU14LR6GZDXVC+2Km8oRIld2oROpeAjEnDGhUJiHmuZ3FLGNiDEaBgrc6jIIArv6tChKut9Mw/GFONUY1WxaOvuBcLR69hrp98oh2Nzn9HYeS/R+PSoau4YVe2DiqpmRVS9dS4BtnhBhXh9uE/1Av+9yHf/yaS9o+yBd1C6bx++7t9e9u7WlEvzHKrSXy1SJ64iwdKPn179jd3uamf7VukVgBJTCRJTmSAFMhpTnpa+BF8/MCmeTQp0y6QAb6+slI+QU34rx2jxgVkANgugigV3ryzsdHAQ/H7kBA2nDRHWPhAowXzCbyhJUd/EEmb6e4Q02A0wCbmj14Ls0EF1uRHQWP3+efjgUXFwyaAbsYl8ljMLbLXqdgKsVSyrMD/ZvLR2Km/zPsklwmNvASt9teutQnNP276HBvnC276SyCs8uP2s7tmqX+0c1lfM9iutmJVO8nfbTPQPezPxLFI2d3gefL3NhDKLPy2y2+virx+v/w8=</diagram></mxfile>
|
||||
BIN
wyk/09_Zanurzenia_slow/bigram2.drawio.png
Normal file
BIN
wyk/09_Zanurzenia_slow/bigram2.drawio.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 20 KiB |
369
wyk/10_Neuronowy_ngramowy_model.ipynb
Normal file
369
wyk/10_Neuronowy_ngramowy_model.ipynb
Normal file
File diff suppressed because one or more lines are too long
1
wyk/10_Neuronowy_ngramowy_model/ngram-tgh.drawio
Normal file
1
wyk/10_Neuronowy_ngramowy_model/ngram-tgh.drawio
Normal file
@ -0,0 +1 @@
|
||||
<mxfile host="app.diagrams.net" modified="2022-04-23T07:25:35.437Z" agent="5.0 (X11)" etag="wQ0k74k1QtIDXs4Ob3ey" version="17.4.6" type="device"><diagram id="UNyY5TJjaPirS19H5Hif" name="Page-1">7Vpbc5s4FP41PCZjxMXwWBzb6W4y3TQz3c2+dFSjgGoZUVkOdn99pSDMTb6kviVxZzKxdDi68J2PcxEYVm8yHzKYxrc0RMQAnXBuWFcGAKYNOuJHShZK4ttWLokYDpWsFNzjn0gJ1cBohkM0rSlySgnHaV04okmCRrwmg4zRrK72SEl91RRGqCW4H0HSlv6LQx7nUg90S/k1wlFcrGy6fn5lAgtlNcU0hiHNctHzzVl9w+oxSnnemsx7iEj0ClxyBAYrri43xlDCtxlw9+k2+zQcj4c3H5PPPwYRN72bC5DP8gTJTN2w2ixfFAgwOktCJCcxDSvIYszRfQpH8momjC5kMZ8Qdbm9KbXPJ8Q4mldEapNDRCeIs4VQUVeBpUyvKANs1c9K/M1CJ65gX8igMnm0nLpERTQUMC8AydKA5BKxahDiJ9GM+POd2+Iv+2p0Ayxg7V7lgkJTLFxTboAssOF1JKec0THqUUKZkCQ0EZrBIyakIYIER4nojgTiSMgDiTQWBP6gLkxwGMpltKYrjdvZj/WWT7yynmW1rece03h+C2sUiidcdSnjMY1oAkm/lDZQKXVuKE2Veb4jzhfKXcEZp3XjoTnm/8nhl47qPajJZPtqXu0sNoE/pTM2Qmtu0VV+EbII8TV6Xq4n73+tKRkikOOnugfcu2HcV+h6OnXyXjht8treMdlr2m+FvgJ1tqgMkt2HYj7ZKYc993anvbcl7U3rVfHeewO8N09P/M7KoIuLKEooHV/M0kqIxe8/wLp2Iz3yTxxgTbNlqQyyKc+gEBKcYCpb79UcdjNb7Wiy1c5R7dHO6af0kU/g/B1bATQd2OnNsFXVwOjPsdFzDA/AUILAYBbSlH7D6Flqq8coJPL/GEph0AtRRA15x3nFgWXb6eFE/H5ZX3VoqpZc9I01JedSsAAfiISlRp7l4UOFPMB3DkOeEfW+D+78hwH+K/a/OKA/CQNtxXniHMEx6ygdtSzXgnS+qfH+Mlk19B+KxRKlrb1GEQ8aNsxzczWqeua0YSLQbUyUJ++tiT4wBhcVtVQqTLffcJEUbb2vur5o5DsoybkE9/f5qit41x8jmWd7jOQ4DQYe8RiJumlggX7wlc5ur3vh3dXH61FxUHoqZwOO5W0armVjZZ7dd36YLHUf+sPP/8O/qT2wZxfFQX2lMteCeqw6fN0mX1OMtbwTxlgtSNafGHugGGvbfiPv/O0o257qUHFWs9KGSLtxxM6xVsvbdqy9vLx8v+HSah4KaRzHocKlFv/ui3MdUb0G55vvALfhC46Y72gN6P1x/Ady/MsD213dfnOiQzn91jobXP4G/Z0dvjaV7J4HX1+anq9Ou7dIz50d+b9TwXWY9LzlkTUIro6yTt1Jm5pzQrN7zKrUfSus3yN7nTZ7V39fcCr2Oi328ihuG4sQnE5XJRkVyOE0zT9ue8Rzabp9sLn5zkT3ylfDZftQXG6/F5+N2YLLFx9v633iblaxukW9VPUqzn68iuiWHxzmobf8btPq/wI=</diagram></mxfile>
|
||||
BIN
wyk/10_Neuronowy_ngramowy_model/ngram-tgh.drawio.png
Normal file
BIN
wyk/10_Neuronowy_ngramowy_model/ngram-tgh.drawio.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 25 KiB |
1
wyk/10_Neuronowy_ngramowy_model/ngram.drawio
Normal file
1
wyk/10_Neuronowy_ngramowy_model/ngram.drawio
Normal file
@ -0,0 +1 @@
|
||||
<mxfile host="app.diagrams.net" modified="2022-04-23T06:52:34.125Z" agent="5.0 (X11)" etag="F7oHlS30BOIVpfAPOky4" version="17.1.3" type="device"><diagram id="UNyY5TJjaPirS19H5Hif" name="Page-1">7VpZc9owEP41fkwGn9iPhQA90mmTzKRNXzoqVmwV4XWFiKG/vhKW4zMYypUmfQHp0+r6dtlDg2b2p4sRQ3H4EXxMNaPjLzTzQjMMz9LFpwSWKaA7npUiASO+wnLghvzGCuwodE58PCsJcgDKSVwGxxBFeMxLGGIMkrLYPdDyrjEKcA24GSNaR78Qn4cp6hrdHH+LSRBmO4sLpiNTlAmrJWYh8iFJodXlzIFm9hkAT1vTRR9TSV7GS8rA8InRx4MxHPFNJlx9+ph8Gk0mo8t30fWvYcB19/LMSFd5QHSuLqwOy5cZAwzmkY/lIrpm9pKQcHwTo7EcTYTOBRbyKVXD9UOpcz5gxvGiAKlDjjBMMWdLIaJGDVOpXpmMYal+kvOvZzJhgfsMQ0rlwePSOSuioYjZgiSzgSSHil17PnkQzYCvbi4M20q+a90eEbR2L1IgkxQbl4QrJAtueJnJGWcwwX2gwAQSQSQke/eE0gqEKAki0R0LxrHAe5JpIgz4jRqYEt+X2zSqLlduZz/as4yy9kyzrj3nmMrzalxjX/zCVRcYDyGACNFBjlZYyWUuAWKlnp+Y86VyV2jOoaw8vCD8q5x+bqvenVpMti8Wxc6yjfwZzNkYr7mio/wiYgHma+TcVE7ef60qGaaIk4eyB9y7Ypzn53p0r2y8ul03Xss9pvXq1r9ivoJ1tixMkt27bD3Zyaeterubvbuh2evms7J79/nb/enNvvNkyCVZDKUAk7N5XAiw5OWHV8eqJEfeicOrrtc0lSA24wkSICURAdl6qeqwqrlqpyFX7RxVH/WMfgb3fIoWL1gLeiVsn14LG5UMDH5PtL6tuQbyJQcMJT7E8IPgFWqpX5FP5ecESbDX93EAmkyy03KDyLbdJ5H4vl1fcjSULCn0g1WR11KtiEJeZCtF23kMPQXbMTz7MLYzBvfn8Mq7G5L3oXdrG4Op32usNk+cH9h6maSjluSNJL3etHh/Waya+hmI2CLXtVsp4I2KDtO8XM0qvje1LGR0KwuliXttoTeMoWVBLJYCs80PnKVEG5+rLC8a6Qly43wk9+/ttanYXf+EpL/aJyTbrljgEZ+QkpvOL53Fzt1gdP0NfQBraM3P7NM6G2PbN6SKi2itrhsvnT22t1XXzo5eaCfN1IuPfcTKmqk2MPik9ZruCWNlI0nm64iV7Va/91hpWV4lffzraFlf6lDxsmGnlojZOmPnmNlot/WYeX5+/qzD3m6Oo/q00+A4jhr2ulvnLKII7f3TectOCjScii84dd7i/nf8B3L8hrenIqm60KGcfm2fFpffIr+twxfd/I8OqXj+dxFz8Ac=</diagram></mxfile>
|
||||
BIN
wyk/10_Neuronowy_ngramowy_model/ngram.drawio.png
Normal file
BIN
wyk/10_Neuronowy_ngramowy_model/ngram.drawio.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 18 KiB |
BIN
wyk/10_Neuronowy_ngramowy_model/tanh.png
Normal file
BIN
wyk/10_Neuronowy_ngramowy_model/tanh.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 9.1 KiB |
1
wyk/10_Neuronowy_ngramowy_model/trigram1.drawio
Normal file
1
wyk/10_Neuronowy_ngramowy_model/trigram1.drawio
Normal file
@ -0,0 +1 @@
|
||||
<mxfile host="app.diagrams.net" modified="2022-04-22T20:26:07.083Z" agent="5.0 (X11)" etag="6MNvURN8OzIm5K8R91Ac" version="17.1.3" type="device"><diagram id="UNyY5TJjaPirS19H5Hif" name="Page-1">5VldU+IwFP01fdTpJ5RHQXB3R8d1ndldn3YiiW0k7WVDsOCv34SmtKWBRVERfYHk5Puec3OT1PJ6yeyMo3F8AZgwy7XxzPJOLdft+I78VcA8B5xWx8+RiFOssRK4po9Eg7ZGpxSTSa2iAGCCjuvgENKUDEUNQ5xDVq92B6w+6hhFpAFcDxFror8oFnGOhm67xL8QGsXFyHKBeUmCisq6i0mMMGQ5tFic17e8HgcQeSqZ9QhTxivskltgsKZ0OTFOUrFNgyGE94Orzs2Afos7PwO3n+DukV7GRMyLBRMs16+zwEUMEaSI9Uu0y2GaYqJ6tWWurHMOMJagI8F7IsRck4mmAiQUi4TpUjKj4nclfaO7UunTWTUzLzKp4HPVxD4OiuxN0YPKlM0WuaJdvjq1pLVGK9iBKR/qWleXF9nl2Wh0dv41/fF3EAknPD9ytfgQj4jYUK+1pFb6BIGEyPnIdpwwJOhDfR5IizNa1iv5kwlNoZnOTZN8QGyqR2rwW7KnjJfFVJDrMVosPZMuXGdqrbkeCBdkVoGaK9alnq09We8Arq/zWelOjqexuOJKBbaLkYyab9rkDTWvBXwoqve2VL27o+oXTU84R/NKhTHQVEwqPX9XQEVaraAmLa++A8pE3mMpleXUnu9insHFWkzapovpg0xGYsGAjHJ+9sdqd6m0Tfs0B4qacuBa5RU5Ss8SdfVMBIcR6QEDLpEUUqXJO8rYCoQYjVKZHUqiicS7yk+pjGYnuiChGC8EbXL8ushfwvd920hQ1fdbr+T6RvI6h+L6z/fY1pYeGxp3iX0Frtb7C1zFeaoQrxM0xeu7b6lexz8U+e4WuZ4j+3BL2Tveu9J9+P51v3/Z22tDLi1iKAMYHU3HlQBLP354DZyVo3W45/DqOA2mMsQnIkMSZDSloFIflQ7fW6HDNtx07Dflo3kfnMCdSNDsA7Ow4hTO/lnY6srA4XFk9QIrdBFWNuAowzCGW0oWqK+9CDP1O0IK7PYwicBSm3F+3aAqHfRoKv9/br5yGK4sOXTLV5HPcltxQ/e4fqFchp6KdtxO8DraMb5VmKSz+/mgYROD5bbf5vb+oPNJjsX/f9DZ9QGm8cLih/6x+Y1l2Ul+MtftSiK36Mptr3SVH94bXT31WcgwUsd+6tzqLXZ+SjLq1nTp3fyU5BzyU9Juu06wRocvf9aV2fKrTM51+W3L6/8D</diagram></mxfile>
|
||||
BIN
wyk/10_Neuronowy_ngramowy_model/trigram1.drawio.png
Normal file
BIN
wyk/10_Neuronowy_ngramowy_model/trigram1.drawio.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 20 KiB |
414
wyk/11_Worek_slow.ipynb
Normal file
414
wyk/11_Worek_slow.ipynb
Normal file
@ -0,0 +1,414 @@
|
||||
{
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"\n",
|
||||
"<div class=\"alert alert-block alert-info\">\n",
|
||||
"<h1> Modelowanie języka</h1>\n",
|
||||
"<h2> 11. <i>Model worka słów w sieci feed-forward</i> [wykład]</h2> \n",
|
||||
"<h3> Filip Graliński (2022)</h3>\n",
|
||||
"</div>\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"## Model worka słów w sieci feed-forward\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Jak stwierdziliśmy w poprzednim wykładzie, dwuwarstwowy n-gramowy model języka\n",
|
||||
"może działać dla stosunkowo dużego $n$. Zauważmy jednak, że istnieje\n",
|
||||
"pewna słabość tego modelu. Otóż o ile intuicyjnie ma sens odróżniać\n",
|
||||
"słowo poprzedzające, słowo występujące dwie pozycje wstecz i zapewne\n",
|
||||
"trzy pozycje wstecz, a zatem uczyć się osobnych macierzy $C_{-1}$,\n",
|
||||
"$C_{-2}$, $C_{-3}$ to różnica między wpływem słowa\n",
|
||||
"występującego cztery pozycje wstecz i pięć pozycji wstecz jest już\n",
|
||||
"raczej nieistotna; innymi słowy różnica między macierzami $C_{-4}$ i\n",
|
||||
"$C_{-5}$ będzie raczej niewielka i sieć niepotrzebnie będzie uczyła\n",
|
||||
"się dwukrotnie podobnych wag. Im dalej wstecz, tym różnica wpływu\n",
|
||||
"będzie jeszcze mniej istotna, można np. przypuszczać, że różnica\n",
|
||||
"między $C_{-10}$ i $C_{-13}$ nie powinna być duża.\n",
|
||||
"\n",
|
||||
"Spróbujmy najpierw zaproponować radykalne podejście, w którym nie\n",
|
||||
"będziemy w ogóle uwzględniać pozycji słów (lub będziemy je uwzględniać\n",
|
||||
"w niewielkim stopniu), później połączymy to z omówionym wcześniej\n",
|
||||
"modelem $n$-gramowym.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Agregacja wektorów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Zamiast patrzeć na kilka poprzedzających słów, można przewidywać na\n",
|
||||
"podstawie **całego** ciągu słów poprzedzających odgadywane słowo. Zauważmy jednak, że\n",
|
||||
"sieć neuronowa musi mieć ustaloną strukturę, nie możemy zmieniać jej\n",
|
||||
"rozmiaru. Musimy zatem najpierw zagregować cały ciąg do wektora o\n",
|
||||
"**stałej** długości. Potrzebujemy zatem pewnej funkcji agregującej $A$, takiej by\n",
|
||||
"$A(w_1,\\dots,w_{i-1})$ było wektorem o stałej długości, niezależnie od $i$.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Worek słów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Najprostszą funkcją agregującą jest po prostu… suma. Dodajemy po\n",
|
||||
"prostu zanurzenia słów:\n",
|
||||
"\n",
|
||||
"$$A(w_1,\\dots,w_{i-1}) = E(w_1) + \\dots + E(w_{i-1}) = \\sum_{j=1}^{i-1} E(w_j).$$\n",
|
||||
"\n",
|
||||
"**Uwaga**: zanurzenia słów nie zależą od pozycji słowa (podobnie było w wypadku n-gramowego modelu!).\n",
|
||||
"\n",
|
||||
"Jeśli rozmiar zanurzenia (embeddingu) wynosi $m$, wówczas rozmiar\n",
|
||||
"wektora uzyskanego dla całego poprzedzającego tekstu wynosi również $m$.\n",
|
||||
"\n",
|
||||
"Proste dodawanie wydaje się bardzo „prostacką” metodą, a jednak\n",
|
||||
"suma wektorów słów jest **zaskakująco skuteczną metodą zanurzenia\n",
|
||||
"(embedowania) całych tekstów (doc2vec)**. Prostym wariantem dodawania jest obliczanie **średniej wektorów**:\n",
|
||||
"\n",
|
||||
"$$A(w_1,\\dots,w_{i-1}) = \\frac{E(w_1) + \\dots + E(w_{i-1})}{i-1} = \\frac{\\sum_{j=1}^{i-1} E(w_j)}{i-1}.$$\n",
|
||||
"\n",
|
||||
"Tak czy siak uzyskany wektor **nie zależy od kolejności słów**\n",
|
||||
"(dodawanie jest przemienne i łączne!). Mówimy więc o **worku słów**\n",
|
||||
"(*bag of words*, *BoW*) — co ma symbolizować fakt, że słowa są\n",
|
||||
"przemieszane, niczym produkty w torbie na zakupy.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Schemat graficzny modelu typu worek słów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Po zanurzeniu całego poprzedzającego tekstu postępujemy podobnie jak w\n",
|
||||
"modelu bigramowym — rzutujemy embedding na długi wektor wartości, na\n",
|
||||
"którym stosujemy funkcję softmax:\n",
|
||||
"\n",
|
||||
"![img](./11_Worek_slow/bow1.drawio.png \"Model typu worek słów\")\n",
|
||||
"\n",
|
||||
"Odpowiada to wzorowi:\n",
|
||||
"\n",
|
||||
"$$y = \\operatorname{softmax}(C\\sum_{j=1}^{i-1} E(w_j)).$$\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Jak traktować powtarzające się słowa?\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Według wzoru podanego wyżej, jeśli słowo w poprzedzającym tekście\n",
|
||||
"pojawia się więcej niż raz, jego embedding zostanie zsumowany odpowiednią liczbę razy.\n",
|
||||
"Na przykład embedding tekstu *to be or not to be* będzie wynosił:\n",
|
||||
"\n",
|
||||
"$$E(\\mathrm{to}) + E(\\mathrm{be}) + E(\\mathrm{or}) + E(\\mathrm{not}) + E(\\mathrm{to}) + E(\\mathrm{be}) = 2E(\\mathrm{to}) + 2E(\\mathrm{be}) + E(\\mathrm{or}) + E(\\mathrm{not}).$$\n",
|
||||
"\n",
|
||||
"Innymi słowy, choć w worku słów nie uwzględniamy kolejności słów, to\n",
|
||||
"**liczba wystąpień** ma dla nas ciągle znaczenie. Można powiedzieć, że\n",
|
||||
"traktujemy poprzedzający tekst jako **multizbiór** (struktura\n",
|
||||
"matematyczna, w której nie uwzględnia się kolejności, choć zachowana\n",
|
||||
"jest informacja o liczbie wystąpień).\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Zbiór słów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Oczywiście moglibyśmy przy agregowaniu zanurzeń pomijać powtarzające\n",
|
||||
"się słowa, a zatem zamiast multizbioru słów rozpatrywać po prostu ich zbiór:\n",
|
||||
"\n",
|
||||
"$$A(w_1,\\dots,w_{i-1}) = \\sum_{w \\in \\{w_1,\\dots,w_{i-1}\\}} E(w).$$\n",
|
||||
"\n",
|
||||
"Jest kwestią dyskusyjną, czy to lepsze czy gorsze podejście — w końcu\n",
|
||||
"liczba wystąpień np. słów *Ukraina* czy *Polska* może wpływać w jakimś\n",
|
||||
"stopniu na prawdopodobieństwo kolejnego słowa (*Kijów* czy\n",
|
||||
"*Warszawa*?).\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Worek słów a wektoryzacja tf\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Wzór na sumę zanurzeń słów można przekształcić w taki sposób, by\n",
|
||||
"sumować po wszystkich słowach ze słownika, zamiast po słowach rzeczywiście występujących w tekście:\n",
|
||||
"\n",
|
||||
"$$A(w_1,\\dots,w_{i-1}) = \\sum_{j=1}^{i-1} E(w_j) = \\sum_{w \\in V} \\#wE(w)$$\n",
|
||||
"\n",
|
||||
"gdzie $\\#w$ to liczba wystąpień słowa $w$ w ciagu $w_1,\\dots,w_{i-1}$ (w wielu przypadkach równa zero!).\n",
|
||||
"\n",
|
||||
"Jeśli teraz zanurzenia będziemy reprezentować jako macierz $E$ (por. poprzedni wykład),\n",
|
||||
"wówczas sumę można przedstawić jako iloczyn macierzy $E$ i pewnego wektora:\n",
|
||||
"\n",
|
||||
"$$A(w_1,\\dots,w_{i-1}) = E(w) [\\#w^1,\\dots,\\#w^{|V|}]^T.$$\n",
|
||||
"\n",
|
||||
"(Odróżniamy $w^i$ jako $i$-ty wyraz w słowniku $V$ od $w_i$ jako $i$-tego wyraz w rozpatrywanym ciągu).\n",
|
||||
"\n",
|
||||
"Zwróćmy uwagę, że wektor $[\\#w_1,\\dots,\\#w_{|V|}]$ to po prostu\n",
|
||||
"reprezentacja wektora poprzedzającego tekstu (tj. ciągu\n",
|
||||
"$(w_1,\\dots,w_{i-1})$) przy użyciu schematu wektoryzacji tf (*term\n",
|
||||
"frequency*). Przypomnijmy, że tf to reprezentacja tekstu przy użyciu\n",
|
||||
"wektorów o rozmiarze $|V|$ — na każdej pozycji odnotowujemy liczbę wystąpień.\n",
|
||||
"Wektory tf są **rzadkie**, tj. na wielu pozycjach zawierają zera.\n",
|
||||
"\n",
|
||||
"Innymi słowy, nasz model języka *bag of words* można przedstawić za pomocą wzoru:\n",
|
||||
"\n",
|
||||
"$$y = \\operatorname{softmax}(C\\operatorname{tf}(w_1,\\dots,w_{i-1})),$$\n",
|
||||
"\n",
|
||||
"co można zilustrować w następujący sposób:\n",
|
||||
"\n",
|
||||
"![img](./11_Worek_slow/bow2.drawio.png \"Model typu worek słów — alternatywna reprezentacja\")\n",
|
||||
"\n",
|
||||
"Można stwierdzić, że zanurzenie tekstu przekształca rzadki, długi wektor\n",
|
||||
"tf w gęsty, krótki wektor.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Ważenie słów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Czy wszystkie słowa są tak samo istotne? Rzecz jasna, nie:\n",
|
||||
"\n",
|
||||
"- jak już wiemy z naszych rozważań dotyczących n-gramowych modeli języka, słowa bezpośrednio\n",
|
||||
" poprzedzające odgadywany wyraz mają większy wpływ niż słowa wcześniejsze;\n",
|
||||
" intuicyjnie, wpływ słów stopniowo spada — tym bardziej, im bardziej słowo jest oddalone od słowa odgadywanego;\n",
|
||||
"- jak wiemy z wyszukiwania informacji, słowa, które występują w wielu tekstach czy dokumentach, powinny mieć\n",
|
||||
" mniejsze znaczenie, w skrajnym przypadku słowa występujące w prawie każdym tekście (*że*, *w*, *i* itd.) powinny\n",
|
||||
" być praktycznie pomijane jako *stop words* (jeśli rozpatrywać je w „masie” worka słów — oczywiście\n",
|
||||
" to, czy słowo poprzedzające odgadywane słowo to *że*, *w* czy *i* ma olbrzymie znaczenie!).\n",
|
||||
"\n",
|
||||
"Zamiast po prostu dodawać zanurzenia, można operować na sumie (bądź średniej) ważonej:\n",
|
||||
"\n",
|
||||
"$$\\sum_{j=1}^{i-1} \\omega(j, w_j)E(w_j),$$\n",
|
||||
"\n",
|
||||
"gdzie $\\omega(j, w_j)$ jest pewną wagą, która może zależeć od pozycji $j$ lub samego słowa $w_j$.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Uwzględnienie pozycji\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Można w pewnym stopniu złamać „workowatość” naszej sieci przez proste\n",
|
||||
"uwzględnienie pozycji słowa, np. w taki sposób:\n",
|
||||
"\n",
|
||||
"$$\\omega(j, w_j) = \\beta^{i-j-1},$$\n",
|
||||
"\n",
|
||||
"dla pewnego hiperparametru $\\beta$. Na przykład jeśli $\\beta=0,9$,\n",
|
||||
"wówczas słowo bezpośrednio poprzedzające dane słowo ma $1 / 0,9^9 \\approx 2,58$\n",
|
||||
"większy wpływ niż słowo występujące 10 pozycji wstecz.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Odwrócona częstość dokumentowa\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Aby większą wagę przykładać do słów występujących w mniejszej liczbie\n",
|
||||
"dokumentów, możemy użyć, znanej z wyszukiwania informacji,\n",
|
||||
"odwrotnej częstości dokumentowej (*inverted document frequency*, *idf*):\n",
|
||||
"\n",
|
||||
"$$\\omega(j, w_j) = \\operatorname{idf}_S(w_j) = \\operatorname{log}\\frac{|S|}{\\operatorname{df}_S(w_j)},$$\n",
|
||||
"\n",
|
||||
"gdzie:\n",
|
||||
"\n",
|
||||
"- $S$ jest pewną kolekcją dokumentów czy tekstów, z którego pochodzi przedmiotowy ciąg słów,\n",
|
||||
"- $\\operatorname{df}_S(w)$ to częstość dokumentowa słowa $w$ w kolekcji $S$, tzn. odpowiedź na pytanie,\n",
|
||||
" w ilu dokumentach występuje $w$.\n",
|
||||
"\n",
|
||||
"Rzecz jasna, ten sposób ważenia oznacza tak naprawdę zastosowanie wektoryzacji tf-idf zamiast tf,\n",
|
||||
"nasza sieć będzie dana zatem wzorem:\n",
|
||||
"\n",
|
||||
"$$y = \\operatorname{softmax}(C\\operatorname{tfidf}(w_1,\\dots,w_{i-1})).$$\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Bardziej skomplikowane sposoby ważenia słów\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Można oczywiście połączyć odwrotną częstość dokumentową z uwzględnieniem pozycji słowa:\n",
|
||||
"\n",
|
||||
"$$\\omega(j, w_j) = \\beta^{i-j-1}\\operatorname{idf}_S(w_j).$$\n",
|
||||
"\n",
|
||||
"**Uwaga**: „wagi” $\\omega(j, w_j)$ nie są tak naprawdę wyuczalnymi\n",
|
||||
"wagami (parametrami) naszej sieci neuronowej, terminologia może być\n",
|
||||
"tutaj myląca. Z punktu widzenia sieci neuronowej $\\omega(j, w_j)$ są\n",
|
||||
"stałe i **nie** są optymalizowane w procesie propagacji wstecznej. Innymi\n",
|
||||
"słowy, tak zdefiniowane $\\omega(j, w_j)$ zależą tylko od:\n",
|
||||
"\n",
|
||||
"- hiperparametru $\\beta$, który może być optymalizowany już poza siecią (w procesie **hiperoptymalizacji**),\n",
|
||||
"- wartości $\\operatorname{idf}_S(w_j)$ wyliczanych wcześniej na podstawie kolekcji $S$.\n",
|
||||
"\n",
|
||||
"**Pytanie**: czy wagi $\\omega(j, w_j)$ mogłyby sensownie uwzględniać\n",
|
||||
"jakieś parametry wyuczalne z całą siecią?\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Modelowanie języka przy użyciu bardziej złożonych neuronowych sieci *feed-forward*\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Można połączyć zalety obu ogólnych podejść (n-gramowego modelu i worka\n",
|
||||
"słów) — można **równocześnie** traktować w specjalny sposób (na\n",
|
||||
"przykład) dwa poprzedzające wyrazy, wszystkie zaś inne wyrazy\n",
|
||||
"reprezentować jako „tło” modelowane za pomocą worka słów lub podobnej\n",
|
||||
"reprezentacji. Osiągamy to poprzez konkatenację wektora\n",
|
||||
"poprzedzającego słowa, słowa występującego dwie pozycje wstecz oraz\n",
|
||||
"zagregowanego zanurzenia całego wcześniejszego tekstu:\n",
|
||||
"\n",
|
||||
"$$y = \\operatorname{softmax}(C[E(w_{i-1}),E(w_{i-2}),A(w_1,\\dots,w_{i-3})]),$$\n",
|
||||
"\n",
|
||||
"czy lepiej z dodatkową warstwą ukrytą:\n",
|
||||
"\n",
|
||||
"$$y = \\operatorname{softmax}(C\\operatorname{tgh}(W[E(w_{i-1}),E(w_{i-2}),A(w_1,\\dots,w_{i-3})])),$$\n",
|
||||
"\n",
|
||||
"W tak uzyskanym dwuwarstwowym neuronowym modelu języka, łączącym model\n",
|
||||
"trigramowy z workiem słów, macierz $W$ ma rozmiar $h \\times 3m$.\n",
|
||||
"\n",
|
||||
"**Pytanie**: jakie mamy możliwości, jeśli zamiast przewidywać kolejne słowo, mamy za zadanie\n",
|
||||
"odgadywać słowo w luce (jak w wyzwaniach typu *word gap*)?\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Literatura\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Skuteczny n-gramowy neuronowy model języka opisano po raz pierwszy\n",
|
||||
"w pracy [A Neural Probabilistic Language Model](https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf) autorstwa Yoshua Bengio i in.\n",
|
||||
"\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"metadata": {
|
||||
"kernelspec": {
|
||||
"display_name": "Python 3 (ipykernel)",
|
||||
"language": "python",
|
||||
"name": "python3"
|
||||
},
|
||||
"language_info": {
|
||||
"codemirror_mode": {
|
||||
"name": "ipython",
|
||||
"version": 3
|
||||
},
|
||||
"file_extension": ".py",
|
||||
"mimetype": "text/x-python",
|
||||
"name": "python",
|
||||
"nbconvert_exporter": "python",
|
||||
"pygments_lexer": "ipython3",
|
||||
"version": "3.10.5"
|
||||
},
|
||||
"org": null
|
||||
},
|
||||
"nbformat": 4,
|
||||
"nbformat_minor": 1
|
||||
}
|
||||
1
wyk/11_Worek_slow/bow1.drawio
Normal file
1
wyk/11_Worek_slow/bow1.drawio
Normal file
@ -0,0 +1 @@
|
||||
<mxfile host="app.diagrams.net" modified="2022-04-23T08:10:01.287Z" agent="5.0 (X11)" etag="DuwX-avzVRfuxOlr24Vt" version="17.4.6" type="device"><diagram id="UNyY5TJjaPirS19H5Hif" name="Page-1">7VpZd9o4GP01PJLjDWM/BgKZmaaTtjmnU+alR8XCVjCWI4sY8utHQjLexNKwk3kB6Wr/tvvJdsPsTmb3BMTBZ+zBsGFo3qxh3jUMw7V09suBuQB027UE4hPkSSwHntAblKAm0SnyYFLqSDEOKYrL4BBHERzSEgYIwWm52wiH5VVj4MMa8DQEYR39B3k0EKhjtHP8D4j8IFuZHVC0TEDWWU6RBMDDqYAWhzN7DbNLMKaiNJl1YciFl8lFSKC/onW5MQIjutWAbu/xCwqcTz//fvZerAc4TN6aUhkJnWcHhh47v6xiQgPs4wiEvRztEDyNPMhn1Vgt7/OAccxAnYHPkNK5VCaYUsyggE5C2QpniP7gw29asjaQk/Hy3axYmWeViJL5j2JlkM/Aq/mwRS0bN8IRlRvhIu+I8/JDrhRjpi88JUPZ6+vj5/Txfjy+f/gz+vbS96nuPDQNaY6A+JCukbG+VDbzEognkO2PjSMwBBS9lvcBpLn6y365RllBKlWt4HWbfAXhVK5U03iuT66cNEAUPsVgcfSUOXVZdyvF9QoJhbMCVD+xbDU06dsyJpiurKe5g+mmxIKCc2XY3oVkKoRkh2zVjodeWdGni5MzZ7HSn412BzGxtu8EkPVkC5c6V4TMZEPLkkwowWPYxSEmDIlwxH1rhMKwAoEQ+RGrDpnEIcM7XNKIRahb2TBBnrdwTJXqys66B+1ZFe1ZTl179jGV515KCHt/pLHrkUbZz1FGt1OFHvv8Qo/ulo1Xb9WNd2nQR7Fe/QIZOCfdQTbfGgZ+v9k7W5q9bp6V3Tvnb/enN3ttJeWijENDjMfNaVwgWHT99GrrFXq1Tkyvej2DTPCITsDsepVgVZSga4oMVTuqFrZKUQl+Gze6rYZjAI/LgIDUwzH+heACtRKaAn4ZD/nvGHCw0/Wgjxv87ijSW8TLrS6K2P/39SmuIkUW0C9SRT5Kdmw4BmPHou0sQ13Bdgy3dRjbUd4/zYvLMJYpxTHv+EPsPPe/uoM++itwv7eM3sTrZLI7mzv+uk2eU8LR0k94x1cK6ePm2ftLi+XQLxixJXJdt91yytKu6FB4mRxVfEK5aSKjMpFww9pEt4SAeaFbzDskv7FhS/u9fZX7s4LYQW6cS+G+315Vt+f1z6T0D/tMqmW1K6x7zKdSSkKoh+ArCzf7Id30SXvRSWwPevff/gWfsNW3ps3sPc+5kO66TZ4T6Zp22QmOSrpKIV1e6nkppGsZbjXkvZd2FVMdiHgVK22g3o0jdiZfpd3Wyffm5uZ6+dPcIls/FHsq5d9WBFeR6ehZhnOtujDM02UySl04/8fwA8XwpR53jeC1iQ4Uv2vrbIjeG/rvHLuVWWHrUux1Pxn0QTLjFWRsVmhC287M9qVZVcotLrpclCWd2y9TnDU0k4WQb1kHZuKzvDG/GBefU4u5VlyZ2S5RnKwig4JBgCQWn6ON0IwbVmcFDyj0u/VrCdOsU4OloAbrUJfc9qW42mkvuUrZbftNh72jK++k4MN8wrGTE1QvuUb7iJdcpZDq7/tTQOSrthBFCPPSGaeru8UkqxyTDMXrrn29KmXV/HNZQSr5R8dm7z8=</diagram></mxfile>
|
||||
BIN
wyk/11_Worek_slow/bow1.drawio.png
Normal file
BIN
wyk/11_Worek_slow/bow1.drawio.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 22 KiB |
1
wyk/11_Worek_slow/bow2.drawio
Normal file
1
wyk/11_Worek_slow/bow2.drawio
Normal file
@ -0,0 +1 @@
|
||||
<mxfile host="app.diagrams.net" modified="2022-04-23T09:02:43.180Z" agent="5.0 (X11)" etag="6a48B_aLc62Epg4yxUQr" version="17.4.6" type="device"><diagram id="UNyY5TJjaPirS19H5Hif" name="Page-1">5Vpdc+I2FP01nmkfkkGyAftxcYC2m22ym5lt05cdrS1sgbGIEDHw6ythGX/IEDYECOQBkI6vJOueo6srDYbpjud9hibhF+rjyIANf26YNwaEjgXEtwQWKQBajpUiASO+wnLggSyxAhsKnREfT0uGnNKIk0kZ9GgcY4+XMMQYTcpmAxqVR52gAGvAg4ciHf2H+DxMURu2c/wPTIIwG1lMMH0yRpmx6mIaIp8mKbSanNk1TJdRytPSeO7iSDov80vqgd6Gp+sXYzjmuzT4evclueuPRv3bP+NvT72AA/v2ykx7eUbRTE3YgK1I9NfxybMoBrJoQMGZlfww2h1yBY32TQpklmLIkvFqsnyReZDjucRDPo4EAERxyhkdYZdGlAkkprGw7AxIFFUgFJEgFlVPzBALvPOMGSeCm0/qwZj4vhymk4SE44cJ8uSYiVCiwBidxT6Wk2+sX6voLeVA2SeeFyDlvT6mY8zZQpiop1ZLaVJp2bJVPcmFkZmEBU2YCkNKisG655wtUVCE/QJ5juZr7AvxqiplPKQBjVHUzdGKV3KbW0onip4h5nyhViKacVomD88J/1c2v26q2qPqTJZv5sXK4iXnT+mMeXjLFFtqySMWYL7Fzk7t5Py3UslwhDh5Li/uNyemVbOqKkzlPIAN+i34/A3EC5yyeEFTF+9a0EdRL7DORb7C62xRaCSrj1l/spI3W9X2l729o+yB+a50b79/3Z9e9lBz0pQO+BjNL3jnBJXg09BZWGPHYWGnxIfR5chwm4YNkS99wFDi0wn9SfAKtaY8QTK5jeT3CEmw4/o4oIbMxdKkichy0yWx+P2+PXGqSbxS6CerIh8l5xKZtoi5Re1cAV070GkeRjsetYe9r85jj/wVOt+bsDv2O7W7+/acGXzYnLlptSv8HTNrTh4aT4BNWo/d/rf/0Gdq9axZduQ5q7TDcpxfSTxWtXvMiPCYFMF2NivJQzntAG737p6E9ucffw/9J+sWe9NlevDYI8lQTe8pEa+S7xLQqWqlXRFBmjipdsWz7stdwUpX6SS1rj4xhhYFs4k0mGqiW8/69TrUw8j19fXlRgKzkgOYzonjQLsmjKcxG2Sx+lK5gObpYnJtQGmeS0we0JirDqWDOxsi6AtnvmMGVbOy7Bq7xcGXO6qKYUNsfkW4rHVP+1wk8trbggNKa9dbtNaeEtwrBhzm0kwLijUe3LxntcpxErZrzq3mMQOlfsOSIKaOoRGJCV2VfnN/f9eb116kWFY5EMGaAyGAxyTF0UgRI7nFD6jU5QdusKmzPdQnG2uVebqNky+46m2dWZOYHOy6rpbbTFxnlKbvF/Iq2/zJU0MANAISPOKULZbIG8poxweXS4el35+YOiEHuzutZ0S/wV6ieMaWOCZY4EM0khegtRtT9wNtTGYNU/C4TOm33GyJ/JG8k04X0eWyUT2u1MSxIy8bSyMjMFzLcBzh/o9HSG0u/UaEiGr+v5r0AJr/O8ns/g8=</diagram></mxfile>
|
||||
BIN
wyk/11_Worek_slow/bow2.drawio.png
Normal file
BIN
wyk/11_Worek_slow/bow2.drawio.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 29 KiB |
429
wyk/12_Rekurencyjny_model_jezyka.ipynb
Normal file
429
wyk/12_Rekurencyjny_model_jezyka.ipynb
Normal file
@ -0,0 +1,429 @@
|
||||
{
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"\n",
|
||||
"<div class=\"alert alert-block alert-info\">\n",
|
||||
"<h1> Modelowanie języka</h1>\n",
|
||||
"<h2> 12. <i>Model języka oparty na rekurencyjnej sieci neuronowej</i> [wykład]</h2> \n",
|
||||
"<h3> Filip Graliński (2022)</h3>\n",
|
||||
"</div>\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"## Model języka oparty na rekurencyjnej sieci neuronowej\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Podejście rekurencyjne\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Na poprzednim wykładzie rozpatrywaliśmy różne funkcje\n",
|
||||
"$A(w_1,\\dots,w_{i-1})$, dzięki którym możliwe było „skompresowanie” ciągu słów\n",
|
||||
"(a właściwie ich zanurzeń) o dowolnej długości w wektor o stałej długości.\n",
|
||||
"\n",
|
||||
"Funkcję $A$ moglibyśmy zdefiniować w inny sposób, w sposób ****rekurencyjny****.\n",
|
||||
"\n",
|
||||
"Otóż moglibyśmy zdekomponować funkcję $A$ do\n",
|
||||
"\n",
|
||||
"- pewnego stanu początkowego $\\vec{s_0} \\in \\mathcal{R}^p$,\n",
|
||||
"- pewnej funkcji rekurencyjnej $R : \\mathcal{R}^p \\times \\mathcal{R}^m \\rightarrow \\mathcal{R}^p$.\n",
|
||||
"\n",
|
||||
"Wówczas funkcję $A$ można będzie zdefiniować rekurencyjnie jako:\n",
|
||||
"\n",
|
||||
"$$A(w_1,\\dots,w_t) = R(A(w_1,\\dots,w_{t-1}), E(w_t)),$$\n",
|
||||
"\n",
|
||||
"przy czym dla ciągu pustego:\n",
|
||||
"\n",
|
||||
"$$A(\\epsilon) = \\vec{s_0}$$\n",
|
||||
"\n",
|
||||
"Przypomnijmy, że $m$ to rozmiar zanurzenia (embeddingu). Z kolei $p$ to rozmiar wektora stanu\n",
|
||||
"(często $p=m$, ale nie jest to konieczne).\n",
|
||||
"\n",
|
||||
"Przy takim podejściu rekurencyjnym wprowadzamy niejako „strzałkę\n",
|
||||
"czasu”, możemy mówić o przetwarzaniu krok po kroku.\n",
|
||||
"\n",
|
||||
"W wypadku modelowania języka możemy końcowy wektor stanu zrzutować do wektora o rozmiarze słownika\n",
|
||||
"i zastosować softmax:\n",
|
||||
"\n",
|
||||
"$$\\vec{y} = \\operatorname{softmax}(CA(w_1,\\dots,w_{i-1})),$$\n",
|
||||
"\n",
|
||||
"gdzie $C$ jest wyuczalną macierzą o rozmiarze $|V| \\times p$.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Worek słów zdefiniowany rekurencyjnie\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Nietrudno zdefiniować model „worka słów” w taki rekurencyjny sposób:\n",
|
||||
"\n",
|
||||
"- $p=m$,\n",
|
||||
"- $\\vec{s_0} = [0,\\dots,0]$,\n",
|
||||
"- $R(\\vec{s}, \\vec{x}) = \\vec{s} + \\vec{x}.$\n",
|
||||
"\n",
|
||||
"Dodawanie (również wektorowe) jest operacją przemienną i łączną, więc\n",
|
||||
"to rekurencyjne spojrzenie niewiele tu wnosi. Można jednak zastosować\n",
|
||||
"inną funkcję $R$, która nie jest przemienna — w ten sposób wyjdziemy poza\n",
|
||||
"nieuporządkowany worek słów.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Związek z programowaniem funkcyjnym\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Zauważmy, że stosowane tutaj podejście jest tożsame z zastosowaniem funkcji typu `fold`\n",
|
||||
"w językach funkcyjnych:\n",
|
||||
"\n",
|
||||
"![img](./12_Rekurencyjny_model_jezyka/fold.png \"Opis funkcji foldl w języku Haskell\")\n",
|
||||
"\n",
|
||||
"W Pythonie odpowiednik `fold` jest funkcja `reduce` z pakietu `functools`:\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"18"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"from functools import reduce\n",
|
||||
"\n",
|
||||
"def product(ns):\n",
|
||||
" return reduce(lambda a, b: a * b, ns, 1)\n",
|
||||
"\n",
|
||||
"product([2, 3, 1, 3])"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Sieci rekurencyjne\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"W jaki sposób „złamać” przemienność i wprowadzić porządek? Jedną z\n",
|
||||
"najprostszych operacji nieprzemiennych jest konkatenacja — możemy\n",
|
||||
"dokonać konkatenacji wektora stanu i bieżącego stanu, a następnie\n",
|
||||
"zastosować jakąś prostą operację (na wyjściu musimy mieć wektor o\n",
|
||||
"rozmiarze $p$, nie $p + m$!), dobrze przy okazji „złamać” też\n",
|
||||
"liniowość operacji. Możemy po prostu zastosować rzutowanie (mnożenie\n",
|
||||
"przez macierz) i jakąś prostą funkcję aktywacji (na przykład sigmoidę):\n",
|
||||
"\n",
|
||||
"$$R(\\vec{s}, \\vec{e}) = \\sigma(W[\\vec{s},\\vec{e}] + \\vec{b}).$$\n",
|
||||
"\n",
|
||||
"Dodatkowo jeszcze wprowadziliśmy wektor obciążeń $\\vec{b}$, a zatem wyuczalne wagi obejmują:\n",
|
||||
"\n",
|
||||
"- macierz $W \\in \\mathcal{R}^p \\times \\mathcal{R}^{p+m}$,\n",
|
||||
"- wektor obciążeń $b \\in \\mathcal{R}^p$.\n",
|
||||
"\n",
|
||||
"Olbrzymią zaletą sieci rekurencyjnych jest fakt, że liczba wag nie zależy od rozmiaru wejścia!\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Zwykła sieć rekurencyjna\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Wyżej zdefiniową sieć nazywamy „zwykłą” siecią rekurencyjną (*Vanilla RNN*).\n",
|
||||
"\n",
|
||||
"**Uwaga**: przez RNN czasami rozumie się taką „zwykłą” sieć\n",
|
||||
"rekurencyjną, a czasami szerszą klasę sieci rekurencyjnych\n",
|
||||
"obejmujących również sieci GRU czy LSTM (zob. poniżej).\n",
|
||||
"\n",
|
||||
"![img](./12_Rekurencyjny_model_jezyka/rnn.drawio.png \"Schemat prostego modelu języka opartego na zwykłej sieci rekurencyjnych\")\n",
|
||||
"\n",
|
||||
"**Uwaga**: powyższy schemat nie obejmuje już „całego” działania sieci,\n",
|
||||
" tylko pojedynczy krok czasowy.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Praktyczna niestosowalność prostych sieci RNN\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Niestety w praktyce proste sieci RNN sprawiają duże trudności jeśli\n",
|
||||
"chodzi o propagację wsteczną — pojawia się zjawisko zanikającego\n",
|
||||
"(rzadziej: eksplodującego) gradientu. Dlatego zaproponowano różne\n",
|
||||
"modyfikacje sieci RNN. Zacznijmy od omówienia stosunkowo prostej sieci GRU.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Sieć GRU\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"GRU (*Gated Recurrent Unit*) to sieć z dwiema ****bramkami**** (*gates*):\n",
|
||||
"\n",
|
||||
"- bramką resetu (*reset gate*) $\\Gamma_\\gamma \\in \\mathcal{R}^p$ — która określa, w jakim\n",
|
||||
" stopniu sieć ma pamiętać albo zapominać stan z poprzedniego kroku,\n",
|
||||
"- bramką aktualizacji (*update gate*) $\\Gamma_u \\in \\mathcal{R}^p$ — która określa wpływ\n",
|
||||
" bieżącego wyrazu na zmianę stanu.\n",
|
||||
"\n",
|
||||
"Tak więc w skrajnym przypadku:\n",
|
||||
"\n",
|
||||
"- jeśli $\\Gamma_\\gamma = [0,\\dots,0]$, sieć całkowicie zapomina\n",
|
||||
" informację płynącą z poprzednich wyrazów,\n",
|
||||
"- jeśli $\\Gamma_u = [0,\\dots,0]$, sieć nie bierze pod uwagę\n",
|
||||
" bieżącego wyrazu.\n",
|
||||
"\n",
|
||||
"Zauważmy, że bramki mogą selektywnie, na każdej pozycji wektora stanu,\n",
|
||||
"sterować przepływem informacji. Na przykład $\\Gamma_\\gamma =\n",
|
||||
"[0,1,\\dots,1]$ oznacza, że pierwsza pozycja wektora stanu jest\n",
|
||||
"zapominana, a pozostałe — wnoszą wkład w całości.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Wzory\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Najpierw zdefiniujmy pośredni stan $\\vec{\\xi} \\in \\mathcal{R}^p$:\n",
|
||||
"\n",
|
||||
"$$\\vec{\\xi_t} = \\operatorname{tanh}(W_{\\xi}[\\Gamma_\\gamma \\bullet \\vec{s_{t-1}}, E(w_t)] + b_{\\xi}),$$\n",
|
||||
"\n",
|
||||
"gdzie $\\bullet$ oznacza iloczyn Hadamarda (nie iloczyn skalarny!) dwóch wektorów:\n",
|
||||
"\n",
|
||||
"$$[x_1,\\dots,x_n] \\bullet [y_1,\\dots,y_n] = [x_1 y_1,\\dots,x_n y_n].$$\n",
|
||||
"\n",
|
||||
"Jak widać, obliczanie $\\vec{\\xi_t}$ bardzo przypomina zwykłą sieć rekurencyjną,\n",
|
||||
"jedyna różnica polega na tym, że za pomocą bramki $\\Gamma_\\gamma$\n",
|
||||
"modulujemy wpływ poprzedniego stanu.\n",
|
||||
"\n",
|
||||
"Ostateczna wartość stanu jest średnią ważoną poprzedniego stanu i bieżącego stanu pośredniego:\n",
|
||||
"\n",
|
||||
"$$\\vec{s_t} = \\Gamma_u \\bullet \\vec{\\xi_t} + (1 - \\Gamma_u) \\bullet \\vec{s_{t-1}}.$$\n",
|
||||
"\n",
|
||||
"Skąd się biorą bramki $\\Gamma_\\gamma$ i $\\Gamma_u$? Również z poprzedniego stanu i z bieżącego wyrazu.\n",
|
||||
"\n",
|
||||
"$$\\Gamma_\\gamma = \\sigma(W_\\gamma[\\vec{s_{t-1}},E(w_t)] + \\vec{b_\\gamma}),$$\n",
|
||||
"\n",
|
||||
"$$\\Gamma_u = \\sigma(W_u[\\vec{s_{t-1}},E(w_t)] + \\vec{b_u}),$$\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Sieć LSTM\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Architektura LSTM (*Long Short-Term Memory*), choć powstała wcześniej\n",
|
||||
"niż GRU, jest od niej nieco bardziej skomplikowana.\n",
|
||||
"\n",
|
||||
"- zamiast dwóch bramek LSTM zawiera ****trzy bramki****: bramkę wejścia (*input gate*),\n",
|
||||
" bramkę wyjścia (*output gate*) i bramkę zapominania (*forget gate*),\n",
|
||||
"- oprócz ukrytego stanu $\\vec{s_t}$ sieć LSTM posiada również ****komórkę pamięci**** (*memory cell*),\n",
|
||||
" $\\vec{c_t}$, komórka pamięci, w przeciwieństwie do stanu, zmienia się wolniej (intuicyjnie:\n",
|
||||
" *jeśli nie zrobimy nic specjalnego, wartość komórki pamięci się nie zmieni*).\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Wzory\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Komórka pamięci modulowana jest za pomocą bramki zapominania ($\\Gamma_f$) i bramki\n",
|
||||
"wejścia ($\\Gamma_i$), bramki te określają, na ile uwzględniamy, odpowiednio,\n",
|
||||
"poprzednią wartość komórki pamięci $\\vec{c_{t-1}}$ i wejście, a\n",
|
||||
"właściwie wejście w połączeniu z poprzednim stanem:\n",
|
||||
"\n",
|
||||
"$$\\vec{c_t} = \\Gamma_f \\bullet \\vec{c_{t-1}} + \\Gamma_i \\bullet \\vec{\\xi_t},$$\n",
|
||||
"\n",
|
||||
"gdzie wektor pomocniczy $\\vec{\\xi_t}$ wyliczany jest w następujący sposób:\n",
|
||||
"\n",
|
||||
"$$\\vec{\\xi_t} = \\operatorname{tanh}(W_{\\xi}[\\vec{s_{t-1}}, E(w_t)] + \\vec{b_\\xi}.$$\n",
|
||||
"\n",
|
||||
"Nowa wartość stanu sieci nie zależy bezpośrednio od poprzedniej wartości stanu, lecz\n",
|
||||
"jest równa komórce pamięci modulowanej bramką wyjścia:\n",
|
||||
"\n",
|
||||
"$$\\vec{h_t} = \\Gamma_o \\bullet \\operatorname{tanh}(\\vec{c_t}).$$\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Obliczanie bramek\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Wartości wszystkie trzech bramek są liczone w identyczny sposób (wzory\n",
|
||||
"różnią się tylko macierzami wag i wektorem obciążeń):\n",
|
||||
"\n",
|
||||
"$$\\Gamma_f = \\sigma(W_f[\\vec{s_{t-1}}, E(w_t)] + \\vec{b_f}),$$\n",
|
||||
"\n",
|
||||
"$$\\Gamma_i = \\sigma(W_i[\\vec{s_{t-1}}, E(w_t)] + \\vec{b_i}),$$\n",
|
||||
"\n",
|
||||
"$$\\Gamma_o = \\sigma(W_o[\\vec{s_{t-1}}, E(w_t)] + \\vec{b_o}).$$\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Wartości początkowe\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Początkowe wartości stanu i komórki pamięci mogą być ustawione na zero:\n",
|
||||
"\n",
|
||||
"$$\\vec{s_0} = \\vec{0},$$\n",
|
||||
"\n",
|
||||
"$$\\vec{c_0} = \\vec{0}.$$\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Podsumowanie\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Sieci LSTM dominowały w zagadnieniach przetwarzania języka naturalnego\n",
|
||||
"(ogólniej: przetwarzania sekwencji) do czasu pojawienia się\n",
|
||||
"architektury Transformer w 2017 roku.\n",
|
||||
"\n",
|
||||
"Na sieci LSTM oparty był ELMo, jeden z pierwszych dużych\n",
|
||||
"****pretrenowanych modeli języka****, dostrajanych później pod konkretne\n",
|
||||
"zadania (na przykład klasyfikację tekstu), zob. artykuł [Deep\n",
|
||||
"contextualized word\n",
|
||||
"representations]([https://arxiv.org/pdf/1802.05365.pdf](https://arxiv.org/pdf/1802.05365.pdf)). Dokładniej\n",
|
||||
"mówiąc, ELMo był siecią ****BiLSTM****, połączeniem dwóch sieci, jednej\n",
|
||||
"działającej z lewej strony na prawą, drugiej — z prawej do lewej.\n",
|
||||
"\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"metadata": {
|
||||
"kernelspec": {
|
||||
"display_name": "Python 3 (ipykernel)",
|
||||
"language": "python",
|
||||
"name": "python3"
|
||||
},
|
||||
"language_info": {
|
||||
"codemirror_mode": {
|
||||
"name": "ipython",
|
||||
"version": 3
|
||||
},
|
||||
"file_extension": ".py",
|
||||
"mimetype": "text/x-python",
|
||||
"name": "python",
|
||||
"nbconvert_exporter": "python",
|
||||
"pygments_lexer": "ipython3",
|
||||
"version": "3.10.5"
|
||||
},
|
||||
"org": null
|
||||
},
|
||||
"nbformat": 4,
|
||||
"nbformat_minor": 1
|
||||
}
|
||||
BIN
wyk/12_Rekurencyjny_model_jezyka/fold.png
Normal file
BIN
wyk/12_Rekurencyjny_model_jezyka/fold.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 86 KiB |
1
wyk/12_Rekurencyjny_model_jezyka/rnn.drawio
Normal file
1
wyk/12_Rekurencyjny_model_jezyka/rnn.drawio
Normal file
@ -0,0 +1 @@
|
||||
<mxfile host="app.diagrams.net" modified="2022-05-07T08:55:29.507Z" agent="5.0 (X11)" etag="MKm_bLJ_BMWghC_SI3EE" version="17.4.6" type="device"><diagram id="UNyY5TJjaPirS19H5Hif" name="Page-1">5Vrbcto6FP0aHjljyzaYx0LIbZLpSXOmbZ46KlaMirB8ZIExX18Jy/gmCEnABPIC0rIu1l77pg0tazBdXDEYju+ph0gLGN6iZV20AOjZpviUQJICZqdnp4jPsKewHHjES6RAQ6Ez7KGoNJBTSjgOy+CIBgEa8RIGGaNxedgzJeVdQ+ijGvA4gqSO/sAeH6eoC7o5fo2wP852FgdMn0xhNlgtEY2hR+MUWh3OGrasAaOUp63pYoCIFF4ml1QClxuerl+MoYDvMuHh63389Woyubq7Cb79f+lz071rq5eNeJIdGHni/KpLGR9TnwaQDHO0z+gs8JBc1RC9fMwdpaEATQH+QZwnikw441RAYz4l6ilaYP5TTv/HUb0ntZhsXyyKnUR16qfNxEpnbIS2HLGjtAYyH/Et49x0nDx/YQMlyytEp4izRAxgiECO52X9gErN/PW4nAnRUGS8ghj11nNIZmqnGlM5D1Ko8Rhz9BjClSxiYYxlmW+U3xwxjhZbT6yeAkPZpLLltqP6cW4YtquwccEoLONAQjLtU1FfIXWWFCbJ7lO2nuzk01a996u9u6Pam9aH0nv3BPTePL7iGxoxdYjYto9Fw5cNQumkPQszXOyzflQTqZAEL8st4oxO0IASygQS0ECazjMmpAJBgv1AdEdCvkjgfSlXLOLnF/Vgij1vZXc6osq2uAeuHKMrDKzIFnDrZHUa5cqscRVDFvEYCpDgAFPZOldC7E7ZeEwNHabRKB+gxkdEn/kULs6YBVB1YcbRabA2ujAPzzNPxehy0ho4LRdATwqBwdijIf2N0Qq1lRl5RH5OoAT7Aw/5tCVPLNIDO/6FZdsZ4EB8f0/BglMsbKbZP4N+sypSnXquqgN6oOJR2+vLWUF5QM85jPIMfyyT/9iN9dO6TfDylsb9p0XbOWre11DWV8nIXkwDR9T9c/nQe7rEt+PedwcMp16/bdXTQNoJ+xYY9n/R2f31wHu4uLketZtK+ra95EdK+myrlkjYGpdpHchlasX0eW87+7ucqKn/Uiy2KKSNoMS1BSocpnamZhWLLC8sBLqVhVJDrC30hTGYFIaFckC0+wuDnvG69yqPF430DXLlXAv37fqqq2FoImwapVvdPhZeqHuxPUKfa5i1u9Uwa1nNXVy0IaH7ad1NMapujpY7RFVn3+7rXYTWL6JHD7OWU1Z6U5Namt0mtb5zKlr/du116tq7rQbdvPZqc/6T+alikzsydnJHr836d2VYK1P3mO7I0bijVeh3BhH2pzBLBKqsE4LDaFNgLnAHozD9RfAZL6QOHKKQoqsEa7yVfShvVS+XzyYs4bIa8pmKjPllrRg3nAPFDa0p1auK+wiuNRloJLU5uNaL4U3eYbViOuod1iz68LVHf8mLl3x47tL36sW1stLUbjar3rHC8k5l3LVjn6ORuOhF6W0PyNveCV/43mWc66x2i2ke6rqnJbJ+W484lDXzpTwXDdkSeQFOS+sTIfKZ+B4tYUTjFXa2PDkVnpr8AWtz0vY2izM/s8V1eh/M4jS/4gc0Tlbil5Z3tkRUXV/vcCYluvlf7NLCZv5HRWv4Fw==</diagram></mxfile>
|
||||
BIN
wyk/12_Rekurencyjny_model_jezyka/rnn.drawio.png
Normal file
BIN
wyk/12_Rekurencyjny_model_jezyka/rnn.drawio.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 31 KiB |
407
wyk/13_Atencja.ipynb
Normal file
407
wyk/13_Atencja.ipynb
Normal file
@ -0,0 +1,407 @@
|
||||
{
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"\n",
|
||||
"<div class=\"alert alert-block alert-info\">\n",
|
||||
"<h1> Modelowanie języka</h1>\n",
|
||||
"<h2> 13. <i>Atencja</i> [wykład]</h2> \n",
|
||||
"<h3> Filip Graliński (2022)</h3>\n",
|
||||
"</div>\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"## Atencja\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Sieci LSTM w roku 2017/2018 zostały wyparte przez nową, pod pewnymi\n",
|
||||
"względami prostszą, architekturę Transformer. Sieci Transformer oparte\n",
|
||||
"są zasadniczo na prostej idei **atencji** (*attention*), pierwszy\n",
|
||||
"artykuł wprowadzający sieci Transformer nosił nawet tytuł\n",
|
||||
"[Attention Is All You Need]([https://arxiv.org/abs/1706.03762](https://arxiv.org/abs/1706.03762)).\n",
|
||||
"\n",
|
||||
"Intuicyjnie, atencja jest rodzajem uwagi, którą sieć może selektywnie\n",
|
||||
"kierować na wybrane miejsca (w modelowaniu języka: wybrane wyrazy).\n",
|
||||
"\n",
|
||||
"Idea atencji jest jednak wcześniejsza, powstała jako ulepszenie sieci\n",
|
||||
"rekurencyjnych. My omówimy ją jednak na jeszcze prostszym przykładzie\n",
|
||||
"użycia w modelowaniu języka za pomocą hybrydy modelu\n",
|
||||
"bigramowego i modelu worka słów.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Prosty przykład zastosowania atencji\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Wróćmy do naszego przykładu z Wykładu 8, w którym łączyliśmy $n$-gramowy\n",
|
||||
"model języka z workiem słów. Przyjmijmy bigramowy model języka ($n=2$), wówczas:\n",
|
||||
"\n",
|
||||
"$$y = \\operatorname{softmax}(C[E(w_{i-1}),A(w_1,\\dots,w_{i-2})]),$$\n",
|
||||
"\n",
|
||||
"gdzie $A$ była prostą agregacją (np. sumą albo średnią) embeddingów\n",
|
||||
"$E(w_1),\\dots,E(w_{i-2})$. Aby wyjść z nieuporządkowanego\n",
|
||||
"modelu worka słów, próbowaliśmy w prosty sposób uwzględnić pozycję\n",
|
||||
"wyrazów czy ich istotność (za pomocą odwrotnej częstości\n",
|
||||
"dokumentowej). Oba te sposoby niestety zupełnie nie uwzględniają **kontekstu**.\n",
|
||||
"\n",
|
||||
"Innymi słowy, chcielibyśmy mieć sumę ważoną zanurzeń:\n",
|
||||
"\n",
|
||||
"$$A(w_1,\\dots,j) = \\omega_1 E(w_1) + \\dots + \\omega_j E(w_j) = \\sum_{k=1}^j \\omega_k E(w_k),$$\n",
|
||||
"\n",
|
||||
"tak by $\\omega_k$ w sposób bardziej zasadniczy zależały od lokalnego kontekstu, a\n",
|
||||
"nie tylko od pozycji $k$ czy słowa $w_k$. W naszym uproszczonym przypadku\n",
|
||||
"jako kontekst możemy rozpatrywać słowo bezpośrednio poprzedzające\n",
|
||||
"odgadywane słowa (kontekstem jest $w_{i-1}$).\n",
|
||||
"\n",
|
||||
"Wygodnie również przyjąć, że $\\sum_{k=1}^j \\omega_k = 1$ i $\\omega_k\n",
|
||||
"\\in (0,1)$, wówczas mamy do czynienia ze średnią ważoną.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Nieznormalizowane wagi atencji\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Będziemy liczyć nieznormalizowane ****wagi atencji****\n",
|
||||
"$\\hat{\\alpha}_{k,j}$. Określają one, jak bardzo słowo $w_j$ „zwraca\n",
|
||||
"uwagę” na poszczególne, inne słowa. Innymi słowy, wagi atencji opisują, jak\n",
|
||||
"bardzo słowo $w_k$ pasuje do naszego kontekstu, czyli słowa $w_j$.\n",
|
||||
"\n",
|
||||
"**Uwaga**: (nieznormalizowane czy znormalizowane) wagi atencji nie należą do wyuczalnych\n",
|
||||
"wag (parametrów) modelu.\n",
|
||||
"\n",
|
||||
"Najprostszy sposób mierzenia dopasowania to po prostu iloczyn skalarny:\n",
|
||||
"\n",
|
||||
"$$\\hat{\\alpha}_{k,j} = E(w_k)E(w_j),$$\n",
|
||||
"\n",
|
||||
"można też alternatywnie złamać symetrię iloczynu skalarnego i\n",
|
||||
"wyliczać dopasowanie za pomocą prostej sieci feed-forward:\n",
|
||||
"\n",
|
||||
"$$\\hat{\\alpha}_{k,j} =\n",
|
||||
"\\vec{v}\\operatorname{tanh}(W_{\\alpha}[E(w_k),E(w_j)] +\n",
|
||||
"\\vec{b_{\\alpha}}).$$\n",
|
||||
"\n",
|
||||
"W drugim przypadku pojawiają się dodatkowe wyuczalne parametry: macierz $W_{\\alpha}$, wektory\n",
|
||||
"$\\vec{b_{\\alpha}}$ i $\\vec{v}$.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Normalizacja wag atencji\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Jak już wspomniano, dobrze żeby wagi atencji sumowały się do 1. W tym celu możemy po prostu zastosować\n",
|
||||
"funkcję softmax:\n",
|
||||
"\n",
|
||||
"$$\\alpha_{k,j} = \\operatorname{softmax}([\\hat{\\alpha}_{1,j},\\dots,\\hat{\\alpha}_{j-1,j}]).$$\n",
|
||||
"\n",
|
||||
"Zauważmy jednak, że otrzymanego z funkcji softmax wektora\n",
|
||||
"$[\\alpha_{1,j},\\dots,\\alpha_{j-1,j}]$ tym razem nie interpretujemy jako rozkład prawdopodobieństwa.\n",
|
||||
"Jest to raczej rozkład uwagi, atencji słowa $w_j$ względem innych słów.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Użycie wag atencji w prostym neuronowym modelu języka\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Teraz jako wagi $\\omega$ w naszym modelu języka możemy przyjąć:\n",
|
||||
"\n",
|
||||
"$$\\omega_k = \\alpha_{k,i-1}.$$\n",
|
||||
"\n",
|
||||
"Oznacza to, że z naszego worka będziemy „wyjmowali” słowa w sposób\n",
|
||||
"selektywny, w zależności od wyrazu, który bezpośrednio poprzedza\n",
|
||||
"słowo odgadywane.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Diagram\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"![img](./13_Atencja/simple-attention.drawio.png \"Atencja użyta w prostym neuronowym modelu języka\")\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### Atencja jako składnik sieci rekurencyjnej\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Atencję wprowadzono pierwotnie jako uzupełnienie sieci rekurencyjnej.\n",
|
||||
"Potrzeba ta pojawiła się na początku rozwoju **neuronowego tłumaczenia\n",
|
||||
"maszynowego** (*neural machine translation*, *NMT*), czyli tłumaczenia\n",
|
||||
"maszynowego (automatycznego) realizowanego za pomocą sieci neuronowych.\n",
|
||||
"\n",
|
||||
"Neuronowe tłumaczenie maszynowe jest właściwie rozszerzeniem idei\n",
|
||||
"modelowania języka na biteksty (teksty równoległe). Omówmy najpierw\n",
|
||||
"podstawy generowania tekstu.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Model języka jako generator\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Jak pamiętamy, model języka $M$ wylicza prawdopodobieństwo tekstu $w_1,\\dots,w_N$:\n",
|
||||
"\n",
|
||||
"$$P_M(w_1,\\dots,w_N) = ?.$$\n",
|
||||
"\n",
|
||||
"Zazwyczaj jest to równoważne obliczaniu rozkładu prawdopodobieństwa kolejnego słowa:\n",
|
||||
"\n",
|
||||
"$$P_M(w_j|w_1,\\dots,w_{j-1}) = ?.$$\n",
|
||||
"\n",
|
||||
"Załóżmy, że mamy pewien początek (**prefiks**) tekstu o długości $p$:\n",
|
||||
"$w_1,\\dots,w_p$. Powiedzmy, że naszym celem jest **wygenerowanie**\n",
|
||||
"dokończenia czy kontynuacji tego tekstu (nie określamy z góry\n",
|
||||
"długości tej kontynuacji).\n",
|
||||
"\n",
|
||||
"Najprostszy sposób wygenerowania pierwszego wyrazu dokończenia polega\n",
|
||||
"na wzięciu wyrazu maksymalizującego prawdopodobieństwo według modelu języka:\n",
|
||||
"\n",
|
||||
"$$w_{p+1} = \\operatorname{argmax}_w P_M(w|w_1,\\dots,w_p).$$\n",
|
||||
"\n",
|
||||
"**Pytanie**: Dlaczego $\\operatorname{argmax}$, a nie $\\operatorname{max}$?\n",
|
||||
"\n",
|
||||
"Słowo $w_{p+1}$ możemy dołączyć do prefiksu i powtórzyć procedurę:\n",
|
||||
"\n",
|
||||
"$$w_{p+2} = \\operatorname{argmax}_w P_M(w|w_1,\\dots,w_p,w_{p+1}),$$\n",
|
||||
"\n",
|
||||
"i tak dalej.\n",
|
||||
"\n",
|
||||
"**Pytanie**: Kiedy zakończymy procedurę generowania?\n",
|
||||
"\n",
|
||||
"Omawiana procedura jest najprostszym sposobem, czasami nie daje\n",
|
||||
"najlepszego wyniku, na przykład może pojawić się efekt „jąkania”\n",
|
||||
"(model generuje w kółko ten sam wyraz), dlatego opracowano bardziej\n",
|
||||
"wymyślne sposoby generowania w oparciu o modele języka. Omówimy je później.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Zastosowania generatora opartego na modelu języka\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Mogłoby się wydawać, że generator tekstu ma raczej ograniczone\n",
|
||||
"zastosowanie (generowanie fake newsów?). Okazuje się jednak, że\n",
|
||||
"zaskakująco wiele zadań przetwarzania języka naturalnego można\n",
|
||||
"przedstawić jako zadanie generowania tekstu. Przykładem jest tłumaczenie maszynowe.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"#### Tłumaczenie maszynowe jako zadanie generowania tekstu\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"W tłumaczeniu maszynowym (tłumaczeniu automatycznym, ang. *machine\n",
|
||||
"translation*) na wejściu podawany jest tekst (na ogół pojedyncze\n",
|
||||
"zdanie) źródłowy (*source sentence*) $S = (u_1,\\dots,u_{|S|})$, celem\n",
|
||||
"jest uzyskanie tekstu docelowego (*target sentence*)\n",
|
||||
"$T=(w_1,\\dots,w_{|T|})$. Zakładamy, że $S$ jest tekstem w pewnym języku\n",
|
||||
"źródłowym (*source language*), $T$ zaś — w innym języku, języku\n",
|
||||
"docelowym (*target language*).\n",
|
||||
"\n",
|
||||
"Współczesne tłumaczenie maszynowe jest oparte na metodach\n",
|
||||
"statystycznych — system uczy się na podstawie obszernego zbioru\n",
|
||||
"odpowiadających sobie zdań w obu językach. Taki zbiór nazywamy\n",
|
||||
"korpusem równoległym (*parallel corpus*). Duży zbiór korpusów\n",
|
||||
"równoległych dla wielu języków można znaleźć na stronie projektu [OPUS]([https://opus.nlpl.eu/](https://opus.nlpl.eu/)).\n",
|
||||
"Zobaczmy na przykład fragment EUROPARL (protokoły Parlamentu Europejskiego):\n",
|
||||
"\n",
|
||||
" $ wget 'https://opus.nlpl.eu/download.php?f=Europarl/v8/moses/en-pl.txt.zip' -O en-pl.txt.zip\n",
|
||||
" $ unzip en-pl.txt.zip\n",
|
||||
" $ paste Europarl.en-pl.en Europarl.en-pl.pl | shuf -n 5\n",
|
||||
" The adoption of these amendments by the Committee on the Environment meant that we could place more emphasis on patients' rights to information, rather than make it an option for the pharmaceutical industries to provide that information.\tPrzyjęcie tych poprawek przez Komisję Ochrony Środowiska Naturalnego oznaczało, że mogliśmy położyć większy nacisk na prawo pacjentów do informacji, zamiast uczynić zeń możliwość, z której branża farmaceutyczna może skorzystać w celu dostarczenia informacji.\n",
|
||||
" I hope that the High Representative - who is not here today - will raise this episode with China and also with Nepal, whose own nascent democracy is kept afloat partly by EU taxpayers' money in the form of financial aid.\tMam nadzieję, że nieobecna dzisiaj wysoka przedstawiciel poruszy tę kwestię w rozmowach z Chinami, ale również z Nepalem, którego młoda demokracja funkcjonuje częściowo dzięki finansowej pomocy pochodzącej z pieniędzy podatników w UE.\n",
|
||||
" Immunity and privileges of Renato Brunetta (vote)\tWniosek o obronę immunitetu parlamentarnego Renata Brunetty (głosowanie)\n",
|
||||
" The 'new Member States' - actually, the name continues to be sort of conditional, making it easier to distinguish between the 'old' Member States and those that acceded to the EU after two enlargement rounds, owing to their particular historical background and perhaps the fact that they are poorer than the old ones.\"Nowe państwa członkowskie” - ta nazwa nadal ma w pewnym sensie charakter warunkowy i ułatwia rozróżnienie pomiędzy \"starszymi” państwami członkowskimi oraz tymi, które przystąpiły do UE po dwóch rundach rozszerzenia, które wyróżnia ich szczególna historia, a zapewne także fakt, że są uboższe, niż starsze państwa członkowskie.\n",
|
||||
" The number of armed attacks also rose by 200% overall.\tTakże liczba ataków zbrojnych wzrosła łącznie o 200 %.\n",
|
||||
"\n",
|
||||
"Zauważmy, że możemy taki (bi)tekst modelować po prostu traktując jako\n",
|
||||
"jeden ciągły tekst. Innymi słowy, nie modelujemy tekstu angielskiego ani polskiego,\n",
|
||||
"tylko angielsko-polską mieszankę, to znaczy uczymy model, który najpierw modeluje prawdopodobieństwo\n",
|
||||
"po stronie źródłowej (powiedzmy — angielskiej):\n",
|
||||
"\n",
|
||||
" The number of armed attacks also ?\n",
|
||||
"\n",
|
||||
"W momencie napotkania specjalnego tokenu końca zdania źródłowego (powiedzmy `<eoss>`) model\n",
|
||||
"powinien nauczyć się, że musi przełączyć się na modelowanie tekstu w języku docelowym (powiedzmy — polskim):\n",
|
||||
"\n",
|
||||
" The number of armed attacks also rose by 200% overall.<eoss>Także liczba ataków ?\n",
|
||||
"\n",
|
||||
"W czasie uczenia wykorzystujemy korpus równoległy traktując go po prostu jako zwykły ciągły tekst\n",
|
||||
"(dodajemy tylko specjalne tokeny końca zdania źródłowego i końca zdania docelowego).\n",
|
||||
"\n",
|
||||
"W fazie inferencji (w tłumaczeniu maszynowym tradycyjnie nazywaną\n",
|
||||
"**dekodowaniem**) zamieniamy nasz model języka w generator i podajemy\n",
|
||||
"tłumaczone zdanie jako prefiks, doklejając tylko token `<eoss>`.\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"##### Neuronowe modele języka jako translatory\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Jako że n-gramowego modelu języka ani modelu opartego na worku słów\n",
|
||||
"nie da się użyć w omawiany sposób w tłumaczeniu maszynowym\n",
|
||||
"(dlaczego?), jako pierwszych użyto w neuronowym tłumaczeniu maszynowym\n",
|
||||
"sieci LSTM, przy zastosowaniu omawianego wyżej sposobu.\n",
|
||||
"\n",
|
||||
"System tłumaczenia oparte na sieciach LSTM działały zaskakująco\n",
|
||||
"dobrze, zważywszy na to, że cała informacja o zdaniu źródłowym musi\n",
|
||||
"zostać skompresowana do wektora o stałym rozmiarze. (Dlaczego? W\n",
|
||||
"momencie osiągnięcia tokenu `<eoss>` cały stan sieci to kombinacja\n",
|
||||
"właściwego stanu $\\vec{s_i}$ i komórki pamięci $\\vec{c_i}$.)\n",
|
||||
"\n",
|
||||
"Neuronowe tłumaczenie oparte na sieciach LSTM działa względnie dobrze\n",
|
||||
"dla krótkich zdań, dla dłuższych rezultaty są gorsze — po prostu sieć\n",
|
||||
"nie jest w stanie skompresować w wektorze o stałej długości znaczenia\n",
|
||||
"całego zdania. Na początku rozwoju neuronowego tłumaczenia maszynowego\n",
|
||||
"opracowano kilka metod radzenia sobie z tym problemem (np. zaskakująco\n",
|
||||
"dobrze działa odwrócenie zdania źródłowego — siec LSTM łatwiej zacząć\n",
|
||||
"generować zdanie docelowe, jeśli niedawno „widziała” początek zdania\n",
|
||||
"źródłowego, przynajmniej dla pary języków o podobnym szyku).\n",
|
||||
"\n",
|
||||
"Najlepsze efekty dodało dodanie atencji do modelu LSTM\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"##### Atencja w sieciach rekurencyjnych\n",
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"Funkcję rekurencyjną można rozbudować o trzeci argument, w którym\n",
|
||||
"podany będzie wynik działania atencji $A'$ względem ostatniego wyrazu, tj.:\n",
|
||||
"\n",
|
||||
"$$A(w_1,\\dots,w_t) = R(A(w_1,\\dots,w_{t-1}), A'(w_1,\\dots,w_{t-1}), E(w_t)),$$\n",
|
||||
"\n",
|
||||
"W czasie tłumaczenia model może kierować swoją uwagę na wyrazy\n",
|
||||
"powiązane z aktualnie tłumaczonym fragmentem (zazwyczaj — po prostu odpowiedniki).\n",
|
||||
"\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"metadata": {
|
||||
"kernelspec": {
|
||||
"display_name": "Python 3 (ipykernel)",
|
||||
"language": "python",
|
||||
"name": "python3"
|
||||
},
|
||||
"language_info": {
|
||||
"codemirror_mode": {
|
||||
"name": "ipython",
|
||||
"version": 3
|
||||
},
|
||||
"file_extension": ".py",
|
||||
"mimetype": "text/x-python",
|
||||
"name": "python",
|
||||
"nbconvert_exporter": "python",
|
||||
"pygments_lexer": "ipython3",
|
||||
"version": "3.10.5"
|
||||
},
|
||||
"org": null
|
||||
},
|
||||
"nbformat": 4,
|
||||
"nbformat_minor": 1
|
||||
}
|
||||
1
wyk/13_Atencja/simple-attention.drawio
Normal file
1
wyk/13_Atencja/simple-attention.drawio
Normal file
@ -0,0 +1 @@
|
||||
<mxfile host="app.diagrams.net" modified="2022-05-14T12:30:07.000Z" agent="5.0 (X11)" etag="IOywu--8VAE0PzfocaGt" version="17.4.6" type="device"><diagram id="UNyY5TJjaPirS19H5Hif" name="Page-1">7V3Ze6JIEP9rfDSfNKePozlmdpO5sjs7mZf5GCFKRNpBHDV//TYCCnQDrRwFSV4SKJqrzl9VF21PHC+2N66+nN1hw7R7aGBse+JlDyFBVTTyz6fsQooylALK1LWMkHYk3FvPZkgchNS1ZZirxEAPY9uzlkniBDuOOfESNN118SY57BHbybsu9alJEe4nuk1T/7MMbxZQNaQe6e9NazqL7kxeMDiy0KPB4SVWM93Am4C0fznxqieOXYy9YGuxHZu2z72ILwEHrjOOHh7MNR2P54Qvn+42n27m85vbD87X39dTT9Bu++HDrrxd9MKmQd4/3MWuN8NT7Oj21ZE6cvHaMUz/qgOydxxzi/GSEAVCfDI9bxcKU197mJBm3sIOj5pby/vun34hh3sP4cX87cttfGcX7tBvG7EVr92JmfOKSqg1ujs1vZxxoab67x+7QcjLGxMvTM/dkQGuaeue9SepH3qoZtPDuKMkyEYojBMEEz71H91eh3eiJHWUg8/UzczyzPulvufFhlhjkueZ/Ptjup65zX3j8GhfiIwyNOa+JIWEzdE0JC2kzWJmIQ5qYpMgdUWBCd/dXewkf/chup6/czxtv1de8TVOxRfEVmm+1gXNl+E1f8Dgk2KT244ssjH1N2yM5/31MqKT+xwOUTwlrPCSjFt5Lp6bY2xjl1Ac7Pi282jZdoqk29bUIbsTwmCT0Ec+Yy0SQt+FBxaWYewNjyWppDFWICxFSsoKDWlRKY1KClGSWuFHb6FvX64Q6FDBkIIwaFQMYqbBGNafyC5c/DzvjeWehnTDZ4Krbwy8xL8sc0+VVt5G9/Gs7f+d6z5xNDbMKe758ItEI2nz0/K35bHlkP/fAmLMBGM3Y9w/Iv1y05T0qS9VdfqCSiJkQnmUAa08aCjXozyPT3fztfTxs/jj4+N36Vb6130e9JEGijPiKOOAOQpwxgFYxM4qxBkpDFAIPCZYe7r+Mny4tv6aDb/J6GphjPoiDTyYTNVKwoz9qe9cV9/FBiyx5Xir2JU/+4Sjeskpz4TUVNqUGi8OtXLjpUFK+4InPuri4dXPV09ReFPPytVTULugn0Ox1PBGtJNG8J3STr4UrVHdREoXdLM/VPPG16NtqgyqbeeUBNrvC1WpCn2jFQql0gRBTSG44MnC01Ig7jRlyXv/NhUbKCNjZU5iTZkTk0mvt8ZWXUksQ/9VKZXriGkDCEyYMgCeSyE+Wzo5CtB3kvLjQOEZpSMBU29ZNXRGwh0k7T11ZPWFnnqZn7C/1KxbljL0sIGq2eZ+8Ftwl8rD1c3XH/rfWLqW1gzhXVxcvFz+95Vir18X/7GyHInoavQTr+/ej40vlx/eT/oqqNOHc/lxyJQDhZKYiclBuZkYcsACEYZCGl8IOcPNMt9T6Qo84JJ5nigLp9KUqkVeyoRlyoV60xktLNu2lqssRxdjub5aBh0Wj9bWF10t8wQia2KN4fekuvwePf24nrs7zy/3b3Q3LP/blmNhf+ulhiMBUUV4kZWHyDWFJHZBTqBkQ0lgSlixzHjbQ5eQ/isaPsjgVTZjtFScRpzZGZXZVsYWjhy2PFdyBELzapfEK4WsESpgDdMfc035JTIA9FIygFxV4fYDYtIJaMBJAYcDKFmuKcm2Jmo0TM6IdFxvJwirDrDniapu0K0kp1E4EXfRZdLaUVHBJnUXOb9Ykzu6npI9jbkMvNRXBGE5lkkrNi9gzQx4Zwe28DJIptwgq/erCozKfrxBV6ydaY3cAkhmZnkRofZeg3LyQk1AtHww1gKgyuzAagipolzmNIpU2Q8oMXiTCVXnnYWoZ3ljMdcbw2FU9tPSZRdKImeA1CoZ1wRKZT9QZ2qF5WDqGQEvQ1RvOLVFOFVQKdOGBqoZca0tQBW2bbYJoBo596JpI4Exh1BP22G5Rmf6s5K2z7sW2E1BPTc1e9bkvCtbAC0ocveFYYor8MlDxAaA5KEgs4JPHtBJdW7hVSUPKD9Ctix5QKw0ECZ5yGIcWPKAutfY21DykCWqt+ShRckDojvagJOHAhQAnTwg2Ba0BpIH7p4zxOg5q+e7kFISk2A/QzvPQ6OqXTSvUEXejy8CC4MSqngCuOzJ45nu9dQR2dDt5UzvqZd+XwV5tnHHu6tLZZkk+0/iTIHR5tYo0JRoXNlSU63S4njdKLDFnTAXlGVx81ducWLb7K2LDToqWGjkLZYCGyprqu9EQ/VbDl+3qaJUDzi4rYqdmaWs0OQQY528HDwIZnIvKSnklU0071gsm7KfaZeTTWdm+2IxTiHMjQe5i4FyIGQEuv3eZ9O1CNt8/1m1uBkL9+WEHzBpD6ng51jms4PdBQkwz35Zy/9URvdMZ/LU7k9lyuV2SCuOX7UtdcYUjdxFQ4TCmpG0irEmaG1NBl6qVwWJfPzCAe2aiB4z5gvvP13/c/fuOyW06mfvCpfTS6bCjA/7a1u5lM0surzxmqMGXJQALQEKcXfCuyzXYafOhZLYSstbkZBBKxLSaRWJfSHirUDPKNAfvrGBKkLIoIlu16yTt3ghgybI0gkrEsWt89UX81OLREDbpgI6z520TTXfOKs0Mt4qlAIbAukmfS4jeyvEo0Hb7KyDdQy4GDjkNU/YHiG6bEgJufkcOdXv3mclZ402u8pdnC+GKuHJ3FWiIaTqy3SV6BCGPGthrqKwkxZ8yRW6ytmGWhwUmrWMFoEv3sQIzDK4G0dhyxYKaCkKaFZX5pYN6DyfzOpGa7vXotYVhPZa0c9CNqzh8B5I5i2cwsJSGWTVhvwPC+FRaBT72++XD5reyG8psFWItwgJrOn1/LRoOXedmqOE13ylM/lXhRqs8OZRMqgGK13Mo1C6xACOSEB/1iOZR6HWJ1Lcy3fAzjApoN9In5UcN/BTW6VWDoSdzVA7E4daYKQKLwJTEaiRshBYELFGbQxdcjpyMVrImk1LGGvkjOXecOSahmMFS/UHv8yLY91kvbHU02j/+GKm7/pI4RBUsz1mKmKoOnRafVBouLwaZJmX01bCqpVNZNfF2IsduyHvNLvDhumP+B8=</diagram></mxfile>
|
||||
BIN
wyk/13_Atencja/simple-attention.drawio.png
Normal file
BIN
wyk/13_Atencja/simple-attention.drawio.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 78 KiB |
Loading…
Reference in New Issue
Block a user