{ "cells": [ { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## Uczenie maszynowe UMZ 2019/2020\n", "### 16 czerwca 2020\n", "# 14. Autoencoder. Tłumaczenie neuronowe" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## 14.1. Autoencoder" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "* Uczenie nienadzorowane\n", "* Dane: zbiór nieanotowanych przykładów uczących $\\{ x^{(1)}, x^{(2)}, x^{(3)}, \\ldots \\}$, $x^{(i)} \\in \\mathbb{R}^{n}$" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### Autoencoder (encoder-decoder)\n", "\n", "Sieć neuronowa taka, że:\n", "* warstwa wejściowa ma $n$ neuronów\n", "* warstwa wyjściowa ma $n$ neuronów\n", "* warstwa środkowa ma $k < n$ neuronów\n", "* $y^{(i)} = x^{(i)}$ dla każdego $i$" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Co otrzymujemy dzięki takiej sieci?\n", "\n", "* $y^{(i)} = x^{(i)} \\; \\Longrightarrow \\;$ Autoencoder próbuje nauczyć się funkcji $h(x) \\approx x$, czyli funkcji identycznościowej.\n", "* Warstwy środkowe mają mniej neuronów niż warstwy zewnętrzne, więc żeby to osiągnąć, sieć musi znaleźć bardziej kompaktową (tu: $k$-wymiarową) reprezentację informacji zawartej w wektorach $x_{(i)}$.\n", "* Otrzymujemy metodę kompresji danych." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Innymi słowy:\n", "* Ograniczenia nałożone na reprezentację danych w warstwie ukrytej pozwala na „odkrycie” pewnej **struktury** w danych.\n", "* _Decoder_ musi odtworzyć do pierwotnej postaci reprezentację danych skompresowaną przez _encoder_." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "* Całkowita liczba warstw w sieci autoencodera może być większa niż 3.\n", "* Jako funkcji kosztu na ogół używa się błędu średniokwadratowego (_mean squared error_, MSE) lub entropii krzyżowej (_binary crossentropy_).\n", "* Autoencoder może wykryć ciekawe struktury w danych nawet jeżeli $k \\geq n$, jeżeli na sieć nałoży się inne ograniczenia.\n", "* W wyniku działania autoencodera uzyskujemy na ogół kompresję **stratną**." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### Autoencoder a PCA\n", "\n", "Widzimy, że autoencoder można wykorzystać do redukcji liczby wymiarów. Podobną rolę pełni poznany na jednym z poprzednich wykładów algorytm PCA (analiza głównych składowych, _principal component analysis_). Faktycznie, jeżeli zastosujemy autoencoder z liniowymi funkcjami aktywacji i pojedynczą sigmoidalną warstwą ukrytą, to na podstawie uzyskanych wag można odtworzyć główne składowe używając rozkładu według wartości osobliwych (_singular value decomposition_, SVD)." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### Autoencoder odszumiający\n", "\n", "Jeżeli na wejściu zamiast „czystych” danych użyjemy danych zaszumionych, to otrzymamy sieć, która może usuwać szum z danych:\n", "\n", "" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### Autoencoder – zastosowania\n", "\n", "Autoencoder sprawdza się gorzej niż inne algorytmy kompresji, więc nie stosuje się go raczej jako metody kompresji danych, ale ma inne zastosowania:\n", "* odszumianie danych\n", "* redukcja wymiarowości\n", "* VAE (_variational autoencoders_) – http://kvfrans.com/variational-autoencoders-explained/" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## 14.2. Word embeddings" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "_Word embeddings_ – sposoby reprezentacji słów jako wektorów liczbowych" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Znaczenie wyrazu jest reprezentowane przez sąsiednie wyrazy:\n", "\n", "“A word is characterized by the company it keeps.” (John R. Firth, 1957)" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "* Pomysł pojawił sie jeszcze w latach 60. XX w.\n", "* _Word embeddings_ można uzyskiwać na różne sposoby, ale dopiero w ostatnim dziesięcioleciu stało się opłacalne użycie w tym celu sieci neuronowych." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Przykład – 2 zdania: \n", "* \"have a good day\"\n", "* \"have a great day\"\n", "\n", "Słownik:\n", "* {\"a\", \"day\", \"good\", \"great\", \"have\"}" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "* Aby wykorzystać metody uczenia maszynowego do analizy danych tekstowych, musimy je jakoś reprezentować jako liczby.\n", "* Najprostsza metoda to wektory jednostkowe:\n", " * \"a\" = $(1, 0, 0, 0, 0)$\n", " * \"day\" = $(0, 1, 0, 0, 0)$\n", " * \"good\" = $(0, 0, 1, 0, 0)$\n", " * \"great\" = $(0, 0, 0, 1, 0)$\n", " * \"have\" = $(0, 0, 0, 0, 1)$\n", "* Taka metoda nie uwzględnia jednak podobieństw i różnic między znaczeniami wyrazów." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Metody uzyskiwania _word embeddings_:\n", "* Common Bag of Words (CBOW)\n", "* Skip Gram\n", "\n", "Obie opierają się na odpowiednim użyciu autoencodera." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### Common Bag of Words\n", "\n", "" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### Skip Gram\n", "\n", "" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### Skip Gram a CBOW\n", "\n", "* Skip Gram lepiej reprezentuje rzadkie wyrazy i lepiej działa, jeżeli mamy mało danych.\n", "* CBOW jest szybszy i lepiej reprezentuje częste wyrazy." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### Popularne modele _word embeddings_\n", "* Word2Vec (Google)\n", "* GloVe (Stanford)\n", "* FastText (Facebook)" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## 14.3. Tłumaczenie neuronowe\n", "\n", "_Neural Machine Translation_ (NMT)" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Neuronowe tłumaczenie maszynowe również opiera się na modelu _encoder-decoder_:\n", "* _Encoder_ koduje z języka źródłowego na abstrakcyjną reprezentację.\n", "* _Decoder_ odkodowuje z abstrakcyjnej reprezentacji na język docelowy." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "" ] } ], "metadata": { "celltoolbar": "Slideshow", "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.8.3" }, "livereveal": { "start_slideshow_at": "selected", "theme": "amu" } }, "nbformat": 4, "nbformat_minor": 4 }