diff --git a/wyk/08_Regresja_liniowa.ipynb b/wyk/08_Regresja_liniowa.ipynb new file mode 100644 index 0000000..4e01af8 --- /dev/null +++ b/wyk/08_Regresja_liniowa.ipynb @@ -0,0 +1,214 @@ +{ + "cells": [ + { + "cell_type": "markdown", + "id": "continent-intermediate", + "metadata": {}, + "source": [ + "# Regresja liniowa\n", + "\n", + "Regresja liniowa jest prosta...\n", + "\n", + "![Ceny mieszkań](./08_files/linregr1.png)\n", + "\n", + "... dosłownie — dopasuj prostą $y = ax + b$ do punktów\n", + "\n", + "Należy odgadnąć $a$ i $b$ tak, aby zminimalizować błąd\n", + "kwadratowy, tj. wartość:\n", + "\n", + "$$\\sum_{i=1}^n (y_i - (ax_i + b))^2$$\n", + "\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "id": "original-speed", + "metadata": {}, + "source": [ + "Regresje liniowa (jednej zmiennej) jest łatwa do rozwiązania — wystarczy podstawić do wzoru!\n", + "\n", + "$$\\hat{b} = \\frac{ \\sum_{i=1}^{n}{x_i y_i} - \\frac{1}{n} \\sum_{i=1}^n x_i\n", + " \\sum_{j=1}^n y_j}{ \\sum_{i=1}^n {x_i^2} - \\frac{1}{n} (\\sum_{i=1}^n\n", + " x_i)^2 }$$\n", + "\n", + "$$\\hat{a} = \\bar{y} - \\hat{b}\\,\\bar{x}$$\n", + "\n", + "\n", + "Na przykład dla mieszkań: $b =$ -30809.203 zł, $a =$ 5733.693 zł/m$^2$.\n", + "\n", + "![Ceny mieszkań](./08_files/linregr2.png)\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "id": "significant-relaxation", + "metadata": {}, + "source": [ + "## Regresja wielu zmiennych\n", + "\n", + "W praktyce mamy do czynienia z **wielowymiarową** regresją\n", + "liniową.\n", + "\n", + "Cena mieszkań może być prognozowana na podstawie:\n", + "\n", + "* powierzchni ($x_1 = 32.3$) \n", + "\n", + "* liczby pokoi ($x_2 = 3$)\n", + " \n", + "* piętra ($x_3 = 4$)\n", + "\n", + "* wieku ($x_4 = 13$)\n", + "\n", + "* odległości od Dworca Centralnego w Warszawie ($x_5 = 371.3$)\n", + "\n", + "* cech zerojedynkowych:\n", + "\n", + " * czy wielka płyta? ($x_6 = 0$)\n", + "\n", + " * czy jest jacuzzi? ($x_7 = 1$)\n", + "\n", + " * czy jest grzyb? ($x_8 = 0$)\n", + "\n", + " * czy to Kielce? ($x_9 = 1$)\n", + "\n", + "* ...\n", + "\n", + "... więc uogólniamy na wiele ($k$) wymiarów:\n", + "\n", + "$$ y = w_0 + w_1x_1 + \\ldots + w_kx_k = w_0 + \\sum_{j=1}^{k} w_jx_j $$\n", + "\n", + "gdzie:\n", + "\n", + "* $x_1,\\dots,x_k$ -- zmienne, na podstawie których zgadujemy\n", + "\n", + "* $w_0, w_1,\\dots,w_k$ -- wagi modelu (do wymyślenia na\n", + " podstawie przykładów)\n", + "\n", + "* $y$ -- odgadywana wartość\n", + "\n", + "Też istnieje wzór ładny wzór na wyliczenie wektora wag!\n", + "\n", + "$$\\mathbf{w} = (\\mathbf{X}^{\\rm T}\\mathbf{X})^{-1} \\mathbf{X}^{\\rm T}\\mathbf{y}$$\n", + "\n", + "... niestety odwracanie macierzy nie jest tanie :(" + ] + }, + { + "cell_type": "markdown", + "id": "ordinary-appendix", + "metadata": {}, + "source": [ + "## Kilka sporzeżeń\n", + "\n", + "Regresja liniowa to najprostszy możliwy model:\n", + "\n", + "* im czegoś więcej na wejściu, tym proporcjonalnie (troszkę) więcej/mniej na wyjściu\n", + "\n", + "* nic prostszego nie da się wymyślić (funkcja stała??)\n", + "\n", + "* niestety model liniowy czasami kompletnie nie ma sensu (np. wzrost człowieka w\n", + " stosunku do wieku)\n" + ] + }, + { + "cell_type": "markdown", + "id": "egyptian-austria", + "metadata": {}, + "source": [ + "## Uczenie\n", + "\n", + "A jak nauczyć się wag z przykładów?\n", + "\n", + "* wzór (z odwracaniem macierzy) — problematyczny\n", + "\n", + "### Metoda gradientu prostego\n", + "\n", + "![Morskie Oko - Krzysztof Dudzik](08_files/morskieoko.jpg)\n", + "\n", + "Schodź wzdłuż lokalnego spadku funkcji błędu.\n", + "\n", + "Tak więc w praktyce zamiast podstawiać do wzoru lepiej się uczyć iteracyjnie -\n", + " metodą **gradientu prostego** (ang. _gradient descent_).\n", + "\n", + "1. Zacznij od byle jakich wag $w_i$ (np. wylosuj)\n", + "2. Weź losowy przykład uczący $x_1,\\dots,x_n$, $y$.\n", + "3. Oblicz wyjście $\\hat{y}$ na podstawie $x_1,\\dots,x_n$.\n", + "4. Oblicz funkcję błędu między $y$ a $\\hat{y}$.\n", + "5. Zmodyfikuj lekko wagi $(w_i)$ w kierunku spadku funkcji błędu.\n", + "6. Jeśli błąd jest duży, idź do 2.\n", + "\n", + "Modyfikacja wag:\n", + "\n", + "$$w_i := w_i - x_i (\\hat{y} - y) \\eta$$\n", + "\n", + "gdzie $\\eta$ to **współczynnik uczenia** _learning rate_.\n" + ] + }, + { + "cell_type": "markdown", + "id": "exact-train", + "metadata": {}, + "source": [ + "## Ewaluacja regresji\n", + "\n", + "To miary błędu (im mniej, tym lepiej!)}\n", + "\n", + "### Błąd bezwzględny (Mean Absolute Error, MAE)\n", + "\n", + "$$\\frac{1}{n}\\sum_{i=1}^n |\\hat{y}_i - y_i| $$\n", + "\n", + "### Mean Squared Error (MSE)\n", + "\n", + "$$\\frac{1}{n}\\sum_{i=1}^n (\\hat{y}_i - y_i)^2$$\n", + "\n", + "### Root Mean Squared Error (RMSE)\n", + "\n", + "$$\\sqrt{\\frac{1}{n}\\sum_{i=1}^n (\\hat{y}_i - y_i)^2}$$\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "id": "selective-agriculture", + "metadata": {}, + "source": [ + "## Regresja liniowa dla tekstu\n", + "\n", + "Czym jest wektor $\\vec{x} = (x_1,\\dots,x_n)$? Wiemy, np. reprezentacja tf-idf (być z trikiem z haszowaniem, Word2vec etc.).\n", + "\n", + "![schemat regresji liniowej](08_files/regresja-liniowa-tekst.png)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "id": "numerous-limitation", + "metadata": {}, + "outputs": [], + "source": [] + } + ], + "metadata": { + "kernelspec": { + "display_name": "Python 3", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.9.2" + } + }, + "nbformat": 4, + "nbformat_minor": 5 +} diff --git a/wyk/08_files/linregr1.pdf b/wyk/08_files/linregr1.pdf new file mode 100644 index 0000000..9773332 Binary files /dev/null and b/wyk/08_files/linregr1.pdf differ diff --git a/wyk/08_files/linregr1.png b/wyk/08_files/linregr1.png new file mode 100644 index 0000000..e51a1b9 Binary files /dev/null and b/wyk/08_files/linregr1.png differ diff --git a/wyk/08_files/linregr1.r b/wyk/08_files/linregr1.r new file mode 100644 index 0000000..b8fb7e0 --- /dev/null +++ b/wyk/08_files/linregr1.r @@ -0,0 +1,8 @@ +library(ggplot2) + +prices = read.csv("mieszkania.tsv", sep="\t", header=TRUE) +prices$area = prices$powierzchnia +prices$price = prices$cena +pdf("linregr1.pdf") +ggplot(prices, aes(x=area, y=price)) + geom_point() +dev.off() diff --git a/wyk/08_files/linregr2.pdf b/wyk/08_files/linregr2.pdf new file mode 100644 index 0000000..f912906 Binary files /dev/null and b/wyk/08_files/linregr2.pdf differ diff --git a/wyk/08_files/linregr2.png b/wyk/08_files/linregr2.png new file mode 100644 index 0000000..4e65624 Binary files /dev/null and b/wyk/08_files/linregr2.png differ diff --git a/wyk/08_files/linregr2.r b/wyk/08_files/linregr2.r new file mode 100644 index 0000000..4ec030c --- /dev/null +++ b/wyk/08_files/linregr2.r @@ -0,0 +1,8 @@ +library(ggplot2) + +prices = read.csv("mieszkania.tsv", sep="\t", header=TRUE) +prices$area = prices$powierzchnia +prices$price = prices$cena +pdf("linregr2.pdf") +ggplot(prices, aes(x=area, y=price)) + geom_point() + stat_smooth(method=lm, se=FALSE) +dev.off() diff --git a/wyk/08_files/mieszkania.tsv b/wyk/08_files/mieszkania.tsv new file mode 100644 index 0000000..e893fea --- /dev/null +++ b/wyk/08_files/mieszkania.tsv @@ -0,0 +1,121 @@ +powierzchnia cena +53 215000 +60.01 219990 +54 285000 +60 330000 +63 212000 +39 219000 +76.11 399000 +48 119000 +42.19 260000 +53.41 323000 +65.65 555000 +65 185000 +55 247000 +100 280000 +56 224000 +39 230000 +42.3 179000 +49.65 305000 +68 345000 +37 145000 +103 529000 +62.3 209000 +17.65 42000 +45 500000 +36.15 140000 +45 159000 +50 130000 +48 84000 +36 359000 +39.3 116400 +49.48 136950 +26 85000 +72 469000 +64 239000 +55 435000 +90 175903 +90 175903 +90 175903 +127.88 1710000 +59 649000 +48.7 240000 +73 259000 +32.9 275000 +64 170000 +44.72 174408 +68 275000 +38 323000 +35 110000 +63 165000 +25 69000 +50 290000 +76.312 572325 +65 429000 +52.5 499000 +58 145000 +34 95000 +46 280000 +38 120000 +52 269000 +47 105000 +63 266000 +67.79 275000 +60 550000 +107 1230000 +53 228000 +48.65 148000 +39 140000 +23 170000 +35 195000 +71.19 245000 +75 329000 +53 185000 +51 135000 +42 133000 +38 142000 +45.6 470000 +50 194000 +29 158999 +28.8 199000 +36 199000 +57.43 385621 +57.71 402305 +60.12 395000 +38 210000 +56.28 419000 +60 346800 +41 295000 +28.7 219000 +39 275000 +37 105000 +47 330000 +64 435000 +96 151200 +35.34 87000 +101 489000 +50 129000 +49.5 315000 +14 2000 +31 110000 +50.9 265000 +117 129000 +52.2 250000 +28 140000 +15 5000 +41.7 249000 +56.4 490000 +30.9 161000 +42.3 229000 +53 270000 +72.4 409000 +52.9 370000 +37.77 135000 +82 260000 +32 195000 +59 590000 +62.01 205000 +52.5 543000 +56 170000 +67.61 285000 +51 494000 diff --git a/wyk/08_files/morskieoko.jpg b/wyk/08_files/morskieoko.jpg new file mode 100644 index 0000000..b9b6997 Binary files /dev/null and b/wyk/08_files/morskieoko.jpg differ diff --git a/wyk/08_files/regresja-liniowa-tekst.png b/wyk/08_files/regresja-liniowa-tekst.png new file mode 100644 index 0000000..a6fed62 Binary files /dev/null and b/wyk/08_files/regresja-liniowa-tekst.png differ