wykład 8

wyk/08_Regresja_liniowa.ipynb

@@ -0,0 +1,214 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "id": "continent-intermediate",
+   "metadata": {},
+   "source": [
+    "# Regresja liniowa\n",
+    "\n",
+    "Regresja liniowa jest prosta...\n",
+    "\n",
+    "![Ceny mieszkań](./08_files/linregr1.png)\n",
+    "\n",
+    "... dosłownie — dopasuj prostą $y = ax + b$ do punktów\n",
+    "\n",
+    "Należy odgadnąć $a$ i $b$ tak, aby zminimalizować błąd\n",
+    "kwadratowy, tj. wartość:\n",
+    "\n",
+    "$$\\sum_{i=1}^n (y_i - (ax_i + b))^2$$\n",
+    "\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "original-speed",
+   "metadata": {},
+   "source": [
+    "Regresje liniowa (jednej zmiennej) jest łatwa do rozwiązania — wystarczy podstawić do wzoru!\n",
+    "\n",
+    "$$\\hat{b} = \\frac{ \\sum_{i=1}^{n}{x_i y_i} - \\frac{1}{n} \\sum_{i=1}^n x_i\n",
+    "  \\sum_{j=1}^n y_j}{ \\sum_{i=1}^n {x_i^2} - \\frac{1}{n} (\\sum_{i=1}^n\n",
+    "  x_i)^2 }$$\n",
+    "\n",
+    "$$\\hat{a} = \\bar{y} - \\hat{b}\\,\\bar{x}$$\n",
+    "\n",
+    "\n",
+    "Na przykład dla mieszkań: $b =$ -30809.203 zł,  $a =$ 5733.693 zł/m$^2$.\n",
+    "\n",
+    "![Ceny mieszkań](./08_files/linregr2.png)\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "significant-relaxation",
+   "metadata": {},
+   "source": [
+    "## Regresja wielu zmiennych\n",
+    "\n",
+    "W praktyce mamy do czynienia z **wielowymiarową** regresją\n",
+    "liniową.\n",
+    "\n",
+    "Cena mieszkań może być prognozowana na podstawie:\n",
+    "\n",
+    "* powierzchni ($x_1 = 32.3$) \n",
+    "\n",
+    "* liczby pokoi ($x_2 = 3$)\n",
+    " \n",
+    "* piętra ($x_3 = 4$)\n",
+    "\n",
+    "* wieku ($x_4 = 13$)\n",
+    "\n",
+    "* odległości od Dworca Centralnego w Warszawie ($x_5 = 371.3$)\n",
+    "\n",
+    "* cech zerojedynkowych:\n",
+    "\n",
+    "  * czy wielka płyta? ($x_6 = 0$)\n",
+    "\n",
+    "  * czy jest jacuzzi? ($x_7 = 1$)\n",
+    "\n",
+    "  * czy jest grzyb? ($x_8 = 0$)\n",
+    "\n",
+    "  * czy to Kielce? ($x_9 = 1$)\n",
+    "\n",
+    "* ...\n",
+    "\n",
+    "... więc uogólniamy na wiele ($k$) wymiarów:\n",
+    "\n",
+    "$$ y = w_0 + w_1x_1 + \\ldots + w_kx_k = w_0 + \\sum_{j=1}^{k} w_jx_j $$\n",
+    "\n",
+    "gdzie:\n",
+    "\n",
+    "* $x_1,\\dots,x_k$ -- zmienne, na podstawie których zgadujemy\n",
+    "\n",
+    "* $w_0, w_1,\\dots,w_k$ -- wagi modelu (do wymyślenia na\n",
+    "  podstawie przykładów)\n",
+    "\n",
+    "* $y$ -- odgadywana wartość\n",
+    "\n",
+    "Też istnieje wzór ładny wzór na wyliczenie wektora wag!\n",
+    "\n",
+    "$$\\mathbf{w} = (\\mathbf{X}^{\\rm T}\\mathbf{X})^{-1} \\mathbf{X}^{\\rm T}\\mathbf{y}$$\n",
+    "\n",
+    "... niestety odwracanie macierzy nie jest tanie :("
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "ordinary-appendix",
+   "metadata": {},
+   "source": [
+    "## Kilka sporzeżeń\n",
+    "\n",
+    "Regresja liniowa to najprostszy możliwy model:\n",
+    "\n",
+    "* im czegoś więcej na wejściu, tym proporcjonalnie (troszkę) więcej/mniej na wyjściu\n",
+    "\n",
+    "* nic prostszego nie da się wymyślić (funkcja stała??)\n",
+    "\n",
+    "* niestety model liniowy czasami kompletnie nie ma sensu (np. wzrost człowieka w\n",
+    "  stosunku do wieku)\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "egyptian-austria",
+   "metadata": {},
+   "source": [
+    "## Uczenie\n",
+    "\n",
+    "A jak nauczyć się wag z przykładów?\n",
+    "\n",
+    "* wzór (z odwracaniem macierzy) — problematyczny\n",
+    "\n",
+    "### Metoda gradientu prostego\n",
+    "\n",
+    "![Morskie Oko - Krzysztof Dudzik](08_files/morskieoko.jpg)\n",
+    "\n",
+    "Schodź wzdłuż lokalnego spadku funkcji błędu.\n",
+    "\n",
+    "Tak więc w praktyce zamiast podstawiać do wzoru lepiej się uczyć iteracyjnie -\n",
+    "  metodą **gradientu prostego** (ang. _gradient descent_).\n",
+    "\n",
+    "1. Zacznij od byle jakich wag $w_i$ (np. wylosuj)\n",
+    "2. Weź losowy przykład uczący $x_1,\\dots,x_n$, $y$.\n",
+    "3. Oblicz wyjście $\\hat{y}$ na podstawie $x_1,\\dots,x_n$.\n",
+    "4. Oblicz funkcję błędu między $y$ a $\\hat{y}$.\n",
+    "5. Zmodyfikuj lekko wagi $(w_i)$ w kierunku spadku funkcji błędu.\n",
+    "6. Jeśli błąd jest duży, idź do 2.\n",
+    "\n",
+    "Modyfikacja wag:\n",
+    "\n",
+    "$$w_i := w_i - x_i (\\hat{y} - y) \\eta$$\n",
+    "\n",
+    "gdzie $\\eta$ to **współczynnik uczenia** _learning rate_.\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "exact-train",
+   "metadata": {},
+   "source": [
+    "## Ewaluacja regresji\n",
+    "\n",
+    "To miary błędu (im mniej, tym lepiej!)}\n",
+    "\n",
+    "### Błąd bezwzględny (Mean Absolute Error, MAE)\n",
+    "\n",
+    "$$\\frac{1}{n}\\sum_{i=1}^n |\\hat{y}_i - y_i| $$\n",
+    "\n",
+    "### Mean Squared Error (MSE)\n",
+    "\n",
+    "$$\\frac{1}{n}\\sum_{i=1}^n (\\hat{y}_i - y_i)^2$$\n",
+    "\n",
+    "### Root Mean Squared Error (RMSE)\n",
+    "\n",
+    "$$\\sqrt{\\frac{1}{n}\\sum_{i=1}^n (\\hat{y}_i - y_i)^2}$$\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "selective-agriculture",
+   "metadata": {},
+   "source": [
+    "## Regresja liniowa dla tekstu\n",
+    "\n",
+    "Czym jest wektor $\\vec{x} = (x_1,\\dots,x_n)$? Wiemy, np. reprezentacja tf-idf (być z trikiem z haszowaniem, Word2vec etc.).\n",
+    "\n",
+    "![schemat regresji liniowej](08_files/regresja-liniowa-tekst.png)\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "numerous-limitation",
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.9.2"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 5
+}

wyk/08_files/linregr1.r

@@ -0,0 +1,8 @@
+library(ggplot2)
+
+prices = read.csv("mieszkania.tsv", sep="\t", header=TRUE)
+prices$area = prices$powierzchnia
+prices$price = prices$cena
+pdf("linregr1.pdf")
+ggplot(prices, aes(x=area, y=price)) + geom_point()
+dev.off()

wyk/08_files/linregr2.r

@@ -0,0 +1,8 @@
+library(ggplot2)
+
+prices = read.csv("mieszkania.tsv", sep="\t", header=TRUE)
+prices$area = prices$powierzchnia
+prices$price = prices$cena
+pdf("linregr2.pdf")
+ggplot(prices, aes(x=area, y=price)) + geom_point() + stat_smooth(method=lm, se=FALSE)
+dev.off()

wyk/08_files/mieszkania.tsv

@@ -0,0 +1,121 @@
+powierzchnia	cena
+53	215000
+60.01	219990
+54	285000
+60	330000
+63	212000
+39	219000
+76.11	399000
+48	119000
+42.19	260000
+53.41	323000
+65.65	555000
+65	185000
+55	247000
+100	280000
+56	224000
+39	230000
+42.3	179000
+49.65	305000
+68	345000
+37	145000
+103	529000
+62.3	209000
+17.65	42000
+45	500000
+36.15	140000
+45	159000
+50	130000
+48	84000
+36	359000
+39.3	116400
+49.48	136950
+26	85000
+72	469000
+64	239000
+55	435000
+90	175903
+90	175903
+90	175903
+127.88	1710000
+59	649000
+48.7	240000
+73	259000
+32.9	275000
+64	170000
+44.72	174408
+68	275000
+38	323000
+35	110000
+63	165000
+25	69000
+50	290000
+76.312	572325
+65	429000
+52.5	499000
+58	145000
+34	95000
+46	280000
+38	120000
+52	269000
+47	105000
+63	266000
+67.79	275000
+60	550000
+107	1230000
+53	228000
+48.65	148000
+39	140000
+23	170000
+35	195000
+71.19	245000
+75	329000
+53	185000
+51	135000
+42	133000
+38	142000
+45.6	470000
+50	194000
+29	158999
+28.8	199000
+36	199000
+57.43	385621
+57.71	402305
+60.12	395000
+38	210000
+56.28	419000
+60	346800
+41	295000
+28.7	219000
+39	275000
+37	105000
+47	330000
+64	435000
+96	151200
+35.34	87000
+101	489000
+50	129000
+49.5	315000
+14	2000
+31	110000
+50.9	265000
+117	129000
+52.2	250000
+28	140000
+15	5000
+41.7	249000
+56.4	490000
+30.9	161000
+42.3	229000
+53	270000
+72.4	409000
+52.9	370000
+37.77	135000
+82	260000
+32	195000
+59	590000
+62.01	205000
+52.5	543000
+56	170000
+67.61	285000
+51	494000