"Na dzisiejszych zajęciach omówimy problem predykcji informacji i jego rozwiązanie poprzez wykorzystanie regresji liniowej."
]
},
{
"cell_type": "markdown",
"id": "b01eb137-5b7d-4f09-abac-0410366df4a9",
"metadata": {},
"source": [
"Zadaniem regresji liniowej jest po prostu dopasowanie prostej linii do danych. Warto podkreślić, że regresja liniowa przyjmuje założenie, że związek między cechami a zmienną objaśnianą jest mniej więcej liniowy. Regresja liniowa nie jest jedynym rodzajem regresji aczkolwiek jest to najprostsza wersja."
]
},
{
"cell_type": "markdown",
"id": "5dd39b3d-1a4b-44e5-9300-5ad796f7bb4c",
"metadata": {},
"source": [
"Regresja może nam pomóc w predykcji (przewidzeniu) wartości jakiejś zmiennej objaśnianej (zależnej) na podstawie jakiś cech (zmiennych niezależnych)."
"1. Dlaczego możemy zastosować regresję liniową do przewidywania informacji o danych?\n",
"\n",
"2. Co musimy znaleźć, aby móc dokonywać predykcji informacji? Co musimy mieć na uwadze, aby to znaleźć?"
]
},
{
"cell_type": "markdown",
"id": "8f70342d-6503-4810-ba02-e0f4a6208bfc",
"metadata": {},
"source": [
"## Przykład"
]
},
{
"cell_type": "markdown",
"id": "ebe61c55-c441-433d-8ba9-ec657ff5cc51",
"metadata": {},
"source": [
"Załóżmy, że mamy uczniów, którzy pracują w kursie e-learningowym i ciekawi nas, czy zakończą pracę w tym kursie z sukcesem, tzn. zdobędą jak najlepszy wynik w końcowym teście zaliczeniowym. Aktualne informacje, które posiadamy, to czas spędzony w tym kursie, liczba rozwiązanych ćwiczeń, liczba elementów, których uczeń jeszcze nie odwiedził. Wiemy też, kiedy uczeń zaczął się uczyć i ile razy wchodził do kursu. Każdy uczeń ma też świadomość, że mają określony termin, do kiedy muszą podejść do końcowego testu zaliczeniowego."
]
},
{
"cell_type": "markdown",
"id": "e29d4510-b276-4697-bc68-2b9f497bbc9e",
"metadata": {},
"source": [
"Powiedzmy, że na początek przyjrzymy się jednej z informacji - liczbie rozwiązanych ćwiczeń. Załóżmy, że w kursie jest 20 ćwiczeń do rozwiązania a wynik w końcowym teście zaliczeniowym badamy w procentach. Rok temu mieliśmy innych uczniów, którzy też pracowali z tym kursem e-learningowym i mamy informację o ich wynikach:"
"Zauważmy, że mamy tutaj pewien trend. W przybliżeniu możemy stwierdzić, że im większa liczba rozwiązanych ćwiczeń w kursie tym większy wynik w końcowym teście zaliczeniowym. Zatem moglibyśmy spróbować wyznaczyć funkcję, która pokazywałaby ten trend. Najprościej będzie wyznaczyć zależność liniową, czyli pewną funkcję liniową, która nam przybliży trend. Musimy znaleźć taką funkcję, dla której będziemy mieć sytuację, że dla jak największej liczby argumentów będziemy mieć jak najmniejszą różnicę pomiędzy wartością, którą zwróci funkcja a wartością rzeczywistą, którą mamy na powyższym wykresie."
]
},
{
"cell_type": "markdown",
"id": "020d9194-8fb5-450d-b642-71701c853c21",
"metadata": {},
"source": [
"Zatem naszym zadaniem jest wyznaczenie pewnej funkcji liniowej postaci:\n",
"$f(x)=ax+b$, gdzie:\n",
"\n",
"$x$ - liczba rozwiązanych ćwiczeń w kursie\n",
"\n",
"$f(x)$ - przybliżony wynik osiągnięty w końcowym teście zaliczeniowym\n",
"\n",
"$a$ - współczynnik kierunkowy naszej funkcji **regresji liniowej**\n",
"\n",
"$b$ - wyraz wolny"
]
},
{
"cell_type": "markdown",
"id": "05f37fe3-da73-46f3-b4b3-3cba82dbf546",
"metadata": {},
"source": [
"Powstaje pytanie jak wyznaczyć wartości $a$ i $b$. Istnieją algorytmy numeryczne, które pozwalają znaleźć przybliżone wartości. Jednym z nich jest tzw. algorytm gradientu prostego. Natomiast nie będziemy go w tym momencie omawiać.\n",
"\n",
"Na zajęciach ze statystyki będziecie Państwo (jeśli jeszcze nie mieliście statystyki) uczyć się jak wyznaczać te szukane wartości wg pewnych wzorów i teraz z nich skorzystamy:\n",
"$(x_{i}, y_{i})$ to i-ty punkt na naszym wykresie\n",
"\n",
"$\\overline{x}$ to średnia arytmetyczna wszystkich argumentów z naszego wykresu (liczby rozwiązanych ćwiczeń)\n",
"\n",
"$\\overline{y}$ to średnia arytmetyczna wszystkich wartości z naszego wykresu (wyników w teście)"
]
},
{
"cell_type": "markdown",
"id": "efdfa37b-292f-45c1-b18a-605b426b495a",
"metadata": {},
"source": [
"Co do zasady te wzory będą (lub były) wyjaśniane na zajęciach ze statystyki, natomiast na ten moment powinna wystarczyć nam informacja, że wynikają one z faktu, że szukamy takiej funkcji, dla której różnice między obliczoną a rzeczywistą wartością są jak najmniejsze. Różnice te mogą być ujemne, dlatego bada się kwadraty różnic, żeby nie było sytuacji, że różnice pewnych wartości się wyzerują i przez to znajdziemy błędną funkcję regresji. Taką metodę nazywa się **metodą najmniejszych kwadratów** a same różnice nazywa się **resztami** lub **residuami**."
]
},
{
"cell_type": "markdown",
"id": "9c2ebd9c-3b53-470a-8f62-1099c128cf15",
"metadata": {},
"source": [
"Gdybyśmy dla naszych danych wyznaczyli zgodnie z powyższymi wzorami wartość funkcji regresji liniowej otrzymalibyśmy prostą jak na poniższym wykresie:\n",
"- ponieważ wyraz wolny $b$ w przybliżeniu wynosi 11,94 to można powiedzieć, że jeśli uczeń nie rozwiąże ćwiczeń, to jego wynik na teście końcowym wyniesie właśnie ok. 12%;\n",
"- ponieważ współczynnik kierunkowy $a$ jest dodatni to oznacza, że wraz ze wzrostem liczby rozwiązanych ćwiczeń będzie rósł wynik na teście końcowym;\n",
"- ponieważ współczynnik kierunkowy $a$ wynosi ok. 4,89, oznacza to, że wraz z każdym kolejnym rozwiązanym ćwiczeniem wynik w teście końcowym wzrasta o ok. 4,89%.\n",
"To, czy powyższe wnioski są w naszym problemie sensowne to inna sprawa. Regresja liniowa ma swoje plusy i minusy:\n",
"\n",
"### Zalety:\n",
"- Prostota – dzięki swojej prostocie wykorzystywana jest w wielu dziedzinach: od matematyki, poprzez ekonomię, aż po geodezję,\n",
"- interpretowalność – dzięki prostym wzorom bardzo łatwo wyjaśnić biznesowi lub innym osobom, jak dana cecha wpływa na wynik modelu,\n",
"- szybkość – nawet przy dużej liczbie danych dla prostych algorytmów wyniki dostajemy prawie od razu.\n",
"\n",
"### Wady:\n",
"- Prostota (wcześniej zaleta ;P) – świat nie składa się z prostych liniowych zależności. Gdyby tak było, to pewnie nie byłoby takiego rozwoju uczenia maszynowego.\n",
"Oczywiście mamy więcej informacji niż liczba rozwiązanych ćwiczeń, więc można by było spróbować wyznaczyć funkcję wielu zmiennych, w której każdy ze składników byłby jakąś funkcją liniową. To już spróbujemy zrobić korzystając z możliwości języka Python i dostępnych dla niego bibliotek."
"Teraz obliczamy podstawowy model regresji liniowej i wyliczamy błąd (czyli jak bardzo obliczone wartości funkcji regresji różnią się od tych rzeczywistych) - weźmy miarę RMSE (omówimy ją na późniejszych zajęciach - na razie zapamiętajmy: im niższy błąd tym lepiej):"
]
},
{
"cell_type": "code",
"execution_count": 36,
"id": "f7eade7c-def7-4944-8eea-7cba985e5bf5",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Współczynnik a: 4.8869552414605435\n",
"Wyraz wolny: 11.935883392226131\n",
"Błąd: Root Mean Squared Error (RMSE): 8.27\n"
]
}
],
"source": [
"model = LinearRegression()\n",
" \n",
"X = data[['cwiczenia']]\n",
"y = data['test']\n",
" \n",
"model.fit(X,y, sample_weight=None)\n",
"y_pred = model.predict(X)\n",
" \n",
"print('Współczynnik a: ', model.coef_[0])\n",
"print('Wyraz wolny: ', model.intercept_)\n",
"print('Błąd: Root Mean Squared Error (RMSE): %.2f'% np.sqrt(mean_squared_error(y, y_pred)))\n"
]
},
{
"cell_type": "markdown",
"id": "04bf6923-da81-40ca-96bd-33f1ad973ddc",
"metadata": {},
"source": [
"A co by było jakbyśmy wzięli dodatkowo pod uwagę czas spędzony w kursie:"
]
},
{
"cell_type": "code",
"execution_count": 48,
"id": "2b232e81-9d0e-4817-ac0a-5f7b1d293666",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Współczynnik przy argumencie \"cwiczenia\": 2.793448759670846\n",
"Współczynnik przy argumencie \"czas_min\": 0.9017691542564438\n",
"Wyraz wolny: 4.156132897112705\n",
"Błąd: Root Mean Squared Error (RMSE): 5.19\n"
]
}
],
"source": [
"X = data[['cwiczenia', 'czas_min']]\n",
"y = data['test']\n",
" \n",
"model.fit(X,y, sample_weight=None)\n",
"y_pred = model.predict(X)\n",
" \n",
"print('Współczynnik przy argumencie \"cwiczenia\": ', model.coef_[0])\n",
"print('Współczynnik przy argumencie \"czas_min\": ', model.coef_[1])\n",
"print('Wyraz wolny: ', model.intercept_)\n",
"print('Błąd: Root Mean Squared Error (RMSE): %.2f'% np.sqrt(mean_squared_error(y, y_pred)))\n"
]
},
{
"cell_type": "markdown",
"id": "e49fa078-6216-4d83-bbbd-db0b58aa7c8e",
"metadata": {},
"source": [
"Mamy lepszy wynik - błąd jest niższy :)"
]
},
{
"cell_type": "markdown",
"id": "d501bcc0-d3bf-4552-bf2b-c78753b4d5d6",
"metadata": {},
"source": [
"A jak wyglądają nasze wyznaczone wartości funkcji regresji?"
"Dla całego zbioru danych oblicz sumę kwadratów róźnic pomiędzy kolumnami **test** i **y_pred**. Wynik zaokrąglij do dwóch miejsc po przecinku (pamiętaj, że od 5 zaokrąglamy w górę). Podpowiedź:"
]
},
{
"cell_type": "markdown",
"id": "90d8f306-e823-4552-8f41-6aac1ee37611",
"metadata": {},
"source": [
"- `data_with_y_pred['nazwa_kolumny'].size` - liczba elementów (wierszy) w danej kolumnie\n",
"\n",
"- `data_with_y_pred['nazwa_kolumny'][0]` - pierwszy (indeksujemy od zera) element (wiersz) kolumny"
]
},
{
"cell_type": "markdown",
"id": "8d9c213b-5758-409b-a73d-1012a3709032",
"metadata": {},
"source": [
"Konkretne zadanie: napisz funkcję o nazwie `fun1()`, która zwróci oczekiwany wynik. Kod tej funkcji wklej na Moodle'u w aktywności o nazwie **Regresja liniowa - zadanie 1**. Na Moodle'u poza powyższym zbiorem danych kod będzie sprawdzony na innym zbiorze danych, więc nie można napisać prostej funkcji, która zwróci wartość obliczoną np. na kartce - niestety trzeba napisać funkcję obliczającą poszukiwaną wartość ;)"
