From b866af4aa71a70466a654c160f3612618c610661 Mon Sep 17 00:00:00 2001 From: szymonj98 Date: Tue, 17 May 2022 01:12:04 +0200 Subject: [PATCH] =?UTF-8?q?wyg=C5=82adzanie?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- projekt.ipynb | 42 ++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 42 insertions(+) diff --git a/projekt.ipynb b/projekt.ipynb index 4c96fda..59a9e8a 100644 --- a/projekt.ipynb +++ b/projekt.ipynb @@ -88,6 +88,48 @@ "\n" ] }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Naiwna klasyfikacja bayesowska przy wielu cechach\n", + "


\n", + "Klasyfikator bayesowski możemy stosować na wielu cechach, wykonuje się to w następujący sposób:\n", + "\n", + "W naszym przypadku obiekt X posiada wiele cech $X = (x1, x2, x3, ... xn)$ wtedy stosując znany już wzór:\n", + "\n", + "$P(K|X) = \\frac{P(X|K) P(K)}{P(X)}$ \n", + "\n", + "$P(K)$ pozostaje niezmienne jest to $\\frac{liczba\\ elementów\\ klasy\\ K}{wszystkie\\ elementy\\ zbioru}$\n", + "\n", + "Element X posiada wiele cech więc:\n", + "\n", + "$P(X|K) = P(x1|K)*P(x2|K)*...*P(xn|K)$\n", + "\n", + "$P(xk|K) = \\frac{Liczba\\ elementów\\ klasy\\ K\\ dla\\ których\\ wartość\\ cechy\\ Ak\\ jest\\ równa\\ xk}{liczba\\ wszystkich\\ obiektów\\ klasy\\ K}$\n", + "



\n", + "Powyższy wzór ma jedna pewne problemy z zerowymi prawdopodobieństwami\n", + "


\n", + "Co w przypadku gdy dla którejś cechy $P(xk|K) = 0$\n", + "\n", + "Może się tak zdarzyć gdy cecha $Ak$ nie będzie przyjmowała wartości $xk$ danego obiektu $X$ wtedy zgodnie ze wzorem otrzymamy $\\frac{0}{liczba\\ wszystkich\\ obiektów\\ klasy\\ K}$\n", + "Gdy tak się stanie obliczone prawdopodobieństwo będzie równe 0, a przecież brak wartości xk dla cechy Ak klasy K nie musi wcale oznaczać śe dany obiekt nie może należeć do klasy K. Aby temu zaradzić stosuje się wygładzanie\n", + "


\n", + "Wygładzanie Laplace'a\n", + "


\n", + "Wygładzanie Laplace'a zwane jest również wygładzaniem + 1, jest to bardzo prosty sposób wystarczy dla każdego $P(xK|K)$ dodać do licznika 1 a do mianownika dodać liczbę cech obiektu $X = (x1,x2,...,xn)$:\n", + "\n", + "$P(xk|K) = \\frac{(Liczba\\ elementów\\ klasy\\ K\\ dla\\ których\\ wartość\\ cechy\\ Ak\\ jest\\ równa\\ xk\\\\)\\ + 1}{(liczba\\ wszystkich\\ obiektów\\ klasy\\ K\\\\) + n}$\n", + "\n", + "Łatwo można zauważyć że samo dodanie 1 do licznika nie jest wystarczające ponieważ wtedy $P(xK|K)$ mogłoby być $> 1$\n", + "


\n", + "Dzięki wygładzaniu Laplace'a $P(X|K)$ nigdy nie bęzie zerowe minimalna wartość to\n", + "\n", + "$\\frac{n}{(liczba\\ wszystkich\\ obiektów\\ klasy\\ K\\\\) + n}$\n", + "


\n", + "\n" + ] + }, { "cell_type": "markdown", "metadata": {},