Add example

This commit is contained in:
Ryszard Staruch 2024-11-27 16:37:19 +01:00
parent 9c7a75e7f8
commit ff52845661

View File

@ -35,6 +35,69 @@
"![alt text](bayes_steps.png \"Title\")"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"P(C|X) = P(C) * P(X|C)\n",
"\n",
"P(C)\n",
"\n",
"15 - tekstów\n",
"<br>\n",
"5 - spam\n",
"<br>\n",
"10 - niespam\n",
"\n",
"P(spam) = 5/15 = 1/3\n",
"\n",
"<br>\n",
"P(X|C)\n",
"\n",
"Lubię borowiki i kurki. NIE SPAM\n",
"<br>\n",
"Lubię borowiki, borowiki i jeszcze raz borowiki. NIE SPAM\n",
"<br>\n",
"Poszedłem na zakupy. NIE SPAM\n",
"\n",
"P(borowiki|NIE SPAM) = 4 / 14\n",
"\n",
"P(zakupy|NIE SPAM) = 1 / 14\n",
"\n",
"P(X|NIE SPAM) = 4/14 * 1/14 * ...\n",
"\n",
"\n",
"\n",
"100 tekstów ze spamem, każde ma po 8 słów (i w pozostałych 99 nie występuje słowo borowiki)\n",
"<br>\n",
"1 SPAM\n",
"<br>\n",
"2 SPAM\n",
"<br>\n",
"...\n",
"<br>\n",
"Kup kup nasze nasze borowiki borowiki (TANIO TANIO)!!! SPAM\n",
"<br>\n",
"...\n",
"<br>\n",
"99 SPAM\n",
"<br>\n",
"100 SPAM\n",
"\n",
"P(borowiki|SPAM) = 2 / 800"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Inferencja (czyli dokonanie predykcji modelu) na zbiorze testowym\n",
"\n",
"Dla zdania ze zbioru testowego dla każdego słowa, które znajduje się w słowniku, obliczamy wartości P(xi|C), gdzie wartość z licznika oraz mianiownika bazuje na danych ze zbioru treningowego.\n",
"\n",
"Czyli np. dla zdania \"Kup pyszne borowiki\" jeżeli tylko słowa \"kup\" oraz \"pyszne\" występują w słowniku obliczamy P(X|C) = P(kup|C) * P(borowiki|C).\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
@ -49,7 +112,7 @@
"\n",
"W pliku out.tsv muszą znajdować się wartości 0 lub 1 oddzielone nowymi liniami (bez nagłówka).\n",
"\n",
"Można spróbować z różnymi wartościami alpha oraz liczbą słów w słowniku (czyli w kroku P(X|C) możemy uwzględniać tylko np. 500 najczęściej występujących słów).\n",
"Można spróbować z różnymi wartościami alpha oraz liczbą słów w słowniku (czyli w kroku P(X|C) możemy uwzględniać tylko np. 500 najczęściej występujących słów - nie gwarantuję że to pomoże).\n",
"\n",
"Proszę pamiętać o redukcji obliczeń (np. liczbę słów w danej klasie można zapisać w zmiennej, a nie robić to za każdym razem).\n",
"\n",