Merge branch 'lab'

lab/04_statystyczny_model_językowy.ipynb

@@ -59,11 +59,11 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 24,
+   "execution_count": 1,
    "metadata": {},
    "outputs": [],
    "source": [
-    "def get_ppl(text: list) -> float:\n",
+    "def get_perplexity(text: list) -> float:\n",
     "    pass"
    ]
   },
@@ -81,19 +81,20 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "- wybierz tekst w dowolnym języku (10_000_000 słów)\n",
-    "- podziel zbiór na train/test w proporcji 90/100\n",
-    "- stworzyć unigramowy model językowy\n",
-    "- stworzyć bigramowy model językowy\n",
-    "- stworzyć trigramowy model językowy\n",
-    "- wymyśl 5 krótkich zdań. Policz ich prawdopodobieństwo\n",
-    "- napisz włąsnoręcznie funkcję, która liczy perplexity na korpusie i policz perplexity na każdym z modeli dla train i test\n",
-    "- wygeneruj tekst, zaczynając od wymyślonych 5 początków. Postaraj się, żeby dla obu funkcji, a przynajmniej dla high_probable_next_word teksty były orginalne. Czy wynik będzię sie róźnił dla tekstów np.\n",
-    "`We sketch how Loomis–Whitney follows from this: Indeed, let X be a uniformly distributed random variable with values` oraz  `random variable with values`?\n",
-    "- stwórz model dla korpusu z ZADANIE 1 i policz perplexity dla każdego z tekstów (zrób split 90/10) dla train i test\n",
+    "## Zadanie (60 punktów)\n",
     "\n",
-    "- klasyfikacja za pomocą modelu językowego\n",
-    "- wygładzanie metodą laplace'a"
+    "- Wybierz tekst w dowolnym języku (10 000 000 słów).\n",
+    "- Podziel zbiór na train/test w proporcji 90/100.\n",
+    "- Stwórz unigramowy model językowy.\n",
+    "- Stwórz bigramowy model językowy.\n",
+    "- Stwórz trigramowy model językowy.\n",
+    "- Wymyśl 5 krótkich zdań. Dla każdego oblicz jego prawdopodobieństwo.\n",
+    "- Napisz włąsnoręcznie funkcję, która liczy perplexity na korpusie i policz perplexity na każdym z modeli dla podzbiorów train i test.\n",
+    "- Wygeneruj tekst, zaczynając od wymyślonych 5 początków. Postaraj się, żeby dla obu funkcji, a przynajmniej dla `high_probable_next_word`, teksty były orginalne.\n",
+    "- Stwórz model dla korpusu z ZADANIE 1 i policz perplexity dla każdego z tekstów (zrób split 90/10) dla train i test.\n",
+    "- Dokonaj klasyfikacji za pomocą modelu językowego.\n",
+    "- Zastosuj wygładzanie metodą Laplace'a.\n",
+    "- Znajdź duży zbiór danych dla klasyfikacji binarnej, wytrenuj osobne modele dla każdej z klas i użyj dla klasyfikacji."
    ]
   },
   {
@@ -110,13 +111,6 @@
     "#### KONIEC ZADANIA"
    ]
   },
-  {
-   "cell_type": "markdown",
-   "metadata": {},
-   "source": [
-    "- znajdź duży zbiór danych dla klasyfikacji binarnej, wytrenuj osobne modele dla każdej z klas i użyj dla klasyfikacji. Warunkiem zaliczenia jest uzyskanie wyniku większego niż baseline (zwracanie zawsze bardziej licznej klasy)"
-   ]
-  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -159,7 +153,7 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.8.3"
+   "version": "3.10.12"
   },
   "subtitle": "0.Informacje na temat przedmiotu[ćwiczenia]",
   "title": "Ekstrakcja informacji",