pms/moj-2024
3
2
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Merge branch 'lab'

Browse Source
This commit is contained in:
Paweł Skórzewski 2024-03-27 11:26:17 +01:00
commit 581e599dae
1 changed files with 16 additions and 22 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

38
lab/04_statystyczny_model_językowy.ipynb
View File

@ -59,11 +59,11 @@
}, },
{ {
"cell_type": "code", "cell_type": "code",
"execution_count": 24, "execution_count": 1,
"metadata": {}, "metadata": {},
"outputs": [], "outputs": [],
"source": [ "source": [
"def get_ppl(text: list) -> float:\n", "def get_perplexity(text: list) -> float:\n",
" pass" " pass"
] ]
}, },
@ -81,19 +81,20 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"- wybierz tekst w dowolnym języku (10_000_000 słów)\n", "## Zadanie (60 punktów)\n",
"- podziel zbiór na train/test w proporcji 90/100\n",
"- stworzyć unigramowy model językowy\n",
"- stworzyć bigramowy model językowy\n",
"- stworzyć trigramowy model językowy\n",
"- wymyśl 5 krótkich zdań. Policz ich prawdopodobieństwo\n",
"- napisz włąsnoręcznie funkcję, która liczy perplexity na korpusie i policz perplexity na każdym z modeli dla train i test\n",
"- wygeneruj tekst, zaczynając od wymyślonych 5 początków. Postaraj się, żeby dla obu funkcji, a przynajmniej dla high_probable_next_word teksty były orginalne. Czy wynik będzię sie róźnił dla tekstów np.\n",
"`We sketch how Loomis–Whitney follows from this: Indeed, let X be a uniformly distributed random variable with values` oraz `random variable with values`?\n",
"- stwórz model dla korpusu z ZADANIE 1 i policz perplexity dla każdego z tekstów (zrób split 90/10) dla train i test\n",
"\n", "\n",
"- klasyfikacja za pomocą modelu językowego\n", "- Wybierz tekst w dowolnym języku (10 000 000 słów).\n",
"- wygładzanie metodą laplace'a" "- Podziel zbiór na train/test w proporcji 90/100.\n",
"- Stwórz unigramowy model językowy.\n",
"- Stwórz bigramowy model językowy.\n",
"- Stwórz trigramowy model językowy.\n",
"- Wymyśl 5 krótkich zdań. Dla każdego oblicz jego prawdopodobieństwo.\n",
"- Napisz włąsnoręcznie funkcję, która liczy perplexity na korpusie i policz perplexity na każdym z modeli dla podzbiorów train i test.\n",
"- Wygeneruj tekst, zaczynając od wymyślonych 5 początków. Postaraj się, żeby dla obu funkcji, a przynajmniej dla `high_probable_next_word`, teksty były orginalne.\n",
"- Stwórz model dla korpusu z ZADANIE 1 i policz perplexity dla każdego z tekstów (zrób split 90/10) dla train i test.\n",
"- Dokonaj klasyfikacji za pomocą modelu językowego.\n",
"- Zastosuj wygładzanie metodą Laplace'a.\n",
"- Znajdź duży zbiór danych dla klasyfikacji binarnej, wytrenuj osobne modele dla każdej z klas i użyj dla klasyfikacji."
] ]
}, },
{ {
@ -110,13 +111,6 @@
"#### KONIEC ZADANIA" "#### KONIEC ZADANIA"
] ]
}, },
{
"cell_type": "markdown",
"metadata": {},
"source": [
"- znajdź duży zbiór danych dla klasyfikacji binarnej, wytrenuj osobne modele dla każdej z klas i użyj dla klasyfikacji. Warunkiem zaliczenia jest uzyskanie wyniku większego niż baseline (zwracanie zawsze bardziej licznej klasy)"
]
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
@ -159,7 +153,7 @@
"name": "python", "name": "python",
"nbconvert_exporter": "python", "nbconvert_exporter": "python",
"pygments_lexer": "ipython3", "pygments_lexer": "ipython3",
"version": "3.8.3" "version": "3.10.12"
}, },
"subtitle": "0.Informacje na temat przedmiotu[ćwiczenia]", "subtitle": "0.Informacje na temat przedmiotu[ćwiczenia]",
"title": "Ekstrakcja informacji", "title": "Ekstrakcja informacji",