4.0 KiB
Modelowanie języka – laboratoria
22 maja 2024
10. Regularyzacja modeli neuronowych
Nadmierne dopasowanie (_overfitting)
Gdy uczymy model uczenia maszynowego, zależy nam, aby model miał dobrą zdolność predykcji. Zdolności predykcyjne powinny być wysokie na jakichkolwiek danych, a nie wyłącznie na tych, na których model się uczył.
Zjawiskiem overfittingu modeli nazywamy nadmierne dopasowanie modelu do zbioru uczącego. Skutkuje to tym, że model świetnie działa na zbiorze uczącym, ale źle dla innych danych, na których się nie uczył.
Overfitting modelu łatwo sprawdzić jako różnicę w metrykach między zbiorem uczącym a zbiorem walidacyjnym/testowym. Im większa jest ta różnica, tym większy overfitting modelu.
Zazwyczaj overfitting będzie występował do pewnego stopnia. Nie należy się tym przejmować. Najważniejsze jest, aby model miał jak najlepszy wynik metryki na zbiorze deweloperskim/testowym. Nawet kosztem overfittingu.
Aby zmniejszyć overfitting (a tym samym zwiększyć wyniki modelu na zbiorze deweloperskim/testowym), korzysta się z metod regularyzacji.
Regularyzacja modelu
Najbardziej popularne metody regularyzacji sieci neuronowych to:
- regularyzacja L1
- regularyzacja L2
- dropout
Regularyzacja L1 (_lasso)
Czynnik regularyzacyjny to $\lambda \sum_{i=1}^{N}|w_i|$, gdzie $0<\lambda$ to współczynnik regularyzacji, a $w_i$ to parametry modelu.
Wtedy funkcja kosztu będzie wyglądać następująco: $L(x) = J(y,\bar{y}) + \lambda \sum_{i=1}^{N}|w_i|$.
Regularyzacja L2 (_ridge)
Czynnik regularyzacyjny to $\lambda \sum_{i=1}^{N}(w_i)^2$, gdzie $0<\lambda$ to współczynnik regularyzacji, a $w_i$ to parametry modelu.
Wtedy funkcja kosztu będzie wyglądać następująco: $L(x) = J(y,\bar{y}) + \lambda \sum_{i=1}^{N}(w_i)^2$.
Dropout
Dropout to technika regularyzacji sieci neuronowych polegająca na losowym wygaszaniu wyjścia z neuronów (przyjmowanie wartości $0$) podczas uczenia sieci. Dropout parametryzowany jest przez _prawpodopobieństwo ignorowania (parametr $p$). Podczas inferencji nie wygasza się wyjścia, natomiast wszystkie wartości przemnaża się przez $1-p$.
Zadanie
Wzorując się na zadaniach z poprzednich zajęć, zaimplementuj powyższe metody regularyzacji w rozwiązaniu zadania _Challenging America word gap prediction (https://gonito.csi.wmi.amu.edu.pl/challenge/challenging-america-word-gap-prediction).
Punktacja: 50 punktów
Deadline: 5 czerwca 2024 przed zajęciami