s452422/uczenie-maszynowe
1
0
Fork 0
forked from pms/uczenie-maszynowe
Code Pull Requests Activity

Aktualizacja wykładów 12 i 13

Browse Source
This commit is contained in:
Paweł Skórzewski 2023-06-01 10:31:04 +02:00
parent f7b363d46e
commit ce3b8d0e9d
2 changed files with 14 additions and 4 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

5
wyk/12_Metody_optymalizacji.ipynb
View File

@ -38,7 +38,7 @@
"### _Batch gradient descent_\n", "### _Batch gradient descent_\n",
"\n", "\n",
"* Klasyczna wersja metody gradientu prostego\n", "* Klasyczna wersja metody gradientu prostego\n",
"* Obliczamy gradient funkcji kosztu względem całego zbioru treningowego:\n", "* Obliczamy gradient funkcji kosztu względem całego zbioru uczącego:\n",
" $$ \\theta := \\theta - \\alpha \\cdot \\nabla_\\theta J(\\theta) $$\n", " $$ \\theta := \\theta - \\alpha \\cdot \\nabla_\\theta J(\\theta) $$\n",
"* Dlatego może działać bardzo powoli\n", "* Dlatego może działać bardzo powoli\n",
"* Nie można dodawać nowych przykładów na bieżąco w trakcie trenowania modelu (*online learning*)" "* Nie można dodawać nowych przykładów na bieżąco w trakcie trenowania modelu (*online learning*)"
@ -288,8 +288,7 @@
"### Adagrad\n", "### Adagrad\n",
"\n", "\n",
"* “<b>Ada</b>ptive <b>grad</b>ient”\n", "* “<b>Ada</b>ptive <b>grad</b>ient”\n",
"* Adagrad dostosowuje współczynnik uczenia (*learning rate*) do parametrów: zmniejsza go dla cech występujących częściej, a zwiększa dla występujących rzadziej:\n", "* Adagrad dostosowuje współczynnik uczenia (*learning rate*) do parametrów: zmniejsza go dla cech występujących częściej, a zwiększa dla występujących rzadziej\n",
"* Świetny do trenowania na rzadkich (*sparse*) zbiorach danych\n",
"* Wada: współczynnik uczenia może czasami gwałtownie maleć\n", "* Wada: współczynnik uczenia może czasami gwałtownie maleć\n",
"* Wyniki badań pokazują, że często **starannie** dobrane $\\alpha$ daje lepsze wyniki na zbiorze testowym" "* Wyniki badań pokazują, że często **starannie** dobrane $\\alpha$ daje lepsze wyniki na zbiorze testowym"
] ]

13
wyk/13_CNN.ipynb
View File

@ -15,7 +15,18 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": { "metadata": {
"slideshow": { "slideshow": {
"slide_type": "slide" "slide_type": "subslide"
}
},
"source": [
"Splotowe sieci neuronowe, inaczej konwolucyjne sieci neuronowe (*convolutional neural networks*, CNN, ConvNet)"
]
},
{
"cell_type": "markdown",
"metadata": {
"slideshow": {
"slide_type": "subslide"
} }
}, },
"source": [ "source": [