Aktualizacja wykładów 12 i 13
This commit is contained in:
parent
f7b363d46e
commit
ce3b8d0e9d
@ -38,7 +38,7 @@
|
||||
"### _Batch gradient descent_\n",
|
||||
"\n",
|
||||
"* Klasyczna wersja metody gradientu prostego\n",
|
||||
"* Obliczamy gradient funkcji kosztu względem całego zbioru treningowego:\n",
|
||||
"* Obliczamy gradient funkcji kosztu względem całego zbioru uczącego:\n",
|
||||
" $$ \\theta := \\theta - \\alpha \\cdot \\nabla_\\theta J(\\theta) $$\n",
|
||||
"* Dlatego może działać bardzo powoli\n",
|
||||
"* Nie można dodawać nowych przykładów na bieżąco w trakcie trenowania modelu (*online learning*)"
|
||||
@ -288,8 +288,7 @@
|
||||
"### Adagrad\n",
|
||||
"\n",
|
||||
"* “<b>Ada</b>ptive <b>grad</b>ient”\n",
|
||||
"* Adagrad dostosowuje współczynnik uczenia (*learning rate*) do parametrów: zmniejsza go dla cech występujących częściej, a zwiększa dla występujących rzadziej:\n",
|
||||
"* Świetny do trenowania na rzadkich (*sparse*) zbiorach danych\n",
|
||||
"* Adagrad dostosowuje współczynnik uczenia (*learning rate*) do parametrów: zmniejsza go dla cech występujących częściej, a zwiększa dla występujących rzadziej\n",
|
||||
"* Wada: współczynnik uczenia może czasami gwałtownie maleć\n",
|
||||
"* Wyniki badań pokazują, że często **starannie** dobrane $\\alpha$ daje lepsze wyniki na zbiorze testowym"
|
||||
]
|
||||
|
@ -15,7 +15,18 @@
|
||||
"cell_type": "markdown",
|
||||
"metadata": {
|
||||
"slideshow": {
|
||||
"slide_type": "slide"
|
||||
"slide_type": "subslide"
|
||||
}
|
||||
},
|
||||
"source": [
|
||||
"Splotowe sieci neuronowe, inaczej konwolucyjne sieci neuronowe (*convolutional neural networks*, CNN, ConvNet)"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {
|
||||
"slideshow": {
|
||||
"slide_type": "subslide"
|
||||
}
|
||||
},
|
||||
"source": [
|
||||
|
Loading…
Reference in New Issue
Block a user