drobne poprawki m.in. pochylenie nazw angielskich
This commit is contained in:
parent
c99c8b06af
commit
ccf208cebf
@ -1,10 +1,10 @@
|
||||
# Fdb version 3
|
||||
["makeindex document.idx"] 1590491752 "document.idx" "document.ind" "document" 1590504022
|
||||
"document.idx" 1590503977 0 d41d8cd98f00b204e9800998ecf8427e ""
|
||||
["makeindex document.idx"] 1590491752 "document.idx" "document.ind" "document" 1590506242
|
||||
"document.idx" 1590506151 0 d41d8cd98f00b204e9800998ecf8427e ""
|
||||
(generated)
|
||||
"document.ilg"
|
||||
"document.ind"
|
||||
["pdflatex"] 1590503976 "j:/_MAGISTERKA/praca-magisterska/docs/document.tex" "j:/_MAGISTERKA/praca-magisterska/docs/document.pdf" "document" 1590504022
|
||||
["pdflatex"] 1590506149 "j:/_MAGISTERKA/praca-magisterska/docs/document.tex" "j:/_MAGISTERKA/praca-magisterska/docs/document.pdf" "document" 1590506242
|
||||
"c:/software/latex/texmf-dist/fonts/enc/dvips/cm-super/cm-super-t1.enc" 1550340373 2971 def0b6c1f0b107b3b936def894055589 ""
|
||||
"c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plme.enc" 1550343089 3126 59f33ff3e396436ebc36f4e7b444d5c4 ""
|
||||
"c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plmi.enc" 1550343089 2005 f094775651a1386335c158fb632529f1 ""
|
||||
@ -27,6 +27,7 @@
|
||||
"c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecrm2074.tfm" 1550340932 3584 8e2870ec7aa9776f59654942b0923f51 ""
|
||||
"c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecrm2488.tfm" 1550340932 3584 406ad7b70d9a41f7833f92b6313150c8 ""
|
||||
"c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecti1095.tfm" 1550340932 3072 b73d2778cc3af44970de4de5e032d7f6 ""
|
||||
"c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecti1200.tfm" 1550340932 3072 8b5a64dc91775463bc95e2d818524028 ""
|
||||
"c:/software/latex/texmf-dist/fonts/tfm/public/amsfonts/symbols/msam10.tfm" 1550339660 916 f87d7c45f9c908e672703b83b72241a3 ""
|
||||
"c:/software/latex/texmf-dist/fonts/tfm/public/amsfonts/symbols/msam5.tfm" 1550339660 924 9904cf1d39e9767e7a3622f2a125a565 ""
|
||||
"c:/software/latex/texmf-dist/fonts/tfm/public/amsfonts/symbols/msam7.tfm" 1550339660 928 2dc8d444221b7a635bb58038579b861a ""
|
||||
@ -67,6 +68,7 @@
|
||||
"c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1200.pfb" 1550340374 136101 b18d10b3436f8cb0cd04046deb340fe7 ""
|
||||
"c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1440.pfb" 1550340374 131078 3adc08bf3d7686c3b3220602214807d7 ""
|
||||
"c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfti1095.pfb" 1550340374 196446 823e77efd89b89faab342901e22eb237 ""
|
||||
"c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfti1200.pfb" 1550340374 198221 29e050730bc4b56b13a53cd149c0a42c ""
|
||||
"c:/software/latex/texmf-dist/fonts/type1/public/pl/plex10.pfb" 1550343089 22371 094f80a5a689f2eefc72bff87ecbc407 ""
|
||||
"c:/software/latex/texmf-dist/fonts/type1/public/pl/plmi12.pfb" 1550343089 29704 59e409fb948cf911862e0a97f2ae41a4 ""
|
||||
"c:/software/latex/texmf-dist/fonts/type1/public/pl/plmi6.pfb" 1550343089 30338 4bdf6a32e66b53760b57428a52eeec91 ""
|
||||
@ -192,10 +194,10 @@
|
||||
"c:/software/latex/texmf-var/web2c/pdftex/pdflatex.fmt" 1550344823 4224189 05b80a2fc98956d1ad757099b6714631 ""
|
||||
"c:/software/latex/texmf.cnf" 1550344763 715 839ef4b14d931ce86420174d3a223d3e ""
|
||||
"chapter-style.sty" 1560952449 376 87871882de090607c810d89fd5ae18d9 ""
|
||||
"document.aux" 1590503979 8078 242fcda51345d9911110e2c598d7e1bc ""
|
||||
"document.aux" 1590506153 8078 242fcda51345d9911110e2c598d7e1bc ""
|
||||
"document.ind" 1590491752 0 d41d8cd98f00b204e9800998ecf8427e "makeindex document.idx"
|
||||
"document.tex" 1590504021 39904 7f7ec74813c53482a9b16b82cd6a08c2 ""
|
||||
"document.toc" 1590503979 2820 4c496a20f2e48ad16642cf4a7a07fc32 ""
|
||||
"document.tex" 1590506241 40231 5064165e5f68e2d490a97077f01a4f8c ""
|
||||
"document.toc" 1590506153 2820 4c496a20f2e48ad16642cf4a7a07fc32 ""
|
||||
"images/autoencoder.png" 1590441548 23857 e7e97c4ad164834bf8d9e2a1bef11905 ""
|
||||
"images/gradient_descent_1_long.png" 1590441549 10075 3f2887989844779ae2c10639cdfbca6e ""
|
||||
"images/gradient_descent_2_long.png" 1590441549 8705 4b42e8becdda3fb5896ce89581451166 ""
|
||||
@ -213,13 +215,13 @@
|
||||
"images/sigmoid.png" 1590441554 9716 acc4f414b1d7e983d673c0833a10041d ""
|
||||
"images/wartosc_nut.jpg" 1590441554 48213 d311c2cedb2ed53dcf5eff20f70eda80 ""
|
||||
"images/waveform.png" 1590441554 14738 e92dd40519d908b347590b71a2a36bb4 ""
|
||||
"j:/_MAGISTERKA/praca-magisterska/docs/document.aux" 1590503979 8078 242fcda51345d9911110e2c598d7e1bc ""
|
||||
"j:/_MAGISTERKA/praca-magisterska/docs/document.tex" 1590504021 39904 7f7ec74813c53482a9b16b82cd6a08c2 ""
|
||||
"j:/_MAGISTERKA/praca-magisterska/docs/document.aux" 1590506153 8078 242fcda51345d9911110e2c598d7e1bc ""
|
||||
"j:/_MAGISTERKA/praca-magisterska/docs/document.tex" 1590506241 40231 5064165e5f68e2d490a97077f01a4f8c ""
|
||||
(generated)
|
||||
"document.aux"
|
||||
"document.pdf"
|
||||
"j:/_MAGISTERKA/praca-magisterska/docs/document.log"
|
||||
"document.log"
|
||||
"document.idx"
|
||||
"document.toc"
|
||||
"j:/_MAGISTERKA/praca-magisterska/docs/document.pdf"
|
||||
"document.pdf"
|
||||
"document.log"
|
||||
"j:/_MAGISTERKA/praca-magisterska/docs/document.log"
|
||||
"document.aux"
|
||||
"document.toc"
|
||||
"document.idx"
|
||||
|
||||
@ -240,11 +240,7 @@ INPUT j:/_MAGISTERKA/praca-magisterska/docs/document.toc
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/document.toc
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecbx1095.tfm
|
||||
OUTPUT j:/_MAGISTERKA/praca-magisterska/docs/document.toc
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/images/linear_reg.png
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/images/linear_reg.png
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/images/linear_reg.png
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecrm0800.tfm
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecrm0600.tfm
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecrm1000.tfm
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/public/pl/plr10.tfm
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/public/pl/plr7.tfm
|
||||
@ -262,6 +258,11 @@ INPUT c:/software/latex/texmf-dist/fonts/tfm/public/amsfonts/symbols/msbm10.tfm
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/public/amsfonts/symbols/msbm7.tfm
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/public/amsfonts/symbols/msbm5.tfm
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecrm0700.tfm
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/images/linear_reg.png
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/images/linear_reg.png
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/images/linear_reg.png
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecrm0600.tfm
|
||||
INPUT c:/software/latex/texmf-dist/fonts/tfm/jknappen/ec/ecti1200.tfm
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/images/gradient_descent_1_long.png
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/images/gradient_descent_1_long.png
|
||||
INPUT j:/_MAGISTERKA/praca-magisterska/docs/images/gradient_descent_1_long.png
|
||||
@ -332,3 +333,4 @@ INPUT c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1095.pfb
|
||||
INPUT c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1200.pfb
|
||||
INPUT c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1440.pfb
|
||||
INPUT c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfti1095.pfb
|
||||
INPUT c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfti1200.pfb
|
||||
|
||||
@ -1,4 +1,4 @@
|
||||
This is pdfTeX, Version 3.14159265-2.6-1.40.19 (TeX Live 2018/W32TeX) (preloaded format=pdflatex 2019.2.16) 26 MAY 2020 16:39
|
||||
This is pdfTeX, Version 3.14159265-2.6-1.40.19 (TeX Live 2018/W32TeX) (preloaded format=pdflatex 2019.2.16) 26 MAY 2020 17:15
|
||||
entering extended mode
|
||||
restricted \write18 enabled.
|
||||
file:line:error style messages enabled.
|
||||
@ -594,31 +594,30 @@ Overfull \vbox (15.92963pt too high) detected at line 177
|
||||
[]
|
||||
|
||||
Rozdzia\PlPrIeC {\l } 1.
|
||||
LaTeX Font Info: External font `plex10' loaded for size
|
||||
(Font) <10> on input line 184.
|
||||
LaTeX Font Info: External font `plex10' loaded for size
|
||||
(Font) <7> on input line 184.
|
||||
LaTeX Font Info: External font `plex10' loaded for size
|
||||
(Font) <5> on input line 184.
|
||||
<images/linear_reg.png, id=54, 433.62pt x 289.08pt>
|
||||
File: images/linear_reg.png Graphic file (type png)
|
||||
<use images/linear_reg.png>
|
||||
Package pdftex.def Info: images/linear_reg.png used on input line 205.
|
||||
(pdftex.def) Requested size: 398.33858pt x 265.57306pt.
|
||||
[13] [14 <j:/_MAGISTERKA/praca-magisterska/docs/images/linear_reg.png>]
|
||||
LaTeX Font Info: External font `plex10' loaded for size
|
||||
(Font) <10> on input line 238.
|
||||
LaTeX Font Info: External font `plex10' loaded for size
|
||||
(Font) <7> on input line 238.
|
||||
LaTeX Font Info: External font `plex10' loaded for size
|
||||
(Font) <5> on input line 238.
|
||||
[15]
|
||||
<images/gradient_descent_1_long.png, id=76, 216.81pt x 289.08pt>
|
||||
[13] [14 <j:/_MAGISTERKA/praca-magisterska/docs/images/linear_reg.png>] [15]
|
||||
<images/gradient_descent_1_long.png, id=77, 216.81pt x 289.08pt>
|
||||
File: images/gradient_descent_1_long.png Graphic file (type png)
|
||||
<use images/gradient_descent_1_long.png>
|
||||
Package pdftex.def Info: images/gradient_descent_1_long.png used on input line 256.
|
||||
(pdftex.def) Requested size: 142.26378pt x 189.69504pt.
|
||||
<images/gradient_descent_2_long.png, id=77, 216.81pt x 289.08pt>
|
||||
<images/gradient_descent_2_long.png, id=78, 216.81pt x 289.08pt>
|
||||
File: images/gradient_descent_2_long.png Graphic file (type png)
|
||||
<use images/gradient_descent_2_long.png>
|
||||
Package pdftex.def Info: images/gradient_descent_2_long.png used on input line 258.
|
||||
(pdftex.def) Requested size: 142.26378pt x 189.69504pt.
|
||||
[16 <j:/_MAGISTERKA/praca-magisterska/docs/images/gradient_descent_1_long.png> <j:/_MAGISTERKA/praca-magisterska/docs/images/gradient_descent_2_long.png>]
|
||||
<images/naural_model_one.png, id=84, 341.77687pt x 386.19281pt>
|
||||
<images/naural_model_one.png, id=85, 341.77687pt x 386.19281pt>
|
||||
File: images/naural_model_one.png Graphic file (type png)
|
||||
<use images/naural_model_one.png>
|
||||
Package pdftex.def Info: images/naural_model_one.png used on input line 289.
|
||||
@ -627,19 +626,19 @@ Package pdftex.def Info: images/naural_model_one.png used on input line 289.
|
||||
Underfull \vbox (badness 2142) has occurred while \output is active []
|
||||
|
||||
[17 <j:/_MAGISTERKA/praca-magisterska/docs/images/naural_model_one.png (PNG copy)>]
|
||||
<images/naural_model_multi.png, id=88, 535.2497pt x 542.77782pt>
|
||||
<images/naural_model_multi.png, id=89, 535.2497pt x 542.77782pt>
|
||||
File: images/naural_model_multi.png Graphic file (type png)
|
||||
<use images/naural_model_multi.png>
|
||||
Package pdftex.def Info: images/naural_model_multi.png used on input line 315.
|
||||
(pdftex.def) Requested size: 227.62204pt x 230.82245pt.
|
||||
[18 <j:/_MAGISTERKA/praca-magisterska/docs/images/naural_model_multi.png (PNG copy)>]
|
||||
<images/sigmoid.png, id=92, 433.62pt x 289.08pt>
|
||||
<images/sigmoid.png, id=93, 433.62pt x 289.08pt>
|
||||
File: images/sigmoid.png Graphic file (type png)
|
||||
<use images/sigmoid.png>
|
||||
Package pdftex.def Info: images/sigmoid.png used on input line 362.
|
||||
(pdftex.def) Requested size: 398.33858pt x 265.57306pt.
|
||||
[19]
|
||||
<images/neural_net_1.png, id=97, 585.68813pt x 380.92313pt>
|
||||
<images/neural_net_1.png, id=98, 585.68813pt x 380.92313pt>
|
||||
File: images/neural_net_1.png Graphic file (type png)
|
||||
<use images/neural_net_1.png>
|
||||
Package pdftex.def Info: images/neural_net_1.png used on input line 392.
|
||||
@ -651,18 +650,18 @@ Underfull \vbox (badness 10000) has occurred while \output is active []
|
||||
Underfull \vbox (badness 3375) has occurred while \output is active []
|
||||
|
||||
[21 <j:/_MAGISTERKA/praca-magisterska/docs/images/neural_net_1.png (PNG copy)>]
|
||||
<images/autoencoder.png, id=105, 372.64218pt x 353.82187pt>
|
||||
<images/autoencoder.png, id=106, 372.64218pt x 353.82187pt>
|
||||
File: images/autoencoder.png Graphic file (type png)
|
||||
<use images/autoencoder.png>
|
||||
Package pdftex.def Info: images/autoencoder.png used on input line 421.
|
||||
(pdftex.def) Requested size: 227.62204pt x 216.12256pt.
|
||||
[22 <j:/_MAGISTERKA/praca-magisterska/docs/images/autoencoder.png (PNG copy)>]
|
||||
<images/rnn.png, id=109, 680.5425pt x 257.16075pt>
|
||||
<images/rnn.png, id=110, 680.5425pt x 257.16075pt>
|
||||
File: images/rnn.png Graphic file (type png)
|
||||
<use images/rnn.png>
|
||||
Package pdftex.def Info: images/rnn.png used on input line 440.
|
||||
(pdftex.def) Requested size: 398.33858pt x 150.52278pt.
|
||||
<images/lstm_cell2.png, id=110, 419.76825pt x 295.1025pt>
|
||||
<images/lstm_cell2.png, id=111, 419.76825pt x 295.1025pt>
|
||||
File: images/lstm_cell2.png Graphic file (type png)
|
||||
<use images/lstm_cell2.png>
|
||||
Package pdftex.def Info: images/lstm_cell2.png used on input line 461.
|
||||
@ -672,7 +671,7 @@ Overfull \hbox (4.40065pt too wide) in paragraph at lines 496--496
|
||||
[][][]\T1/cmr/m/n/10 https://towardsdatascience.com/understanding-encoder-decoder-sequence-to-sequence
|
||||
[]
|
||||
|
||||
<images/seq2seq2.png, id=119, 763.05075pt x 242.70676pt>
|
||||
<images/seq2seq2.png, id=120, 763.05075pt x 242.70676pt>
|
||||
File: images/seq2seq2.png Graphic file (type png)
|
||||
<use images/seq2seq2.png>
|
||||
Package pdftex.def Info: images/seq2seq2.png used on input line 504.
|
||||
@ -686,7 +685,7 @@ Overfull \vbox (15.92963pt too high) detected at line 512
|
||||
[]
|
||||
|
||||
Rozdzia\PlPrIeC {\l } 2.
|
||||
<images/waveform.png, id=128, 433.62pt x 289.08pt>
|
||||
<images/waveform.png, id=129, 433.62pt x 289.08pt>
|
||||
File: images/waveform.png Graphic file (type png)
|
||||
<use images/waveform.png>
|
||||
Package pdftex.def Info: images/waveform.png used on input line 543.
|
||||
@ -699,7 +698,7 @@ Underfull \hbox (badness 10000) in paragraph at lines 555--555
|
||||
[27
|
||||
|
||||
]
|
||||
<images/wartosc_nut.jpg, id=132, 903.375pt x 470.75874pt>
|
||||
<images/wartosc_nut.jpg, id=133, 903.375pt x 470.75874pt>
|
||||
File: images/wartosc_nut.jpg Graphic file (type jpg)
|
||||
<use images/wartosc_nut.jpg>
|
||||
Package pdftex.def Info: images/wartosc_nut.jpg used on input line 562.
|
||||
@ -710,7 +709,7 @@ Overfull \hbox (77.12407pt too wide) in paragraph at lines 563--563
|
||||
[]
|
||||
|
||||
[28 <j:/_MAGISTERKA/praca-magisterska/docs/images/waveform.png>]
|
||||
<images/nuty_linia.png, id=137, 683.55376pt x 127.22531pt>
|
||||
<images/nuty_linia.png, id=138, 683.55376pt x 127.22531pt>
|
||||
File: images/nuty_linia.png Graphic file (type png)
|
||||
<use images/nuty_linia.png>
|
||||
Package pdftex.def Info: images/nuty_linia.png used on input line 600.
|
||||
@ -745,18 +744,18 @@ LaTeX Warning: There were multiply-defined labels.
|
||||
|
||||
)
|
||||
Here is how much of TeX's memory you used:
|
||||
15903 strings out of 492616
|
||||
298803 string characters out of 6131816
|
||||
15905 strings out of 492616
|
||||
298825 string characters out of 6131816
|
||||
343737 words of memory out of 5000000
|
||||
19465 multiletter control sequences out of 15000+600000
|
||||
27578 words of font info for 68 fonts, out of 8000000 for 9000
|
||||
19466 multiletter control sequences out of 15000+600000
|
||||
28262 words of font info for 69 fonts, out of 8000000 for 9000
|
||||
1141 hyphenation exceptions out of 8191
|
||||
55i,12n,49p,1500b,1110s stack positions out of 5000i,500n,10000p,200000b,80000s
|
||||
{c:/software/latex/texmf-dist/fonts/enc/dvips/cm-super/cm-super-t1.enc}{c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plmi.enc}{c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plms.enc}{c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plme.enc}{c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plrm.enc}<c:/software/latex/texmf-dist/fonts/type1/public/amsfonts/symbols/msbm10.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plex10.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plmi12.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plmi6.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plmi8.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plr12.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plr8.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plsy10.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plsy8.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx1095.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx1200.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx1440.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx2074.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx2488.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfcc1200.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm0700.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm0800.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1000.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1095.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1200.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1440.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfti1095.pfb>
|
||||
Output written on j:/_MAGISTERKA/praca-magisterska/docs/document.pdf (37 pages, 702361 bytes).
|
||||
55i,12n,49p,1548b,1110s stack positions out of 5000i,500n,10000p,200000b,80000s
|
||||
{c:/software/latex/texmf-dist/fonts/enc/dvips/cm-super/cm-super-t1.enc}{c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plmi.enc}{c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plms.enc}{c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plme.enc}{c:/software/latex/texmf-dist/fonts/enc/dvips/pl/plrm.enc}<c:/software/latex/texmf-dist/fonts/type1/public/amsfonts/symbols/msbm10.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plex10.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plmi12.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plmi6.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plmi8.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plr12.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plr8.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plsy10.pfb><c:/software/latex/texmf-dist/fonts/type1/public/pl/plsy8.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx1095.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx1200.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx1440.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx2074.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfbx2488.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfcc1200.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm0700.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm0800.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1000.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1095.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1200.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfrm1440.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfti1095.pfb><c:/software/latex/texmf-dist/fonts/type1/public/cm-super/sfti1200.pfb>
|
||||
Output written on j:/_MAGISTERKA/praca-magisterska/docs/document.pdf (37 pages, 729986 bytes).
|
||||
PDF statistics:
|
||||
245 PDF objects out of 1000 (max. 8388607)
|
||||
160 compressed objects within 2 object streams
|
||||
249 PDF objects out of 1000 (max. 8388607)
|
||||
163 compressed objects within 2 object streams
|
||||
0 named destinations out of 1000 (max. 500000)
|
||||
83 words of extra memory for PDF output out of 10000 (max. 10000000)
|
||||
|
||||
|
||||
Binary file not shown.
Binary file not shown.
@ -162,7 +162,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
|
||||
\chapter*{Wstęp}
|
||||
|
||||
Uczenie maszynowe w ostatnich latach mocno zyskało na popularności. Zastosowania i możliwości różnych algorytmów Mashine Learning czasami przekraczają nasze wyobrażenie o tym co komputer może zrobić. Niektóre aplikacje potrafią wręcz zaskoczyć użytkowników tym co potrafią zrobić. Wśród takich aplikacji znajdują się takie, które potrafią przewidywać następne wartości akcji giełdowych, rozpoznawać na filmie obiekty w czasie rzeczywistym, czy nawet prowadzić samochód. Algorytmy wyuczone proponują nam spersonalizowane reklamy, czy produkty na podstawie naszych upodobań. Najczęstsze zastosowania dotyczą przetwarzania obrazów lub tekstu, natomiast zastosowania w przetwarzaniu muzyki są niszowe i rzadko spotykane.
|
||||
Uczenie maszynowe w ostatnich latach mocno zyskało na popularności. Zastosowania i możliwości różnych algorytmów uczenia maszynowego czasami przekraczają nasze wyobrażenie o tym co komputer może zrobić. Niektóre aplikacje potrafią wręcz zaskoczyć użytkowników tym co potrafią zrobić. Wśród takich aplikacji znajdują się takie, które potrafią przewidywać następne wartości akcji giełdowych, rozpoznawać na filmie obiekty w czasie rzeczywistym, czy nawet prowadzić samochód. Algorytmy wyuczone proponują nam spersonalizowane reklamy, czy produkty na podstawie naszych upodobań. Najczęstsze zastosowania dotyczą przetwarzania obrazów lub tekstu, natomiast zastosowania w przetwarzaniu muzyki są niszowe i rzadziej spotykane.
|
||||
|
||||
Celem tej pracy jest stworzenie modelu sieci neurowej, którego zadaniem bedzie generowanie krótkich multiinstrumentalnych klipów muzycznych.
|
||||
|
||||
@ -181,7 +181,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
\section{Regresja liniowa}
|
||||
Podstawą wszystkich sieci neuronowych jest regresja liniowa. W statystyce wykorzystywana, aby wyjaśnić liniowe zalezności między zmiennymi.
|
||||
|
||||
Prosty model regresji liniowej dla jednej zmiennej można opisać wzorem
|
||||
Prosty model regresji liniowej dla jednej zmiennej można opisać wzorem \footnote{Statystyka, Mieczysław Sobczyk s.179}
|
||||
|
||||
\[y = ax+b+\epsilon,\]
|
||||
|
||||
@ -197,7 +197,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
|
||||
|
||||
|
||||
Zadaniem jest znalezienie takiego parametru $a\in \mathbb{R}$ oraz wyrazu wolnego $b \in \mathbb{R}$, aby dla znanych wartości $x \in \mathbb{R}$ estymacja zmiennej objasnianej $\hat{y} \in \mathbb{R}$ najlepiej opisywała zmienną objasnaną $y \in \mathbb{R}$. Tak zdefiniowany model opisuje zmienną $y$ z dokładnością do składnika losowego. W praktyce oznacza to, że szacowane modele będą przybliżeniem opisywanych zależności.
|
||||
Zadaniem jest znalezienie takiego parametru $a\in \mathbb{R}$ oraz wyrazu wolnego $b \in \mathbb{R}$, aby dla znanych wartości $x \in \mathbb{R}$ oszacowanie zmiennej objasnianej $\hat{y} \in \mathbb{R}$ najlepiej opisywała zmienną objasnaną $y \in \mathbb{R}$. Tak zdefiniowany model opisuje zmienną $y$ z dokładnością do składnika losowego. W praktyce oznacza to, że szacowane modele będą przybliżeniem opisywanych zależności.
|
||||
|
||||
\medskip
|
||||
\begin{figure}[!htb]
|
||||
@ -209,7 +209,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
|
||||
Wartość zmiennej objaśnianej $y$ można również opisać za pomocą wielu zmiennych objaśniająych. Wtedy dla zmiennych objaśniającej $x_1, x_2, ... , x_n \in \mathbb{R}$ szukamy parametrów $\theta_1, \theta_2, ... ,\theta_n \in \mathbb{R}$. Otrzymany w ten sposób model nazywany jest również hipotezą i oznaczamy go $h(x)$.
|
||||
|
||||
\[h(x) = b + \theta_1x_2 + \theta_2x_2 + ... + \theta_nx_n + \epsilon = b + \sum_{i=1}^{n} \theta_ix_i + \epsilon\]
|
||||
\[h(x) = b + \theta_1x_2 + \theta_2x_2 + ... + \theta_nx_n + \epsilon = b + \sum_{i=1}^{n} \theta_ix_i + \epsilon.\]
|
||||
|
||||
Rysunek~\ref{fig:linreg} przedstawia przykładowy model regresji liniowej jednej zmiennej, dopasowany do zbioru.
|
||||
|
||||
@ -223,9 +223,9 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
|
||||
\subsection{Funkcja kosztu}
|
||||
|
||||
W tym celu używa się funkcji $J_\theta(h)$, która zwraca wartość błędu między wartościami $h(x)$ oraz $y$ dla wszystkich obserwacji. Taka funkcja nazywana jest funkcją kosztu (cost function).
|
||||
W tym celu używa się funkcji $J_\theta(h)$, która zwraca wartość błędu między wartościami $h(x)$ oraz $y$ dla wszystkich obserwacji. Taka funkcja nazywana jest funkcją kosztu (\textit{cost function}).
|
||||
|
||||
Dla przykładu regresji liniowej funkcją kosztu może być błąd średniokwadratowy (mean squared error). Wtedy funkcja kosztu przyjmuje postać:
|
||||
Dla przykładu regresji liniowej funkcją kosztu może być błąd średniokwadratowy (\textit{mean squared error}). Wtedy funkcja kosztu przyjmuje postać:
|
||||
\[ J_\theta(h) = \frac{1}{m}\sum_{i=1}^{m}(y_i-h(x_i))^2 \].
|
||||
|
||||
Przy zdefiniowanej funkcji kosztu proces uczenia sprowadza się do znalezienia takich parametrów funkcji $h(x)$, aby funkcja kosztu była najmniejsza. Jest to problem optymalizacyjny sprowadzający się do znalezienia globalnego minimum funkcji.
|
||||
@ -239,7 +239,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
|
||||
\subsection{Metody gradientowe}
|
||||
|
||||
Metody gradientowe są to iteracyjne algorytmy służące do znajdowania minimum funkcji. Aby móc skorzystać z metod gradientowych analizowana funkcja musi być ciągła oraz różniczkowalna. Sposób działania ich można intuicyjnie opisać w nastepujących krokach.
|
||||
Metody gradientowe (\textit{gradient descent}) są to iteracyjne algorytmy służące do znajdowania minimum funkcji. Aby móc skorzystać z metod gradientowych analizowana funkcja musi być ciągła oraz różniczkowalna. Sposób działania ich można intuicyjnie opisać w nastepujących krokach.
|
||||
|
||||
1. Wybierz punkt początkowy.
|
||||
|
||||
@ -275,7 +275,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
\[
|
||||
\Theta_{k+1} = \Theta_{k} - \alpha\nabla J_\theta(h),
|
||||
\]
|
||||
gdzie $\alpha \in \mathbb{R}$ jest współczynnikiem uczenia (learning rate). Proces ten należy powtarzać do pewnego momentu. Najczęśćiej z góry określoną liczbę razy lub do momentu, gdy uzysk funkcji kosztu spowodowany nastepną iteracją jest mniejszy niż ustalona wartość. Otrzymany w ten sposób wektor parametrów $\Theta_k$ jest wynikiem algorytmu.\footnote{Deep Learning techniques for music geneation - A survay s.44}
|
||||
gdzie $\alpha \in \mathbb{R}$ jest współczynnikiem uczenia (\textit{learning rate}). Proces ten należy powtarzać do pewnego momentu. Najczęśćiej z góry określoną liczbę razy lub do momentu, gdy uzysk funkcji kosztu spowodowany nastepną iteracją jest mniejszy niż ustalona wartość. Otrzymany w ten sposób wektor parametrów $\Theta_k$ jest wynikiem algorytmu.\footnote{Deep Learning techniques for music geneation - A survay s.44}
|
||||
|
||||
Wykorzystując metody gradientowe otrzymujemy wyuczony model. Parametry $\theta_i$ modelu $h(x)$ zostały ustalone w taki sposób, aby błąd między predykcją a rzeczywistością był najmniejszy.
|
||||
|
||||
@ -306,7 +306,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
b + \sum_{i=1}^n x_i\theta_i
|
||||
\]
|
||||
|
||||
co jest równoważne omawianemu modelowi regresji liniowej. Węzły sieci nazywane są neuronami, a wyraz wolny modelu $b$ nazywany jest biasem (bias).
|
||||
co jest równoważne omawianemu modelowi regresji liniowej. Węzły sieci nazywane są neuronami, a wyraz wolny modelu $b$ nazywany jest biasem (\textit{bias}).
|
||||
|
||||
W łatwy sposób możemy rozbudować ten model do regresji liniowej wielu zmiennych. Predykcją modelu nie będzie jak do tej pory jedna wartość $\hat{y}$, tylko wektor wartości $\hat{y_1}, \hat{y_2}, \dots , \hat{y_m}$, który oznaczać bedziemy jako $\hat{Y}$. Model ten zostal przedstawiony na rysunku~\ref{fig:neural_model_multi}.
|
||||
|
||||
@ -351,7 +351,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
|
||||
\section{Funkcje aktywacji}
|
||||
|
||||
Omawiany model służy rozwiązywaniu problemu regresji, ponieważ wartości predykcji nie są uregulowane i mogą przyjmować wartości z $\mathbb{R}$. W celu przekształcenia tego modelu, aby móc go wykorzystać do rozwiązania problemu klasyfikacji, należy dodatkowo na otrzymanym wektorze $\hat{Y}$ wykonać pewną funkcję, która przekształci wynik. W tym celu używamy funkcji aktywacji (activation function). Istnieje wiele różnych funkcji aktywacji, a każda posiada inną charakterystykę i wpływ na model. Najpopularnijeszą grupą fukcji są funkcje sigmoidalne (sigmoid functions). Jedną z nich jest funkcja logistyczna (logistic curve) o wzrorze
|
||||
Omawiany model służy rozwiązywaniu problemu regresji, ponieważ wartości predykcji nie są uregulowane i mogą przyjmować wartości z $\mathbb{R}$. W celu przekształcenia tego modelu, aby móc go wykorzystać do rozwiązania problemu klasyfikacji, należy dodatkowo na otrzymanym wektorze $\hat{Y}$ wykonać pewną funkcję, która przekształci wynik. W tym celu używamy funkcji aktywacji (\textit{activation function}). Istnieje wiele różnych funkcji aktywacji, a każda posiada inną charakterystykę i wpływ na model. Najpopularnijeszą grupą fukcji są funkcje sigmoidalne (\textit{sigmoid functions}). Jedną z nich jest funkcja logistyczna (\textit{logistic curve}) o wzrorze
|
||||
\[
|
||||
\sigma(x) = \frac{1}{1+e^{-x}}
|
||||
\]
|
||||
@ -376,13 +376,13 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
|
||||
\section{Głębokie sieci neuronowe}
|
||||
|
||||
Model omawiany wcześniej może posłużyć jako podstawowy element do budowania bardziej skomplikowanych modeli. Aby to zrobić, należy potraktować otrzymany wektor $\hat{Y}$ jako wektor wejściowy do następngo podstawowego modelu. Składając ze sobą wiele perceptronów w jeden model, tworzymy warstwy (layers) sieci neuronowej.
|
||||
Model omawiany wcześniej może posłużyć jako podstawowy element do budowania bardziej skomplikowanych modeli. Aby to zrobić, należy potraktować otrzymany wektor $\hat{Y}$ jako wektor wejściowy do następngo podstawowego modelu. Składając ze sobą wiele perceptronów w jeden model, tworzymy warstwy (\textit{layers}) sieci neuronowej.
|
||||
|
||||
Wyróżniamy trzy rodzaje warstw:
|
||||
\begin{itemize}
|
||||
\item warstwę wejściową (input layer), która jest pierwszą warstwą modelu,
|
||||
\item warstwę wyjściową (output layer), która jest ostatnią wartstwą modelu,
|
||||
\item wartwy ukryte (hidden layer), które są warstwami pomiędzy warstwą wejsciową oraz wyjściową.
|
||||
\item warstwę wejściową (\textit{input layer}), która jest pierwszą warstwą modelu,
|
||||
\item warstwę wyjściową (\textit{output layer}), która jest ostatnią wartstwą modelu,
|
||||
\item wartwy ukryte (\textit{hidden layer}), które są warstwami pomiędzy warstwą wejsciową oraz wyjściową.
|
||||
\end{itemize}
|
||||
|
||||
Na rysunku~\ref{fig:neural_net_1} przedstawiono przykład posiadający warswę wejściową, dwie wartswy ukryte oraz wartswę wyjsciową.
|
||||
@ -394,12 +394,12 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
\label{fig:neural_net_1}
|
||||
\end{figure}
|
||||
|
||||
Tego typu modele są głębokimi sieciami neuronowymi (deep neural networks). Istnieje wiele różnich architektur głębokich sieci neuronowych, które wykorzystują te podstawowe koncepcje i rozszerzają je o dodatkowe warstwy, połącznia, funkcje aktywacji czy neurony o specjalnych właściwościach.
|
||||
Tego typu modele są głębokimi sieciami neuronowymi (\textit{deep neural networks}). Istnieje wiele różnich architektur głębokich sieci neuronowych, które wykorzystują te podstawowe koncepcje i rozszerzają je o dodatkowe warstwy, połącznia, funkcje aktywacji czy neurony o specjalnych właściwościach.
|
||||
|
||||
\subsection{Jednokierunkowe sieci neuronowe}
|
||||
\label{section:feedforeward}
|
||||
|
||||
Jednokierunkowe sieci neuronowe (feedforward neural networks) są to najprostrze sieci neuronowe, które wprost czerpią z omówionych wcześniej podstawowych wartsw. Możemy się również spotkać z nazwą wielowarstwowy perceptron (multi layer perceptron - MLP) ze względu na fakt, że jest zbudowany z wielu perceptronów zaprezentoanych w części~\ref{section:linreg}. Działają one w taki sposób, że zasila się je danymi do warstwy wejściowej, następnie sukcesywnie wykonuje się obliczenia do momentu dotarcia do końca sieci.
|
||||
Jednokierunkowe sieci neuronowe (\textit{feedforward neural networks}) są to najprostrze sieci neuronowe, które wprost czerpią z omówionych wcześniej podstawowych wartsw. Możemy się również spotkać z nazwą wielowarstwowy perceptron (\textit{multi layer perceptron - MLP}) ze względu na fakt, że jest zbudowany z wielu perceptronów zaprezentoanych w części~\ref{section:linreg}. Działają one w taki sposób, że zasila się je danymi do warstwy wejściowej, następnie sukcesywnie wykonuje się obliczenia do momentu dotarcia do końca sieci.
|
||||
Każdy krok z warstwy $k-1$ do warstwy $k$ obliczany jest zgodnie ze wzorem \footnote{Deep Learning techniques for music geneation - A survay s.63}
|
||||
|
||||
\[
|
||||
@ -409,7 +409,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
\subsubsection{Propagacja wsteczna błędu}
|
||||
\label{section:backpropagation}
|
||||
|
||||
Kiedy używamy jednokierunkowych sieci neuronowych, zasilamy je danymi wejściowymi $x$ ostatecznie otrzymując predykcję $\hat{y}$. Taki sposób działania nazywa się propagcją wprzód (foreward propagation). Podczas uczenia sieci kontynuuje się ten proces obliczając koszt $J(h)$. Propagacja wsteczna (back-propagation) pozwala na przepływ informacji od funkcji kosztu wstecz sieci neuronowej, aby ostatecznie obliczyć gradient. Zasada działania algorytmu propagacji wsteczniej błędu polega na sukcesywnym aktualizowaniu wag i biasów oraz przesyłaniu wstecz po warstwach sieci. Dzięki temu jesteśmy wstanie wyuczyć sieć oraz obliczyć optymalne wagi i biasy dla całej sieci neuronowej.
|
||||
Kiedy używamy jednokierunkowych sieci neuronowych, zasilamy je danymi wejściowymi $x$ ostatecznie otrzymując predykcję $\hat{y}$. Taki sposób działania nazywa się propagcją wprzód (\textit{foreward propagation}). Podczas uczenia sieci kontynuuje się ten proces obliczając koszt $J(h)$. Propagacja wsteczna (\textit{back-propagation}) pozwala na przepływ informacji od funkcji kosztu wstecz sieci neuronowej, aby ostatecznie obliczyć gradient. Zasada działania algorytmu propagacji wsteczniej błędu polega na sukcesywnym aktualizowaniu wag i biasów oraz przesyłaniu wstecz po warstwach sieci. Dzięki temu jesteśmy wstanie wyuczyć sieć oraz obliczyć optymalne wagi i biasy dla całej sieci neuronowej.
|
||||
|
||||
\subsection{Autoencodery}
|
||||
\label{section:autoencoder}
|
||||
@ -424,16 +424,16 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
\end{figure}
|
||||
|
||||
Podczas uczenia autoencodera przedstawia się dane wejściowe jako cel. W ten sposób ta architektura stara się odtworzyć funckje identyczności. Zadanie nie jest trywialne jak mogło by się zdawać, ponieważ zazwyczaj ukryta warstwa jest mniejszego rozmiaru niż dane wejściowe. Z tego względu autoencoder jest zmuszony do wydobycia istotnych cech danych wejściowych, skompresowania, a następnie jak najwierniejszego ich odtworzenia. Część kompresująca dane nazywana jest encoderem, natomiast część dekompresująca decoderem.
|
||||
Wektor cech, które zostały odkryte przez autoencoder nazywane są zmiennymi utajnionymi (latent variables). Zarówno encoder jak i dekoder można wyodrębnić z autoencodera i wykorzystywać go jako osobną sieć neuronową.
|
||||
Wektor cech, które zostały odkryte przez autoencoder nazywane są zmiennymi utajnionymi (\textit{latent variables}). Zarówno encoder jak i dekoder można wyodrębnić z autoencodera i wykorzystywać go jako osobną sieć neuronową.
|
||||
|
||||
Ciekawą cechą decodera jest jego generatywny charakter, ponieważ dostarczając zupełnie nowe informacje jako zmienne wejściowe, decoder odtworzy je na podobieństwo danych, na których został nauczony.
|
||||
|
||||
\subsection{Rekurencyjne sieci neuronowe}
|
||||
\label{section:rnn}
|
||||
|
||||
Rekurencyjne sieci neuronowe (recurrent neural networks - RNN) w uproszczeniu są to MLP posiadające pamięć. Wykorzystywane są do analizawania i przewidywania sekwencji wartości uporządkowanych w czasie. Rekurencyjnych sieci neuronowe znalazły zastosowanie w przetwarzaniu języka natutralnego, np. tłumaczenia na różne języki świata. Potrafią poradziac sobie z różnej długości sekwencjami od krótkich zawierających kilka elementów do bardzo długich jak próbki audio, czy tekst zawierający dziesiątki tysięcy kroków czasu.
|
||||
Rekurencyjne sieci neuronowe (\textit{recurrent neural networks - RNN}) w uproszczeniu są to MLP posiadające pamięć. Wykorzystywane są do analizawania i przewidywania sekwencji wartości uporządkowanych w czasie. Rekurencyjnych sieci neuronowe znalazły zastosowanie w przetwarzaniu języka natutralnego, np. tłumaczenia na różne języki świata. Potrafią poradziac sobie z różnej długości sekwencjami od krótkich zawierających kilka elementów do bardzo długich jak próbki audio, czy tekst zawierający dziesiątki tysięcy kroków czasu.
|
||||
|
||||
Rekurencyjne sieci neuronowe działają podobnie do omawianych w sekcji~\ref{section:feedforeward} sieci jednokierunkowych z tym wyjątkiem, że kierunek przepływu informacji płynie również wstecz sieci. Jeden neuron sieci RNN otrzymuje dane wejściowe $x_{(t)}$, wytwarza dane wyjściowe $y_{(t)}$, a następnie wysyła te dane wyjściowe z powrotem do samego siebie. W ten sposób neuron RNN posiada dwa wejścia $x_{(t)}$ oraz $y_{(t-1)}$. Możemy również zaprezentować sieć RNN w postaci udwiniętej w czasie (unrolled through time).
|
||||
Rekurencyjne sieci neuronowe działają podobnie do omawianych w sekcji~\ref{section:feedforeward} sieci jednokierunkowych z tym wyjątkiem, że kierunek przepływu informacji płynie również wstecz sieci. Jeden neuron sieci RNN otrzymuje dane wejściowe $x_{(t)}$, wytwarza dane wyjściowe $y_{(t)}$, a następnie wysyła te dane wyjściowe z powrotem do samego siebie. W ten sposób neuron RNN posiada dwa wejścia $x_{(t)}$ oraz $y_{(t-1)}$. Możemy również zaprezentować sieć RNN w postaci udwiniętej w czasie (\textit{unrolled through time}).
|
||||
|
||||
\begin{figure}[!htb]
|
||||
\centering
|
||||
@ -449,12 +449,12 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
\]
|
||||
|
||||
|
||||
Aby wytrenować sieć neuronową stosuje się propagację wsteczną w czasie (backpropagation through time - BPTT). Polega ona na odwinięciu sieci RNN, a następnie zastosowania zwykłej metody wstecznej propagacji. \footnote{Hands-on machine learning with scikit-learn, keras and TensorFlow s.497}
|
||||
Aby wytrenować sieć neuronową stosuje się propagację wsteczną w czasie (\textit{backpropagation through time - BPTT}). Polega ona na odwinięciu sieci RNN, a następnie zastosowania zwykłej metody wstecznej propagacji. \footnote{Hands-on machine learning with scikit-learn, keras and TensorFlow s.497}
|
||||
|
||||
|
||||
\subsection{LSTM}
|
||||
|
||||
Komórki LSTM (long-short term memory) są rozszerzeniem neuronów sieci rekurencyjnych. Pozwalają wykrywać zależności w danych w długim okresie. Posiadają dwa wektory opisujące stan neuronu. Wektor $h_{(t)}$ określa stan krótkookresowy i wektor $c_{(t)}$ określa stan długookresowy.
|
||||
Komórki LSTM (\textit{long-short term memory}) są rozszerzeniem neuronów sieci rekurencyjnych. Pozwalają wykrywać zależności w danych w długim okresie. Posiadają dwa wektory opisujące stan neuronu. Wektor $h_{(t)}$ określa stan krótkookresowy i wektor $c_{(t)}$ określa stan długookresowy.
|
||||
|
||||
\begin{figure}[!htb]
|
||||
\centering
|
||||
@ -463,7 +463,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
\label{fig:lstm}
|
||||
\end{figure}
|
||||
|
||||
Główny pomysł na funcjonowanie komórek LSTM był taki, aby sieć sama mogła się nauczyć jakie informacje są istotne i je przechować, a które informacje można pominąć, zapomnieć. Schemat komórki LSTM przedstawiono na rysunku~\ref{fig:lstm}. Aby to osiągnąć powstała idea bramek (gates), oraz kontrolerów bramek (gate controllers). W komórce LSTM wyróżniamy trzy bramki. Bramkę zapomnienia (forget gate) sterowaną przez $f_{(t)}$, bramkę wejściową(input gate) sterowaną przez $i_{(t)}$, oraz bramkę wyjściową (output gate), sterowaną przez $o_{(t)}$. Przepływ danych w komórce LSTM zaczyna w miejscu gdzie wektor wejściowy $x_{(t)}$ i poprzedni którkoterminowy stan $h_{(t-1)}$ trafiają do czterech warstw. Główną warstwą jest ta zwracająca $g_{(t)}$. W podstawowej komórce RNN jest tylko ta warstwa. Pozostałe trzy wartswy po przejściu przez funkcje logistyczne trafiają do bramek. Bramka zapomnienia kontroluje, które informacje z długookresowego stanu $c_{(t-1)}$ powinny zostać wykasowane. Bramka wejściowa kontroluje jakie informacje z $g_{(t)}$ powinny zostać przekazane dalej i dodane do nastepnego stanu długookresowego $c_{(t)}$. Bramka wyjściowa odpowiada za wybranie odpowiednich elementów z stanu długookresowego i przekazanie ich następnych kroku. Wynik komórki zostaje przekazany do wyjścia komórki $y_{(t)}$ oraz jako następny stan krótkoterminowy $h_{(t)}$.
|
||||
Główny pomysł na funcjonowanie komórek LSTM był taki, aby sieć sama mogła się nauczyć jakie informacje są istotne i je przechować, a które informacje można pominąć, zapomnieć. Schemat komórki LSTM przedstawiono na rysunku~\ref{fig:lstm}. Aby to osiągnąć powstała idea bramek (\textit{gates}), oraz kontrolerów bramek (\textit{gate controllers}). W komórce LSTM wyróżniamy trzy bramki. Bramkę zapomnienia (\textit{forget gate}) sterowaną przez $f_{(t)}$, bramkę wejściową(\textit{input gate}) sterowaną przez $i_{(t)}$, oraz bramkę wyjściową (\textit{output gate}), sterowaną przez $o_{(t)}$. Przepływ danych w komórce LSTM zaczyna w miejscu gdzie wektor wejściowy $x_{(t)}$ i poprzedni którkoterminowy stan $h_{(t-1)}$ trafiają do czterech warstw. Główną warstwą jest ta zwracająca $g_{(t)}$. W podstawowej komórce RNN jest tylko ta warstwa. Pozostałe trzy wartswy po przejściu przez funkcje logistyczne trafiają do bramek. Bramka zapomnienia kontroluje, które informacje z długookresowego stanu $c_{(t-1)}$ powinny zostać wykasowane. Bramka wejściowa kontroluje jakie informacje z $g_{(t)}$ powinny zostać przekazane dalej i dodane do nastepnego stanu długookresowego $c_{(t)}$. Bramka wyjściowa odpowiada za wybranie odpowiednich elementów z stanu długookresowego i przekazanie ich następnych kroku. Wynik komórki zostaje przekazany do wyjścia komórki $y_{(t)}$ oraz jako następny stan krótkoterminowy $h_{(t)}$.
|
||||
|
||||
Kolejne etapy komórki LSTM obliczane są zgodnie z poniższymy wzorami:
|
||||
\[
|
||||
@ -492,7 +492,7 @@ Jednocześnie przyjmuję do wiadomości, że przypisanie sobie, w pracy dyplomow
|
||||
|
||||
\subsection{Sequance-to-sequance}
|
||||
|
||||
Model w architekturze Sequence-to-sequance (seq2seq) został wynaleziony z myślą o tłumaczeniu maszynowym języków, ale zastosowanie dla niego znaleziono również w rozpoznawaniu mowy, opisywaniu wideo, czy tworzeniu chatbotów. Jego główną zaletą jest przetwarzanie sekwencji elementów o różnych długościach. Jest to naturalne, ponieważ tłumacząc z języka na język często tą samą sentencję można wyrazić różną liczbę słów. Dla przykładu zdanie po Polsku "Co dzisiaj robisz?" zawiera trzy słowa, natomiast przetłumaczone na Angielski "What are you doing today?" zawiera pięć słów. Nie można tego osiągnąć zwykłą siecią LSTM, dlatego model seq2seq został zaprojektowany, aby móc go zastosować do tego typu problemów. \footnote{https://towardsdatascience.com/understanding-encoder-decoder-sequence-to-sequence
|
||||
Model w architekturze Sequence-to-sequance (\textit{seq2seq}) został wynaleziony z myślą o tłumaczeniu maszynowym języków, ale zastosowanie dla niego znaleziono również w rozpoznawaniu mowy, opisywaniu wideo, czy tworzeniu chatbotów. Jego główną zaletą jest przetwarzanie sekwencji elementów o różnych długościach. Jest to naturalne, ponieważ tłumacząc z języka na język często tą samą sentencję można wyrazić różną liczbę słów. Dla przykładu zdanie po Polsku "Co dzisiaj robisz?" zawiera trzy słowa, natomiast przetłumaczone na Angielski "What are you doing today?" zawiera pięć słów. Nie można tego osiągnąć zwykłą siecią LSTM, dlatego model seq2seq został zaprojektowany, aby móc go zastosować do tego typu problemów. \footnote{https://towardsdatascience.com/understanding-encoder-decoder-sequence-to-sequence
|
||||
-model-679e04af4346 26.05.2020 14:58}
|
||||
|
||||
Model sequence to sequance ma dwie części, encoder i decoder. Obie czeście są w zasadzie dwiema zupełnie innymi modelami, połączonymi ze sobą w jedną wielką sieć.
|
||||
|
||||
Loading…
Reference in New Issue
Block a user