This commit is contained in:
Filip Gralinski 2021-05-19 16:04:21 +02:00
parent b40e011c66
commit ebfd32b60d
3 changed files with 22 additions and 6 deletions

View File

@ -156,6 +156,9 @@ Definicja w PyTorchu:
: tensor([0.1182, 0.0022, 0.0059, 0.8737]) : tensor([0.1182, 0.0022, 0.0059, 0.8737])
:end: :end:
#+CAPTION: Softmax
[[./softmax.png]]
*** Soft vs hard *** Soft vs hard
Dlaczego /softmax/? Czasami używa się funkcji *hardmax*, która np. Dlaczego /softmax/? Czasami używa się funkcji *hardmax*, która np.
@ -333,7 +336,7 @@ Podstawowym zastosowaniem funkcji softmax jest klasyfikacja
wieloklasowa, również w wypadku zadań przetwarzania sekwencji, które wieloklasowa, również w wypadku zadań przetwarzania sekwencji, które
mogą być interpretowane jako klasyfikacja wieloklasowa: mogą być interpretowane jako klasyfikacja wieloklasowa:
- przewidywanie kolejnego słowa w modelowaniu języka (klasą jest słowo, zbiór klas to słownik) - przewidywanie kolejnego słowa w modelowaniu języka (klasą jest słowo, zbiór klas to słownik, np. klasą początku tekstu /Dzisiaj rano kupiłem w piekarni/ może być /bułki/)
- przypisywanie etykiet (np. części mowy) słowom. - przypisywanie etykiet (np. części mowy) słowom.
** LogSoftmax ** LogSoftmax
@ -394,7 +397,7 @@ Wczytujemy zbiór uczący:
#+RESULTS: #+RESULTS:
:results: :results:
# Out[23]: # Out[85]:
#+BEGIN_EXAMPLE #+BEGIN_EXAMPLE
{'zimowe': 0, {'zimowe': 0,
'moto': 1, 'moto': 1,
@ -480,7 +483,7 @@ Pętla ucząca:
#+RESULTS: #+RESULTS:
:results: :results:
# Out[25]: # Out[86]:
:end: :end:
Model jest tak prosty, że jego wagi są interpretowalne. Model jest tak prosty, że jego wagi są interpretowalne.
@ -507,10 +510,22 @@ Model jest tak prosty, że jego wagi są interpretowalne.
#+RESULTS: #+RESULTS:
:results: :results:
# Out[32]: # Out[89]:
#+BEGIN_EXAMPLE #+BEGIN_EXAMPLE
tensor([-2.3693, -2.3421, -2.4205, -2.4353, -2.1499, 2.5163, -2.4351, -2.4546], Parameter containing:
grad_fn=<SelectBackward>) tensor([[ 7.8818e-04, 1.0930e-03, 5.9632e-04, ..., 8.1697e-04,
1.2976e-03, -8.4243e-04],
[-1.0164e-03, -8.9416e-04, -1.8650e-03, ..., 6.6075e-04,
-5.4883e-04, -1.1845e-03],
[-3.1395e-04, 1.8564e-03, -7.0267e-04, ..., -4.7028e-04,
7.0584e-04, 9.8026e-04],
...,
[ 4.8792e-05, 1.9183e-03, 1.3152e-03, ..., 4.6495e-04,
9.5338e-04, 1.9107e-03],
[-5.2181e-04, 1.1135e-03, 7.1943e-04, ..., 3.7215e-04,
1.0002e-03, -1.7985e-03],
[-9.1641e-04, 1.6301e-03, 1.7372e-03, ..., 1.2390e-03,
-9.1001e-04, 1.5711e-03]], requires_grad=True)
#+END_EXAMPLE #+END_EXAMPLE
:end: :end:

1
wyk/softmax.drawio Normal file
View File

@ -0,0 +1 @@
<mxfile host="app.diagrams.net" modified="2021-05-19T13:46:19.321Z" agent="5.0 (X11)" etag="BY0RhjNpZv5bOkoRQgjF" version="14.6.13" type="device"><diagram id="g29DhglkffejKOdKbHrJ" name="Page-1">7VrbctowEP0aHuPRxTb2Y8ilmXYyzQztNOmbByug1liMEAHy9ZVr+SKJBOIYTGnykLHW8lo651ja1dLDF9PVJx7NJrcsJkkPgXjVw5c9hEIXyv+ZYZ0bPIxzw5jTODfByjCkz0QZgbIuaEzmWkfBWCLoTDeOWJqSkdBsEedsqXd7ZIn+1lk0JpZhOIoS2/qDxmKSWwPUr+w3hI4nxZuhH+Z3plHRWc1kPolitqyZ8FUPX3DGRH41XV2QJMOuwCV/7vqFu+XAOEnFLg+g65+f+VW8GoQPXyi5dAffxc2Z8vIUJQs1YTVYsS4Q4GyRxiRzAnp4sJxQQYazaJTdXUrKpW0ipolsQXmp3BEuyOrFccJy9lI1hE2J4GvZRT2AgAJMKQZ5qr2s8MeFbVLHvkA6UpyPS98VLPJCIfMGlPoWSsjxLKDklIWOxlxw9ptcsIRxaUlZKnsOHmmSGKYooeNUNkcSIiLtgwxAKkV4rm5MaRxnr9kIv05QGwwgnQG4gQF3AwF7wz+w8D+DjnvCBIRHRkBoEYBPF33cPzL0i72wBj9wgtMlwHWPjQC0fZskaXyexRsZjEk0n9ORzoWcO1/fZyA50p1qP8j2GXCA3y8slyuFY95a11t3hFM5oYyh3LiiIvcI+ki1H4rXyevKV9ZY1xqmp3w2JLZiIYMyOWO24CPyClb5ymBzW+Nu0+Zd2DhJIkGf9HFsIlS94Y5ROcJq5cShJh3s9x1geMmnoB6sB0ymryJ2Vb5cjJww1H2JiI+JsHz9VVk5+XcID7cgvFIlGPTrKnH+Y51gYOgkAM1EgqEpEnBYhbhHuTTtKpTO+A/MdaIp/6HBP/KcMDisBLwPCTSQgOu1JAHX714CviUB4Hh9SwYnEyKaMbrbeYhop0hyw/2PDgk6ZwBtypIAOOGPwDwm6J4C+zgx2z5OlwEzU+2eATtTJauZRcDBz3SNxQL5Nk6lmutAmdF0e0DZmVXK+FTq6zka/Yp65an98YCGceegtZBs9NpLIbvNIIzFF4Om4aOxhpQDPFDsiOzY8c2k1tIH4Pv1/EEaMN5n+oBAjs/WRfFYjqRg2FAoqGuh2GWwf0koHR41FcXCQgFB2PhQMvPmu6D801NPZOaw+5aEXZn7kMTb9453CSIEDjweQdhp8IcgdjiL8tsThPR1RILAdko4/Hr97fb83tLFyWSFEG7Pdg6aFeI2igS1YqOvl5H8oqy0eyGp9o172he+5eve9UPepQClMNgePnZaqYLmEUPTPAOaCcuBw0fcRpmiqmUiqIuw01pmtwmGh+S+GFZ/vs4z8JoHF74eueIDVzdxG7lpqRkvxJpmwMfCtU9Z+q/LEr5DloEhy0MvZW2kPaUsA5lFvXc/PZnFzEyNXNhwu9vf0iWb1a+28+7VT9/x1R8=</diagram></mxfile>

BIN
wyk/softmax.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 16 KiB