Fix 10
19
wyk/10_Neuronowy_ngramowy_model.ipynb
Normal file
@ -53,7 +53,7 @@ $$\vec{y} = \operatorname{softmax}(C[E(w_{i-2}),E(w_{i-1})]),$$
|
||||
co można przedstawić za pomocą następującego schematu:
|
||||
|
||||
#+CAPTION: Diagram prostego bigramowego neuronowego modelu języka
|
||||
[[./08_Neuronowy_ngramowy_model/trigram1.drawio.png]]
|
||||
[[./10_Neuronowy_ngramowy_model/trigram1.drawio.png]]
|
||||
|
||||
**** Rozbicie macierzy $C$
|
||||
|
||||
@ -88,7 +88,7 @@ gdzie macierze $C_{-(n-1)}$, \dots, $C_{-1}$ mają rozmiary $|V| \times m$.
|
||||
Por. diagram:
|
||||
|
||||
#+CAPTION: Diagram prostego n-gramowego neuronowego modelu języka
|
||||
[[./08_Neuronowy_ngramowy_model/ngram.drawio.png]]
|
||||
[[./10_Neuronowy_ngramowy_model/ngram.drawio.png]]
|
||||
|
||||
** Dodanie kolejnej warstwy
|
||||
|
||||
@ -125,13 +125,13 @@ plt.ylabel("y")
|
||||
a = torch.Tensor(x.size()[0]).fill_(2.)
|
||||
m = torch.stack([x, a])
|
||||
plt.plot(x, nn.functional.tanh(m)[0])
|
||||
fname = '08_Neuronowy_ngramowy_model/tanh.png'
|
||||
fname = '10_Neuronowy_ngramowy_model/tanh.png'
|
||||
plt.savefig(fname)
|
||||
fname
|
||||
#+END_SRC
|
||||
|
||||
#+RESULTS:
|
||||
[[file:08_Neuronowy_ngramowy_model/tanh.png]]
|
||||
[[file:10_Neuronowy_ngramowy_model/tanh.png]]
|
||||
|
||||
**** Tangens hiperboliczny zastosowany dla wektora
|
||||
|
||||
@ -163,7 +163,7 @@ gdzie:
|
||||
Zmodyfikowaną sieć można przedstawić za pomocą następującego schematu:
|
||||
|
||||
#+CAPTION: Dwuwarstwowy n-gramowy neuronowy model języka
|
||||
[[./08_Neuronowy_ngramowy_model/ngram-tgh.drawio.png]]
|
||||
[[./10_Neuronowy_ngramowy_model/ngram-tgh.drawio.png]]
|
||||
|
||||
*** Liczba wag w modelu dwuwarstwowym
|
||||
|
Before Width: | Height: | Size: 25 KiB After Width: | Height: | Size: 25 KiB |
Before Width: | Height: | Size: 18 KiB After Width: | Height: | Size: 18 KiB |
Before Width: | Height: | Size: 9.1 KiB After Width: | Height: | Size: 9.1 KiB |
Before Width: | Height: | Size: 20 KiB After Width: | Height: | Size: 20 KiB |