Fix 10
19
wyk/10_Neuronowy_ngramowy_model.ipynb
Normal file
@ -53,7 +53,7 @@ $$\vec{y} = \operatorname{softmax}(C[E(w_{i-2}),E(w_{i-1})]),$$
|
|||||||
co można przedstawić za pomocą następującego schematu:
|
co można przedstawić za pomocą następującego schematu:
|
||||||
|
|
||||||
#+CAPTION: Diagram prostego bigramowego neuronowego modelu języka
|
#+CAPTION: Diagram prostego bigramowego neuronowego modelu języka
|
||||||
[[./08_Neuronowy_ngramowy_model/trigram1.drawio.png]]
|
[[./10_Neuronowy_ngramowy_model/trigram1.drawio.png]]
|
||||||
|
|
||||||
**** Rozbicie macierzy $C$
|
**** Rozbicie macierzy $C$
|
||||||
|
|
||||||
@ -88,7 +88,7 @@ gdzie macierze $C_{-(n-1)}$, \dots, $C_{-1}$ mają rozmiary $|V| \times m$.
|
|||||||
Por. diagram:
|
Por. diagram:
|
||||||
|
|
||||||
#+CAPTION: Diagram prostego n-gramowego neuronowego modelu języka
|
#+CAPTION: Diagram prostego n-gramowego neuronowego modelu języka
|
||||||
[[./08_Neuronowy_ngramowy_model/ngram.drawio.png]]
|
[[./10_Neuronowy_ngramowy_model/ngram.drawio.png]]
|
||||||
|
|
||||||
** Dodanie kolejnej warstwy
|
** Dodanie kolejnej warstwy
|
||||||
|
|
||||||
@ -125,13 +125,13 @@ plt.ylabel("y")
|
|||||||
a = torch.Tensor(x.size()[0]).fill_(2.)
|
a = torch.Tensor(x.size()[0]).fill_(2.)
|
||||||
m = torch.stack([x, a])
|
m = torch.stack([x, a])
|
||||||
plt.plot(x, nn.functional.tanh(m)[0])
|
plt.plot(x, nn.functional.tanh(m)[0])
|
||||||
fname = '08_Neuronowy_ngramowy_model/tanh.png'
|
fname = '10_Neuronowy_ngramowy_model/tanh.png'
|
||||||
plt.savefig(fname)
|
plt.savefig(fname)
|
||||||
fname
|
fname
|
||||||
#+END_SRC
|
#+END_SRC
|
||||||
|
|
||||||
#+RESULTS:
|
#+RESULTS:
|
||||||
[[file:08_Neuronowy_ngramowy_model/tanh.png]]
|
[[file:10_Neuronowy_ngramowy_model/tanh.png]]
|
||||||
|
|
||||||
**** Tangens hiperboliczny zastosowany dla wektora
|
**** Tangens hiperboliczny zastosowany dla wektora
|
||||||
|
|
||||||
@ -163,7 +163,7 @@ gdzie:
|
|||||||
Zmodyfikowaną sieć można przedstawić za pomocą następującego schematu:
|
Zmodyfikowaną sieć można przedstawić za pomocą następującego schematu:
|
||||||
|
|
||||||
#+CAPTION: Dwuwarstwowy n-gramowy neuronowy model języka
|
#+CAPTION: Dwuwarstwowy n-gramowy neuronowy model języka
|
||||||
[[./08_Neuronowy_ngramowy_model/ngram-tgh.drawio.png]]
|
[[./10_Neuronowy_ngramowy_model/ngram-tgh.drawio.png]]
|
||||||
|
|
||||||
*** Liczba wag w modelu dwuwarstwowym
|
*** Liczba wag w modelu dwuwarstwowym
|
||||||
|
|
Before Width: | Height: | Size: 25 KiB After Width: | Height: | Size: 25 KiB |
Before Width: | Height: | Size: 18 KiB After Width: | Height: | Size: 18 KiB |
Before Width: | Height: | Size: 9.1 KiB After Width: | Height: | Size: 9.1 KiB |
Before Width: | Height: | Size: 20 KiB After Width: | Height: | Size: 20 KiB |