This commit is contained in:
Filip Gralinski 2022-07-06 08:18:08 +02:00
parent eedb3f7741
commit b343653f5e
10 changed files with 24 additions and 747 deletions

File diff suppressed because one or more lines are too long

File diff suppressed because one or more lines are too long

View File

@ -53,7 +53,7 @@ $$\vec{y} = \operatorname{softmax}(C[E(w_{i-2}),E(w_{i-1})]),$$
co można przedstawić za pomocą następującego schematu: co można przedstawić za pomocą następującego schematu:
#+CAPTION: Diagram prostego bigramowego neuronowego modelu języka #+CAPTION: Diagram prostego bigramowego neuronowego modelu języka
[[./08_Neuronowy_ngramowy_model/trigram1.drawio.png]] [[./10_Neuronowy_ngramowy_model/trigram1.drawio.png]]
**** Rozbicie macierzy $C$ **** Rozbicie macierzy $C$
@ -88,7 +88,7 @@ gdzie macierze $C_{-(n-1)}$, \dots, $C_{-1}$ mają rozmiary $|V| \times m$.
Por. diagram: Por. diagram:
#+CAPTION: Diagram prostego n-gramowego neuronowego modelu języka #+CAPTION: Diagram prostego n-gramowego neuronowego modelu języka
[[./08_Neuronowy_ngramowy_model/ngram.drawio.png]] [[./10_Neuronowy_ngramowy_model/ngram.drawio.png]]
** Dodanie kolejnej warstwy ** Dodanie kolejnej warstwy
@ -125,13 +125,13 @@ plt.ylabel("y")
a = torch.Tensor(x.size()[0]).fill_(2.) a = torch.Tensor(x.size()[0]).fill_(2.)
m = torch.stack([x, a]) m = torch.stack([x, a])
plt.plot(x, nn.functional.tanh(m)[0]) plt.plot(x, nn.functional.tanh(m)[0])
fname = '08_Neuronowy_ngramowy_model/tanh.png' fname = '10_Neuronowy_ngramowy_model/tanh.png'
plt.savefig(fname) plt.savefig(fname)
fname fname
#+END_SRC #+END_SRC
#+RESULTS: #+RESULTS:
[[file:08_Neuronowy_ngramowy_model/tanh.png]] [[file:10_Neuronowy_ngramowy_model/tanh.png]]
**** Tangens hiperboliczny zastosowany dla wektora **** Tangens hiperboliczny zastosowany dla wektora
@ -163,7 +163,7 @@ gdzie:
Zmodyfikowaną sieć można przedstawić za pomocą następującego schematu: Zmodyfikowaną sieć można przedstawić za pomocą następującego schematu:
#+CAPTION: Dwuwarstwowy n-gramowy neuronowy model języka #+CAPTION: Dwuwarstwowy n-gramowy neuronowy model języka
[[./08_Neuronowy_ngramowy_model/ngram-tgh.drawio.png]] [[./10_Neuronowy_ngramowy_model/ngram-tgh.drawio.png]]
*** Liczba wag w modelu dwuwarstwowym *** Liczba wag w modelu dwuwarstwowym

View File

Before

Width:  |  Height:  |  Size: 25 KiB

After

Width:  |  Height:  |  Size: 25 KiB

View File

Before

Width:  |  Height:  |  Size: 18 KiB

After

Width:  |  Height:  |  Size: 18 KiB

View File

Before

Width:  |  Height:  |  Size: 9.1 KiB

After

Width:  |  Height:  |  Size: 9.1 KiB

View File

Before

Width:  |  Height:  |  Size: 20 KiB

After

Width:  |  Height:  |  Size: 20 KiB