2021-05-19 13:33:08 +02:00
{
"cells": [
2021-09-27 07:57:37 +02:00
{
"cell_type": "markdown",
"metadata": {},
"source": [
"\n",
"<div class=\"alert alert-block alert-info\">\n",
"<h1> Ekstrakcja informacji </h1>\n",
"<h2> 9. <i>Przegląd składowych sieci neuronowych</i> [wykład]</h2> \n",
"<h3> Filip Graliński (2021)</h3>\n",
"</div>\n",
"\n",
""
]
},
2021-05-19 13:33:08 +02:00
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Neurozoo\n",
"\n"
]
},
2021-05-26 13:29:45 +02:00
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Kilka uwag dotyczących wektorów\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Wektor wierszowy $\\left[x_1,\\dots,x_n\\right]$ czy kolumnowy $\\left[\\begin{array}{c}\n",
" x_1 \\\\ \\vdots \\\\ x_n\\end{array}\\right]$?\n",
"\n",
"Często zakłada się wektor kolumny, będziemy używać **transpozycji**, by otrzymać wektor\n",
"wierszowy $\\vec{x}^T = \\left[x_1,\\dots,x_n\\right]$.\n",
"\n",
"W praktyce, np. w PyTorchu, może to nie mieć wielkiego znaczenia:\n",
"\n"
]
},
{
"cell_type": "code",
"execution_count": 1,
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([ 1.0000, -0.5000, 2.0000])"
]
},
"execution_count": 1,
"metadata": {},
"output_type": "execute_result"
2021-05-26 13:29:45 +02:00
}
],
"source": [
"import torch\n",
"x = torch.tensor([1.0, -0.5, 2.0])\n",
"x"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Musimy tylko uważać, jeśli przemnażamy wektor przez macierz!\n",
"\n"
]
},
2021-05-19 13:33:08 +02:00
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Funkcja sigmoidalna\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Funkcja sigmoidalna zamienia dowolną wartość („sygnał”) w wartość z przedziału $(0,1)$, czyli wartość, która może być interperetowana jako prawdopodobieństwo.\n",
"\n",
"$$\\sigma(x) = \\frac{1}{1 + e^{-x}}$$\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 2,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor(0.6457)"
]
},
"execution_count": 2,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch\n",
"\n",
"def sigmoid(x):\n",
" return 1 / (1 + torch.exp(-x))\n",
"\n",
"sigmoid(torch.tensor(0.6))"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 3,
2021-05-19 13:33:08 +02:00
"metadata": {},
2021-05-26 15:56:22 +02:00
"outputs": [
{
"data": {
"text/plain": [
"'sigmoid.png'"
]
},
"execution_count": 3,
"metadata": {},
"output_type": "execute_result"
},
{
"data": {
"image/png": "iVBORw0KGgoAAAANSUhEUgAAAYIAAAEGCAYAAABo25JHAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/Z1A+gAAAACXBIWXMAAAsTAAALEwEAmpwYAAAhNUlEQVR4nO3deXyV5Z3+8c83+04gCVsIqyAguwHcWm2tDijuti5YFW39aWvHWtuqHaszdanLtFNn1PKjFpda12opVQpq6zYubMoWQiCGJWHLRvY9554/EpkMBgTMk+cs1/v1Oq/knOdJvI7Gcz3rfZtzDhERiVxRfgcQERF/qQhERCKcikBEJMKpCEREIpyKQEQkwsX4HeBIZWZmuuHDh/sdQ0QkpKxevbrcOZfV3bKQK4Lhw4ezatUqv2OIiIQUM9t+sGU6NCQiEuFUBCIiEU5FICIS4VQEIiIRzrMiMLOFZlZqZhsOstzM7D/NrNDM1pnZNK+yiIjIwXm5R/AkMOsQy2cDozsf1wG/9TCLiIgchGdF4Jx7F6g8xCrnAU+7Dh8B6WY2yKs8IiLSPT/vI8gGirs8L+l8bfeBK5rZdXTsNTB06NBeCSci0hucczS3BahpaqWuqY265rb9Xxta2qlvaaOhuePr8cP68pXR3d4T9qX4WQTWzWvdTo7gnFsALADIzc3VBAoiEpQCAce+hhbK61qoqG+moq6FfQ0tVNa3UNXQyr6Gjq/VjR2PmsZWapvaaGkPHNbvv+G0UWFXBCVATpfnQ4BdPmURETmkptZ2dlY1squqkd3VTeyuamJPTROlNU3srW2itKaZivoW2gPdb6umJcSQnhRH36RY0hJjGdI3kT6JHd+nJsSQmhBLWkIMyXExpCTEkBIfQ3J8DMlx0STFx5AYG010VHfbz1+en0WwGLjRzJ4HZgLVzrnPHRYSEekt1Y2tbC2vp6isjm0VDeyoqGd7ZQPFlY2U1zV/bv2M5DgGpCUwIC2e8YPSyEqNJyslnoyUeDJS4shMiadfchzpibHERAfv1fqeFYGZPQecBmSaWQlwFxAL4JybDywBzgIKgQZgnldZRES6qmlqpWBPLZt217B5bx1bSmspLK2jvK5l/zpRBoP6JDIsI4nTx/Ynu28iQ/omMjg9kcF9EumfFk9CbLSP76LneFYEzrnLvmC5A77v1T9fRAQ6tvLXlVSxrqSaDTurWb+zmpJ9jfuXpybEMLp/Cl8f259j+qcwIjOFEZnJDO2XRFxM8G7F96SQG31URORgnHNsr2hgxdZKVm6r5JPiKgpL6/YvH5aRxOScdC6fOZRxA9MYOyiVgWkJmHlz7D1UqAhEJKTtqmrkvwvL+aCwnA8+raC0tuNYft+kWKYN7cv5UwYzJacvE4f0oU9irM9pg5OKQERCSmt7gJXbKnm7oIy3NpWypXOLPzMljhNHZXLCyH7MGN6PY/qnRPyW/uFSEYhI0GtqbeftgjJez9vD3zeVUt3YSmy0MXNEBpdMz+GU0ZkcOyBVH/xHSUUgIkGptT3Af28pZ/HaXbyet4f6lnb6JMZy+rj+nDl+IKeMziQlXh9hPUH/FkUkqBTsqeWlVcUsWrOT8roW0hJimDNpMOdMHszMkf2IDeLr8UOVikBEfNfU2s5r63bzh4+2s6a4ipgo4/Rx/bn4+BxOHZMVMZdx+kVFICK+2VPdxFMfbuP5FTvY19DKyKxk7jh7HBdMzSYjJd7veBFDRSAivW7TnhoWvFvEX9fuoj3gOHP8QK48cRgnjsrQCV8fqAhEpNds2FnNf/1jC8vy9pIUF83cmcO49pQR5PRL8jtaRFMRiIjnCvbU8tCyAt7M30tqQgw3nT6aeScPJz0pzu9ogopARDxUsq+BX7+xmT9/spOUuBh+dMYYrj55OGkJusM3mKgIRKTHNbS08dhbn7LgvSIAvvuVkdxw6ij6JmsPIBipCESkxzjnWLx2F79csok9NU2cP2UwP5k1luz0RL+jySGoCESkR2yvqOeORRt4b0s5k4b04dG5Uzl+WD+/Y8lhUBGIyJfS1h5gwXtFPPzmFuKio7j7/AnMnTGUKI+mVZSepyIQkaNWWFrLLS+uZW1JNbMnDORfzz2OAWkJfseSI6QiEJEjFgg4Fr6/lQeXFZAcF81jc6dx1sRBfseSo6QiEJEjUlrbxC0vruW9LeV8Y9wAfnnhRLJSNRxEKFMRiMhhe3dzGT96cQ21TW3cd8FELpuRoyEhwoCKQES+UCDgePjvW3j471sYMyCFP37nBI4dmOp3LOkhKgIROaTqxlZufmEN/9hUykXThnDP+RNIjIv2O5b0IBWBiBzUlr21fOfpVezc18jd5x3HFScM06GgMKQiEJFuvbeljO898zHxsdE8f90J5A7XzWHhSkUgIp/zzEfbuWtxHqP7p/D7q6driIgwpyIQkf2cczywtID573zKacdm8V+XTSVVI4WGPRWBiAAdQ0Xc9sp6/rS6hMtnDuUX5x5HjCaKjwgqAhGhsaWdG5/9mL9vKuWm00fzw2+M1knhCKIiEIlw9c1tXPPkSlZsq+Tu8yfw7ROG+R1JepmKQCSC1TS1Mu+JlawpruI3l0zhvCnZfkcSH6gIRCJUdUMrVz6xgryd1Txy2VRma9C4iOXpmSAzm2VmBWZWaGa3dbO8j5n91czWmlmemc3zMo+IdKhpauXKhcvJ31XDb684XiUQ4TwrAjOLBh4FZgPjgcvMbPwBq30f2OicmwycBvzKzDSpqYiH6pvbmPfESvJ21fDY3GmcMX6A35HEZ17uEcwACp1zRc65FuB54LwD1nFAqnVcnpACVAJtHmYSiWhNre1856lVfLJjH/952VS+oRIQvC2CbKC4y/OSzte6egQYB+wC1gM3OecCB/4iM7vOzFaZ2aqysjKv8oqEtdb2ADc8s5qPtlbw629N0UQysp+XRdDdRcjugOf/BKwBBgNTgEfMLO1zP+TcAudcrnMuNysrq6dzioS9QMBx65/W8VZBGfeeP5Hzp+rqIPlfXhZBCZDT5fkQOrb8u5oHvOI6FAJbgbEeZhKJSPcv3cQrn+zkljPGcPnMoX7HkSDjZRGsBEab2YjOE8CXAosPWGcHcDqAmQ0AjgWKPMwkEnF+924RC94t4qoTh3Hj14/xO44EIc/uI3DOtZnZjcAyIBpY6JzLM7PrO5fPB+4GnjSz9XQcSrrVOVfuVSaRSLNk/W7uXZLP2RMHcdc5x2nYCOmWpzeUOeeWAEsOeG1+l+93AWd6mUEkUn28Yx83v7CG44f15VffmkxUlEpAuqehBUXCUHFlA999ahUD0hJY8O3jSYjV1JJycCoCkTBT29TKNU+upC3geGLedDJS4v2OJEFOYw2JhJFAwHHzC2soKq/nD9fMYFRWit+RJARoj0AkjPz6jc28mV/Kz88ex0nHZPodR0KEikAkTLy6bhePvFXIJbk5XHXScL/jSAhREYiEgYI9tfzkpXUcP6wvvzhfl4nKkVERiIS42qZWbnhmNcnxMfx27jTiY3SFkBwZnSwWCWHOOX7y0jq2Vzbw7Hdm0j8twe9IEoK0RyASwn73XhFL8/Zw26yxzByZ4XccCVEqApEQtXp7JQ8sLWD2hIF85ysj/I4jIUxFIBKC9tW38INnPyE7PZEHLp6kk8PypegcgUiIcc7xkz+tpayumZdvOIm0hFi/I0mI0x6BSIhZ+P423swv5fbZ45g0JN3vOBIGVAQiIWTDzmru/1s+3xg3gHknD/c7joQJFYFIiGhsaeefn/+EfslxPKTzAtKDdI5AJETc89pGisrq+eN3ZtI3Oc7vOBJGtEcgEgJez9vDH5fv4LqvjuRkDSYnPUxFIBLkSmubuPXldRw3OI1bzhzjdxwJQyoCkSDmnOP2l9fT0NLOw5dO0ThC4gkVgUgQe3FVMX/fVMqts8ZyTP9Uv+NImFIRiASp4soGfvHXjZw4MoOrNb+AeEhFIBKEAgHHLS+tJcqMf//WZKKidKmoeEdFIBKEnvhgGyu2VnLnOePJTk/0O46EORWBSJDZWl7PQ8s2cfrY/lx8/BC/40gEUBGIBJFAwPHTP60lLjq
"text/plain": [
"<Figure size 432x288 with 1 Axes>"
]
},
"metadata": {
"needs_background": "light"
},
"output_type": "display_data"
}
],
2021-05-19 13:33:08 +02:00
"source": [
"%matplotlib inline\n",
"import matplotlib.pyplot as plt\n",
"import torch\n",
"\n",
"x = torch.linspace(-5,5,100)\n",
"plt.xlabel(\"x\")\n",
"plt.ylabel(\"y\")\n",
"plt.plot(x, sigmoid(x))\n",
"fname = 'sigmoid.png'\n",
"plt.savefig(fname)\n",
"fname"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"[[file:# Out[32]:\n",
"\n",
" 'sigmoid.png'\n",
"\n",
"]]\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### PyTorch\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Funkcja `torch.sigmoid` po prostu stosuje sigmoidę do każdego elementu tensora (*element-wise*).\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 4,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([0.6457, 0.7311, 0.0067])"
]
},
"execution_count": 4,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch\n",
"\n",
"torch.sigmoid(torch.tensor([0.6, 1.0, -5.0]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Istnieje również `torch.nn.Sigmoid`, które może być używane jako warstwa.\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 5,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([0.5000, 0.4502, 0.5987])"
]
},
"execution_count": 5,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch.nn as nn\n",
"\n",
"s = nn.Sigmoid()\n",
"s(torch.tensor([0.0, -0.2, 0.4]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### Implementacja w Pytorchu\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 6,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([0.5000, 0.6225, 0.5744])"
]
},
"execution_count": 6,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch.nn as nn\n",
"import torch\n",
"\n",
"class MySigmoid(nn.Module):\n",
" def __init__(self):\n",
" super(MySigmoid, self).__init__()\n",
"\n",
" def forward(self, x):\n",
" return 1 / (1 + torch.exp(-x))\n",
"\n",
"s = MySigmoid()\n",
"s(torch.tensor([0.0, 0.5, 0.3]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Wagi\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Funkcja sigmoidalna nie ma żadnych wyuczalnych wag.\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### **Pytanie**: Czy można rozszerzyć funkcję sigmoidalną o jakieś wyuczalne wagi?\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Regresja liniowa\n",
"\n"
]
},
2021-05-26 13:29:45 +02:00
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Iloczyn skalarny — przypomnienie\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"$$\\left[1.0, -0.5, 2.0\\right]\n",
" \\left[\\begin{array}{c}\n",
" 3.0 \\\\\n",
" 1.5 \\\\\n",
" 0.0\\end{array}\\right]\n",
" =\n",
" 1.0 \\cdot 3.0 + -0.5 \\cdot 1.5 + 2.0 \\cdot 0.0 = 2.25$$\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### Intuicje\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"- $\\vec{a}^T \\vec{b}$ mierzy jak bardzo $\\vec{a}$ „pasuje” do\n",
" $\\vec{b}$,\n",
"- … zwłaszcza gdy znormalizujemy wektory dzieląc przez $|\\vec{a}|$ i $|\\vec{b}|$:\n",
" $\\frac{\\vec{a}^T \\vec{b}}{|\\vec{a}||\\vec{b}|} = \\cos \\theta$,\n",
" gdzie $\\theta$ to kąt pomiędzy $\\vec{a}$ and $\\vec{b}$ (podobieństwo kosinusowe!)\n",
"- co, jeśli if $\\vec{a}^T \\vec{b} = 0$? — $\\vec{a}$ i $\\vec{b}$ są prostopadłe, np.\n",
" $\\left[1, 2\\right] \\cdot \\left[-2, -1\\right]^T = 0$\n",
"- a co, jeśli $\\vec{a}^T \\vec{b} = -1$ — wektor są skierowane w przeciwnym kierunku, jeśli dodatkowo $|\\vec{a}|=|\\vec{b}|=1$, np.\n",
" $\\left[\\frac{\\sqrt{2}}{2},\\frac{\\sqrt{2}}{2}\\right] \\cdot \\left[-\\frac{\\sqrt{2}}{2},-\\frac{\\sqrt{2}}{2}\\right]^T = -1$\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### W PyTorchu\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 7,
2021-05-26 13:29:45 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor(2.2500)"
]
},
"execution_count": 7,
"metadata": {},
"output_type": "execute_result"
2021-05-26 13:29:45 +02:00
}
],
"source": [
"import torch\n",
"x = torch.tensor([1.0, -0.5, 2.0])\n",
"y = torch.tensor([3.0, 1.5, 0.0])\n",
"x @ y"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Regresja liniowa jako element sieci neuronowej\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Przypomnijmy sobie wzór na regresję liniową:\n",
"\n",
"$$y = w_0 + w_1x_1 + w_2x_2 + \\dots + w_{|V|}x_{|v|}$$\n",
"\n",
"Jeśli wprowadzimy sztuczny element wektora $\\vec{x}$ ustawiony zawsze na 1 ($x_0 = 1$), wówczas\n",
"wzór może przyjąc bardziej zwartą postać:\n",
"\n",
"$$y = \\sum_{i=0}^{|V|} w_ix_i = \\vec{w}\\vec{x}$$\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### PyTorch\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### Implementacja w PyTorchu\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Zakładamy, że wektor wejściowy **nie** obejmuje dodatkowego elementu $x_0 = 1$.\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 8,
2021-05-26 13:29:45 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor(0., dtype=torch.float64, grad_fn=<AddBackward0>)"
]
},
"execution_count": 8,
"metadata": {},
"output_type": "execute_result"
2021-05-26 13:29:45 +02:00
}
],
"source": [
"import torch\n",
"import torch.nn as nn\n",
"\n",
"class MyLinearRegressor(nn.Module):\n",
" def __init__(self, vlen):\n",
" super(MyLinearRegressor, self).__init__()\n",
" self.register_parameter(name='w', param=torch.nn.Parameter(\n",
" torch.zeros(vlen, dtype=torch.double, requires_grad=True)))\n",
" self.register_parameter(name='b', param=torch.nn.Parameter(\n",
" torch.tensor(0., dtype=torch.double, requires_grad=True)))\n",
"\n",
" def forward(self, x):\n",
" return self.b + x @ self.w\n",
"\n",
"regressor = MyLinearRegressor(3)\n",
"regressor(torch.tensor([0.3, 0.4, 1.0], dtype=torch.double))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### Gotowy moduł w PyTorchu\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Możemy skorzystać z ogólniejszej konstrukcji — warstwy liniowej (ale,\n",
"uwaga!, na wyjściu będzie wektor jednoelementowy).\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 9,
2021-05-26 13:29:45 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
2021-06-01 10:38:23 +02:00
"tensor([-0.0557], grad_fn=<AddBackward0>)"
2021-05-26 15:56:22 +02:00
]
},
"execution_count": 9,
"metadata": {},
"output_type": "execute_result"
2021-05-26 13:29:45 +02:00
}
],
"source": [
"import torch\n",
"import torch.nn as nn\n",
"\n",
"regressor = torch.nn.Linear(in_features=3, out_features=1, bias=True)\n",
"regressor(torch.tensor([0.3, 0.4, 1.0]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Zastosowania\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Bezpośrednio możemy zastosować do zadania regresji dla tekstu (np.\n",
"przewidywanie roku publikacji tekstu).\n",
"\n",
"\n",
"\n",
"W połączeniu z sigmoidą otrzymamy regresją logistyczną, np. dla zadania klasyfikacji tekstu:\n",
"\n",
"$$p(c|\\vec{x}) = \\sigma(w_0 + w_1x_1 + w_2x_2 + \\dots + w_{|V|}x_{|v})\n",
"= \\sigma(\\Sigma_{i=0}^{|V|} w_ix_i) = \\sigma(\\vec{w}\\vec{x})$$\n",
"\n",
"\n",
"\n",
"Tak sieć będzie aktywowana dla tekstu <u>aardvark in Aachen</u>:\n",
"\n",
"\n",
"\n",
"Regresje logistyczną (liniową zresztą też) dla tekstu możemy połączyć z trikiem z haszowaniem:\n",
"\n",
"$$p(c|\\vec{x}) = \\sigma(w_0 + w_1x_1 + w_2x_2 + \\dots + w_{2^b}x_{2^b})\n",
"= \\sigma(\\Sigma_{i=0}^{2^b} w_ix_i) = \\sigma(\\vec{w}\\vec{x})$$ \n",
"{\\small hashing function $H : V \\rightarrow \\{1,\\dots,2^b\\}$,\n",
" e.g. MurmurHash3}\n",
"\n",
"\n",
"\n",
"****Pytanie:**** Jaki tekst otrzyma na pewno taką samą klasę jak <u>aardvark in Aachen</u>?\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Wagi\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Liczba wag jest równa rozmiarowi wektora wejściowego (oraz opcjonalnie\n",
"obciążenie).\n",
"\n",
"Każda waga odpowiada wyrazowi ze słownika, możemy więc interpretować\n",
"wagi jako jednowymiarowy parametr opisujący słowa.\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Warstwa liniowa\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Mnożenie macierzy przez wektor — przypomnienie\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Mnożenie macierzy przez wektor można interpretować jako zrównolegloną operację mnożenie wektora przez wektor.\n",
"\n",
"$$\\left[\\begin{array}{ccc}\n",
" \\alert<2>{1.0} & \\alert<2>{-2.0} & \\alert<2>{3.0} \\\\\n",
" \\alert<3>{-2.0} & \\alert<3>{0.0} & \\alert<3>{10.0}\\end{array}\\right]\n",
" \\left[\\begin{array}{c}\n",
" \\alert<2-3>{1.0} \\\\\n",
" \\alert<2-3>{-0.5} \\\\\n",
" \\alert<2-3>{2.0}\\end{array}\\right]\n",
" =\n",
" \\left[\\begin{array}{c}\n",
" \\uncover<2->{\\alert<2>{8.0}} \\\\\n",
" \\uncover<3->{\\alert<3>{18.0}}\\end{array}\\right]$$\n",
"\n",
"Jeśli przemnożymy macierz $n \\times m$ przez wektor kolumnowy o długości\n",
"$m$, otrzymamy wektor o rozmiarze $n$.\n",
"\n",
"W PyTorchu:\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 10,
2021-05-26 13:29:45 +02:00
"metadata": {},
2021-05-26 15:56:22 +02:00
"outputs": [
{
"data": {
"text/plain": [
"tensor([ 8., 18.])"
]
},
"execution_count": 10,
"metadata": {},
"output_type": "execute_result"
}
],
2021-05-26 13:29:45 +02:00
"source": [
"import torch\n",
"m = torch.tensor([[1.0, -2.0, 3.0],\n",
" [-2.0, 0.0, 10.0]])\n",
"x = torch.tensor([1.0, -0.5, 2.0])\n",
"m @ x"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"[[file:# Out[19]:\n",
"\n",
" tensor([ 8., 18.])]]\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Definicja warstwy liniowej\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Warstwa liniowa polega na przemnożeniu wejścia przez macierz. Można\n",
"to intepretować jako zrównolegloną operację regresji liniowej (równolegle\n",
"uczymy czy wykonujemy $n$ regresji liniowych).\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### PyTorch\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Warstwa liniowa, która przyjmuje wektor o rozmiarze 3 i zwraca wektor o rozmiarze 2.\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 11,
2021-05-26 13:29:45 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
2021-06-01 10:38:23 +02:00
"tensor([0.7000, 0.2270], grad_fn=<AddBackward0>)"
2021-05-26 15:56:22 +02:00
]
},
"execution_count": 11,
"metadata": {},
"output_type": "execute_result"
2021-05-26 13:29:45 +02:00
}
],
"source": [
"import torch\n",
"import torch.nn as nn\n",
"\n",
"regressor = torch.nn.Linear(in_features=3, out_features=2, bias=True)\n",
"regressor(torch.tensor([0.3, 0.4, 1.0]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"**Pytanie**: Ile wag (parametrów) ma powyżej użyta warstwa?\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Zastosowania\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Warstwa liniowa jest podstawowym elementem sieci neuronowych —\n",
"począwszy od prostych sieci neuronowych feed-forward, gdzie warstwy\n",
"liniowe łączymy używając funkcji aktywacji (np. sigmoidy).\n",
"\n",
"Oto przykład prostej dwuwarstwowej sieci neuronowej do klasyfikacji binarnej.\n",
"\n",
"\n",
"\n"
]
},
2021-05-19 13:33:08 +02:00
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Softmax\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"W klasyfikacji wieloklasowej należy zwrócić musimy zwrócić rozkład\n",
"prawdopodobieństwa po wszystkich klasach, w przeciwieństwie do\n",
"klasyfikacji binarnej, gdzie wystarczy zwrócić jedną liczbę —\n",
"prawdopodobieństwo pozytywnej klasy ($p$; prawdopodobieństwo drugiej\n",
"klasy to po prostu $1-p$).\n",
"\n",
"A zatem na potrzeby klasyfikacji wieloklasowej potrzeba wektorowego\n",
"odpowiednika funkcji sigmoidalnej, to jest funkcji, która zamienia\n",
"nieznormalizowany wektor $\\vec{z} = [z_1,\\dots,z_k]$ (pochodzący np. z\n",
"poprzedzającej warstwy liniowej) na rozkład prawdopobieństwa.\n",
"Potrzebujemy zatem funkcji $s: \\mathcal{R}^k \\rightarrow [0,1]^k$\n",
"\n",
"spełniającej następujące warunki:\n",
"\n",
"- $s(z_i) = s_i(z) \\in [0,1]$\n",
"- $\\Sigma_i s(z_i) = 1$\n",
"- $z_i > z_j \\Rightarrow s(z_i) > s(z_j)$\n",
"\n",
"Można by podać takie (**błędne**!) rozwiązanie:\n",
"\n",
"$$s(z_i) = \\frac{z_i}{\\Sigma_{j=1}^k z_j}$$\n",
"\n",
"To rozwiązanie zadziała błędnie dla liczb ujemnych, trzeba najpierw\n",
"użyć funkcji monotonicznej, która przekształaca $\\mathcal{R}$ na $\\mathcal{R^+}$.\n",
"Naturalna funkcja tego rodzaju to funkcja wykładnicza $\\exp{x} = e^x$.\n",
"Tym sposobem dochodzimy do funkcji softmax:\n",
"\n",
"$$s(z_i) = \\frac{e^{z_i}}{\\Sigma_{j=1}^k e^{z_j}}$$\n",
"\n",
"Mianownik ułamka w definicji funkcji softmax nazywamy czasami czynnikiem normalizacyjnym:\n",
"$Z(\\vec{z}) = \\Sigma_{j=1}^k e^{z_j}$, wtedy:\n",
"\n",
"$$s(z_i) = \\frac{e^{z_i}}{Z(\\vec{z})}$$\n",
"\n",
"Definicja w PyTorchu:\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 12,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([0.1182, 0.0022, 0.0059, 0.8737])"
]
},
"execution_count": 12,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch\n",
"\n",
"def softmax(z):\n",
" z_plus = torch.exp(z)\n",
" return z_plus / torch.sum(z_plus)\n",
"\n",
"softmax(torch.tensor([3., -1., 0., 5.]))"
]
},
2021-05-19 16:04:43 +02:00
{
"cell_type": "markdown",
"metadata": {},
"source": [
"![img](./softmax.png \"Softmax\")\n",
"\n"
]
},
2021-05-19 13:33:08 +02:00
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Soft vs hard\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Dlaczego *softmax*? Czasami używa się funkcji **hardmax**, która np.\n",
"wektora $[3, -1, 0, 5]$ zwróciłaby $[0, 0, 0, 5]$ — to jest po prostu\n",
"wektorowa wersja funkcji zwracającej maksimum. Istnieje też funkcja\n",
"hard\\*arg\\*max, która zwraca wektor *one-hot* — z jedną jedynką na\n",
"pozycji dla największej wartości (zamiast podania największej\n",
"wartości), np. wartość hardargmax dla $[3, -1, 0, 5]$ zwróciłaby $[0,\n",
"0, 0, 1]$.\n",
"\n",
"Zauważmy, że powszechnie przyjęta nazwa *softmax* jest właściwie\n",
"błędna, funkcja ta powinna nazywać się *softargmax*, jako że w\n",
"„miękki” sposób identyfikuje największą wartość przez wartość zbliżoną\n",
"do 1 (na pozostałych pozycjach wektora nie będzie 0).\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### **Pytanie**: Jak można zdefiniować funkcję *softmax* w ścisłym tego słowa znaczeniu („miękki” odpowiednik hardmax, nie hardargmax)?\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### PyTorch\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Funkcja `torch.nn.functional.softmax` normalizuje wartości dla całego tensora:\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 13,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"name": "stderr",
2021-05-19 13:33:08 +02:00
"output_type": "stream",
"text": [
2021-05-26 15:56:22 +02:00
"<ipython-input-13-e808e5e4899b>:3: UserWarning: Implicit dimension choice for softmax has been deprecated. Change the call to include dim=X as an argument.\n",
" nn.functional.softmax(torch.tensor([0.6, 1.0, -5.0]))\n"
2021-05-19 13:33:08 +02:00
]
2021-05-26 15:56:22 +02:00
},
{
"data": {
"text/plain": [
"tensor([0.4007, 0.5978, 0.0015])"
]
},
"execution_count": 13,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch.nn as nn\n",
"\n",
"nn.functional.softmax(torch.tensor([0.6, 1.0, -5.0]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"… zobaczmy, jak ta funkcja zachowuje się dla macierzy:\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 14,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"name": "stderr",
2021-05-19 13:33:08 +02:00
"output_type": "stream",
"text": [
2021-05-26 15:56:22 +02:00
"<ipython-input-14-95deaae56e16>:3: UserWarning: Implicit dimension choice for softmax has been deprecated. Change the call to include dim=X as an argument.\n",
" nn.functional.softmax(torch.tensor([[0.6, 1.0], [-2.0, 3.5]]))\n"
2021-05-19 13:33:08 +02:00
]
2021-05-26 15:56:22 +02:00
},
{
"data": {
"text/plain": [
"tensor([[0.4013, 0.5987],\n",
" [0.0041, 0.9959]])"
]
},
"execution_count": 14,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch.nn as nn\n",
"\n",
"nn.functional.softmax(torch.tensor([[0.6, 1.0], [-2.0, 3.5]]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Za pomocą (zalecanego zresztą) argumentu `dim` możemy określić wymiar, wzdłuż którego dokonujemy normalizacji:\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 15,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([[0.9309, 0.0759],\n",
" [0.0691, 0.9241]])"
]
},
"execution_count": 15,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch.nn as nn\n",
"\n",
"nn.functional.softmax(torch.tensor([[0.6, 1.0], [-2.0, 3.5]]), dim=0)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Istnieje również `torch.nn.Softmax`, które może być używane jako warstwa.\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 16,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([0.3021, 0.2473, 0.4506])"
]
},
"execution_count": 16,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch.nn as nn\n",
"\n",
"s = nn.Softmax(dim=0)\n",
"s(torch.tensor([0.0, -0.2, 0.4]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### Implementacja w Pytorchu\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 17,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([0.5000, 0.6225, 0.5744])"
]
},
"execution_count": 17,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch.nn as nn\n",
"import torch\n",
"\n",
"class MySoftmax(nn.Module):\n",
" def __init__(self):\n",
" super(MySoftmax, self).__init__()\n",
"\n",
" def forward(self, x):\n",
" ex = torch.exp(x)\n",
" return ex / torch.sum(ex)\n",
"\n",
"s = MySigmoid()\n",
"s(torch.tensor([0.0, 0.5, 0.3]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"###### **Pytanie**: Tak naprawdę wyżej zdefiniowana klasa `MySoftmax` nie zachowuje się identycznie jak `nn.Softmax`. Na czym polega różnica?\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Przypadek szczególny\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Sigmoida jest przypadkiem szczególnym funkcji softmax:\n",
"\n",
"$$\\sigma(x) = \\frac{1}{1 + e^{-x}} = \\frac{e^x}{e^x + 1} = \\frac{e^x}{e^x + e^0} = s([x, 0])_1$$\n",
"\n",
"Ogólniej: softmax na dwuelementowych wektorach daje przesuniętą sigmoidę (przy ustaleniu jednej z wartości).\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 18,
2021-05-19 13:33:08 +02:00
"metadata": {},
2021-05-26 15:56:22 +02:00
"outputs": [
{
"data": {
"text/plain": [
"'softmax3.png'"
]
},
"execution_count": 18,
"metadata": {},
"output_type": "execute_result"
},
{
"data": {
"image/png": "iVBORw0KGgoAAAANSUhEUgAAAYIAAAEKCAYAAAAfGVI8AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/Z1A+gAAAACXBIWXMAAAsTAAALEwEAmpwYAAAgb0lEQVR4nO3dd3yV9d3/8dcnm4RNwt4QpopIBESL1lHBRfXXu+6FLdpqHb3vVuqotra189Z6i0WLaB0U60ZFLVWr1kEhiECYIRgSVhICYWSd8f39cY5timEIuXKd8X4+HueRc40k7/MgnPe55tecc4iISPJK8TuAiIj4S0UgIpLkVAQiIklORSAikuRUBCIiSU5FICKS5DwrAjObbWYVZrZiP8vNzB4ws2IzW2Zmx3mVRURE9s/LLYLHgUkHWD4ZyI8+pgF/8DCLiIjsh2dF4Jx7D6g+wCpTgCdcxMdARzPr4VUeERFpXpqPv7sXUNZkujw6b8u+K5rZNCJbDeTk5IwZNmxYqwQUEUkUhYWFVc65vOaW+VkE1sy8Zu934Zx7BHgEoKCgwC1evNjLXCIiCcfMSve3zM+zhsqBPk2mewObfcoiIpK0/CyCecAV0bOHxgM1zrkv7BYSERFvebZryMz+DJwC5JpZOXAXkA7gnJsJzAfOAoqBWuBqr7KIiMj+eVYEzrmLD7LcAdd79ftFROTQ6MpiEZEkpyIQEUlyKgIRkSSnIhARiXEbt9fy8Lvr+XB9lSc/388LykREZD9Kt+9l3tLNvL5iKyu37ALgO6cMYsKg3Bb/XSoCEZEYUb23kZeXbuLlpZtZWrYTgIJ+nbjj7OGcObI7fTpne/J7VQQiIj4Khx0frK9i7qIyFhRtozEUZniP9vxo8jDOHdWTnh3beJ5BRSAi4oOaugDPFZbz5Eef8dn2Wjpmp3PJuL5ceHwfhvdo36pZVAQiIq2orLqWR/+xgWcWlVEXCDGmXyduOWMIk47qTmZaqi+ZVAQiIq1gzdbdzHinmNeWbyHF4LxRvbj6xP4c1auD39FUBCIiXlq7bTe/f2sd85dvITs9lWtOGsDVJ/anRwfv9/0fKhWBiIgHynfU8ru/ruWlpZvITk/l+lMGc81JA+iUk+F3tC9QEYiItKCa2gAPvrOOP31YihlcO3EQ104cGJMF8DkVgYhICwiHHX9ZXMav31zDjtpGvnFcb245Y0irnP55pFQEIiJHaFn5Tu58aQWfltdwfP9O3H3eWEb29P8g8KFSEYiIHKbaxiD3LVjLo//YQJe2mdx/4bFMObYnZs0NyR67VAQiIofhw+Iqbn1hGWXVdVwyri+3ThpGhzbpfsc6LCoCEZEvoT4Q4tdvrGH2BxsYkJvD3GnjGT+wi9+xjoiKQETkEBVtruHmuUtZV7GHK0/ox/TJw2mT4c/VwC1JRSAichDOOZ76uJR7Xl1Fp5x0npg6lolD8vyO1WJUBCIiB7C7PsD0F5bz2rItfHVoHr/75rF0juFrAg6HikBEZD+KK3Yz7YlCSqtruXXSMK6dOJCUlPg6I+hQqAhERJqxYOU2bnlmKVnpKcz51jjGxfkB4QNREYiINOGc48G3i/ndgrUc3asDD18+Ji6uDj4SKgIRkajGYJgfvbCc55eUc/7oXtx7wdFkpcf/WUEHoyIQESEyYth3nirkw/XbueX0Idx42uC4u0L4cKkIRCTpbdtVz+WPLqSkci+/+69R/L8xvf2O1KpUBCKS1Eq37+XSWQvZsbeRP00dy4mDc/2O1OpUBCKStFZt2cUVs/9JMBRmzrfHM6pPR78j+UJFICJJaXl5DZc9upA26anMufYE8ru18zuSb1QEIpJ0lpXv5LJZC2mXlc7caePp0znb70i+UhGISFL5vATat4mUQO9OyV0CACl+BxARaS0rNtVw6ayFdMhWCTTlaRGY2SQzW2NmxWY2vZnlHczsFTP71MyKzOxqL/OISPIqrtjDlbP/SbvMNP78bZVAU54VgZmlAjOAycAI4GIzG7HPatcDK51zo4BTgN+ZWWLd1k9EfFdWXctlsxZiZjytEvgCL7cIxgLFzrkS51wjMBeYss86Dmhnkcv32gLVQNDDTCKSZCp3N3DZowupbQzy5DVjGZCb43ekmONlEfQCyppMl0fnNfUgMBzYDCwHbnLOhff9QWY2zcwWm9niyspKr/KKSILZ2xBk6uOLqNjVwONTxzK8R3u/I8UkL4uguZt0uH2mzwSWAj2BY4EHzewL/1LOuUeccwXOuYK8vMQZFUhEvBMIhfnu00tYuWUXMy4dzXF9O/kdKWZ5WQTlQJ8m072JfPJv6mrgBRdRDGwAhnmYSUSSgHOO215YzrtrK/n514/i1GHd/I4U07wsgkVAvpkNiB4AvgiYt886G4HTAMysGzAUKPEwk4gkgRnvFPNsYTk3npbPRWP7+h0n5nl2QZlzLmhmNwBvAqnAbOdckZldF10+E7gHeNzMlhPZlXSrc67Kq0wikvheX76F3/51LeeP7sUtp+f7HScueHplsXNuPjB/n3kzmzzfDHzNywwikjyWl9dwy1+WMqZfJ+694OikGU/gSOnKYhFJCBW76vnWE4vokpPJw5ePSYqRxVqK7jUkInGvMRjmuqcK2V0f5PnvTCC3babfkeKKikBE4t5PXiliycadPHTpcbpW4DBo15CIxLVnFm3k6YUbue7kQZx1dA+/48QlFYGIxK1Py3Zy50tFfCU/lx+cOdTvOHFLRSAicammNsB3n15CXrtMHrhoNKkpOkPocOkYgYjEHecc//3sp1TsrufZ6ybQKUc3LT4S2iIQkbgz6/0N/G3VNn40eTjHJumA8y1JRSAicaWwtJpfvrGaSSO7c/WJ/f2OkxBUBCISN2rqAtz456X07JjFr//rGF053EJ0jEBE4oJzjttfXM7WXfU8e90JtM9K9ztSwtAWgYjEhecKy3l12Ra+f8YQjS3QwlQEIhLzNlTt5a55RYwf2JnrTh7kd5yEoyIQkZgWCIW5ee4nZKSlcP+Ful7ACzpGICIxbcY7xXxaXsNDlx5H9w5ZfsdJSNoiEJGYtbRsJ//3djHnj+6l+wh5SEUgIjGprjHE959ZStd2mdx93ki/4yQ07RoSkZj0qzdWU1K1lznfGkeHNjpV1EvaIhCRmPNxyXYe//AzrprQnwmDc/2Ok/BUBCISU2obg/zwuWX065LNDyfp1tKtQbuGRCSm/Or11WysruWZaePJztBbVGvQFoGIxIyPS7bzp49KuWpCf8YN7OJ3nKShIhCRmFDXGOLW57VLyA/a7hKRmHDf39ZSur2WOd8ep11CrUxbBCLiu2XlO5n1fgkXj+3DhEE6S6i1qQhExFeBUJgfPreM3LaZTJ883O84SUnbXyLiq4ffXc/qrbt55PIxunDMJ9oiEBHflFTu4YG3iznr6O58bWR3v+MkLRWBiPgiMuLYCjLTUrj7XN1LyE8qAhHxxQtLNvFRyXZunTSMru11e2k/qQhEpNVV723kZ6+t5Li+HblkbF+/4yQ9FYGItLpfzF/F7vog915wDCkaccx3nhaBmU0yszVmVmxm0/ezzilmttTMiszsXS/ziIj/FpZs57nCcr49cSBDu7fzO47g4emjZpYKzADOAMqBRWY2zzm3ssk6HYGHgEnOuY1m1tWrPCLiv8ZgmDteWkHvTm248dR8v+NIlJdbBGOBYudciXOuEZgLTNlnnUuAF5xzGwGccxUe5hERnz36jw2sq9jDT84bSZuMVL/jSJSXRdALKGsyXR6d19QQoJOZ/d3MCs3siuZ+kJlNM7PFZra4srLSo7gi4qXyHbU88NY6zhjRjdOGd/M7jjThZRE0dwTI7TOdBowBzgbOBO40syFf+CbnHnHOFTjnCvLy8lo+qYh47ievRPYKa/zh2OPlLSbKgT5NpnsDm5tZp8o5txfYa2bvAaOAtR7mEpFW9vbqbSxYuY3pk4fRq2Mbv+PIPrzcIlgE5JvZADPLAC4C5u2zzsvAV8wszcyygXHAKg8ziUgrqw+EuGteEYO7tmXqiQP8jiPN8GyLwDkXNLMbgDeBVGC2c67IzK6LLp/pnFt
"text/plain": [
"<Figure size 432x288 with 1 Axes>"
]
},
"metadata": {
"needs_background": "light"
},
"output_type": "display_data"
}
],
2021-05-19 13:33:08 +02:00
"source": [
"%matplotlib inline\n",
"import matplotlib.pyplot as plt\n",
"import torch\n",
"import torch.nn as nn\n",
"\n",
"x = torch.linspace(-5,5,100)\n",
"plt.xlabel(\"x\")\n",
"plt.ylabel(\"y\")\n",
"a = torch.Tensor(x.size()[0]).fill_(2.)\n",
"m = torch.stack([x, a])\n",
"plt.plot(x, nn.functional.softmax(m, dim=0)[0])\n",
"fname = 'softmax3.png'\n",
"plt.savefig(fname)\n",
"fname"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"[[file:# Out[19]:\n",
"\n",
" 'softmax3.png'\n",
"\n",
2021-05-26 13:29:45 +02:00
"]]\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 19,
2021-05-26 13:29:45 +02:00
"metadata": {},
2021-05-26 15:56:22 +02:00
"outputs": [
{
"data": {
"text/plain": [
"'softmax3d.png'"
]
},
"execution_count": 19,
"metadata": {},
"output_type": "execute_result"
},
{
"data": {
"image/png": "iVBORw0KGgoAAAANSUhEUgAAAPcAAADuCAYAAADlVZEAAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/Z1A+gAAAACXBIWXMAAAsTAAALEwEAmpwYAACLy0lEQVR4nO2dd3hb5dnGf0fLsuS994gd20m8EycQ9t4k7L0pZbVQSqGMjq+D0TJKoZS9y0wChABh7wBxhncS7xnb8h6ytc/3h3xOZFuypcROQvB9XcbBtl69ks59nud9xv0IoigyhznM4cCDYl9vYA5zmMPsYI7cc5jDAYo5cs9hDgco5sg9hzkcoJgj9xzmcIBijtxzmMMBCtU0v5/Lk81hDrMPYTYWnbPcc5jDAYo5cs9hDgco5sg9hzkcoJgj9xzmcIBijtxzmMMBijlyz2EOByjmyD2HORygmCP3HOZwgGKO3HOYwwGKOXLPYQ4HKObIPYc5HKCYI/cc5nCAYo7cc5jDAYo5cs9hDgco5sg9hzkcoJiun3sOswCHw8Ho6ChKpRKlUolKpUIQZqWldw4/YwjT6JbPiTXMIERRxGazYbPZsFgsuL73SqUStVqNSqVCqVTOkf3nhVn5sOfIvZcgiiIWiwWHw4EgCFit1nG/k74kzJH9Z4U5cv9UYbPZZDJLJHUl90TMkf1nhzly/9Tg6oYLgiATUrLi3hJUIrpk9WGO7AcY5sj9U4LD4cBqtcqEdCWfr+SeCInsdXV1REREEBQUhEqlkr/myP6Tw6x8WHPR8hmGKIrY7XbZ7VYoZj7bKN0sHA4HCoUChUIhP6dEapVKhVqtliPyc2T/+WGO3DMIURSxWq3Y7fZJ1trT3+8J6QRBkNcQBEG+kUg3GJvNJv+tRHaVSoVCoZgj+88Ac+SeITgcDlpaWvDz8yMkJGRK8khknK3xye6OAa5kFwRhnBs/R/YDE3Pk3kO4Bs2Gh4cB9juiuCP7xAj+HNkPPMyRew8wMXetUChmzRpPtQdf4Y7sVquV4eFh2tvbSU1NnSP7AYA5cu8mpACW65l3Nl1td5gpwgmCgFKpBGB0dFQusnG17K5ptzmy/zQwR24fMTF37RoN39vkni24kh12eShms1m+iUlkl+ri58i+/2GO3D5gqtw1sE/c8pmEp+j9VGQH5+tWq9Vy6m2O7PsH5sjtBSbmrj1dvFLu+UCHK9mlm5nFYsFisQBOsrvm2Wcj1z+H6TFH7mngS+56X5B7Jj2F3cm7u5bDuu5HIvvIyAh2u53w8PA5su9lzJF7CjgcDrk10xtX86caUJtJTCS70WjEZDIRGBg4Z9n3MubI7QZS0KyhoYGkpCSvL74DJaA201AoFOMsu3RmdyX7xGj8HPYcc+SeAOnCs9vttLa2kpyc7PVjfQmo7Y83gj0th/VmTXc5dlEUMZvNcoBO6nibU6nZM8yR2wWubvju5HK9PXNbLBa2b9+OWq0mLCyM4ODgA9ZaTXfDcEd2h8OByWSSfzbX3rp7mCM3U+eufYE31rivr4+qqiqSk5MRRRGDwUBNTY1M9NDQUAIDA33q9Z4p7A3LPR28Ibv0Gfn7+8+RfQr87Mk9Xe7aF0xFblEUaWxsxGAwUFhYiEqlwuFwEB0dDYDJZKKvr4/W1laGhobQ6XSEhoYSGhqKTqfzmHrb3yF5QbsLd2QfHh6mqamJBQsWAHOW3RN+tuT2NnftCzyR22KxUF5ejl6vp6ioCIVCMUlmSavVEhsbS2xsLKIoMjIyQl9fH/X19YyMjBAYGCiTXavV7tE+PWE2LLfD4RhXALOncI3GK5VK2bJLZbPS7+bI/jMltyf5oz2FuzN3f38/lZWVpKeny1bam3X0ej16vZ6EhAREUWRoaIi+vj62b9+OxWIhODgYs9lMQEDAjOx9trCnltsdJJEK2HVTdu1lnyO7Ez87cs+kGz4RrtFyURRpamqio6ODgoICdDrdbq8rCAJBQUEEBQWRnJyMw+FgYGCA+vp6GhsbaWlpISQkhNDQUEJCQmbUUu4pZssb8HTD8IbsPxdJqp8NuV3d8D0Jmk0FyS23Wq2Ul5fj7+/P0qVLZ/y5FAqFTOTg4GBCQkLo7++nt7eX+vp6lEql7MIHBQV5/fz7Q0DNG7gKRU6Hn7NKzc+C3FIQZrY7mARBwGw2s3HjRtLS0oiJiZmV53F9PnBenBEREURERADOM35fXx8dHR1UV1fj5+cnkz0gIGCvXryzdcPYk4yGJ5Wa9vZ2+T06EMh+wJNbyl0XFxezfPlynz8oby9OURTp6Oigr6+Pgw8+eI/c8D2FRqMhOjpaPuOPjo7S19dHc3Mzw8PD6PV6mez+/v7y6/spWe6Z8oZcyT4wMEBISMgBI0l1wJLbXdDM1w9FoVB4Fe21Wq1UVFQgCAIRERH7lNju4O/vj7+/P3FxcYiiiNFopK+vj9raWrnuOzQ0dFaOKvs7uSeuO7H89acsSXVAknui/NHuvvnelJMODAxQWVlJamoqQUFB1NTUeLX2TF0QvhaxCIJAQEAAAQEBJCYm4nA45Ei8wWDAbDYjiqJs2VWqPbtE9vWZ29d1J9403LnxE1VqJjbB7C9kP+DIPfEuu6dFKZ7KSUVRpKWlhba2NvLy8tDr9YyMjPhUW76nmIk1FAoFwcHBBAcHExQURHd3NxEREfT19dHU1IQgCHIkPjg42OdI/P525p4Kdrt92tfnTrjCnSRVfX09qamp6PX6Gd+ntzhgyO1N7trXC01yyyfCZrNRUVGBWq1m6dKl8oftSzPI/tY0IkGhUBAWFkZYWBjgPHL09/fT3d1NXV0dKpVKtuqBgYHTkmy2LPeeehSe1vX1puFJpeaPf/wj9957L5mZmTO9Ta9xQJDbm9y1t+fniY+ZSMLBwUEqKipISUkhLi5u3O/2x04vX+COiGq1msjISCIjIwEwm8309fWxc+dOhoaG0Gq1Mtn1ev2kx/+U3PKZ8AgkshuNxn1qteEnTm5fRvcolUqfye3qlouiSGtrK62treTm5rqtDPupa6h5Az8/P2JiYoiJiUEURTkS39jYiNFoJCAgYFwk/qcUUJtJGI1GAgMD9+kefrLk9nV0jzRPS61We/0ckrW32WxUVlaiVCrHueET4avlnokLf192hQmCgE6nQ6fTER8fL9cT9PX1UV1djdlsxm63o9Pp8PPzQ6PRzNg+ZyuyP1MYGRnZ51mTnyS5fZU/As/n56kgCALDw8OUl5eTnJxMfHz8tH+/NzXU9peorARBEAgMDCQwMJCkpCQcDgclJSWYTCYqKiqw2+3jymR399z8U7DcoijOSlzAF/ykyC3laIeGhnzOy/pKbqkzq7a2loKCAq8aNLy13Ha7ne3bt2Oz2eTg1UxZtf0JknxSUlIS/v7+2O12+vv7ZTdeEATZhfdFsGK2ztwzmZ7cH45nPxlyS1HI4eFhdu7cKUdzvYUv5LbZbFRVVWGxWFiwYIHXnVfekNtoNFJWVkZcXBz+/v709/ePs2phYWH7rPljtivUlEol4eHhhIeHA85IvJRfr6mpQaPREBoaSlhY2JRlsrPhls8GGfe1Z/WTILfr6B4pMOYrvCX30NAQ5eXlJCUlodFofD6DTnWRdHZ2UltbS05ODjqdDpvNRkhICCkpKbJVk5o/pJRTWFiYT8os+xumumGo1WqioqKIiooCdglWSGWykmBFWFjYuDLZ2XDLZ3rN/eHz2q/J7U7+SFIw8RXekLutrY2mpiZycnIIDAykurrap+fy9IE6HA5qamoYHh5m6dKlqNXqcV1JMNmqSSknSZlFqgeXLnQJB5LMkifBirq6OkZHR+VIvNVqnXFy2+32GVvTYrH4FLidLey35PaUu5ai3r5iKnLb7XaqqqpwOBwsXbpUDoTMRN7abDZTVlZGWFgYhYWF8uuY7oKfmHKS6sGlKHRwcDA2m22/P6vv7g1jKsGKgYEBKioq5OBcaGjoHpNpJhVjpOacfY39jtzTyR/NtFsuRcMTEhJISEgY91y7E2F3hSSGmJmZKbdj7g7c1YMPDAzQ2NhIc3Mz7e3t8nl9f1NSnSlvwFWwYmBggPT
"text/plain": [
"<Figure size 432x288 with 1 Axes>"
]
},
"metadata": {
"needs_background": "light"
},
"output_type": "display_data"
}
],
2021-05-19 13:33:08 +02:00
"source": [
"%matplotlib inline\n",
"import matplotlib.pyplot as plt\n",
"from mpl_toolkits import mplot3d\n",
"import torch\n",
"import torch.nn as nn\n",
"\n",
"x = torch.linspace(-5,5,10)\n",
"y = torch.linspace(-5,5,10)\n",
"fig = plt.figure()\n",
"ax = fig.add_subplot(111, projection='3d')\n",
"plt.xlabel(\"x\")\n",
"plt.ylabel(\"y\")\n",
"X, Y = torch.meshgrid(x, y)\n",
"m = torch.stack([X, Y])\n",
"z = nn.functional.softmax(m, dim=0)\n",
"ax.plot_wireframe(x, y, z[0])\n",
"fname = 'softmax3d.png'\n",
"plt.savefig(fname)\n",
"fname"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"[[file:# Out[27]:\n",
"\n",
" 'softmax3d.png'\n",
"\n",
"]]\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Wagi\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Podobnie jak funkcja sigmoidalna, softmax nie ma żadnych wyuczalnych wag.\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Zastosowania\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Podstawowym zastosowaniem funkcji softmax jest klasyfikacja\n",
"wieloklasowa, również w wypadku zadań przetwarzania sekwencji, które\n",
"mogą być interpretowane jako klasyfikacja wieloklasowa:\n",
"\n",
2021-05-19 16:04:43 +02:00
"- przewidywanie kolejnego słowa w modelowaniu języka (klasą jest słowo, zbiór klas to słownik, np. klasą początku tekstu *Dzisiaj rano kupiłem w piekarni* może być *bułki*)\n",
2021-05-19 13:33:08 +02:00
"- przypisywanie etykiet (np. części mowy) słowom.\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### LogSoftmax\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Ze względów obliczeniowych często korzysta się z funkcji **LogSoftmax**\n",
"która zwraca logarytmy pradopodobieństw (*logproby*).\n",
"\n",
"$$log s(z_i) = log \\frac{e^{z_i}}{\\Sigma_{j=1}^k e^{z_j}}$$\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### PyTorch\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 20,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([-1.1971, -1.3971, -0.7971])"
]
},
"execution_count": 20,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch.nn as nn\n",
"\n",
"s = nn.LogSoftmax(dim=0)\n",
"s(torch.tensor([0.0, -0.2, 0.4]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Niektóre funkcje kosztu (np. `NLLLoss`) zaimplementowane w PyTorchu\n",
"operują właśnie na logarytmach prawdopobieństw.\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Przykład: klasyfikacja wieloklasowa\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Na przykładzie rozpoznawania dyscypliny sportu: git://gonito.net/sport-text-classification.git\n",
"\n",
"Wczytujemy zbiór uczący:\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 21,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"{'zimowe': 0,\n",
" 'moto': 1,\n",
" 'tenis': 2,\n",
" 'pilka-reczna': 3,\n",
" 'sporty-walki': 4,\n",
" 'koszykowka': 5,\n",
" 'siatkowka': 6,\n",
" 'pilka-nozna': 7}"
]
},
"execution_count": 21,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import gzip\n",
"from pytorch_regression.analyzer import vectorize_text, vector_length\n",
"\n",
"texts = []\n",
"labels = []\n",
"labels_dic = {}\n",
"labels_revdic = {}\n",
"c = 0\n",
"\n",
"with gzip.open('sport-text-classification/train/train.tsv.gz', 'rt') as fh:\n",
" for line in fh:\n",
" line = line.rstrip('\\n')\n",
" line = line.replace('\\\\\\t', ' ')\n",
" label, text = line.split('\\t')\n",
" texts.append(text)\n",
" if label not in labels_dic:\n",
" labels_dic[label] =c\n",
" labels_revdic[c] = label\n",
" c += 1\n",
" labels.append(labels_dic[label])\n",
"nb_of_labels = len(labels_dic)\n",
"labels_dic"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Przygotowujemy model:\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 22,
2021-05-19 13:33:08 +02:00
"metadata": {},
2021-05-26 15:56:22 +02:00
"outputs": [],
2021-05-19 13:33:08 +02:00
"source": [
"import torch.nn as nn\n",
"from torch import optim\n",
"\n",
"model = nn.Sequential(\n",
" nn.Linear(vector_length, nb_of_labels),\n",
" nn.LogSoftmax()\n",
" )\n",
"\n",
"optimizer = optim.Adam(model.parameters())"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Funkcja kosztu to log-loss.\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 23,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor(2.3026)"
]
},
"execution_count": 23,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"import torch\n",
"import torch.nn.functional as F\n",
"\n",
"loss_fn = torch.nn.NLLLoss()\n",
"\n",
"expected_class_id = torch.tensor([2])\n",
"loss_fn(torch.log(\n",
" torch.tensor([[0.3, 0.5, 0.1, 0.0, 0.1]])),\n",
" expected_class_id)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Pętla ucząca:\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 24,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
2021-05-26 15:56:22 +02:00
{
"name": "stderr",
"output_type": "stream",
"text": [
"/usr/lib/python3.9/site-packages/torch/nn/modules/container.py:119: UserWarning: Implicit dimension choice for log_softmax has been deprecated. Change the call to include dim=X as an argument.\n",
" input = module(input)\n"
]
},
{
"name": "stdout",
"output_type": "stream",
"text": [
2021-06-01 10:38:23 +02:00
"0.04162006452679634 2.081003189086914 0 0 tensor([[0.1248, 0.1249, 0.1252, 0.1248, 0.1248, 0.1253, 0.1251, 0.1251]],\n",
2021-09-27 08:10:10 +02:00
" grad_fn=<ExpBackward>) MŚ w hokeju: [...]\n",
2021-06-01 10:38:23 +02:00
"1.3499293327331543 1.4718239307403564 4950 5 tensor([[0.1089, 0.0784, 0.1235, 0.1255, 0.0868, 0.2295, 0.1285, 0.1189]],\n",
2021-09-27 08:10:10 +02:00
" grad_fn=<ExpBackward>) Liga Letnia NBA: [...].\n"
2021-05-19 13:33:08 +02:00
]
}
],
"source": [
"iteration = 0\n",
"step = 50\n",
"closs = torch.tensor(0.0, dtype=torch.float, requires_grad=False)\n",
"\n",
"for t, y_exp in zip(texts, labels):\n",
" x = vectorize_text(t).float().unsqueeze(dim=0)\n",
"\n",
" optimizer.zero_grad()\n",
"\n",
" y_logprobs = model(x)\n",
"\n",
" loss = loss_fn(y_logprobs, torch.tensor([y_exp]))\n",
"\n",
" loss.backward()\n",
"\n",
" with torch.no_grad():\n",
" closs += loss\n",
"\n",
" optimizer.step()\n",
"\n",
" if iteration % 50 == 0:\n",
" print((closs / step).item(), loss.item(), iteration, y_exp, torch.exp(y_logprobs), t)\n",
" closs = torch.tensor(0.0, dtype=torch.float, requires_grad=False)\n",
" iteration += 1\n",
"\n",
" if iteration == 5000:\n",
" break"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Model jest tak prosty, że jego wagi są interpretowalne.\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 25,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
2021-06-01 10:38:23 +02:00
"tensor([[0.0926, 0.1013, 0.0889, 0.0887, 0.0975, 0.3423, 0.0921, 0.0965]])"
2021-05-26 15:56:22 +02:00
]
},
"execution_count": 25,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"with torch.no_grad():\n",
" x = vectorize_text('NBA').float().unsqueeze(dim=0)\n",
" y_prob = model(x)\n",
"torch.exp(y_prob)"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 26,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
2021-06-01 10:38:23 +02:00
"tensor([-0.6260, -0.6487, -0.6373, -0.6369, -0.5877, 0.6338, -0.6376, -0.6468],\n",
2021-05-26 15:56:22 +02:00
" grad_fn=<SelectBackward>)"
]
},
"execution_count": 26,
"metadata": {},
"output_type": "execute_result"
2021-05-19 13:33:08 +02:00
}
],
"source": [
"with torch.no_grad():\n",
" x = vectorize_text('NBA').float().unsqueeze(dim=0)\n",
" ix = torch.argmax(x).item()\n",
"model[0].weight[:,ix]"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Możemy nawet zaprezentować wykres przedstawiający rozmieszczenie słów względem dwóch osi odnoszących się do poszczególnych wybranych dyscyplin.\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 27,
2021-05-19 13:33:08 +02:00
"metadata": {},
"outputs": [
{
"data": {
2021-06-01 10:38:23 +02:00
"image/png": "iVBORw0KGgoAAAANSUhEUgAAAYIAAAD5CAYAAAAqaDI/AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/Z1A+gAAAACXBIWXMAAAsTAAALEwEAmpwYAAAbi0lEQVR4nO3df3QV1b338feXAMqDIlBQwo824uJHMQFiAw8PVECFi8XWgOBTXdUbrJhaa++9/YFF0a6qvS1Kr1rXY3FxVQRtkRY0UuSWq6hFqbaJooD0piCmlYRCAANiQEn4Pn9kOA3x5BczSQ6Zz2uts87Mnr1n730O5uPMOWfG3B0REYmvDm09ABERaVsKAhGRmFMQiIjEnIJARCTmFAQiIjGnIBARibmOUezEzC4Ffg6kAY+4+/w6278G/CBYPQR8093fbmy/vXr18oyMjCiGKCISC2+88cZed+/dnDahg8DM0oCHgMnATqDQzFa5+9Za1d4DJrj7B2b2JWAR8L8b23dGRgZFRUVhhygiEhtm9tfmtoni1NBoYLu773D3T4CngNzaFdz9D+7+QbD6OtA/gn5FRCQCUQRBP+D9Wus7g7L6XA/8VwT9NqqkpITMzMyTaltQUMDWrVsbrygicoqLIggsSVnS61aY2UXUBMEPkm0P6uSbWZGZFZWXl0cwvOarqqpSEIhIbEQRBDuBAbXW+wNldSuZ2XDgESDX3ffVtzN3X+TuOe6e07t3sz7vaNCOHTvIzs6msLCQMWPGMHz4cKZPn84HH9ScsZo4cSK33XYbEyZM4J577mHVqlXMmTOHkSNH8u6770Y2DhGRVBNFEBQCg8zsXDPrDFwFrKpdwcw+CzwNXOvuf4mgz2YpLi5mxowZLF68mOuvv5577rmHTZs2kZWVxZ133pmoV1FRwe9//3vmzZvH5ZdfzoIFC3jrrbc477zzWnvIIiKtJvS3hty9ysxuBtZS8/XRx9z9HTO7Mdj+MPBD4DPAL8wMoMrdc8L2nUzBxlIWrC2mrOIwPf0AO3ftJjc3l5UrV9K/f38qKiqYMGECAHl5eVx55ZWJtl/96ldbYkgiIiktkt8RuPsaYE2dsodrLc8GZkfRV0MKNpZy69ObOXy0GoDdB49QyWmc3v1sNmzY0Ogf+q5du7b0EEVEUk67+mXxgrXFiRBI6JDG6VN/wNKlS3nuuefo0aMHr7zyCgBPPPFE4uigrjPPPJMPP/ywpYcsItLmIjkiSBVlFYeTlu+uhI2rVzN58mSuuOIK5syZQ2VlJQMHDmTx4sVJ21x11VXccMMNPPjgg6xYsUKfE4hIu2WpfIeynJwcb84vi8fNf5HSJGHQr3sXNsy9OMqhiYikJDN7o7mfwbarU0NzpgyhS6e0E8q6dEpjzpQhbTQiEZHU165ODU3LrvlB8/FvDfXt3oU5U4YkykVE5NPaVRBATRjoD7+ISNO1q1NDIiLSfAoCEZGYUxCIiMScgkBEJOYUBCIiMacgEBGJOQWBiEjMKQhERGJOQSAiEnMKAhGRmFMQiIjEnIJARCTmFAQiIjGnIBARiblIgsDMLjWzYjPbbmZzk2wfamavmdnHZvb9KPoUEZFohL4fgZmlAQ8Bk4GdQKGZrXL3rbWq7Qf+BZgWtj8REYlWFEcEo4Ht7r7D3T8BngJya1dw9z3uXggcjaA/ERGJUBRB0A94v9b6zqDspJhZvpkVmVlReXl56MGJiEjDoggCS1LmJ7szd1/k7jnuntO7d+8QwxIRkaaIIgh2AgNqrfcHyiLYr4iItIIogqAQGGRm55pZZ+AqYFUE+xURkVYQ+ltD7l5lZjcDa4E04DF3f8fMbgy2P2xmfYAioBtwzMz+DRjm7gfD9i8iIuGEDgIAd18DrKlT9nCt5b9Tc8pIRERSjH5ZLCIScwoCEZGYUxCIiMScgkBEJOYUBCIiMacgEBGJOQWBiEjMKQhERGJOQSAiEnMKAhGRmFMQiIjEnIJARCTmFAQiIjGnIBARiTkFgYhIzCkIRERiTkEgIhJzCgIRkZhTEIiIxFwkQWBml5pZsZltN7O5SbabmT0YbN9kZhdE0a+IiIQXOgjMLA14CPgSMAy42syG1an2JWBQ8MgHFobtV0REohHFEcFoYLu773D3T4CngNw6dXKBpV7jdaC7maVH0LeIiIQURRD0A96vtb4zKGtuHQDMLN/MisysqLy8PILhiYhIQ6IIAktS5idRp6bQfZG757h7Tu/evUMPTkREGhZFEOwEBtRa7w+UnUQdERFpA1EEQSEwyMzONbPOwFXAqjp1VgH/HHx7aAxwwN13RdC3iIiE1DHsDty9ysxuBtYCacBj7v6Omd0YbH8YWANMBbYDlcB1YfsVEZFoRPI7Andf4+6D3f08d//3oOzhIAQIvi30rWB7lrsXRdGvSFzNnj2brVu3ApCRkcHevXspKSkhMzOzjUcmp6LQRwQi0voeeeSRth6CtCO6xIRICispKWHo0KHk5eUxfPhwZs6cSWVlJRMnTqSo6B8H1u++++4J7Xbs2EF2djaFhYX86U9/YuzYsWRnZzN27FiKi4tbexqS4hQEIimuuLiY/Px8Nm3aRLdu3fjFL36R2FZdXc0nn3zC0qVLT6g/Y8YMFi9ezKhRoxg6dCjr169n48aN3HXXXdx2221tMQ1JYTo1JJJiCjaWsmBtMWUVh+npB+jVpy/jxo0D4JprruHBBx9M1L3jjjs4ePAgd955J4cOHaK8vJzc3FxWrlzJ+eefD8CBAwfIy8tj27ZtmBlHjx5tk3lJ6tIRgUgKKdhYyq1Pb6a04jAO7D54hIrKKgo2libqmP3j95k/+clP6NWrV2L9rLPOYsCAAWzYsCFRdscdd3DRRRexZcsWfvvb33LkyJFWmYucOhQEIilkwdpiDh+tPqGs6uAefrjoaQCWLVvGF7/4xXrbd+7cmYKCApYuXcqvfvUroOaIoF+/miu6PP744y0zcDmlKQhEUkhZxeFPlXX6zADee30Nw4cPZ//+/Xzzm99scB9du3Zl9erV3H///Tz77LPccsst3HrrrYwbN47q6uoG20o8mXvSS/6khJycHK/9zQiR9m7c/BcprRUGVQd2s2fFnYz63mI2zL24DUcmpwoze8Pdc5rTRkcEIilkzpQhdOmUdkKZmTFnypA2GpHEgb41JJJCpmXXnMs//q2hz30ug/+3dkOiXKQlKAhEUsy07H76wy+tSqeGRERiTkEgIhJzCgIRkZhTEIiIxJyCQEQk5hQEIiIxpyAQEYk5BYGISMyFCgIz62lmz5vZtuC5Rz31HjOzPWa2JUx/IiISvbBHBHOBde4+CFgXrCfzOHBpyL7kFLV8+XJKSkraehgiUo+wQZALLAmWlwDTklVy9/XA/pB9SQqaNWsWK1asqHf7k08+yd/+9jcyMjJOqr2ItLyw1xo6x913Abj7LjM7O4IxSTtyzTXXtPUQRKQRjR4RmNkLZrYlySO3JQZkZvlmVmRmReXl5S3RRbvy0UcfcdlllzFixAgyMzNZvnw5d911F6NGjSIzM5P8/HyO33Ni4sSJfOc732H8+PF8/vOfp7CwkCuuuIJBgwZx++23J/Z53333kZmZSWZmJg888ECifOnSpQwfPpwRI0Zw7bXXJsrXr1/P2LFjGThwYOL/7t2dOXPmkJmZSVZWFsuXL0+U33zzzQwbNozLLruMPXv2tMKrJCINcveTfgDFQHqwnA4UN1A3A9jSnP1/4QtfcGnYihUrfPbs2Yn1iooK37dvX2L9mmuu8VWrVrm7+4QJE/yWW25xd/cHHnjA09PTvayszI8cOeL9+vXzvXv3elFRkWdmZvqhQ4f8ww8/9GHDhvmbb77pW7Zs8cGDB3t5ebm7e6KPvLw8nzlzpldXV/s777zj5513XmJckyZN8qqqKv/73//uAwYM8LKyMl+5cmWivLS01M866yz/zW9+0yqvlUgcAEXezL/lYU8NrQLygPnB87Mh9ydNVLCxlAVri/nrjn3sXbmafUdv4jvXX82FF17IypUruffee6msrGT//v2cf/75fOUrXwHg8ssvByArK4vzzz+f9PR0AAY
2021-05-19 13:33:08 +02:00
"text/plain": [
2021-05-26 15:56:22 +02:00
"<Figure size 432x288 with 1 Axes>"
2021-05-19 13:33:08 +02:00
]
},
2021-05-26 15:56:22 +02:00
"metadata": {
"needs_background": "light"
},
2021-05-19 13:33:08 +02:00
"output_type": "display_data"
}
],
"source": [
"%matplotlib inline\n",
"import matplotlib.pyplot as plt\n",
"\n",
"with torch.no_grad():\n",
" words = ['piłka', 'klub', 'kort', 'boisko', 'samochód']\n",
" words_ixs = [torch.argmax(vectorize_text(w).float().unsqueeze(dim=0)).item() for w in words]\n",
"\n",
" x_label = labels_dic['pilka-nozna']\n",
" y_label = labels_dic['tenis']\n",
"\n",
" x = [model[0].weight[x_label, ix] for ix in words_ixs]\n",
" y = [model[0].weight[y_label, ix] for ix in words_ixs]\n",
"\n",
" fig, ax = plt.subplots()\n",
" ax.scatter(x, y)\n",
"\n",
" for i, txt in enumerate(words):\n",
" ax.annotate(txt, (x[i], y[i]))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Zadanie etykietowania sekwencji\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Zadanie etykietowania sekwencji (*sequence labelling*) polega na przypisaniu poszczególnym wyrazom (tokenom) tekstu **etykiet** ze skończonego zbioru. Definiując formalnie:\n",
"\n",
"- rozpatrujemy ciąg wejściowy tokenów $(t^1,\\dots,t^K)$\n",
"- dany jest skończony zbiór etykiet $L = \\{l_1,\\dots,l_{|L|}\\}$, dla uproszczenia można założyć, że etykietami\n",
" są po prostu kolejne liczby, tj. $L=\\{0,\\dots,|L|-1\\}$\n",
"- zadanie polega na wygenerowaniu sekwencji etykiet (o tej samej długości co ciąg wejściowy!) $(y^1,\\dots,y^K)$,\n",
" $y^k \\in L$\n",
"\n",
"Zadanie etykietowania można traktować jako przypadek szczególny klasyfikacji wieloklasowej, z tym, że klasyfikacji dokonujemy wielokrotnie — dla każdego tokenu (nie dla każdego tekstu).\n",
"\n",
"Przykłady zastosowań:\n",
"\n",
"- oznaczanie częściami mowy (*POS tagger*) — czasownik, przymiotnik, rzeczownik itd.\n",
"- oznaczanie etykiet nazw w zadaniu NER (nazwisko, kwoty, adresy — najwięcej tokenów będzie miało etykietę pustą, zazwyczaj oznaczaną przez `O`)\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### **Pytanie**: czy zadanie tłumaczenia maszynowego można potraktować jako problem etykietowania sekwencji?\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Przykładowe wyzwanie NER CoNLL-2003\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Zob. [https://gonito.net/challenge/en-ner-conll-2003](https://gonito.net/challenge/en-ner-conll-2003).\n",
"\n",
"Przykładowy przykład uczący (`xzcat train.tsv.xz| head -n 1`):\n",
"\n",
"O O B-MISC I-MISC O O O O O B-LOC O B-LOC O O O O O O O O O O O B-MISC I-MISC O O O O O B-PER I-PER O B-LOC O O O O O O B-PER I-PER O B-LOC O O O O O O B-PER I-PER I-PER O B-LOC O O O O O B-PER I-PER O O B-LOC O O O O O O B-PER I-PER O B-LOC O O O O O B-PER I-PER O O O O O B-PER I-PER O B-LOC O O O O O B-PER I-PER O B-LOC O B-LOC O O O O O O B-PER I-PER O O O O B-PER I-PER O B-LOC O O O O O O B-PER I-PER O B-LOC O O O O O B-PER I-PER O O O O O B-PER I-PER O B-LOC O O O O O B-PER I-PER O B-LOC O O O O O O B-PER I-PER O O O O O B-PER I-PER O B-LOC O O O O O B-PER I-PER O B-LOC O O O O O O B-PER I-PER O O O O B-PER I-PER I-PER O B-LOC O O O O O O B-PER I-PER O O O O B-PER I-PER O B-LOC O O O O O O B-PER I-PER O B-LOC O O O O O O B-PER I-PER O O O O B-PER I-PER O B-LOC O O O O O O B-PER I-PER O O O O B-PER I-PER O B-LOC O O O O O O B-PER I-PER O B-LOC O O O O O B-PER I-PER O B-LOC O B-LOC O O O O O B-PER I-PER O O O O O\tGOLF - BRITISH MASTERS THIRD ROUND SCORES . </S> NORTHAMPTON , England 1996-08-30 </S> Leading scores after </S> the third round of the British Masters on Friday : </S> 211 Robert Allenby ( Australia ) 69 71 71 </S> 212 Pedro Linhart ( Spain ) 72 73 67 </S> 216 Miguel Angel Martin ( Spain ) 75 70 71 , Costantino Rocca </S> ( Italy ) 71 73 72 </S> 217 Antoine Lebouc ( France ) 74 73 70 , Ian Woosnam 70 76 71 , </S> Francisco Cea ( Spain ) 70 71 76 , Gavin Levenson ( South </S> Africa ) 66 75 76 </S> 218 Stephen McAllister 73 76 69 , Joakim Haeggman ( Swe ) 71 77 </S> 70 , Jose Coceres ( Argentina ) 69 78 71 , Paul Eales 75 71 72 , </S> Klas Eriksson ( Sweden ) 71 75 72 , Mike Clayton ( Australia ) </S> 69 76 73 , Mark Roe 69 71 78 </S> 219 Eamonn Darcy ( Ireland ) 74 76 69 , Bob May ( U.S. ) 74 75 70 , </S> Paul Lawrie 72 75 72 , Miguel Angel Jimenez ( Spain ) 74 72 </S> 73 , Peter Mitchell 74 71 75 , Philip Walton ( Ireland ) 71 74 </S> 74 , Peter O'Malley ( Australia ) 71 73 75 </S> 220 Barry Lane 73 77 70 , Wayne Riley ( Australia ) 71 78 71 , </S> Martin Gates 71 77 72 , Bradley Hughes ( Australia ) 73 75 72 , </S> Peter Hedblom ( Sweden ) 70 75 75 , Retief Goosen ( South </S> Africa ) 71 74 75 , David Gilford 69 74 77 . </S>\n",
"\n",
"W pierwszym polu oczekiwany wynik zapisany za pomocą notacji **BIO**.\n",
"\n",
"Jako metrykę używamy F1 (z pominięciem tagu `O`)\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Metryka F1\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Etykietowanie za pomocą klasyfikacji wieloklasowej\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Można potraktować problem etykietowania dokładnie tak jak problem\n",
"klasyfikacji wieloklasowej (jak w przykładzie klasyfikacji dyscyplin\n",
"sportowych powyżej), tzn. rozkład prawdopodobieństwa możliwych etykiet\n",
"uzyskujemy poprzez zastosowanie prostej warstwy liniowej i funkcji softmax:\n",
"\n",
2021-05-26 13:48:10 +02:00
"$$p(l^k=j) = s(W\\vec{v}(t^k))_j = \\frac{e^{(W\\vec{v}(t^k))_j}}{Z},$$\n",
2021-05-19 13:33:08 +02:00
"\n",
"gdzie $\\vec{v}(t^k)$ to reprezentacja wektorowa tokenu $t^k$.\n",
"Zauważmy, że tutaj (w przeciwieństwie do klasyfikacji całego tekstu)\n",
"reprezentacja wektorowa jest bardzo uboga: wektor <u>one-hot</u>! Taki\n",
"klasyfikator w ogóle nie będzie brał pod uwagę kontekstu, tylko sam\n",
"wyraz, więc tak naprawdę zdegeneruje się to do zapamiętania częstości\n",
"etykiet dla każdego słowa osobno.\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### Bogatsza reprezentacja słowa\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Można spróbować uzyskać bogatszą reprezentację dla słowa biorąc pod uwagę na przykład:\n",
"\n",
"- długość słowa\n",
"- kształt słowa (*word shape*), np. czy pisany wielkimi literami, czy składa się z cyfr itp.\n",
"- n-gramy znakowe wewnątrz słowa (np. słowo *Kowalski* można zakodować jako sumę wektorów\n",
2021-05-26 15:56:22 +02:00
" trigramów znakówych $\\vec{v}(Kow) + \\vec{v}(owa) + \\vec{v}(wal) + \\vec{v}(als) + \\vec{v}(lsk) + \\vec{v}(ski)$\n",
2021-05-19 13:33:08 +02:00
"\n",
"Cały czas nie rozpatrujemy jednak w tej metodzie kontekstu wyrazu.\n",
"(*Renault* w pewnym kontekście może być nazwą firmy, w innym —\n",
"nazwiskiem).\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"##### Reprezentacja kontekstu\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Za pomocą wektora można przedstawić nie pojedynczy token $t^k$, lecz\n",
"cały kontekst, dla *okna* o długości $c$ będzie to kontekst $t^{k-c},\\dots,t^k,\\dots,t^{k+c}$.\n",
"Innymi słowy klasyfikujemy token na podstawie jego samego oraz jego kontekstu:\n",
"\n",
2021-05-26 15:56:22 +02:00
"$$p(l^k=j) = \\frac{e^{(W\\vec{v}(t^{k-c},\\dots,t^k,\\dots,t^{k+c}))_j}}{Z}.$$\n",
2021-05-19 13:33:08 +02:00
"\n",
"Zauważmy, że w tej metodzie w ogóle nie rozpatrujemy sensowności\n",
"sekwencji wyjściowej (etykiet), np. może być bardzo mało\n",
"prawdopodobne, że bezpośrednio po nazwisku występuje data.\n",
"\n",
"Napiszmy wzór określający prawdopodobieństwo całej sekwencji, nie\n",
"tylko pojedynczego tokenu. Na razie będzie to po prostu iloczyn poszczególnych wartości.\n",
"\n",
2021-05-26 15:56:22 +02:00
"$$l = (l^1,\\\\dots,l^k), p(l) = \\prod_{k=1}^K \\frac{e^{(W\\vec{v}(t^{k-c},\\dots,t^k,\\dots,t^{k+c}))_{l^k}}}{Z_k} = \\frac{e^{\\sum_{k=1}^K (W\\vec{v}(t^{k-c},\\dots,t^k,\\dots,t^{k+c}))_{l^k}}}{\\prod_{k=1}^K Z_k}$$\n",
2021-05-26 13:29:45 +02:00
"\n",
"Reprezentacja kontekstu może być funkcją embeddingów wyrazów\n",
"(zakładamy, że embedding nie zależy od pozycji słowa).\n",
"\n",
2021-05-26 15:56:22 +02:00
"$$\\vec{v}(t^{k-c},\\dots,t^k,\\dots,t^{k+c}) = f(\\vec{E}(t^{k-c}),\\dots,\\vec{E}(t^k),\\dots,\\vec{E}({t^{k+c}}))$$\n",
2021-05-19 13:33:08 +02:00
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Warunkowe pola losowe\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Warunkowe pola losowe (*Conditional Random Fields*, *CRF*) to klasa\n",
"modeli, które pozwalają uwzględnić zależności między punktami danych\n",
"(które można wyrazić jako graf). Najprostszym przykładem będzie prosty\n",
"graf wyrażający „następowanie po” (czyli sekwencje). Do poprzedniego\n",
"wzoru dodamy składnik $V_{i,j}$ (który można interpretować jako\n",
"macierz) określający prawdopodobieństwo, że po etykiecie o numerze $i$ wystąpi etykieta o numerze $j$.\n",
2021-05-26 13:29:45 +02:00
"\n",
"**Pytanie**: Czy macierz $V$ musi być symetryczna? Czy $V_{i,j} = V_{j,i}$? Czy jakieś specjalne wartości występują na przekątnej?\n",
"\n",
"Macierz $V$ wraz z macierzą $W$ będzie stanowiła wyuczalne wagi w naszym modelu.\n",
"\n",
"Wartości $V_{i,j}$ nie stanowią bezpośrednio prawdopodobieństwa, mogą\n",
"przyjmować dowolne wartości, które będę normalizowane podobnie, tak jak to się dzieje w funkcji Softmax.\n",
"\n",
"W takiej wersji warunkowych pól losowych otrzymamy następujący wzór na prawdopodobieństwo całej sekwencji.\n",
"\n",
2021-05-26 13:48:10 +02:00
"$$p(l) = \\frac{e^{\\sum_{k=1}^K (W\\vec{v}(t^{k-c},\\dots,t^k,\\dots,t^{k+c}))_{l^k} + \\sum_{k=1}^{K-1} V_{l^k,l^{k+1}}}}{\\prod_{k=1}^K Z_k}$$\n",
2021-05-19 13:33:08 +02:00
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
2021-05-26 13:29:45 +02:00
"### Algorytm Viterbiego\n",
2021-05-19 13:33:08 +02:00
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
2021-05-26 13:29:45 +02:00
"W czasie inferencji mamy ustalone wagi funkcji $\\vec{v}(\\dots)$ oraz\n",
"macierz $V$. Szukamy sekwencji $y$ która maksymalizuje prawdopodobieństwo estymowane przez model:\n",
2021-05-19 13:33:08 +02:00
"\n",
2021-05-26 13:29:45 +02:00
"$$y = \\underset{l}{\\operatorname{argmax}} \\hat{p}(l|t^1,\\dots,t^K)$$\n",
2021-05-19 13:33:08 +02:00
"\n",
2021-05-26 13:29:45 +02:00
"Naiwne podejście polegające na obliczeniu prawdopodobieństw wszystkich możliwych sekwencji miałoby\n",
"nieakceptowalną złożoność czasową $O(|L|^K)$.\n",
"\n",
"Na szczęście, możemy użyć **algorytmu Viterbiego** o lepszej złożoności\n",
"obliczeniowej, algorytmu opartego na idei programowania dynamicznego.\n",
"\n",
"W algorytmie będziemy wypełniać dwuwymiarowe tabele $s[i, j]$ i $b[i, j]$:\n",
"\n",
"- $s[i, j]$ — będzie zawierać maksymalne prawdopodobieństwo (właściwie: nieznormalizowaną wartość,\n",
" która jest monotoniczna względem prawdopodobieństwa)\n",
" dla ciągów o długości $i$ zakończonych etykietą $l_j$,\n",
"- $b[i, j]$ — będzie zawierać „wskaźnik” wsteczny (*backpointer*) do podciągu o długości $i-1$, dla którego\n",
" razem z $l_j$ jest osiągana maksymalna wartość $s[i, j]$.\n",
"\n",
"Inicjalizacja:\n",
"\n",
"- $s[1, j] = (W\\vec{v}(t^k,\\dots,t^{k+c}))_j$,\n",
"- $b[1, j]$ — nie musimy wypełniać tej wartości.\n",
"\n",
"Dla $i > 1$ i dla każdego $j$ będziemy teraz szukać:\n",
"\n",
"$$\\underset{q \\in \\{1,\\dots,|V|\\}}{\\operatorname{max}} s[i-1, q] + (W\\vec{v}(t^{k-c},\\dots,t^k,\\dots,t^{k+c}))_j + V_{q, j}$$\n",
"\n",
"Tę wartość przypiszemy do $s[i, j]$, z kolei do $b[i, j]$ — indeks\n",
"$q$, dla którego ta największa wartość jest osiągnięta.\n",
"\n",
"Najpierw obliczenia wykonujemy wprzód wypełniając tabelę dla coraz większych wartości $j$.\n",
"W ten sposób otrzymamy największą wartość (nieznormalizowanego) prawdopodobieństwa:\n",
2021-05-19 13:33:08 +02:00
"\n",
2021-05-26 13:29:45 +02:00
"$$\\underset{q \\in \\{1,\\dots,|V|\\}}{\\operatorname{max}} s[K, q]$$\n",
"\n",
"oraz ostatnią etykietę:\n",
"\n",
"$$y^K = \\underset{q \\in \\{1,\\dots,|V|\\}}{\\operatorname{argmax}} s[K, q]$$\n",
"\n",
"Aby uzyskać cały ciąg, kierujemy się *wstecz* używając wskaźników:\n",
"\n",
"$$y^i = b[i, y^{i+1}]$$\n",
2021-05-26 15:56:22 +02:00
"\n",
"\n",
2021-05-26 13:29:45 +02:00
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Złożoność obliczeniowa\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Zauważmy, że rozmiar tabel $s$ i $b$ wynosi $K \\times |L|$, a koszt\n",
"wypełnienia każdej komórki to $|L|$, a zatem złożoność algorytmu jest wielomianowa:\n",
"$O(K|L|^2)$.\n",
"\n",
"**Pytanie:** Czy gdyby uzależnić etykietę nie tylko od poprzedniej\n",
"etykiety, lecz również od jeszcze wcześniejszej, to złożoność\n",
"obliczeniowa byłaby taka sama?\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Przykład\n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Rozpatrzmy uproszczony przykład tagowania częściami mowy:\n",
"\n",
"- słownik $V=\\{\\mathit{Ala}, \\mathit{powieść}, \\mathit{ma}\\}$,\n",
"- zbiór etykiet $L=\\{\\mathit{C}, \\mathit{P}, \\mathit{R}\\}$,\n",
"- kontekst nie jest uwzględniany ($c = 0$).\n",
"\n",
"(To, że liczba słów i etykiet jest taka sama, jest przypadkowe, nie ma znaczenia)\n",
"\n",
"Zakładamy, że słowa reprezentujemy wektorowo za pomocą prostej reprezentacji one-hot.\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 28,
2021-05-26 13:29:45 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([0., 1., 0.])"
]
},
"execution_count": 28,
"metadata": {},
"output_type": "execute_result"
2021-05-26 13:29:45 +02:00
}
],
"source": [
"import torch\n",
"\n",
"vocab = ['Ala', 'ma', 'powieść']\n",
"labels = ['C', 'P', 'R']\n",
"\n",
"onehot = {\n",
" 'Ala': torch.tensor([1., 0., 0.]),\n",
" 'ma': torch.tensor([0., 1., 0.]),\n",
" 'powieść': torch.tensor([0., 0., 1.])\n",
" }\n",
"\n",
"onehot['ma']"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Przyjmijmy, że w czasie uczenia zostały ustalone następujące wartości\n",
"macierzy $W$ i $V$ (samego procesu uczenia nie pokazujemy tutaj):\n",
"\n"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 29,
2021-05-26 13:29:45 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([0.4983, 0.0034, 0.4983])"
]
},
"execution_count": 29,
"metadata": {},
"output_type": "execute_result"
2021-05-26 13:29:45 +02:00
}
],
"source": [
"import torch\n",
"import torch.nn as nn\n",
"\n",
"matrixW = torch.tensor(\n",
2021-05-26 15:56:22 +02:00
" [[-1., 3.0, 3.0], # C\n",
" [0., 2.0, -2.0], # P\n",
" [4., -2.0, 3.0]]) # R\n",
" # Ala ma powieść\n",
2021-05-26 13:29:45 +02:00
"# rozkład prawdopodobieństwa, gdyby patrzeć tylko na słowo\n",
"nn.functional.softmax(matrixW @ onehot['powieść'], dim=0)"
]
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 30,
2021-05-26 13:29:45 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"tensor([0.1027, 0.1386, 0.7587])"
]
},
"execution_count": 30,
"metadata": {},
"output_type": "execute_result"
2021-05-26 13:29:45 +02:00
}
],
"source": [
"import torch\n",
"import torch.nn as nn\n",
"\n",
"matrixV = torch.tensor(\n",
2021-05-26 15:56:22 +02:00
" [[-0.5, 1.5, 2.0], # C\n",
" [0.5, 0.8, 2.5], # P\n",
" [2.0, 0.8, 0.2]]) # R\n",
"# C P R\n",
2021-05-26 13:29:45 +02:00
"\n",
"# co występuje po przymiotniku? - rozkład prawdopodobieństwa\n",
"nn.functional.softmax(matrixV[1], dim=0)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Algorytm Viterbiego:\n",
2021-05-19 13:33:08 +02:00
"\n"
]
2021-05-26 13:29:45 +02:00
},
{
"cell_type": "code",
2021-05-26 15:56:22 +02:00
"execution_count": 31,
2021-05-26 13:29:45 +02:00
"metadata": {},
"outputs": [
{
2021-05-26 15:56:22 +02:00
"data": {
"text/plain": [
"[4.0, 3.5, 4.5]"
]
},
"execution_count": 31,
"metadata": {},
"output_type": "execute_result"
2021-05-26 13:29:45 +02:00
}
],
"source": [
"d = ['Ala', 'ma', 'powieść']\n",
"\n",
"s = []\n",
"b = []\n",
"\n",
"# inicjalizacja\n",
"s.append(matrixW @ onehot[d[0]])\n",
"b.append(None)\n",
"\n",
"# wprzód\n",
"i = 1\n",
"os = []\n",
"ob = []\n",
"for j in range(0, len(labels)):\n",
" z = s[i-1] + matrixV[:,j] + matrixW @ onehot[d[i]]\n",
"\n",
" ns = torch.max(z).item()\n",
" nb = torch.argmax(z).item()\n",
"\n",
" os.append(ns)\n",
" ob.append(nb)\n",
"\n",
"os"
]
2021-05-19 13:33:08 +02:00
}
],
"metadata": {
2021-09-27 07:57:37 +02:00
"author": "Filip Graliński",
"email": "filipg@amu.edu.pl",
2021-05-19 13:33:08 +02:00
"kernelspec": {
2021-09-27 07:57:37 +02:00
"display_name": "Python 3 (ipykernel)",
2021-05-19 13:33:08 +02:00
"language": "python",
"name": "python3"
},
2021-09-27 07:57:37 +02:00
"lang": "pl",
2021-05-19 13:33:08 +02:00
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
2021-09-27 07:57:37 +02:00
"version": "3.9.6"
2021-05-19 13:33:08 +02:00
},
2021-09-27 07:57:37 +02:00
"org": null,
"subtitle": "9.Przegląd składowych sieci neuronowych[wykład]",
"title": "Ekstrakcja informacji",
"year": "2021"
2021-05-19 13:33:08 +02:00
},
"nbformat": 4,
2021-09-27 07:57:37 +02:00
"nbformat_minor": 4
2021-05-19 13:33:08 +02:00
}
