diff --git a/lab/09_Model_neuronowy_rekurencyjny.ipynb b/lab/09_Model_neuronowy_rekurencyjny.ipynb
index 6326c76..27efb0c 100644
--- a/lab/09_Model_neuronowy_rekurencyjny.ipynb
+++ b/lab/09_Model_neuronowy_rekurencyjny.ipynb
@@ -11,7 +11,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 1,
+   "execution_count": 21,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -25,7 +25,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 2,
+   "execution_count": 22,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -34,7 +34,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 3,
+   "execution_count": 23,
    "metadata": {
     "scrolled": true
    },
@@ -43,38 +43,38 @@
      "name": "stdout",
      "output_type": "stream",
      "text": [
-      "--2022-05-08 19:27:04--  https://wolnelektury.pl/media/book/txt/potop-tom-pierwszy.txt\n",
+      "--2024-05-15 11:45:39--  https://wolnelektury.pl/media/book/txt/potop-tom-pierwszy.txt\n",
       "Resolving wolnelektury.pl (wolnelektury.pl)... 51.83.143.148, 2001:41d0:602:3294::\n",
       "Connecting to wolnelektury.pl (wolnelektury.pl)|51.83.143.148|:443... connected.\n",
       "HTTP request sent, awaiting response... 200 OK\n",
-      "Length: 877893 (857K) [text/plain]\n",
-      "Saving to: ‘potop-tom-pierwszy.txt.2’\n",
+      "Length: 877885 (857K) [text/plain]\n",
+      "Saving to: ‘potop-tom-pierwszy.txt.1’\n",
       "\n",
-      "potop-tom-pierwszy. 100%[===================>] 857,32K  --.-KB/s    in 0,07s   \n",
+      "potop-tom-pierwszy. 100%[===================>] 857.31K   436KB/s    in 2.0s    \n",
       "\n",
-      "2022-05-08 19:27:04 (12,0 MB/s) - ‘potop-tom-pierwszy.txt.2’ saved [877893/877893]\n",
+      "2024-05-15 11:45:41 (436 KB/s) - ‘potop-tom-pierwszy.txt.1’ saved [877885/877885]\n",
       "\n",
-      "--2022-05-08 19:27:04--  https://wolnelektury.pl/media/book/txt/potop-tom-drugi.txt\n",
+      "--2024-05-15 11:45:41--  https://wolnelektury.pl/media/book/txt/potop-tom-drugi.txt\n",
       "Resolving wolnelektury.pl (wolnelektury.pl)... 51.83.143.148, 2001:41d0:602:3294::\n",
       "Connecting to wolnelektury.pl (wolnelektury.pl)|51.83.143.148|:443... connected.\n",
       "HTTP request sent, awaiting response... 200 OK\n",
-      "Length: 1087797 (1,0M) [text/plain]\n",
-      "Saving to: ‘potop-tom-drugi.txt.2’\n",
+      "Length: 1087789 (1.0M) [text/plain]\n",
+      "Saving to: ‘potop-tom-drugi.txt.1’\n",
       "\n",
-      "potop-tom-drugi.txt 100%[===================>]   1,04M  --.-KB/s    in 0,08s   \n",
+      "potop-tom-drugi.txt 100%[===================>]   1.04M   296KB/s    in 3.6s    \n",
       "\n",
-      "2022-05-08 19:27:04 (12,9 MB/s) - ‘potop-tom-drugi.txt.2’ saved [1087797/1087797]\n",
+      "2024-05-15 11:45:45 (296 KB/s) - ‘potop-tom-drugi.txt.1’ saved [1087789/1087789]\n",
       "\n",
-      "--2022-05-08 19:27:05--  https://wolnelektury.pl/media/book/txt/potop-tom-trzeci.txt\n",
+      "--2024-05-15 11:45:45--  https://wolnelektury.pl/media/book/txt/potop-tom-trzeci.txt\n",
       "Resolving wolnelektury.pl (wolnelektury.pl)... 51.83.143.148, 2001:41d0:602:3294::\n",
       "Connecting to wolnelektury.pl (wolnelektury.pl)|51.83.143.148|:443... connected.\n",
       "HTTP request sent, awaiting response... 200 OK\n",
-      "Length: 788219 (770K) [text/plain]\n",
-      "Saving to: ‘potop-tom-trzeci.txt.2’\n",
+      "Length: 788211 (770K) [text/plain]\n",
+      "Saving to: ‘potop-tom-trzeci.txt.1’\n",
       "\n",
-      "potop-tom-trzeci.tx 100%[===================>] 769,75K  --.-KB/s    in 0,06s   \n",
+      "potop-tom-trzeci.tx 100%[===================>] 769.74K   131KB/s    in 5.9s    \n",
       "\n",
-      "2022-05-08 19:27:05 (12,0 MB/s) - ‘potop-tom-trzeci.txt.2’ saved [788219/788219]\n",
+      "2024-05-15 11:45:51 (131 KB/s) - ‘potop-tom-trzeci.txt.1’ saved [788211/788211]\n",
       "\n"
      ]
     }
@@ -87,7 +87,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 4,
+   "execution_count": 24,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -96,7 +96,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 5,
+   "execution_count": 25,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -139,7 +139,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 6,
+   "execution_count": 26,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -148,7 +148,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 7,
+   "execution_count": 27,
    "metadata": {
     "scrolled": true
    },
@@ -156,11 +156,11 @@
     {
      "data": {
       "text/plain": [
-       "(tensor([  551,    18,    17,   255, 10748]),\n",
-       " tensor([   18,    17,   255, 10748,    34]))"
+       "(tensor([  551,    18,    17,   255, 10747]),\n",
+       " tensor([   18,    17,   255, 10747,    34]))"
       ]
      },
-     "execution_count": 7,
+     "execution_count": 27,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -171,16 +171,16 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 8,
+   "execution_count": 28,
    "metadata": {},
    "outputs": [
     {
      "data": {
       "text/plain": [
-       "['patrzył', 'tak', 'jak', 'człowiek', 'zbudzony']"
+       "['patrzył', 'tak', 'jak', 'człowiek', 'opatrywać']"
       ]
      },
-     "execution_count": 8,
+     "execution_count": 28,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -191,16 +191,16 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 9,
+   "execution_count": 29,
    "metadata": {},
    "outputs": [
     {
      "data": {
       "text/plain": [
-       "['tak', 'jak', 'człowiek', 'zbudzony', 'ze']"
+       "['tak', 'jak', 'człowiek', 'opatrywać', 'ze']"
       ]
      },
-     "execution_count": 9,
+     "execution_count": 29,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -211,7 +211,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 10,
+   "execution_count": 30,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -220,7 +220,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 11,
+   "execution_count": 31,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -229,7 +229,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 12,
+   "execution_count": 32,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -265,7 +265,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 13,
+   "execution_count": 33,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -274,7 +274,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 14,
+   "execution_count": 34,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -283,21 +283,21 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 15,
+   "execution_count": 35,
    "metadata": {},
    "outputs": [
     {
      "data": {
       "text/plain": [
-       "tensor([[[ 0.0046, -0.0113,  0.0313,  ...,  0.0198, -0.0312,  0.0223],\n",
-       "         [ 0.0039, -0.0110,  0.0303,  ...,  0.0213, -0.0302,  0.0230],\n",
-       "         [ 0.0029, -0.0133,  0.0265,  ...,  0.0204, -0.0297,  0.0219],\n",
-       "         [ 0.0010, -0.0120,  0.0282,  ...,  0.0241, -0.0314,  0.0241],\n",
-       "         [ 0.0038, -0.0106,  0.0346,  ...,  0.0230, -0.0333,  0.0232]]],\n",
-       "       grad_fn=<AddBackward0>)"
+       "tensor([[[ 0.0406, -0.0111, -0.0615,  ...,  0.0028, -0.0004, -0.0235],\n",
+       "         [ 0.0365, -0.0116, -0.0621,  ...,  0.0004, -0.0014, -0.0253],\n",
+       "         [ 0.0421, -0.0122, -0.0622,  ...,  0.0014, -0.0018, -0.0220],\n",
+       "         [ 0.0377, -0.0089, -0.0609,  ...,  0.0024, -0.0007, -0.0245],\n",
+       "         [ 0.0392, -0.0122, -0.0557,  ...,  0.0008,  0.0007, -0.0215]]],\n",
+       "       grad_fn=<ViewBackward0>)"
       ]
      },
-     "execution_count": 15,
+     "execution_count": 35,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -308,16 +308,16 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 16,
+   "execution_count": 36,
    "metadata": {},
    "outputs": [
     {
      "data": {
       "text/plain": [
-       "torch.Size([1, 5, 1187998])"
+       "torch.Size([1, 5, 791991])"
       ]
      },
-     "execution_count": 16,
+     "execution_count": 36,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -328,7 +328,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 17,
+   "execution_count": 37,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -356,7 +356,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 18,
+   "execution_count": 38,
    "metadata": {
     "scrolled": true
    },
@@ -365,538 +365,12381 @@
      "name": "stdout",
      "output_type": "stream",
      "text": [
-      "{'epoch': 0, 'update in batch': 0, '/': 18563, 'loss': 10.717817306518555}\n",
-      "{'epoch': 0, 'update in batch': 1, '/': 18563, 'loss': 10.699922561645508}\n",
-      "{'epoch': 0, 'update in batch': 2, '/': 18563, 'loss': 10.701103210449219}\n",
-      "{'epoch': 0, 'update in batch': 3, '/': 18563, 'loss': 10.700254440307617}\n",
-      "{'epoch': 0, 'update in batch': 4, '/': 18563, 'loss': 10.69465160369873}\n",
-      "{'epoch': 0, 'update in batch': 5, '/': 18563, 'loss': 10.681333541870117}\n",
-      "{'epoch': 0, 'update in batch': 6, '/': 18563, 'loss': 10.668376922607422}\n",
-      "{'epoch': 0, 'update in batch': 7, '/': 18563, 'loss': 10.675261497497559}\n",
-      "{'epoch': 0, 'update in batch': 8, '/': 18563, 'loss': 10.665823936462402}\n",
-      "{'epoch': 0, 'update in batch': 9, '/': 18563, 'loss': 10.655462265014648}\n",
-      "{'epoch': 0, 'update in batch': 10, '/': 18563, 'loss': 10.591516494750977}\n",
-      "{'epoch': 0, 'update in batch': 11, '/': 18563, 'loss': 10.580559730529785}\n",
-      "{'epoch': 0, 'update in batch': 12, '/': 18563, 'loss': 10.524133682250977}\n",
-      "{'epoch': 0, 'update in batch': 13, '/': 18563, 'loss': 10.480895042419434}\n",
-      "{'epoch': 0, 'update in batch': 14, '/': 18563, 'loss': 10.33996295928955}\n",
-      "{'epoch': 0, 'update in batch': 15, '/': 18563, 'loss': 10.345580101013184}\n",
-      "{'epoch': 0, 'update in batch': 16, '/': 18563, 'loss': 10.200639724731445}\n",
-      "{'epoch': 0, 'update in batch': 17, '/': 18563, 'loss': 10.030133247375488}\n",
-      "{'epoch': 0, 'update in batch': 18, '/': 18563, 'loss': 10.046720504760742}\n",
-      "{'epoch': 0, 'update in batch': 19, '/': 18563, 'loss': 10.00318717956543}\n",
-      "{'epoch': 0, 'update in batch': 20, '/': 18563, 'loss': 9.588350296020508}\n",
-      "{'epoch': 0, 'update in batch': 21, '/': 18563, 'loss': 9.780914306640625}\n",
-      "{'epoch': 0, 'update in batch': 22, '/': 18563, 'loss': 9.36646842956543}\n",
-      "{'epoch': 0, 'update in batch': 23, '/': 18563, 'loss': 9.306387901306152}\n",
-      "{'epoch': 0, 'update in batch': 24, '/': 18563, 'loss': 9.150574684143066}\n",
-      "{'epoch': 0, 'update in batch': 25, '/': 18563, 'loss': 8.89719295501709}\n",
-      "{'epoch': 0, 'update in batch': 26, '/': 18563, 'loss': 8.741975784301758}\n",
-      "{'epoch': 0, 'update in batch': 27, '/': 18563, 'loss': 9.36513614654541}\n",
-      "{'epoch': 0, 'update in batch': 28, '/': 18563, 'loss': 8.840768814086914}\n",
-      "{'epoch': 0, 'update in batch': 29, '/': 18563, 'loss': 8.356801986694336}\n",
-      "{'epoch': 0, 'update in batch': 30, '/': 18563, 'loss': 8.274016380310059}\n",
-      "{'epoch': 0, 'update in batch': 31, '/': 18563, 'loss': 8.944927215576172}\n",
-      "{'epoch': 0, 'update in batch': 32, '/': 18563, 'loss': 8.923280715942383}\n",
-      "{'epoch': 0, 'update in batch': 33, '/': 18563, 'loss': 8.479402542114258}\n",
-      "{'epoch': 0, 'update in batch': 34, '/': 18563, 'loss': 8.42425537109375}\n",
-      "{'epoch': 0, 'update in batch': 35, '/': 18563, 'loss': 9.487113952636719}\n",
-      "{'epoch': 0, 'update in batch': 36, '/': 18563, 'loss': 8.314191818237305}\n",
-      "{'epoch': 0, 'update in batch': 37, '/': 18563, 'loss': 8.0274658203125}\n",
-      "{'epoch': 0, 'update in batch': 38, '/': 18563, 'loss': 8.725769996643066}\n",
-      "{'epoch': 0, 'update in batch': 39, '/': 18563, 'loss': 8.67934799194336}\n",
-      "{'epoch': 0, 'update in batch': 40, '/': 18563, 'loss': 8.872161865234375}\n",
-      "{'epoch': 0, 'update in batch': 41, '/': 18563, 'loss': 7.883971214294434}\n",
-      "{'epoch': 0, 'update in batch': 42, '/': 18563, 'loss': 7.682810306549072}\n",
-      "{'epoch': 0, 'update in batch': 43, '/': 18563, 'loss': 7.880677223205566}\n",
-      "{'epoch': 0, 'update in batch': 44, '/': 18563, 'loss': 7.807427406311035}\n",
-      "{'epoch': 0, 'update in batch': 45, '/': 18563, 'loss': 7.93829870223999}\n",
-      "{'epoch': 0, 'update in batch': 46, '/': 18563, 'loss': 7.718912601470947}\n",
-      "{'epoch': 0, 'update in batch': 47, '/': 18563, 'loss': 8.309863090515137}\n",
-      "{'epoch': 0, 'update in batch': 48, '/': 18563, 'loss': 9.091133117675781}\n",
-      "{'epoch': 0, 'update in batch': 49, '/': 18563, 'loss': 9.317312240600586}\n",
-      "{'epoch': 0, 'update in batch': 50, '/': 18563, 'loss': 8.517735481262207}\n",
-      "{'epoch': 0, 'update in batch': 51, '/': 18563, 'loss': 7.697592258453369}\n",
-      "{'epoch': 0, 'update in batch': 52, '/': 18563, 'loss': 6.838181972503662}\n",
-      "{'epoch': 0, 'update in batch': 53, '/': 18563, 'loss': 7.967227935791016}\n",
-      "{'epoch': 0, 'update in batch': 54, '/': 18563, 'loss': 8.47049331665039}\n",
-      "{'epoch': 0, 'update in batch': 55, '/': 18563, 'loss': 8.958921432495117}\n",
-      "{'epoch': 0, 'update in batch': 56, '/': 18563, 'loss': 8.316679000854492}\n",
-      "{'epoch': 0, 'update in batch': 57, '/': 18563, 'loss': 8.997099876403809}\n",
-      "{'epoch': 0, 'update in batch': 58, '/': 18563, 'loss': 8.608811378479004}\n",
-      "{'epoch': 0, 'update in batch': 59, '/': 18563, 'loss': 9.377460479736328}\n",
-      "{'epoch': 0, 'update in batch': 60, '/': 18563, 'loss': 8.6201171875}\n",
-      "{'epoch': 0, 'update in batch': 61, '/': 18563, 'loss': 8.821510314941406}\n",
-      "{'epoch': 0, 'update in batch': 62, '/': 18563, 'loss': 8.915961265563965}\n",
-      "{'epoch': 0, 'update in batch': 63, '/': 18563, 'loss': 8.222617149353027}\n",
-      "{'epoch': 0, 'update in batch': 64, '/': 18563, 'loss': 9.266777992248535}\n",
-      "{'epoch': 0, 'update in batch': 65, '/': 18563, 'loss': 8.749354362487793}\n",
-      "{'epoch': 0, 'update in batch': 66, '/': 18563, 'loss': 8.311641693115234}\n",
-      "{'epoch': 0, 'update in batch': 67, '/': 18563, 'loss': 8.553888320922852}\n",
-      "{'epoch': 0, 'update in batch': 68, '/': 18563, 'loss': 8.790258407592773}\n",
-      "{'epoch': 0, 'update in batch': 69, '/': 18563, 'loss': 9.090133666992188}\n",
-      "{'epoch': 0, 'update in batch': 70, '/': 18563, 'loss': 8.893723487854004}\n",
-      "{'epoch': 0, 'update in batch': 71, '/': 18563, 'loss': 8.844594955444336}\n",
-      "{'epoch': 0, 'update in batch': 72, '/': 18563, 'loss': 7.771625518798828}\n",
-      "{'epoch': 0, 'update in batch': 73, '/': 18563, 'loss': 8.536479949951172}\n",
-      "{'epoch': 0, 'update in batch': 74, '/': 18563, 'loss': 7.300860404968262}\n",
-      "{'epoch': 0, 'update in batch': 75, '/': 18563, 'loss': 8.62000846862793}\n",
-      "{'epoch': 0, 'update in batch': 76, '/': 18563, 'loss': 8.67784309387207}\n",
-      "{'epoch': 0, 'update in batch': 77, '/': 18563, 'loss': 7.319235801696777}\n",
-      "{'epoch': 0, 'update in batch': 78, '/': 18563, 'loss': 8.322186470031738}\n",
-      "{'epoch': 0, 'update in batch': 79, '/': 18563, 'loss': 7.767421722412109}\n",
-      "{'epoch': 0, 'update in batch': 80, '/': 18563, 'loss': 8.817885398864746}\n",
-      "{'epoch': 0, 'update in batch': 81, '/': 18563, 'loss': 8.133109092712402}\n",
-      "{'epoch': 0, 'update in batch': 82, '/': 18563, 'loss': 7.822054862976074}\n",
-      "{'epoch': 0, 'update in batch': 83, '/': 18563, 'loss': 8.055540084838867}\n",
-      "{'epoch': 0, 'update in batch': 84, '/': 18563, 'loss': 8.053682327270508}\n",
-      "{'epoch': 0, 'update in batch': 85, '/': 18563, 'loss': 8.018306732177734}\n",
-      "{'epoch': 0, 'update in batch': 86, '/': 18563, 'loss': 8.371909141540527}\n",
-      "{'epoch': 0, 'update in batch': 87, '/': 18563, 'loss': 8.057979583740234}\n",
-      "{'epoch': 0, 'update in batch': 88, '/': 18563, 'loss': 8.340703010559082}\n",
-      "{'epoch': 0, 'update in batch': 89, '/': 18563, 'loss': 8.7703857421875}\n",
-      "{'epoch': 0, 'update in batch': 90, '/': 18563, 'loss': 9.714847564697266}\n",
-      "{'epoch': 0, 'update in batch': 91, '/': 18563, 'loss': 8.621702194213867}\n",
-      "{'epoch': 0, 'update in batch': 92, '/': 18563, 'loss': 9.406997680664062}\n",
-      "{'epoch': 0, 'update in batch': 93, '/': 18563, 'loss': 9.29774284362793}\n",
-      "{'epoch': 0, 'update in batch': 94, '/': 18563, 'loss': 8.649836540222168}\n",
-      "{'epoch': 0, 'update in batch': 95, '/': 18563, 'loss': 8.441780090332031}\n",
-      "{'epoch': 0, 'update in batch': 96, '/': 18563, 'loss': 7.991406440734863}\n",
-      "{'epoch': 0, 'update in batch': 97, '/': 18563, 'loss': 9.314489364624023}\n",
-      "{'epoch': 0, 'update in batch': 98, '/': 18563, 'loss': 8.368816375732422}\n",
-      "{'epoch': 0, 'update in batch': 99, '/': 18563, 'loss': 8.771149635314941}\n",
-      "{'epoch': 0, 'update in batch': 100, '/': 18563, 'loss': 7.8758111000061035}\n",
-      "{'epoch': 0, 'update in batch': 101, '/': 18563, 'loss': 8.341328620910645}\n",
-      "{'epoch': 0, 'update in batch': 102, '/': 18563, 'loss': 8.413129806518555}\n",
-      "{'epoch': 0, 'update in batch': 103, '/': 18563, 'loss': 7.372011661529541}\n",
-      "{'epoch': 0, 'update in batch': 104, '/': 18563, 'loss': 8.170934677124023}\n",
-      "{'epoch': 0, 'update in batch': 105, '/': 18563, 'loss': 8.109993934631348}\n",
-      "{'epoch': 0, 'update in batch': 106, '/': 18563, 'loss': 8.172578811645508}\n",
-      "{'epoch': 0, 'update in batch': 107, '/': 18563, 'loss': 8.33222484588623}\n",
-      "{'epoch': 0, 'update in batch': 108, '/': 18563, 'loss': 7.997575283050537}\n",
-      "{'epoch': 0, 'update in batch': 109, '/': 18563, 'loss': 7.847937107086182}\n"
-     ]
-    },
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "{'epoch': 0, 'update in batch': 110, '/': 18563, 'loss': 7.351314544677734}\n",
-      "{'epoch': 0, 'update in batch': 111, '/': 18563, 'loss': 8.472936630249023}\n",
-      "{'epoch': 0, 'update in batch': 112, '/': 18563, 'loss': 7.855953216552734}\n",
-      "{'epoch': 0, 'update in batch': 113, '/': 18563, 'loss': 8.163175582885742}\n",
-      "{'epoch': 0, 'update in batch': 114, '/': 18563, 'loss': 8.208657264709473}\n",
-      "{'epoch': 0, 'update in batch': 115, '/': 18563, 'loss': 8.781523704528809}\n",
-      "{'epoch': 0, 'update in batch': 116, '/': 18563, 'loss': 8.449674606323242}\n",
-      "{'epoch': 0, 'update in batch': 117, '/': 18563, 'loss': 8.176030158996582}\n",
-      "{'epoch': 0, 'update in batch': 118, '/': 18563, 'loss': 8.415689468383789}\n",
-      "{'epoch': 0, 'update in batch': 119, '/': 18563, 'loss': 8.645845413208008}\n",
-      "{'epoch': 0, 'update in batch': 120, '/': 18563, 'loss': 8.160420417785645}\n",
-      "{'epoch': 0, 'update in batch': 121, '/': 18563, 'loss': 8.117982864379883}\n",
-      "{'epoch': 0, 'update in batch': 122, '/': 18563, 'loss': 9.099283218383789}\n",
-      "{'epoch': 0, 'update in batch': 123, '/': 18563, 'loss': 7.98253870010376}\n",
-      "{'epoch': 0, 'update in batch': 124, '/': 18563, 'loss': 8.112133979797363}\n",
-      "{'epoch': 0, 'update in batch': 125, '/': 18563, 'loss': 8.479134559631348}\n",
-      "{'epoch': 0, 'update in batch': 126, '/': 18563, 'loss': 8.92817497253418}\n",
-      "{'epoch': 0, 'update in batch': 127, '/': 18563, 'loss': 8.38918399810791}\n",
-      "{'epoch': 0, 'update in batch': 128, '/': 18563, 'loss': 9.000529289245605}\n",
-      "{'epoch': 0, 'update in batch': 129, '/': 18563, 'loss': 8.525534629821777}\n",
-      "{'epoch': 0, 'update in batch': 130, '/': 18563, 'loss': 9.055428504943848}\n",
-      "{'epoch': 0, 'update in batch': 131, '/': 18563, 'loss': 8.818662643432617}\n",
-      "{'epoch': 0, 'update in batch': 132, '/': 18563, 'loss': 8.807767868041992}\n",
-      "{'epoch': 0, 'update in batch': 133, '/': 18563, 'loss': 8.398343086242676}\n",
-      "{'epoch': 0, 'update in batch': 134, '/': 18563, 'loss': 8.435093879699707}\n",
-      "{'epoch': 0, 'update in batch': 135, '/': 18563, 'loss': 7.877000331878662}\n",
-      "{'epoch': 0, 'update in batch': 136, '/': 18563, 'loss': 8.197925567626953}\n",
-      "{'epoch': 0, 'update in batch': 137, '/': 18563, 'loss': 8.655011177062988}\n",
-      "{'epoch': 0, 'update in batch': 138, '/': 18563, 'loss': 7.786923885345459}\n",
-      "{'epoch': 0, 'update in batch': 139, '/': 18563, 'loss': 8.338996887207031}\n",
-      "{'epoch': 0, 'update in batch': 140, '/': 18563, 'loss': 8.607789993286133}\n",
-      "{'epoch': 0, 'update in batch': 141, '/': 18563, 'loss': 8.52219295501709}\n",
-      "{'epoch': 0, 'update in batch': 142, '/': 18563, 'loss': 8.436418533325195}\n",
-      "{'epoch': 0, 'update in batch': 143, '/': 18563, 'loss': 7.999323844909668}\n",
-      "{'epoch': 0, 'update in batch': 144, '/': 18563, 'loss': 7.543336391448975}\n",
-      "{'epoch': 0, 'update in batch': 145, '/': 18563, 'loss': 7.3255791664123535}\n",
-      "{'epoch': 0, 'update in batch': 146, '/': 18563, 'loss': 7.993613243103027}\n",
-      "{'epoch': 0, 'update in batch': 147, '/': 18563, 'loss': 8.8505859375}\n",
-      "{'epoch': 0, 'update in batch': 148, '/': 18563, 'loss': 8.146835327148438}\n",
-      "{'epoch': 0, 'update in batch': 149, '/': 18563, 'loss': 8.532424926757812}\n",
-      "{'epoch': 0, 'update in batch': 150, '/': 18563, 'loss': 8.323905944824219}\n",
-      "{'epoch': 0, 'update in batch': 151, '/': 18563, 'loss': 7.8726677894592285}\n",
-      "{'epoch': 0, 'update in batch': 152, '/': 18563, 'loss': 7.912005424499512}\n",
-      "{'epoch': 0, 'update in batch': 153, '/': 18563, 'loss': 8.010560035705566}\n",
-      "{'epoch': 0, 'update in batch': 154, '/': 18563, 'loss': 7.9417009353637695}\n",
-      "{'epoch': 0, 'update in batch': 155, '/': 18563, 'loss': 7.991711616516113}\n",
-      "{'epoch': 0, 'update in batch': 156, '/': 18563, 'loss': 8.27558708190918}\n",
-      "{'epoch': 0, 'update in batch': 157, '/': 18563, 'loss': 7.736246585845947}\n",
-      "{'epoch': 0, 'update in batch': 158, '/': 18563, 'loss': 7.4755754470825195}\n",
-      "{'epoch': 0, 'update in batch': 159, '/': 18563, 'loss': 8.023443222045898}\n",
-      "{'epoch': 0, 'update in batch': 160, '/': 18563, 'loss': 8.130350112915039}\n",
-      "{'epoch': 0, 'update in batch': 161, '/': 18563, 'loss': 7.770634651184082}\n",
-      "{'epoch': 0, 'update in batch': 162, '/': 18563, 'loss': 7.775434970855713}\n",
-      "{'epoch': 0, 'update in batch': 163, '/': 18563, 'loss': 7.965312957763672}\n",
-      "{'epoch': 0, 'update in batch': 164, '/': 18563, 'loss': 7.977341651916504}\n",
-      "{'epoch': 0, 'update in batch': 165, '/': 18563, 'loss': 7.703671455383301}\n",
-      "{'epoch': 0, 'update in batch': 166, '/': 18563, 'loss': 8.027135848999023}\n",
-      "{'epoch': 0, 'update in batch': 167, '/': 18563, 'loss': 7.7673773765563965}\n",
-      "{'epoch': 0, 'update in batch': 168, '/': 18563, 'loss': 8.654549598693848}\n",
-      "{'epoch': 0, 'update in batch': 169, '/': 18563, 'loss': 7.8060808181762695}\n",
-      "{'epoch': 0, 'update in batch': 170, '/': 18563, 'loss': 7.33704137802124}\n",
-      "{'epoch': 0, 'update in batch': 171, '/': 18563, 'loss': 7.971919059753418}\n",
-      "{'epoch': 0, 'update in batch': 172, '/': 18563, 'loss': 7.450611114501953}\n",
-      "{'epoch': 0, 'update in batch': 173, '/': 18563, 'loss': 7.978057861328125}\n",
-      "{'epoch': 0, 'update in batch': 174, '/': 18563, 'loss': 8.264434814453125}\n",
-      "{'epoch': 0, 'update in batch': 175, '/': 18563, 'loss': 8.47761058807373}\n",
-      "{'epoch': 0, 'update in batch': 176, '/': 18563, 'loss': 7.643885135650635}\n",
-      "{'epoch': 0, 'update in batch': 177, '/': 18563, 'loss': 8.696805000305176}\n",
-      "{'epoch': 0, 'update in batch': 178, '/': 18563, 'loss': 9.144462585449219}\n",
-      "{'epoch': 0, 'update in batch': 179, '/': 18563, 'loss': 8.582620620727539}\n",
-      "{'epoch': 0, 'update in batch': 180, '/': 18563, 'loss': 8.495562553405762}\n",
-      "{'epoch': 0, 'update in batch': 181, '/': 18563, 'loss': 9.259647369384766}\n",
-      "{'epoch': 0, 'update in batch': 182, '/': 18563, 'loss': 8.286632537841797}\n",
-      "{'epoch': 0, 'update in batch': 183, '/': 18563, 'loss': 8.378074645996094}\n",
-      "{'epoch': 0, 'update in batch': 184, '/': 18563, 'loss': 8.404892921447754}\n",
-      "{'epoch': 0, 'update in batch': 185, '/': 18563, 'loss': 9.206843376159668}\n",
-      "{'epoch': 0, 'update in batch': 186, '/': 18563, 'loss': 8.97215747833252}\n",
-      "{'epoch': 0, 'update in batch': 187, '/': 18563, 'loss': 8.281005859375}\n",
-      "{'epoch': 0, 'update in batch': 188, '/': 18563, 'loss': 7.638144493103027}\n",
-      "{'epoch': 0, 'update in batch': 189, '/': 18563, 'loss': 7.991082668304443}\n",
-      "{'epoch': 0, 'update in batch': 190, '/': 18563, 'loss': 8.207674026489258}\n",
-      "{'epoch': 0, 'update in batch': 191, '/': 18563, 'loss': 8.16801643371582}\n",
-      "{'epoch': 0, 'update in batch': 192, '/': 18563, 'loss': 7.827309608459473}\n",
-      "{'epoch': 0, 'update in batch': 193, '/': 18563, 'loss': 8.387285232543945}\n",
-      "{'epoch': 0, 'update in batch': 194, '/': 18563, 'loss': 7.990261077880859}\n",
-      "{'epoch': 0, 'update in batch': 195, '/': 18563, 'loss': 7.7953925132751465}\n",
-      "{'epoch': 0, 'update in batch': 196, '/': 18563, 'loss': 7.252983093261719}\n",
-      "{'epoch': 0, 'update in batch': 197, '/': 18563, 'loss': 7.806585788726807}\n",
-      "{'epoch': 0, 'update in batch': 198, '/': 18563, 'loss': 7.871600151062012}\n",
-      "{'epoch': 0, 'update in batch': 199, '/': 18563, 'loss': 7.639830589294434}\n",
-      "{'epoch': 0, 'update in batch': 200, '/': 18563, 'loss': 8.108308792114258}\n",
-      "{'epoch': 0, 'update in batch': 201, '/': 18563, 'loss': 7.41513729095459}\n",
-      "{'epoch': 0, 'update in batch': 202, '/': 18563, 'loss': 8.103743553161621}\n",
-      "{'epoch': 0, 'update in batch': 203, '/': 18563, 'loss': 8.82174301147461}\n",
-      "{'epoch': 0, 'update in batch': 204, '/': 18563, 'loss': 8.34859561920166}\n",
-      "{'epoch': 0, 'update in batch': 205, '/': 18563, 'loss': 7.890545845031738}\n",
-      "{'epoch': 0, 'update in batch': 206, '/': 18563, 'loss': 7.679532527923584}\n",
-      "{'epoch': 0, 'update in batch': 207, '/': 18563, 'loss': 7.810311317443848}\n",
-      "{'epoch': 0, 'update in batch': 208, '/': 18563, 'loss': 8.342585563659668}\n",
-      "{'epoch': 0, 'update in batch': 209, '/': 18563, 'loss': 8.253597259521484}\n",
-      "{'epoch': 0, 'update in batch': 210, '/': 18563, 'loss': 7.963072299957275}\n",
-      "{'epoch': 0, 'update in batch': 211, '/': 18563, 'loss': 8.537101745605469}\n",
-      "{'epoch': 0, 'update in batch': 212, '/': 18563, 'loss': 8.503724098205566}\n",
-      "{'epoch': 0, 'update in batch': 213, '/': 18563, 'loss': 8.568987846374512}\n",
-      "{'epoch': 0, 'update in batch': 214, '/': 18563, 'loss': 7.760678291320801}\n",
-      "{'epoch': 0, 'update in batch': 215, '/': 18563, 'loss': 8.302183151245117}\n",
-      "{'epoch': 0, 'update in batch': 216, '/': 18563, 'loss': 7.427420616149902}\n",
-      "{'epoch': 0, 'update in batch': 217, '/': 18563, 'loss': 8.05746078491211}\n"
-     ]
-    },
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "{'epoch': 0, 'update in batch': 218, '/': 18563, 'loss': 8.82285213470459}\n",
-      "{'epoch': 0, 'update in batch': 219, '/': 18563, 'loss': 7.948827266693115}\n",
-      "{'epoch': 0, 'update in batch': 220, '/': 18563, 'loss': 8.164112091064453}\n",
-      "{'epoch': 0, 'update in batch': 221, '/': 18563, 'loss': 7.721047401428223}\n",
-      "{'epoch': 0, 'update in batch': 222, '/': 18563, 'loss': 7.668707370758057}\n",
-      "{'epoch': 0, 'update in batch': 223, '/': 18563, 'loss': 8.576696395874023}\n",
-      "{'epoch': 0, 'update in batch': 224, '/': 18563, 'loss': 8.253091812133789}\n",
-      "{'epoch': 0, 'update in batch': 225, '/': 18563, 'loss': 8.303543090820312}\n",
-      "{'epoch': 0, 'update in batch': 226, '/': 18563, 'loss': 8.069855690002441}\n",
-      "{'epoch': 0, 'update in batch': 227, '/': 18563, 'loss': 8.57229232788086}\n",
-      "{'epoch': 0, 'update in batch': 228, '/': 18563, 'loss': 8.904585838317871}\n",
-      "{'epoch': 0, 'update in batch': 229, '/': 18563, 'loss': 8.485595703125}\n",
-      "{'epoch': 0, 'update in batch': 230, '/': 18563, 'loss': 8.22756290435791}\n",
-      "{'epoch': 0, 'update in batch': 231, '/': 18563, 'loss': 8.281603813171387}\n",
-      "{'epoch': 0, 'update in batch': 232, '/': 18563, 'loss': 7.591467380523682}\n",
-      "{'epoch': 0, 'update in batch': 233, '/': 18563, 'loss': 7.8028883934021}\n",
-      "{'epoch': 0, 'update in batch': 234, '/': 18563, 'loss': 8.079168319702148}\n",
-      "{'epoch': 0, 'update in batch': 235, '/': 18563, 'loss': 7.578390598297119}\n",
-      "{'epoch': 0, 'update in batch': 236, '/': 18563, 'loss': 7.865830421447754}\n",
-      "{'epoch': 0, 'update in batch': 237, '/': 18563, 'loss': 7.105422019958496}\n",
-      "{'epoch': 0, 'update in batch': 238, '/': 18563, 'loss': 8.034143447875977}\n",
-      "{'epoch': 0, 'update in batch': 239, '/': 18563, 'loss': 7.23009729385376}\n",
-      "{'epoch': 0, 'update in batch': 240, '/': 18563, 'loss': 7.221669673919678}\n",
-      "{'epoch': 0, 'update in batch': 241, '/': 18563, 'loss': 7.118913173675537}\n",
-      "{'epoch': 0, 'update in batch': 242, '/': 18563, 'loss': 7.690147399902344}\n",
-      "{'epoch': 0, 'update in batch': 243, '/': 18563, 'loss': 7.676979064941406}\n",
-      "{'epoch': 0, 'update in batch': 244, '/': 18563, 'loss': 8.231537818908691}\n",
-      "{'epoch': 0, 'update in batch': 245, '/': 18563, 'loss': 8.212566375732422}\n",
-      "{'epoch': 0, 'update in batch': 246, '/': 18563, 'loss': 9.095616340637207}\n",
-      "{'epoch': 0, 'update in batch': 247, '/': 18563, 'loss': 8.249703407287598}\n",
-      "{'epoch': 0, 'update in batch': 248, '/': 18563, 'loss': 9.082058906555176}\n",
-      "{'epoch': 0, 'update in batch': 249, '/': 18563, 'loss': 8.530516624450684}\n",
-      "{'epoch': 0, 'update in batch': 250, '/': 18563, 'loss': 8.979915618896484}\n",
-      "{'epoch': 0, 'update in batch': 251, '/': 18563, 'loss': 8.667882919311523}\n",
-      "{'epoch': 0, 'update in batch': 252, '/': 18563, 'loss': 8.804525375366211}\n",
-      "{'epoch': 0, 'update in batch': 253, '/': 18563, 'loss': 8.67729377746582}\n",
-      "{'epoch': 0, 'update in batch': 254, '/': 18563, 'loss': 8.580761909484863}\n",
-      "{'epoch': 0, 'update in batch': 255, '/': 18563, 'loss': 7.724173545837402}\n",
-      "{'epoch': 0, 'update in batch': 256, '/': 18563, 'loss': 7.7925591468811035}\n",
-      "{'epoch': 0, 'update in batch': 257, '/': 18563, 'loss': 7.731482028961182}\n",
-      "{'epoch': 0, 'update in batch': 258, '/': 18563, 'loss': 7.644040107727051}\n",
-      "{'epoch': 0, 'update in batch': 259, '/': 18563, 'loss': 7.947877407073975}\n",
-      "{'epoch': 0, 'update in batch': 260, '/': 18563, 'loss': 7.649043083190918}\n",
-      "{'epoch': 0, 'update in batch': 261, '/': 18563, 'loss': 7.40912389755249}\n",
-      "{'epoch': 0, 'update in batch': 262, '/': 18563, 'loss': 8.199918746948242}\n",
-      "{'epoch': 0, 'update in batch': 263, '/': 18563, 'loss': 7.272132873535156}\n",
-      "{'epoch': 0, 'update in batch': 264, '/': 18563, 'loss': 7.205214500427246}\n",
-      "{'epoch': 0, 'update in batch': 265, '/': 18563, 'loss': 8.999595642089844}\n",
-      "{'epoch': 0, 'update in batch': 266, '/': 18563, 'loss': 7.851510524749756}\n",
-      "{'epoch': 0, 'update in batch': 267, '/': 18563, 'loss': 7.748948097229004}\n",
-      "{'epoch': 0, 'update in batch': 268, '/': 18563, 'loss': 7.96875}\n",
-      "{'epoch': 0, 'update in batch': 269, '/': 18563, 'loss': 7.627255916595459}\n",
-      "{'epoch': 0, 'update in batch': 270, '/': 18563, 'loss': 7.719862937927246}\n",
-      "{'epoch': 0, 'update in batch': 271, '/': 18563, 'loss': 7.58780574798584}\n",
-      "{'epoch': 0, 'update in batch': 272, '/': 18563, 'loss': 8.386865615844727}\n",
-      "{'epoch': 0, 'update in batch': 273, '/': 18563, 'loss': 8.708396911621094}\n",
-      "{'epoch': 0, 'update in batch': 274, '/': 18563, 'loss': 7.853432655334473}\n",
-      "{'epoch': 0, 'update in batch': 275, '/': 18563, 'loss': 7.818131923675537}\n",
-      "{'epoch': 0, 'update in batch': 276, '/': 18563, 'loss': 7.714521884918213}\n",
-      "{'epoch': 0, 'update in batch': 277, '/': 18563, 'loss': 8.75371265411377}\n",
-      "{'epoch': 0, 'update in batch': 278, '/': 18563, 'loss': 7.6992998123168945}\n",
-      "{'epoch': 0, 'update in batch': 279, '/': 18563, 'loss': 7.652693748474121}\n",
-      "{'epoch': 0, 'update in batch': 280, '/': 18563, 'loss': 7.364585876464844}\n",
-      "{'epoch': 0, 'update in batch': 281, '/': 18563, 'loss': 7.742022514343262}\n",
-      "{'epoch': 0, 'update in batch': 282, '/': 18563, 'loss': 7.6205573081970215}\n",
-      "{'epoch': 0, 'update in batch': 283, '/': 18563, 'loss': 7.475846290588379}\n",
-      "{'epoch': 0, 'update in batch': 284, '/': 18563, 'loss': 7.302148342132568}\n",
-      "{'epoch': 0, 'update in batch': 285, '/': 18563, 'loss': 7.524351596832275}\n",
-      "{'epoch': 0, 'update in batch': 286, '/': 18563, 'loss': 7.755963325500488}\n",
-      "{'epoch': 0, 'update in batch': 287, '/': 18563, 'loss': 7.620995998382568}\n",
-      "{'epoch': 0, 'update in batch': 288, '/': 18563, 'loss': 7.289975166320801}\n",
-      "{'epoch': 0, 'update in batch': 289, '/': 18563, 'loss': 7.470652103424072}\n",
-      "{'epoch': 0, 'update in batch': 290, '/': 18563, 'loss': 7.297110557556152}\n",
-      "{'epoch': 0, 'update in batch': 291, '/': 18563, 'loss': 7.907563209533691}\n",
-      "{'epoch': 0, 'update in batch': 292, '/': 18563, 'loss': 8.051852226257324}\n",
-      "{'epoch': 0, 'update in batch': 293, '/': 18563, 'loss': 6.691899299621582}\n",
-      "{'epoch': 0, 'update in batch': 294, '/': 18563, 'loss': 7.9747819900512695}\n",
-      "{'epoch': 0, 'update in batch': 295, '/': 18563, 'loss': 7.415904998779297}\n",
-      "{'epoch': 0, 'update in batch': 296, '/': 18563, 'loss': 7.479670524597168}\n",
-      "{'epoch': 0, 'update in batch': 297, '/': 18563, 'loss': 7.9454755783081055}\n",
-      "{'epoch': 0, 'update in batch': 298, '/': 18563, 'loss': 7.79656457901001}\n",
-      "{'epoch': 0, 'update in batch': 299, '/': 18563, 'loss': 7.644859313964844}\n",
-      "{'epoch': 0, 'update in batch': 300, '/': 18563, 'loss': 7.649240970611572}\n",
-      "{'epoch': 0, 'update in batch': 301, '/': 18563, 'loss': 7.497203826904297}\n",
-      "{'epoch': 0, 'update in batch': 302, '/': 18563, 'loss': 7.169632911682129}\n",
-      "{'epoch': 0, 'update in batch': 303, '/': 18563, 'loss': 7.124764442443848}\n",
-      "{'epoch': 0, 'update in batch': 304, '/': 18563, 'loss': 7.728893280029297}\n",
-      "{'epoch': 0, 'update in batch': 305, '/': 18563, 'loss': 8.029245376586914}\n",
-      "{'epoch': 0, 'update in batch': 306, '/': 18563, 'loss': 7.361662864685059}\n",
-      "{'epoch': 0, 'update in batch': 307, '/': 18563, 'loss': 8.070173263549805}\n",
-      "{'epoch': 0, 'update in batch': 308, '/': 18563, 'loss': 7.55655574798584}\n",
-      "{'epoch': 0, 'update in batch': 309, '/': 18563, 'loss': 7.713553428649902}\n",
-      "{'epoch': 0, 'update in batch': 310, '/': 18563, 'loss': 8.333553314208984}\n",
-      "{'epoch': 0, 'update in batch': 311, '/': 18563, 'loss': 8.089872360229492}\n",
-      "{'epoch': 0, 'update in batch': 312, '/': 18563, 'loss': 8.951356887817383}\n",
-      "{'epoch': 0, 'update in batch': 313, '/': 18563, 'loss': 8.920665740966797}\n",
-      "{'epoch': 0, 'update in batch': 314, '/': 18563, 'loss': 8.811259269714355}\n",
-      "{'epoch': 0, 'update in batch': 315, '/': 18563, 'loss': 8.719802856445312}\n",
-      "{'epoch': 0, 'update in batch': 316, '/': 18563, 'loss': 8.700776100158691}\n",
-      "{'epoch': 0, 'update in batch': 317, '/': 18563, 'loss': 8.846036911010742}\n",
-      "{'epoch': 0, 'update in batch': 318, '/': 18563, 'loss': 8.553533554077148}\n",
-      "{'epoch': 0, 'update in batch': 319, '/': 18563, 'loss': 9.257116317749023}\n",
-      "{'epoch': 0, 'update in batch': 320, '/': 18563, 'loss': 8.487042427062988}\n",
-      "{'epoch': 0, 'update in batch': 321, '/': 18563, 'loss': 8.743330955505371}\n",
-      "{'epoch': 0, 'update in batch': 322, '/': 18563, 'loss': 8.377813339233398}\n",
-      "{'epoch': 0, 'update in batch': 323, '/': 18563, 'loss': 8.41798210144043}\n",
-      "{'epoch': 0, 'update in batch': 324, '/': 18563, 'loss': 7.884764671325684}\n",
-      "{'epoch': 0, 'update in batch': 325, '/': 18563, 'loss': 8.827409744262695}\n",
-      "{'epoch': 0, 'update in batch': 326, '/': 18563, 'loss': 8.21721363067627}\n"
-     ]
-    },
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "{'epoch': 0, 'update in batch': 327, '/': 18563, 'loss': 8.522723197937012}\n",
-      "{'epoch': 0, 'update in batch': 328, '/': 18563, 'loss': 7.387178897857666}\n",
-      "{'epoch': 0, 'update in batch': 329, '/': 18563, 'loss': 8.58663558959961}\n",
-      "{'epoch': 0, 'update in batch': 330, '/': 18563, 'loss': 8.539435386657715}\n",
-      "{'epoch': 0, 'update in batch': 331, '/': 18563, 'loss': 8.35865592956543}\n",
-      "{'epoch': 0, 'update in batch': 332, '/': 18563, 'loss': 8.55555248260498}\n",
-      "{'epoch': 0, 'update in batch': 333, '/': 18563, 'loss': 7.9116950035095215}\n",
-      "{'epoch': 0, 'update in batch': 334, '/': 18563, 'loss': 8.424735069274902}\n",
-      "{'epoch': 0, 'update in batch': 335, '/': 18563, 'loss': 8.383890151977539}\n",
-      "{'epoch': 0, 'update in batch': 336, '/': 18563, 'loss': 8.145454406738281}\n",
-      "{'epoch': 0, 'update in batch': 337, '/': 18563, 'loss': 8.014772415161133}\n",
-      "{'epoch': 0, 'update in batch': 338, '/': 18563, 'loss': 8.532005310058594}\n",
-      "{'epoch': 0, 'update in batch': 339, '/': 18563, 'loss': 8.979973793029785}\n",
-      "{'epoch': 0, 'update in batch': 340, '/': 18563, 'loss': 8.3964204788208}\n",
-      "{'epoch': 0, 'update in batch': 341, '/': 18563, 'loss': 8.34205150604248}\n",
-      "{'epoch': 0, 'update in batch': 342, '/': 18563, 'loss': 7.861489295959473}\n",
-      "{'epoch': 0, 'update in batch': 343, '/': 18563, 'loss': 8.807058334350586}\n",
-      "{'epoch': 0, 'update in batch': 344, '/': 18563, 'loss': 8.14976978302002}\n",
-      "{'epoch': 0, 'update in batch': 345, '/': 18563, 'loss': 8.212860107421875}\n",
-      "{'epoch': 0, 'update in batch': 346, '/': 18563, 'loss': 8.323419570922852}\n",
-      "{'epoch': 0, 'update in batch': 347, '/': 18563, 'loss': 9.06071662902832}\n",
-      "{'epoch': 0, 'update in batch': 348, '/': 18563, 'loss': 8.79192066192627}\n",
-      "{'epoch': 0, 'update in batch': 349, '/': 18563, 'loss': 8.717201232910156}\n",
-      "{'epoch': 0, 'update in batch': 350, '/': 18563, 'loss': 8.149703979492188}\n",
-      "{'epoch': 0, 'update in batch': 351, '/': 18563, 'loss': 7.990046501159668}\n",
-      "{'epoch': 0, 'update in batch': 352, '/': 18563, 'loss': 7.8197221755981445}\n",
-      "{'epoch': 0, 'update in batch': 353, '/': 18563, 'loss': 8.022729873657227}\n",
-      "{'epoch': 0, 'update in batch': 354, '/': 18563, 'loss': 8.339923858642578}\n",
-      "{'epoch': 0, 'update in batch': 355, '/': 18563, 'loss': 7.867880821228027}\n",
-      "{'epoch': 0, 'update in batch': 356, '/': 18563, 'loss': 8.161782264709473}\n",
-      "{'epoch': 0, 'update in batch': 357, '/': 18563, 'loss': 7.711170196533203}\n",
-      "{'epoch': 0, 'update in batch': 358, '/': 18563, 'loss': 8.46279239654541}\n",
-      "{'epoch': 0, 'update in batch': 359, '/': 18563, 'loss': 8.327804565429688}\n",
-      "{'epoch': 0, 'update in batch': 360, '/': 18563, 'loss': 8.184597969055176}\n",
-      "{'epoch': 0, 'update in batch': 361, '/': 18563, 'loss': 8.126212120056152}\n",
-      "{'epoch': 0, 'update in batch': 362, '/': 18563, 'loss': 8.122446060180664}\n",
-      "{'epoch': 0, 'update in batch': 363, '/': 18563, 'loss': 7.730257511138916}\n",
-      "{'epoch': 0, 'update in batch': 364, '/': 18563, 'loss': 7.7179059982299805}\n",
-      "{'epoch': 0, 'update in batch': 365, '/': 18563, 'loss': 7.557857513427734}\n",
-      "{'epoch': 0, 'update in batch': 366, '/': 18563, 'loss': 8.614083290100098}\n",
-      "{'epoch': 0, 'update in batch': 367, '/': 18563, 'loss': 8.0489501953125}\n",
-      "{'epoch': 0, 'update in batch': 368, '/': 18563, 'loss': 8.355381965637207}\n",
-      "{'epoch': 0, 'update in batch': 369, '/': 18563, 'loss': 7.592991828918457}\n",
-      "{'epoch': 0, 'update in batch': 370, '/': 18563, 'loss': 7.674102783203125}\n",
-      "{'epoch': 0, 'update in batch': 371, '/': 18563, 'loss': 7.818256378173828}\n",
-      "{'epoch': 0, 'update in batch': 372, '/': 18563, 'loss': 8.510438919067383}\n",
-      "{'epoch': 0, 'update in batch': 373, '/': 18563, 'loss': 8.02087116241455}\n",
-      "{'epoch': 0, 'update in batch': 374, '/': 18563, 'loss': 8.206090927124023}\n",
-      "{'epoch': 0, 'update in batch': 375, '/': 18563, 'loss': 7.645677089691162}\n",
-      "{'epoch': 0, 'update in batch': 376, '/': 18563, 'loss': 8.241236686706543}\n",
-      "{'epoch': 0, 'update in batch': 377, '/': 18563, 'loss': 8.581649780273438}\n",
-      "{'epoch': 0, 'update in batch': 378, '/': 18563, 'loss': 9.361258506774902}\n",
-      "{'epoch': 0, 'update in batch': 379, '/': 18563, 'loss': 9.097440719604492}\n",
-      "{'epoch': 0, 'update in batch': 380, '/': 18563, 'loss': 8.081677436828613}\n",
-      "{'epoch': 0, 'update in batch': 381, '/': 18563, 'loss': 8.761143684387207}\n",
-      "{'epoch': 0, 'update in batch': 382, '/': 18563, 'loss': 7.9429121017456055}\n",
-      "{'epoch': 0, 'update in batch': 383, '/': 18563, 'loss': 8.05648422241211}\n",
-      "{'epoch': 0, 'update in batch': 384, '/': 18563, 'loss': 7.316658020019531}\n",
-      "{'epoch': 0, 'update in batch': 385, '/': 18563, 'loss': 8.597393035888672}\n",
-      "{'epoch': 0, 'update in batch': 386, '/': 18563, 'loss': 9.393728256225586}\n",
-      "{'epoch': 0, 'update in batch': 387, '/': 18563, 'loss': 8.225081443786621}\n",
-      "{'epoch': 0, 'update in batch': 388, '/': 18563, 'loss': 7.9958319664001465}\n",
-      "{'epoch': 0, 'update in batch': 389, '/': 18563, 'loss': 8.390036582946777}\n",
-      "{'epoch': 0, 'update in batch': 390, '/': 18563, 'loss': 7.745572566986084}\n",
-      "{'epoch': 0, 'update in batch': 391, '/': 18563, 'loss': 8.403060913085938}\n",
-      "{'epoch': 0, 'update in batch': 392, '/': 18563, 'loss': 8.703788757324219}\n",
-      "{'epoch': 0, 'update in batch': 393, '/': 18563, 'loss': 8.516857147216797}\n",
-      "{'epoch': 0, 'update in batch': 394, '/': 18563, 'loss': 8.078744888305664}\n",
-      "{'epoch': 0, 'update in batch': 395, '/': 18563, 'loss': 7.6597900390625}\n",
-      "{'epoch': 0, 'update in batch': 396, '/': 18563, 'loss': 8.454282760620117}\n",
-      "{'epoch': 0, 'update in batch': 397, '/': 18563, 'loss': 7.7727837562561035}\n",
-      "{'epoch': 0, 'update in batch': 398, '/': 18563, 'loss': 8.222984313964844}\n",
-      "{'epoch': 0, 'update in batch': 399, '/': 18563, 'loss': 8.369619369506836}\n",
-      "{'epoch': 0, 'update in batch': 400, '/': 18563, 'loss': 8.542525291442871}\n",
-      "{'epoch': 0, 'update in batch': 401, '/': 18563, 'loss': 7.9681854248046875}\n",
-      "{'epoch': 0, 'update in batch': 402, '/': 18563, 'loss': 8.842118263244629}\n",
-      "{'epoch': 0, 'update in batch': 403, '/': 18563, 'loss': 7.958454132080078}\n",
-      "{'epoch': 0, 'update in batch': 404, '/': 18563, 'loss': 7.084095001220703}\n",
-      "{'epoch': 0, 'update in batch': 405, '/': 18563, 'loss': 7.8765130043029785}\n",
-      "{'epoch': 0, 'update in batch': 406, '/': 18563, 'loss': 7.639691352844238}\n",
-      "{'epoch': 0, 'update in batch': 407, '/': 18563, 'loss': 7.440125942230225}\n",
-      "{'epoch': 0, 'update in batch': 408, '/': 18563, 'loss': 7.928472995758057}\n",
-      "{'epoch': 0, 'update in batch': 409, '/': 18563, 'loss': 8.704710960388184}\n",
-      "{'epoch': 0, 'update in batch': 410, '/': 18563, 'loss': 8.214713096618652}\n",
-      "{'epoch': 0, 'update in batch': 411, '/': 18563, 'loss': 8.115629196166992}\n",
-      "{'epoch': 0, 'update in batch': 412, '/': 18563, 'loss': 9.357975006103516}\n",
-      "{'epoch': 0, 'update in batch': 413, '/': 18563, 'loss': 7.756926536560059}\n",
-      "{'epoch': 0, 'update in batch': 414, '/': 18563, 'loss': 8.93007755279541}\n",
-      "{'epoch': 0, 'update in batch': 415, '/': 18563, 'loss': 8.929518699645996}\n",
-      "{'epoch': 0, 'update in batch': 416, '/': 18563, 'loss': 7.646470069885254}\n",
-      "{'epoch': 0, 'update in batch': 417, '/': 18563, 'loss': 8.457891464233398}\n",
-      "{'epoch': 0, 'update in batch': 418, '/': 18563, 'loss': 7.377375602722168}\n",
-      "{'epoch': 0, 'update in batch': 419, '/': 18563, 'loss': 8.03713607788086}\n",
-      "{'epoch': 0, 'update in batch': 420, '/': 18563, 'loss': 8.125130653381348}\n",
-      "{'epoch': 0, 'update in batch': 421, '/': 18563, 'loss': 6.818246364593506}\n",
-      "{'epoch': 0, 'update in batch': 422, '/': 18563, 'loss': 7.220259189605713}\n",
-      "{'epoch': 0, 'update in batch': 423, '/': 18563, 'loss': 7.800910949707031}\n",
-      "{'epoch': 0, 'update in batch': 424, '/': 18563, 'loss': 8.175793647766113}\n",
-      "{'epoch': 0, 'update in batch': 425, '/': 18563, 'loss': 7.588067054748535}\n",
-      "{'epoch': 0, 'update in batch': 426, '/': 18563, 'loss': 7.2054619789123535}\n",
-      "{'epoch': 0, 'update in batch': 427, '/': 18563, 'loss': 7.6552839279174805}\n",
-      "{'epoch': 0, 'update in batch': 428, '/': 18563, 'loss': 8.851090431213379}\n",
-      "{'epoch': 0, 'update in batch': 429, '/': 18563, 'loss': 8.768563270568848}\n",
-      "{'epoch': 0, 'update in batch': 430, '/': 18563, 'loss': 7.926184177398682}\n",
-      "{'epoch': 0, 'update in batch': 431, '/': 18563, 'loss': 8.663213729858398}\n",
-      "{'epoch': 0, 'update in batch': 432, '/': 18563, 'loss': 8.386338233947754}\n",
-      "{'epoch': 0, 'update in batch': 433, '/': 18563, 'loss': 8.77399730682373}\n",
-      "{'epoch': 0, 'update in batch': 434, '/': 18563, 'loss': 8.385528564453125}\n"
-     ]
-    },
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "{'epoch': 0, 'update in batch': 435, '/': 18563, 'loss': 7.742388725280762}\n",
-      "{'epoch': 0, 'update in batch': 436, '/': 18563, 'loss': 8.363179206848145}\n",
-      "{'epoch': 0, 'update in batch': 437, '/': 18563, 'loss': 9.262784004211426}\n",
-      "{'epoch': 0, 'update in batch': 438, '/': 18563, 'loss': 9.236469268798828}\n",
-      "{'epoch': 0, 'update in batch': 439, '/': 18563, 'loss': 8.904603958129883}\n",
-      "{'epoch': 0, 'update in batch': 440, '/': 18563, 'loss': 8.675701141357422}\n",
-      "{'epoch': 0, 'update in batch': 441, '/': 18563, 'loss': 8.811418533325195}\n",
-      "{'epoch': 0, 'update in batch': 442, '/': 18563, 'loss': 8.002241134643555}\n",
-      "{'epoch': 0, 'update in batch': 443, '/': 18563, 'loss': 9.04414176940918}\n",
-      "{'epoch': 0, 'update in batch': 444, '/': 18563, 'loss': 7.8904008865356445}\n",
-      "{'epoch': 0, 'update in batch': 445, '/': 18563, 'loss': 8.524297714233398}\n",
-      "{'epoch': 0, 'update in batch': 446, '/': 18563, 'loss': 8.615904808044434}\n",
-      "{'epoch': 0, 'update in batch': 447, '/': 18563, 'loss': 8.201675415039062}\n",
-      "{'epoch': 0, 'update in batch': 448, '/': 18563, 'loss': 8.531024932861328}\n",
-      "{'epoch': 0, 'update in batch': 449, '/': 18563, 'loss': 7.8379621505737305}\n",
-      "{'epoch': 0, 'update in batch': 450, '/': 18563, 'loss': 8.416367530822754}\n",
-      "{'epoch': 0, 'update in batch': 451, '/': 18563, 'loss': 7.4990715980529785}\n",
-      "{'epoch': 0, 'update in batch': 452, '/': 18563, 'loss': 7.984610557556152}\n",
-      "{'epoch': 0, 'update in batch': 453, '/': 18563, 'loss': 7.719987392425537}\n",
-      "{'epoch': 0, 'update in batch': 454, '/': 18563, 'loss': 7.9333176612854}\n",
-      "{'epoch': 0, 'update in batch': 455, '/': 18563, 'loss': 8.619344711303711}\n",
-      "{'epoch': 0, 'update in batch': 456, '/': 18563, 'loss': 7.849525451660156}\n",
-      "{'epoch': 0, 'update in batch': 457, '/': 18563, 'loss': 7.700997352600098}\n",
-      "{'epoch': 0, 'update in batch': 458, '/': 18563, 'loss': 8.065767288208008}\n",
-      "{'epoch': 0, 'update in batch': 459, '/': 18563, 'loss': 7.489628791809082}\n",
-      "{'epoch': 0, 'update in batch': 460, '/': 18563, 'loss': 8.036481857299805}\n",
-      "{'epoch': 0, 'update in batch': 461, '/': 18563, 'loss': 8.227537155151367}\n",
-      "{'epoch': 0, 'update in batch': 462, '/': 18563, 'loss': 7.66103982925415}\n",
-      "{'epoch': 0, 'update in batch': 463, '/': 18563, 'loss': 8.481343269348145}\n",
-      "{'epoch': 0, 'update in batch': 464, '/': 18563, 'loss': 8.711318969726562}\n",
-      "{'epoch': 0, 'update in batch': 465, '/': 18563, 'loss': 7.549925804138184}\n",
-      "{'epoch': 0, 'update in batch': 466, '/': 18563, 'loss': 8.020782470703125}\n",
-      "{'epoch': 0, 'update in batch': 467, '/': 18563, 'loss': 7.784451484680176}\n",
-      "{'epoch': 0, 'update in batch': 468, '/': 18563, 'loss': 7.7545928955078125}\n",
-      "{'epoch': 0, 'update in batch': 469, '/': 18563, 'loss': 8.484171867370605}\n",
-      "{'epoch': 0, 'update in batch': 470, '/': 18563, 'loss': 8.291640281677246}\n",
-      "{'epoch': 0, 'update in batch': 471, '/': 18563, 'loss': 7.873322486877441}\n",
-      "{'epoch': 0, 'update in batch': 472, '/': 18563, 'loss': 7.891420841217041}\n",
-      "{'epoch': 0, 'update in batch': 473, '/': 18563, 'loss': 8.376962661743164}\n",
-      "{'epoch': 0, 'update in batch': 474, '/': 18563, 'loss': 8.147513389587402}\n",
-      "{'epoch': 0, 'update in batch': 475, '/': 18563, 'loss': 7.739943027496338}\n",
-      "{'epoch': 0, 'update in batch': 476, '/': 18563, 'loss': 7.52395486831665}\n",
-      "{'epoch': 0, 'update in batch': 477, '/': 18563, 'loss': 7.962507724761963}\n",
-      "{'epoch': 0, 'update in batch': 478, '/': 18563, 'loss': 7.61989688873291}\n",
-      "{'epoch': 0, 'update in batch': 479, '/': 18563, 'loss': 8.628551483154297}\n",
-      "{'epoch': 0, 'update in batch': 480, '/': 18563, 'loss': 10.344924926757812}\n",
-      "{'epoch': 0, 'update in batch': 481, '/': 18563, 'loss': 9.189457893371582}\n",
-      "{'epoch': 0, 'update in batch': 482, '/': 18563, 'loss': 9.283202171325684}\n",
-      "{'epoch': 0, 'update in batch': 483, '/': 18563, 'loss': 8.036226272583008}\n",
-      "{'epoch': 0, 'update in batch': 484, '/': 18563, 'loss': 8.949888229370117}\n",
-      "{'epoch': 0, 'update in batch': 485, '/': 18563, 'loss': 9.32779598236084}\n",
-      "{'epoch': 0, 'update in batch': 486, '/': 18563, 'loss': 9.554967880249023}\n",
-      "{'epoch': 0, 'update in batch': 487, '/': 18563, 'loss': 8.438692092895508}\n",
-      "{'epoch': 0, 'update in batch': 488, '/': 18563, 'loss': 8.015823364257812}\n",
-      "{'epoch': 0, 'update in batch': 489, '/': 18563, 'loss': 8.621005058288574}\n",
-      "{'epoch': 0, 'update in batch': 490, '/': 18563, 'loss': 8.432602882385254}\n",
-      "{'epoch': 0, 'update in batch': 491, '/': 18563, 'loss': 8.659430503845215}\n",
-      "{'epoch': 0, 'update in batch': 492, '/': 18563, 'loss': 8.693103790283203}\n",
-      "{'epoch': 0, 'update in batch': 493, '/': 18563, 'loss': 8.895064353942871}\n"
-     ]
-    },
-    {
-     "ename": "KeyboardInterrupt",
-     "evalue": "",
-     "output_type": "error",
-     "traceback": [
-      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
-      "\u001b[0;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
-      "\u001b[0;32m<ipython-input-18-fe996a0be74b>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[1;32m      1\u001b[0m \u001b[0mmodel\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mModel\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mvocab_size\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mlen\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdataset\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0muniq_words\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mto\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdevice\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 2\u001b[0;31m \u001b[0mtrain\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdataset\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mmodel\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;36m1\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;36m64\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
-      "\u001b[0;32m<ipython-input-17-8d700bc624e3>\u001b[0m in \u001b[0;36mtrain\u001b[0;34m(dataset, model, max_epochs, batch_size)\u001b[0m\n\u001b[1;32m     15\u001b[0m             \u001b[0mloss\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mcriterion\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0my_pred\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mtranspose\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;36m2\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0my\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     16\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 17\u001b[0;31m             \u001b[0mloss\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mbackward\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     18\u001b[0m             \u001b[0moptimizer\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mstep\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     19\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
-      "\u001b[0;32m~/anaconda3/lib/python3.8/site-packages/torch/_tensor.py\u001b[0m in \u001b[0;36mbackward\u001b[0;34m(self, gradient, retain_graph, create_graph, inputs)\u001b[0m\n\u001b[1;32m    361\u001b[0m                 \u001b[0mcreate_graph\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mcreate_graph\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    362\u001b[0m                 inputs=inputs)\n\u001b[0;32m--> 363\u001b[0;31m         \u001b[0mtorch\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mautograd\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mbackward\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mgradient\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mretain_graph\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mcreate_graph\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0minputs\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0minputs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    364\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    365\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0mregister_hook\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mhook\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
-      "\u001b[0;32m~/anaconda3/lib/python3.8/site-packages/torch/autograd/__init__.py\u001b[0m in \u001b[0;36mbackward\u001b[0;34m(tensors, grad_tensors, retain_graph, create_graph, grad_variables, inputs)\u001b[0m\n\u001b[1;32m    171\u001b[0m     \u001b[0;31m# some Python versions print out the first line of a multi-line function\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    172\u001b[0m     \u001b[0;31m# calls in the traceback and some print out the last line\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 173\u001b[0;31m     Variable._execution_engine.run_backward(  # Calls into the C++ engine to run the backward pass\n\u001b[0m\u001b[1;32m    174\u001b[0m         \u001b[0mtensors\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mgrad_tensors_\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mretain_graph\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mcreate_graph\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0minputs\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    175\u001b[0m         allow_unreachable=True, accumulate_grad=True)  # Calls into the C++ engine to run the backward pass\n",
-      "\u001b[0;31mKeyboardInterrupt\u001b[0m: "
+      "{'epoch': 0, 'update in batch': 0, '/': 12375, 'loss': 10.710318565368652}\n",
+      "{'epoch': 0, 'update in batch': 1, '/': 12375, 'loss': 10.693680763244629}\n",
+      "{'epoch': 0, 'update in batch': 2, '/': 12375, 'loss': 10.70435619354248}\n",
+      "{'epoch': 0, 'update in batch': 3, '/': 12375, 'loss': 10.694655418395996}\n",
+      "{'epoch': 0, 'update in batch': 4, '/': 12375, 'loss': 10.684280395507812}\n",
+      "{'epoch': 0, 'update in batch': 5, '/': 12375, 'loss': 10.6857271194458}\n",
+      "{'epoch': 0, 'update in batch': 6, '/': 12375, 'loss': 10.668371200561523}\n",
+      "{'epoch': 0, 'update in batch': 7, '/': 12375, 'loss': 10.683968544006348}\n",
+      "{'epoch': 0, 'update in batch': 8, '/': 12375, 'loss': 10.646549224853516}\n",
+      "{'epoch': 0, 'update in batch': 9, '/': 12375, 'loss': 10.62016487121582}\n",
+      "{'epoch': 0, 'update in batch': 10, '/': 12375, 'loss': 10.522863388061523}\n",
+      "{'epoch': 0, 'update in batch': 11, '/': 12375, 'loss': 10.469602584838867}\n",
+      "{'epoch': 0, 'update in batch': 12, '/': 12375, 'loss': 10.407214164733887}\n",
+      "{'epoch': 0, 'update in batch': 13, '/': 12375, 'loss': 10.29623794555664}\n",
+      "{'epoch': 0, 'update in batch': 14, '/': 12375, 'loss': 10.07206916809082}\n",
+      "{'epoch': 0, 'update in batch': 15, '/': 12375, 'loss': 10.061189651489258}\n",
+      "{'epoch': 0, 'update in batch': 16, '/': 12375, 'loss': 9.968634605407715}\n",
+      "{'epoch': 0, 'update in batch': 17, '/': 12375, 'loss': 9.833099365234375}\n",
+      "{'epoch': 0, 'update in batch': 18, '/': 12375, 'loss': 9.883834838867188}\n",
+      "{'epoch': 0, 'update in batch': 19, '/': 12375, 'loss': 9.832368850708008}\n",
+      "{'epoch': 0, 'update in batch': 20, '/': 12375, 'loss': 9.356722831726074}\n",
+      "{'epoch': 0, 'update in batch': 21, '/': 12375, 'loss': 9.533717155456543}\n",
+      "{'epoch': 0, 'update in batch': 22, '/': 12375, 'loss': 9.17043399810791}\n",
+      "{'epoch': 0, 'update in batch': 23, '/': 12375, 'loss': 9.072491645812988}\n",
+      "{'epoch': 0, 'update in batch': 24, '/': 12375, 'loss': 8.888789176940918}\n",
+      "{'epoch': 0, 'update in batch': 25, '/': 12375, 'loss': 8.637746810913086}\n",
+      "{'epoch': 0, 'update in batch': 26, '/': 12375, 'loss': 8.336576461791992}\n",
+      "{'epoch': 0, 'update in batch': 27, '/': 12375, 'loss': 9.230278968811035}\n",
+      "{'epoch': 0, 'update in batch': 28, '/': 12375, 'loss': 8.682851791381836}\n",
+      "{'epoch': 0, 'update in batch': 29, '/': 12375, 'loss': 8.329132080078125}\n",
+      "{'epoch': 0, 'update in batch': 30, '/': 12375, 'loss': 8.174153327941895}\n",
+      "{'epoch': 0, 'update in batch': 31, '/': 12375, 'loss': 8.968936920166016}\n",
+      "{'epoch': 0, 'update in batch': 32, '/': 12375, 'loss': 8.912945747375488}\n",
+      "{'epoch': 0, 'update in batch': 33, '/': 12375, 'loss': 8.478994369506836}\n",
+      "{'epoch': 0, 'update in batch': 34, '/': 12375, 'loss': 8.440802574157715}\n",
+      "{'epoch': 0, 'update in batch': 35, '/': 12375, 'loss': 9.306493759155273}\n",
+      "{'epoch': 0, 'update in batch': 36, '/': 12375, 'loss': 8.336893081665039}\n",
+      "{'epoch': 0, 'update in batch': 37, '/': 12375, 'loss': 7.9282636642456055}\n",
+      "{'epoch': 0, 'update in batch': 38, '/': 12375, 'loss': 8.685614585876465}\n",
+      "{'epoch': 0, 'update in batch': 39, '/': 12375, 'loss': 8.814720153808594}\n",
+      "{'epoch': 0, 'update in batch': 40, '/': 12375, 'loss': 8.987020492553711}\n",
+      "{'epoch': 0, 'update in batch': 41, '/': 12375, 'loss': 7.763572692871094}\n",
+      "{'epoch': 0, 'update in batch': 42, '/': 12375, 'loss': 7.700388431549072}\n",
+      "{'epoch': 0, 'update in batch': 43, '/': 12375, 'loss': 8.005370140075684}\n",
+      "{'epoch': 0, 'update in batch': 44, '/': 12375, 'loss': 7.829740047454834}\n",
+      "{'epoch': 0, 'update in batch': 45, '/': 12375, 'loss': 7.86748743057251}\n",
+      "{'epoch': 0, 'update in batch': 46, '/': 12375, 'loss': 7.769505977630615}\n",
+      "{'epoch': 0, 'update in batch': 47, '/': 12375, 'loss': 8.228769302368164}\n",
+      "{'epoch': 0, 'update in batch': 48, '/': 12375, 'loss': 9.136531829833984}\n",
+      "{'epoch': 0, 'update in batch': 49, '/': 12375, 'loss': 9.356972694396973}\n",
+      "{'epoch': 0, 'update in batch': 50, '/': 12375, 'loss': 8.601975440979004}\n",
+      "{'epoch': 0, 'update in batch': 51, '/': 12375, 'loss': 7.661484718322754}\n",
+      "{'epoch': 0, 'update in batch': 52, '/': 12375, 'loss': 6.871144771575928}\n",
+      "{'epoch': 0, 'update in batch': 53, '/': 12375, 'loss': 7.987429618835449}\n",
+      "{'epoch': 0, 'update in batch': 54, '/': 12375, 'loss': 8.505003929138184}\n",
+      "{'epoch': 0, 'update in batch': 55, '/': 12375, 'loss': 8.916096687316895}\n",
+      "{'epoch': 0, 'update in batch': 56, '/': 12375, 'loss': 8.419203758239746}\n",
+      "{'epoch': 0, 'update in batch': 57, '/': 12375, 'loss': 8.938231468200684}\n",
+      "{'epoch': 0, 'update in batch': 58, '/': 12375, 'loss': 8.64530086517334}\n",
+      "{'epoch': 0, 'update in batch': 59, '/': 12375, 'loss': 9.44839096069336}\n",
+      "{'epoch': 0, 'update in batch': 60, '/': 12375, 'loss': 8.670633316040039}\n",
+      "{'epoch': 0, 'update in batch': 61, '/': 12375, 'loss': 8.741571426391602}\n",
+      "{'epoch': 0, 'update in batch': 62, '/': 12375, 'loss': 8.934233665466309}\n",
+      "{'epoch': 0, 'update in batch': 63, '/': 12375, 'loss': 8.237250328063965}\n",
+      "{'epoch': 0, 'update in batch': 64, '/': 12375, 'loss': 9.26861572265625}\n",
+      "{'epoch': 0, 'update in batch': 65, '/': 12375, 'loss': 8.856167793273926}\n",
+      "{'epoch': 0, 'update in batch': 66, '/': 12375, 'loss': 8.305023193359375}\n",
+      "{'epoch': 0, 'update in batch': 67, '/': 12375, 'loss': 8.529101371765137}\n",
+      "{'epoch': 0, 'update in batch': 68, '/': 12375, 'loss': 8.768119812011719}\n",
+      "{'epoch': 0, 'update in batch': 69, '/': 12375, 'loss': 9.176912307739258}\n",
+      "{'epoch': 0, 'update in batch': 70, '/': 12375, 'loss': 8.978748321533203}\n",
+      "{'epoch': 0, 'update in batch': 71, '/': 12375, 'loss': 9.033090591430664}\n",
+      "{'epoch': 0, 'update in batch': 72, '/': 12375, 'loss': 7.890856742858887}\n",
+      "{'epoch': 0, 'update in batch': 73, '/': 12375, 'loss': 8.722772598266602}\n",
+      "{'epoch': 0, 'update in batch': 74, '/': 12375, 'loss': 7.3328537940979}\n",
+      "{'epoch': 0, 'update in batch': 75, '/': 12375, 'loss': 8.747648239135742}\n",
+      "{'epoch': 0, 'update in batch': 76, '/': 12375, 'loss': 8.758621215820312}\n",
+      "{'epoch': 0, 'update in batch': 77, '/': 12375, 'loss': 7.302281856536865}\n",
+      "{'epoch': 0, 'update in batch': 78, '/': 12375, 'loss': 8.361252784729004}\n",
+      "{'epoch': 0, 'update in batch': 79, '/': 12375, 'loss': 7.885293483734131}\n",
+      "{'epoch': 0, 'update in batch': 80, '/': 12375, 'loss': 8.98832893371582}\n",
+      "{'epoch': 0, 'update in batch': 81, '/': 12375, 'loss': 8.247644424438477}\n",
+      "{'epoch': 0, 'update in batch': 82, '/': 12375, 'loss': 7.8975324630737305}\n",
+      "{'epoch': 0, 'update in batch': 83, '/': 12375, 'loss': 8.179590225219727}\n",
+      "{'epoch': 0, 'update in batch': 84, '/': 12375, 'loss': 8.110089302062988}\n",
+      "{'epoch': 0, 'update in batch': 85, '/': 12375, 'loss': 8.055280685424805}\n",
+      "{'epoch': 0, 'update in batch': 86, '/': 12375, 'loss': 8.534408569335938}\n",
+      "{'epoch': 0, 'update in batch': 87, '/': 12375, 'loss': 7.998360633850098}\n",
+      "{'epoch': 0, 'update in batch': 88, '/': 12375, 'loss': 8.43722915649414}\n",
+      "{'epoch': 0, 'update in batch': 89, '/': 12375, 'loss': 8.836885452270508}\n",
+      "{'epoch': 0, 'update in batch': 90, '/': 12375, 'loss': 9.728204727172852}\n",
+      "{'epoch': 0, 'update in batch': 91, '/': 12375, 'loss': 8.726301193237305}\n",
+      "{'epoch': 0, 'update in batch': 92, '/': 12375, 'loss': 9.540400505065918}\n",
+      "{'epoch': 0, 'update in batch': 93, '/': 12375, 'loss': 9.393156051635742}\n",
+      "{'epoch': 0, 'update in batch': 94, '/': 12375, 'loss': 8.759965896606445}\n",
+      "{'epoch': 0, 'update in batch': 95, '/': 12375, 'loss': 8.510289192199707}\n",
+      "{'epoch': 0, 'update in batch': 96, '/': 12375, 'loss': 8.010010719299316}\n",
+      "{'epoch': 0, 'update in batch': 97, '/': 12375, 'loss': 9.33825969696045}\n",
+      "{'epoch': 0, 'update in batch': 98, '/': 12375, 'loss': 8.396617889404297}\n",
+      "{'epoch': 0, 'update in batch': 99, '/': 12375, 'loss': 8.91710376739502}\n",
+      "{'epoch': 0, 'update in batch': 100, '/': 12375, 'loss': 7.847705841064453}\n",
+      "{'epoch': 0, 'update in batch': 101, '/': 12375, 'loss': 8.354966163635254}\n",
+      "{'epoch': 0, 'update in batch': 102, '/': 12375, 'loss': 8.461328506469727}\n",
+      "{'epoch': 0, 'update in batch': 103, '/': 12375, 'loss': 7.487630367279053}\n",
+      "{'epoch': 0, 'update in batch': 104, '/': 12375, 'loss': 8.258058547973633}\n",
+      "{'epoch': 0, 'update in batch': 105, '/': 12375, 'loss': 8.17759895324707}\n",
+      "{'epoch': 0, 'update in batch': 106, '/': 12375, 'loss': 8.246644020080566}\n",
+      "{'epoch': 0, 'update in batch': 107, '/': 12375, 'loss': 8.352754592895508}\n",
+      "{'epoch': 0, 'update in batch': 108, '/': 12375, 'loss': 8.0974760055542}\n",
+      "{'epoch': 0, 'update in batch': 109, '/': 12375, 'loss': 7.878744602203369}\n",
+      "{'epoch': 0, 'update in batch': 110, '/': 12375, 'loss': 7.3794145584106445}\n",
+      "{'epoch': 0, 'update in batch': 111, '/': 12375, 'loss': 8.524479866027832}\n",
+      "{'epoch': 0, 'update in batch': 112, '/': 12375, 'loss': 7.806278228759766}\n",
+      "{'epoch': 0, 'update in batch': 113, '/': 12375, 'loss': 8.09955883026123}\n",
+      "{'epoch': 0, 'update in batch': 114, '/': 12375, 'loss': 8.182210922241211}\n",
+      "{'epoch': 0, 'update in batch': 115, '/': 12375, 'loss': 8.724764823913574}\n",
+      "{'epoch': 0, 'update in batch': 116, '/': 12375, 'loss': 8.512264251708984}\n",
+      "{'epoch': 0, 'update in batch': 117, '/': 12375, 'loss': 8.235206604003906}\n",
+      "{'epoch': 0, 'update in batch': 118, '/': 12375, 'loss': 8.475767135620117}\n",
+      "{'epoch': 0, 'update in batch': 119, '/': 12375, 'loss': 8.652292251586914}\n",
+      "{'epoch': 0, 'update in batch': 120, '/': 12375, 'loss': 8.205183029174805}\n",
+      "{'epoch': 0, 'update in batch': 121, '/': 12375, 'loss': 8.091463088989258}\n",
+      "{'epoch': 0, 'update in batch': 122, '/': 12375, 'loss': 8.98341178894043}\n",
+      "{'epoch': 0, 'update in batch': 123, '/': 12375, 'loss': 7.939891815185547}\n",
+      "{'epoch': 0, 'update in batch': 124, '/': 12375, 'loss': 8.197284698486328}\n",
+      "{'epoch': 0, 'update in batch': 125, '/': 12375, 'loss': 8.47532844543457}\n",
+      "{'epoch': 0, 'update in batch': 126, '/': 12375, 'loss': 8.811441421508789}\n",
+      "{'epoch': 0, 'update in batch': 127, '/': 12375, 'loss': 8.389307975769043}\n",
+      "{'epoch': 0, 'update in batch': 128, '/': 12375, 'loss': 8.998444557189941}\n",
+      "{'epoch': 0, 'update in batch': 129, '/': 12375, 'loss': 8.529580116271973}\n",
+      "{'epoch': 0, 'update in batch': 130, '/': 12375, 'loss': 9.04904842376709}\n",
+      "{'epoch': 0, 'update in batch': 131, '/': 12375, 'loss': 8.761802673339844}\n",
+      "{'epoch': 0, 'update in batch': 132, '/': 12375, 'loss': 8.77878189086914}\n",
+      "{'epoch': 0, 'update in batch': 133, '/': 12375, 'loss': 8.372576713562012}\n",
+      "{'epoch': 0, 'update in batch': 134, '/': 12375, 'loss': 8.468087196350098}\n",
+      "{'epoch': 0, 'update in batch': 135, '/': 12375, 'loss': 7.950932502746582}\n",
+      "{'epoch': 0, 'update in batch': 136, '/': 12375, 'loss': 8.191315650939941}\n",
+      "{'epoch': 0, 'update in batch': 137, '/': 12375, 'loss': 8.57030963897705}\n",
+      "{'epoch': 0, 'update in batch': 138, '/': 12375, 'loss': 7.72934627532959}\n",
+      "{'epoch': 0, 'update in batch': 139, '/': 12375, 'loss': 8.411352157592773}\n",
+      "{'epoch': 0, 'update in batch': 140, '/': 12375, 'loss': 8.620169639587402}\n",
+      "{'epoch': 0, 'update in batch': 141, '/': 12375, 'loss': 8.507452011108398}\n",
+      "{'epoch': 0, 'update in batch': 142, '/': 12375, 'loss': 8.446889877319336}\n",
+      "{'epoch': 0, 'update in batch': 143, '/': 12375, 'loss': 8.006467819213867}\n",
+      "{'epoch': 0, 'update in batch': 144, '/': 12375, 'loss': 7.545057773590088}\n",
+      "{'epoch': 0, 'update in batch': 145, '/': 12375, 'loss': 7.3930182456970215}\n",
+      "{'epoch': 0, 'update in batch': 146, '/': 12375, 'loss': 8.009675979614258}\n",
+      "{'epoch': 0, 'update in batch': 147, '/': 12375, 'loss': 8.808243751525879}\n",
+      "{'epoch': 0, 'update in batch': 148, '/': 12375, 'loss': 8.079607009887695}\n",
+      "{'epoch': 0, 'update in batch': 149, '/': 12375, 'loss': 8.545385360717773}\n",
+      "{'epoch': 0, 'update in batch': 150, '/': 12375, 'loss': 8.363463401794434}\n",
+      "{'epoch': 0, 'update in batch': 151, '/': 12375, 'loss': 7.937243461608887}\n",
+      "{'epoch': 0, 'update in batch': 152, '/': 12375, 'loss': 7.958495140075684}\n",
+      "{'epoch': 0, 'update in batch': 153, '/': 12375, 'loss': 8.021665573120117}\n",
+      "{'epoch': 0, 'update in batch': 154, '/': 12375, 'loss': 7.914525032043457}\n",
+      "{'epoch': 0, 'update in batch': 155, '/': 12375, 'loss': 7.992331504821777}\n",
+      "{'epoch': 0, 'update in batch': 156, '/': 12375, 'loss': 8.235372543334961}\n",
+      "{'epoch': 0, 'update in batch': 157, '/': 12375, 'loss': 7.759339332580566}\n",
+      "{'epoch': 0, 'update in batch': 158, '/': 12375, 'loss': 7.541487216949463}\n",
+      "{'epoch': 0, 'update in batch': 159, '/': 12375, 'loss': 7.965732574462891}\n",
+      "{'epoch': 0, 'update in batch': 160, '/': 12375, 'loss': 8.1327543258667}\n",
+      "{'epoch': 0, 'update in batch': 161, '/': 12375, 'loss': 7.814107418060303}\n",
+      "{'epoch': 0, 'update in batch': 162, '/': 12375, 'loss': 7.786914825439453}\n",
+      "{'epoch': 0, 'update in batch': 163, '/': 12375, 'loss': 7.979787349700928}\n",
+      "{'epoch': 0, 'update in batch': 164, '/': 12375, 'loss': 7.945162296295166}\n",
+      "{'epoch': 0, 'update in batch': 165, '/': 12375, 'loss': 7.709054470062256}\n",
+      "{'epoch': 0, 'update in batch': 166, '/': 12375, 'loss': 7.958776950836182}\n",
+      "{'epoch': 0, 'update in batch': 167, '/': 12375, 'loss': 7.727649688720703}\n",
+      "{'epoch': 0, 'update in batch': 168, '/': 12375, 'loss': 8.684346199035645}\n",
+      "{'epoch': 0, 'update in batch': 169, '/': 12375, 'loss': 7.829897403717041}\n",
+      "{'epoch': 0, 'update in batch': 170, '/': 12375, 'loss': 7.338871002197266}\n",
+      "{'epoch': 0, 'update in batch': 171, '/': 12375, 'loss': 7.970673561096191}\n",
+      "{'epoch': 0, 'update in batch': 172, '/': 12375, 'loss': 7.481202125549316}\n",
+      "{'epoch': 0, 'update in batch': 173, '/': 12375, 'loss': 8.054027557373047}\n",
+      "{'epoch': 0, 'update in batch': 174, '/': 12375, 'loss': 8.251951217651367}\n",
+      "{'epoch': 0, 'update in batch': 175, '/': 12375, 'loss': 8.570075035095215}\n",
+      "{'epoch': 0, 'update in batch': 176, '/': 12375, 'loss': 7.616578102111816}\n",
+      "{'epoch': 0, 'update in batch': 177, '/': 12375, 'loss': 8.682151794433594}\n",
+      "{'epoch': 0, 'update in batch': 178, '/': 12375, 'loss': 9.09521484375}\n",
+      "{'epoch': 0, 'update in batch': 179, '/': 12375, 'loss': 8.601408958435059}\n",
+      "{'epoch': 0, 'update in batch': 180, '/': 12375, 'loss': 8.44300651550293}\n",
+      "{'epoch': 0, 'update in batch': 181, '/': 12375, 'loss': 9.215551376342773}\n",
+      "{'epoch': 0, 'update in batch': 182, '/': 12375, 'loss': 8.310100555419922}\n",
+      "{'epoch': 0, 'update in batch': 183, '/': 12375, 'loss': 8.368395805358887}\n",
+      "{'epoch': 0, 'update in batch': 184, '/': 12375, 'loss': 8.486255645751953}\n",
+      "{'epoch': 0, 'update in batch': 185, '/': 12375, 'loss': 9.207718849182129}\n",
+      "{'epoch': 0, 'update in batch': 186, '/': 12375, 'loss': 8.99178409576416}\n",
+      "{'epoch': 0, 'update in batch': 187, '/': 12375, 'loss': 8.31136703491211}\n",
+      "{'epoch': 0, 'update in batch': 188, '/': 12375, 'loss': 7.5449066162109375}\n",
+      "{'epoch': 0, 'update in batch': 189, '/': 12375, 'loss': 8.014522552490234}\n",
+      "{'epoch': 0, 'update in batch': 190, '/': 12375, 'loss': 8.169916152954102}\n",
+      "{'epoch': 0, 'update in batch': 191, '/': 12375, 'loss': 8.215900421142578}\n",
+      "{'epoch': 0, 'update in batch': 192, '/': 12375, 'loss': 7.858798027038574}\n",
+      "{'epoch': 0, 'update in batch': 193, '/': 12375, 'loss': 8.399937629699707}\n",
+      "{'epoch': 0, 'update in batch': 194, '/': 12375, 'loss': 7.973581790924072}\n",
+      "{'epoch': 0, 'update in batch': 195, '/': 12375, 'loss': 7.824324607849121}\n",
+      "{'epoch': 0, 'update in batch': 196, '/': 12375, 'loss': 7.231734275817871}\n",
+      "{'epoch': 0, 'update in batch': 197, '/': 12375, 'loss': 7.738100528717041}\n",
+      "{'epoch': 0, 'update in batch': 198, '/': 12375, 'loss': 7.8427228927612305}\n",
+      "{'epoch': 0, 'update in batch': 199, '/': 12375, 'loss': 7.6280517578125}\n",
+      "{'epoch': 0, 'update in batch': 200, '/': 12375, 'loss': 8.0324125289917}\n",
+      "{'epoch': 0, 'update in batch': 201, '/': 12375, 'loss': 7.310630798339844}\n",
+      "{'epoch': 0, 'update in batch': 202, '/': 12375, 'loss': 8.074710845947266}\n",
+      "{'epoch': 0, 'update in batch': 203, '/': 12375, 'loss': 8.839062690734863}\n",
+      "{'epoch': 0, 'update in batch': 204, '/': 12375, 'loss': 8.354622840881348}\n",
+      "{'epoch': 0, 'update in batch': 205, '/': 12375, 'loss': 7.869570732116699}\n",
+      "{'epoch': 0, 'update in batch': 206, '/': 12375, 'loss': 7.717841148376465}\n",
+      "{'epoch': 0, 'update in batch': 207, '/': 12375, 'loss': 7.802210330963135}\n",
+      "{'epoch': 0, 'update in batch': 208, '/': 12375, 'loss': 8.349334716796875}\n",
+      "{'epoch': 0, 'update in batch': 209, '/': 12375, 'loss': 8.25244426727295}\n",
+      "{'epoch': 0, 'update in batch': 210, '/': 12375, 'loss': 7.958981513977051}\n",
+      "{'epoch': 0, 'update in batch': 211, '/': 12375, 'loss': 8.529827117919922}\n",
+      "{'epoch': 0, 'update in batch': 212, '/': 12375, 'loss': 8.560365676879883}\n",
+      "{'epoch': 0, 'update in batch': 213, '/': 12375, 'loss': 8.537152290344238}\n",
+      "{'epoch': 0, 'update in batch': 214, '/': 12375, 'loss': 7.7243804931640625}\n",
+      "{'epoch': 0, 'update in batch': 215, '/': 12375, 'loss': 8.331186294555664}\n",
+      "{'epoch': 0, 'update in batch': 216, '/': 12375, 'loss': 7.416395664215088}\n",
+      "{'epoch': 0, 'update in batch': 217, '/': 12375, 'loss': 7.983005523681641}\n",
+      "{'epoch': 0, 'update in batch': 218, '/': 12375, 'loss': 8.873346328735352}\n",
+      "{'epoch': 0, 'update in batch': 219, '/': 12375, 'loss': 7.925095558166504}\n",
+      "{'epoch': 0, 'update in batch': 220, '/': 12375, 'loss': 8.171892166137695}\n",
+      "{'epoch': 0, 'update in batch': 221, '/': 12375, 'loss': 7.732046604156494}\n",
+      "{'epoch': 0, 'update in batch': 222, '/': 12375, 'loss': 7.71375036239624}\n",
+      "{'epoch': 0, 'update in batch': 223, '/': 12375, 'loss': 8.605558395385742}\n",
+      "{'epoch': 0, 'update in batch': 224, '/': 12375, 'loss': 8.215682029724121}\n",
+      "{'epoch': 0, 'update in batch': 225, '/': 12375, 'loss': 8.359691619873047}\n",
+      "{'epoch': 0, 'update in batch': 226, '/': 12375, 'loss': 8.044483184814453}\n",
+      "{'epoch': 0, 'update in batch': 227, '/': 12375, 'loss': 8.598915100097656}\n",
+      "{'epoch': 0, 'update in batch': 228, '/': 12375, 'loss': 8.967679023742676}\n",
+      "{'epoch': 0, 'update in batch': 229, '/': 12375, 'loss': 8.428939819335938}\n",
+      "{'epoch': 0, 'update in batch': 230, '/': 12375, 'loss': 8.28105640411377}\n",
+      "{'epoch': 0, 'update in batch': 231, '/': 12375, 'loss': 8.252440452575684}\n",
+      "{'epoch': 0, 'update in batch': 232, '/': 12375, 'loss': 7.6014862060546875}\n",
+      "{'epoch': 0, 'update in batch': 233, '/': 12375, 'loss': 7.840754508972168}\n",
+      "{'epoch': 0, 'update in batch': 234, '/': 12375, 'loss': 8.120664596557617}\n",
+      "{'epoch': 0, 'update in batch': 235, '/': 12375, 'loss': 7.611783027648926}\n",
+      "{'epoch': 0, 'update in batch': 236, '/': 12375, 'loss': 7.877699851989746}\n",
+      "{'epoch': 0, 'update in batch': 237, '/': 12375, 'loss': 7.083685874938965}\n",
+      "{'epoch': 0, 'update in batch': 238, '/': 12375, 'loss': 8.017073631286621}\n",
+      "{'epoch': 0, 'update in batch': 239, '/': 12375, 'loss': 7.213120937347412}\n",
+      "{'epoch': 0, 'update in batch': 240, '/': 12375, 'loss': 7.189241886138916}\n",
+      "{'epoch': 0, 'update in batch': 241, '/': 12375, 'loss': 7.114510536193848}\n",
+      "{'epoch': 0, 'update in batch': 242, '/': 12375, 'loss': 7.697664737701416}\n",
+      "{'epoch': 0, 'update in batch': 243, '/': 12375, 'loss': 7.686068058013916}\n",
+      "{'epoch': 0, 'update in batch': 244, '/': 12375, 'loss': 8.208688735961914}\n",
+      "{'epoch': 0, 'update in batch': 245, '/': 12375, 'loss': 8.214564323425293}\n",
+      "{'epoch': 0, 'update in batch': 246, '/': 12375, 'loss': 9.061302185058594}\n",
+      "{'epoch': 0, 'update in batch': 247, '/': 12375, 'loss': 8.298532485961914}\n",
+      "{'epoch': 0, 'update in batch': 248, '/': 12375, 'loss': 9.042818069458008}\n",
+      "{'epoch': 0, 'update in batch': 249, '/': 12375, 'loss': 8.58835506439209}\n",
+      "{'epoch': 0, 'update in batch': 250, '/': 12375, 'loss': 9.01804256439209}\n",
+      "{'epoch': 0, 'update in batch': 251, '/': 12375, 'loss': 8.736795425415039}\n",
+      "{'epoch': 0, 'update in batch': 252, '/': 12375, 'loss': 8.771344184875488}\n",
+      "{'epoch': 0, 'update in batch': 253, '/': 12375, 'loss': 8.677389144897461}\n",
+      "{'epoch': 0, 'update in batch': 254, '/': 12375, 'loss': 8.640925407409668}\n",
+      "{'epoch': 0, 'update in batch': 255, '/': 12375, 'loss': 7.733162879943848}\n",
+      "{'epoch': 0, 'update in batch': 256, '/': 12375, 'loss': 7.85455846786499}\n",
+      "{'epoch': 0, 'update in batch': 257, '/': 12375, 'loss': 7.707283020019531}\n",
+      "{'epoch': 0, 'update in batch': 258, '/': 12375, 'loss': 7.63476037979126}\n",
+      "{'epoch': 0, 'update in batch': 259, '/': 12375, 'loss': 7.949923515319824}\n",
+      "{'epoch': 0, 'update in batch': 260, '/': 12375, 'loss': 7.712798118591309}\n",
+      "{'epoch': 0, 'update in batch': 261, '/': 12375, 'loss': 7.375235557556152}\n",
+      "{'epoch': 0, 'update in batch': 262, '/': 12375, 'loss': 8.210198402404785}\n",
+      "{'epoch': 0, 'update in batch': 263, '/': 12375, 'loss': 7.2699174880981445}\n",
+      "{'epoch': 0, 'update in batch': 264, '/': 12375, 'loss': 7.19118595123291}\n",
+      "{'epoch': 0, 'update in batch': 265, '/': 12375, 'loss': 9.053418159484863}\n",
+      "{'epoch': 0, 'update in batch': 266, '/': 12375, 'loss': 7.83050012588501}\n",
+      "{'epoch': 0, 'update in batch': 267, '/': 12375, 'loss': 7.742148399353027}\n",
+      "{'epoch': 0, 'update in batch': 268, '/': 12375, 'loss': 8.014388084411621}\n",
+      "{'epoch': 0, 'update in batch': 269, '/': 12375, 'loss': 7.675756931304932}\n",
+      "{'epoch': 0, 'update in batch': 270, '/': 12375, 'loss': 7.766026973724365}\n",
+      "{'epoch': 0, 'update in batch': 271, '/': 12375, 'loss': 7.615515232086182}\n",
+      "{'epoch': 0, 'update in batch': 272, '/': 12375, 'loss': 8.461370468139648}\n",
+      "{'epoch': 0, 'update in batch': 273, '/': 12375, 'loss': 8.771925926208496}\n",
+      "{'epoch': 0, 'update in batch': 274, '/': 12375, 'loss': 7.920748710632324}\n",
+      "{'epoch': 0, 'update in batch': 275, '/': 12375, 'loss': 7.781884670257568}\n",
+      "{'epoch': 0, 'update in batch': 276, '/': 12375, 'loss': 7.715609073638916}\n",
+      "{'epoch': 0, 'update in batch': 277, '/': 12375, 'loss': 8.771204948425293}\n",
+      "{'epoch': 0, 'update in batch': 278, '/': 12375, 'loss': 7.7049407958984375}\n",
+      "{'epoch': 0, 'update in batch': 279, '/': 12375, 'loss': 7.696520805358887}\n",
+      "{'epoch': 0, 'update in batch': 280, '/': 12375, 'loss': 7.422115325927734}\n",
+      "{'epoch': 0, 'update in batch': 281, '/': 12375, 'loss': 7.747969150543213}\n",
+      "{'epoch': 0, 'update in batch': 282, '/': 12375, 'loss': 7.5732598304748535}\n",
+      "{'epoch': 0, 'update in batch': 283, '/': 12375, 'loss': 7.504990577697754}\n",
+      "{'epoch': 0, 'update in batch': 284, '/': 12375, 'loss': 7.39251184463501}\n",
+      "{'epoch': 0, 'update in batch': 285, '/': 12375, 'loss': 7.529364585876465}\n",
+      "{'epoch': 0, 'update in batch': 286, '/': 12375, 'loss': 7.858753204345703}\n",
+      "{'epoch': 0, 'update in batch': 287, '/': 12375, 'loss': 7.607044219970703}\n",
+      "{'epoch': 0, 'update in batch': 288, '/': 12375, 'loss': 7.315167427062988}\n",
+      "{'epoch': 0, 'update in batch': 289, '/': 12375, 'loss': 7.500532627105713}\n",
+      "{'epoch': 0, 'update in batch': 290, '/': 12375, 'loss': 7.275048732757568}\n",
+      "{'epoch': 0, 'update in batch': 291, '/': 12375, 'loss': 7.90354061126709}\n",
+      "{'epoch': 0, 'update in batch': 292, '/': 12375, 'loss': 8.113839149475098}\n",
+      "{'epoch': 0, 'update in batch': 293, '/': 12375, 'loss': 6.6735100746154785}\n",
+      "{'epoch': 0, 'update in batch': 294, '/': 12375, 'loss': 8.055696487426758}\n",
+      "{'epoch': 0, 'update in batch': 295, '/': 12375, 'loss': 7.421622276306152}\n",
+      "{'epoch': 0, 'update in batch': 296, '/': 12375, 'loss': 7.5050787925720215}\n",
+      "{'epoch': 0, 'update in batch': 297, '/': 12375, 'loss': 7.950784206390381}\n",
+      "{'epoch': 0, 'update in batch': 298, '/': 12375, 'loss': 7.800144195556641}\n",
+      "{'epoch': 0, 'update in batch': 299, '/': 12375, 'loss': 7.665869235992432}\n",
+      "{'epoch': 0, 'update in batch': 300, '/': 12375, 'loss': 7.654608249664307}\n",
+      "{'epoch': 0, 'update in batch': 301, '/': 12375, 'loss': 7.511091709136963}\n",
+      "{'epoch': 0, 'update in batch': 302, '/': 12375, 'loss': 7.177582740783691}\n",
+      "{'epoch': 0, 'update in batch': 303, '/': 12375, 'loss': 7.137326717376709}\n",
+      "{'epoch': 0, 'update in batch': 304, '/': 12375, 'loss': 7.669043064117432}\n",
+      "{'epoch': 0, 'update in batch': 305, '/': 12375, 'loss': 8.061796188354492}\n",
+      "{'epoch': 0, 'update in batch': 306, '/': 12375, 'loss': 7.335538387298584}\n",
+      "{'epoch': 0, 'update in batch': 307, '/': 12375, 'loss': 8.017043113708496}\n",
+      "{'epoch': 0, 'update in batch': 308, '/': 12375, 'loss': 7.515000343322754}\n",
+      "{'epoch': 0, 'update in batch': 309, '/': 12375, 'loss': 7.696110725402832}\n",
+      "{'epoch': 0, 'update in batch': 310, '/': 12375, 'loss': 8.405323028564453}\n",
+      "{'epoch': 0, 'update in batch': 311, '/': 12375, 'loss': 8.082254409790039}\n",
+      "{'epoch': 0, 'update in batch': 312, '/': 12375, 'loss': 9.014843940734863}\n",
+      "{'epoch': 0, 'update in batch': 313, '/': 12375, 'loss': 8.925437927246094}\n",
+      "{'epoch': 0, 'update in batch': 314, '/': 12375, 'loss': 8.747818946838379}\n",
+      "{'epoch': 0, 'update in batch': 315, '/': 12375, 'loss': 8.777884483337402}\n",
+      "{'epoch': 0, 'update in batch': 316, '/': 12375, 'loss': 8.723787307739258}\n",
+      "{'epoch': 0, 'update in batch': 317, '/': 12375, 'loss': 8.841382026672363}\n",
+      "{'epoch': 0, 'update in batch': 318, '/': 12375, 'loss': 8.569735527038574}\n",
+      "{'epoch': 0, 'update in batch': 319, '/': 12375, 'loss': 9.335208892822266}\n",
+      "{'epoch': 0, 'update in batch': 320, '/': 12375, 'loss': 8.458579063415527}\n",
+      "{'epoch': 0, 'update in batch': 321, '/': 12375, 'loss': 8.768143653869629}\n",
+      "{'epoch': 0, 'update in batch': 322, '/': 12375, 'loss': 8.442880630493164}\n",
+      "{'epoch': 0, 'update in batch': 323, '/': 12375, 'loss': 8.419902801513672}\n",
+      "{'epoch': 0, 'update in batch': 324, '/': 12375, 'loss': 7.8940019607543945}\n",
+      "{'epoch': 0, 'update in batch': 325, '/': 12375, 'loss': 8.840455055236816}\n",
+      "{'epoch': 0, 'update in batch': 326, '/': 12375, 'loss': 8.217597961425781}\n",
+      "{'epoch': 0, 'update in batch': 327, '/': 12375, 'loss': 8.490757942199707}\n",
+      "{'epoch': 0, 'update in batch': 328, '/': 12375, 'loss': 7.376702308654785}\n",
+      "{'epoch': 0, 'update in batch': 329, '/': 12375, 'loss': 8.528472900390625}\n",
+      "{'epoch': 0, 'update in batch': 330, '/': 12375, 'loss': 8.58436393737793}\n",
+      "{'epoch': 0, 'update in batch': 331, '/': 12375, 'loss': 8.315971374511719}\n",
+      "{'epoch': 0, 'update in batch': 332, '/': 12375, 'loss': 8.534619331359863}\n",
+      "{'epoch': 0, 'update in batch': 333, '/': 12375, 'loss': 7.779061317443848}\n",
+      "{'epoch': 0, 'update in batch': 334, '/': 12375, 'loss': 8.413557052612305}\n",
+      "{'epoch': 0, 'update in batch': 335, '/': 12375, 'loss': 8.373842239379883}\n",
+      "{'epoch': 0, 'update in batch': 336, '/': 12375, 'loss': 8.168182373046875}\n",
+      "{'epoch': 0, 'update in batch': 337, '/': 12375, 'loss': 8.00090217590332}\n",
+      "{'epoch': 0, 'update in batch': 338, '/': 12375, 'loss': 8.480148315429688}\n",
+      "{'epoch': 0, 'update in batch': 339, '/': 12375, 'loss': 9.027563095092773}\n",
+      "{'epoch': 0, 'update in batch': 340, '/': 12375, 'loss': 8.337215423583984}\n",
+      "{'epoch': 0, 'update in batch': 341, '/': 12375, 'loss': 8.314292907714844}\n",
+      "{'epoch': 0, 'update in batch': 342, '/': 12375, 'loss': 7.755853176116943}\n",
+      "{'epoch': 0, 'update in batch': 343, '/': 12375, 'loss': 8.810187339782715}\n",
+      "{'epoch': 0, 'update in batch': 344, '/': 12375, 'loss': 8.105353355407715}\n",
+      "{'epoch': 0, 'update in batch': 345, '/': 12375, 'loss': 8.1663818359375}\n",
+      "{'epoch': 0, 'update in batch': 346, '/': 12375, 'loss': 8.335625648498535}\n",
+      "{'epoch': 0, 'update in batch': 347, '/': 12375, 'loss': 9.058267593383789}\n",
+      "{'epoch': 0, 'update in batch': 348, '/': 12375, 'loss': 8.70178508758545}\n",
+      "{'epoch': 0, 'update in batch': 349, '/': 12375, 'loss': 8.624856948852539}\n",
+      "{'epoch': 0, 'update in batch': 350, '/': 12375, 'loss': 8.178960800170898}\n",
+      "{'epoch': 0, 'update in batch': 351, '/': 12375, 'loss': 7.946358680725098}\n",
+      "{'epoch': 0, 'update in batch': 352, '/': 12375, 'loss': 7.835105895996094}\n",
+      "{'epoch': 0, 'update in batch': 353, '/': 12375, 'loss': 7.975869655609131}\n",
+      "{'epoch': 0, 'update in batch': 354, '/': 12375, 'loss': 8.26621150970459}\n",
+      "{'epoch': 0, 'update in batch': 355, '/': 12375, 'loss': 7.861072540283203}\n",
+      "{'epoch': 0, 'update in batch': 356, '/': 12375, 'loss': 8.150449752807617}\n",
+      "{'epoch': 0, 'update in batch': 357, '/': 12375, 'loss': 7.7439751625061035}\n",
+      "{'epoch': 0, 'update in batch': 358, '/': 12375, 'loss': 8.418899536132812}\n",
+      "{'epoch': 0, 'update in batch': 359, '/': 12375, 'loss': 8.356807708740234}\n",
+      "{'epoch': 0, 'update in batch': 360, '/': 12375, 'loss': 8.110010147094727}\n",
+      "{'epoch': 0, 'update in batch': 361, '/': 12375, 'loss': 8.104013442993164}\n",
+      "{'epoch': 0, 'update in batch': 362, '/': 12375, 'loss': 8.067903518676758}\n",
+      "{'epoch': 0, 'update in batch': 363, '/': 12375, 'loss': 7.686253547668457}\n",
+      "{'epoch': 0, 'update in batch': 364, '/': 12375, 'loss': 7.671712398529053}\n",
+      "{'epoch': 0, 'update in batch': 365, '/': 12375, 'loss': 7.549119472503662}\n",
+      "{'epoch': 0, 'update in batch': 366, '/': 12375, 'loss': 8.59018611907959}\n",
+      "{'epoch': 0, 'update in batch': 367, '/': 12375, 'loss': 7.9729180335998535}\n",
+      "{'epoch': 0, 'update in batch': 368, '/': 12375, 'loss': 8.327317237854004}\n",
+      "{'epoch': 0, 'update in batch': 369, '/': 12375, 'loss': 7.5919189453125}\n",
+      "{'epoch': 0, 'update in batch': 370, '/': 12375, 'loss': 7.677215576171875}\n",
+      "{'epoch': 0, 'update in batch': 371, '/': 12375, 'loss': 7.807799339294434}\n",
+      "{'epoch': 0, 'update in batch': 372, '/': 12375, 'loss': 8.483665466308594}\n",
+      "{'epoch': 0, 'update in batch': 373, '/': 12375, 'loss': 7.992245674133301}\n",
+      "{'epoch': 0, 'update in batch': 374, '/': 12375, 'loss': 8.23680591583252}\n",
+      "{'epoch': 0, 'update in batch': 375, '/': 12375, 'loss': 7.652766227722168}\n",
+      "{'epoch': 0, 'update in batch': 376, '/': 12375, 'loss': 8.182389259338379}\n",
+      "{'epoch': 0, 'update in batch': 377, '/': 12375, 'loss': 8.599702835083008}\n",
+      "{'epoch': 0, 'update in batch': 378, '/': 12375, 'loss': 9.406425476074219}\n",
+      "{'epoch': 0, 'update in batch': 379, '/': 12375, 'loss': 9.099693298339844}\n",
+      "{'epoch': 0, 'update in batch': 380, '/': 12375, 'loss': 8.036970138549805}\n",
+      "{'epoch': 0, 'update in batch': 381, '/': 12375, 'loss': 8.788934707641602}\n",
+      "{'epoch': 0, 'update in batch': 382, '/': 12375, 'loss': 7.916794776916504}\n",
+      "{'epoch': 0, 'update in batch': 383, '/': 12375, 'loss': 7.963446140289307}\n",
+      "{'epoch': 0, 'update in batch': 384, '/': 12375, 'loss': 7.187481880187988}\n",
+      "{'epoch': 0, 'update in batch': 385, '/': 12375, 'loss': 8.56440258026123}\n",
+      "{'epoch': 0, 'update in batch': 386, '/': 12375, 'loss': 9.42738151550293}\n",
+      "{'epoch': 0, 'update in batch': 387, '/': 12375, 'loss': 8.188634872436523}\n",
+      "{'epoch': 0, 'update in batch': 388, '/': 12375, 'loss': 7.952080726623535}\n",
+      "{'epoch': 0, 'update in batch': 389, '/': 12375, 'loss': 8.39692497253418}\n",
+      "{'epoch': 0, 'update in batch': 390, '/': 12375, 'loss': 7.700909614562988}\n",
+      "{'epoch': 0, 'update in batch': 391, '/': 12375, 'loss': 8.345706939697266}\n",
+      "{'epoch': 0, 'update in batch': 392, '/': 12375, 'loss': 8.66856575012207}\n",
+      "{'epoch': 0, 'update in batch': 393, '/': 12375, 'loss': 8.470117568969727}\n",
+      "{'epoch': 0, 'update in batch': 394, '/': 12375, 'loss': 8.015165328979492}\n",
+      "{'epoch': 0, 'update in batch': 395, '/': 12375, 'loss': 7.6346755027771}\n",
+      "{'epoch': 0, 'update in batch': 396, '/': 12375, 'loss': 8.376346588134766}\n",
+      "{'epoch': 0, 'update in batch': 397, '/': 12375, 'loss': 7.748821258544922}\n",
+      "{'epoch': 0, 'update in batch': 398, '/': 12375, 'loss': 8.161200523376465}\n",
+      "{'epoch': 0, 'update in batch': 399, '/': 12375, 'loss': 8.368353843688965}\n",
+      "{'epoch': 0, 'update in batch': 400, '/': 12375, 'loss': 8.516508102416992}\n",
+      "{'epoch': 0, 'update in batch': 401, '/': 12375, 'loss': 7.915494441986084}\n",
+      "{'epoch': 0, 'update in batch': 402, '/': 12375, 'loss': 8.781143188476562}\n",
+      "{'epoch': 0, 'update in batch': 403, '/': 12375, 'loss': 7.9120073318481445}\n",
+      "{'epoch': 0, 'update in batch': 404, '/': 12375, 'loss': 7.1185431480407715}\n",
+      "{'epoch': 0, 'update in batch': 405, '/': 12375, 'loss': 7.922210693359375}\n",
+      "{'epoch': 0, 'update in batch': 406, '/': 12375, 'loss': 7.576064109802246}\n",
+      "{'epoch': 0, 'update in batch': 407, '/': 12375, 'loss': 7.501870632171631}\n",
+      "{'epoch': 0, 'update in batch': 408, '/': 12375, 'loss': 7.916132926940918}\n",
+      "{'epoch': 0, 'update in batch': 409, '/': 12375, 'loss': 8.73484992980957}\n",
+      "{'epoch': 0, 'update in batch': 410, '/': 12375, 'loss': 8.193696975708008}\n",
+      "{'epoch': 0, 'update in batch': 411, '/': 12375, 'loss': 8.113301277160645}\n",
+      "{'epoch': 0, 'update in batch': 412, '/': 12375, 'loss': 9.327727317810059}\n",
+      "{'epoch': 0, 'update in batch': 413, '/': 12375, 'loss': 7.7795233726501465}\n",
+      "{'epoch': 0, 'update in batch': 414, '/': 12375, 'loss': 8.915639877319336}\n",
+      "{'epoch': 0, 'update in batch': 415, '/': 12375, 'loss': 8.92650318145752}\n",
+      "{'epoch': 0, 'update in batch': 416, '/': 12375, 'loss': 7.630735874176025}\n",
+      "{'epoch': 0, 'update in batch': 417, '/': 12375, 'loss': 8.431175231933594}\n",
+      "{'epoch': 0, 'update in batch': 418, '/': 12375, 'loss': 7.314495086669922}\n",
+      "{'epoch': 0, 'update in batch': 419, '/': 12375, 'loss': 8.007284164428711}\n",
+      "{'epoch': 0, 'update in batch': 420, '/': 12375, 'loss': 8.149153709411621}\n",
+      "{'epoch': 0, 'update in batch': 421, '/': 12375, 'loss': 6.791316986083984}\n",
+      "{'epoch': 0, 'update in batch': 422, '/': 12375, 'loss': 7.196774959564209}\n",
+      "{'epoch': 0, 'update in batch': 423, '/': 12375, 'loss': 7.732025146484375}\n",
+      "{'epoch': 0, 'update in batch': 424, '/': 12375, 'loss': 8.2183837890625}\n",
+      "{'epoch': 0, 'update in batch': 425, '/': 12375, 'loss': 7.542226314544678}\n",
+      "{'epoch': 0, 'update in batch': 426, '/': 12375, 'loss': 7.1326141357421875}\n",
+      "{'epoch': 0, 'update in batch': 427, '/': 12375, 'loss': 7.64426326751709}\n",
+      "{'epoch': 0, 'update in batch': 428, '/': 12375, 'loss': 8.871652603149414}\n",
+      "{'epoch': 0, 'update in batch': 429, '/': 12375, 'loss': 8.768598556518555}\n",
+      "{'epoch': 0, 'update in batch': 430, '/': 12375, 'loss': 7.916993618011475}\n",
+      "{'epoch': 0, 'update in batch': 431, '/': 12375, 'loss': 8.683895111083984}\n",
+      "{'epoch': 0, 'update in batch': 432, '/': 12375, 'loss': 8.369359970092773}\n",
+      "{'epoch': 0, 'update in batch': 433, '/': 12375, 'loss': 8.7943115234375}\n",
+      "{'epoch': 0, 'update in batch': 434, '/': 12375, 'loss': 8.378252029418945}\n",
+      "{'epoch': 0, 'update in batch': 435, '/': 12375, 'loss': 7.7571001052856445}\n",
+      "{'epoch': 0, 'update in batch': 436, '/': 12375, 'loss': 8.335041999816895}\n",
+      "{'epoch': 0, 'update in batch': 437, '/': 12375, 'loss': 9.231865882873535}\n",
+      "{'epoch': 0, 'update in batch': 438, '/': 12375, 'loss': 9.265593528747559}\n",
+      "{'epoch': 0, 'update in batch': 439, '/': 12375, 'loss': 8.904531478881836}\n",
+      "{'epoch': 0, 'update in batch': 440, '/': 12375, 'loss': 8.668396949768066}\n",
+      "{'epoch': 0, 'update in batch': 441, '/': 12375, 'loss': 8.793201446533203}\n",
+      "{'epoch': 0, 'update in batch': 442, '/': 12375, 'loss': 7.963925361633301}\n",
+      "{'epoch': 0, 'update in batch': 443, '/': 12375, 'loss': 9.068180084228516}\n",
+      "{'epoch': 0, 'update in batch': 444, '/': 12375, 'loss': 7.882510185241699}\n",
+      "{'epoch': 0, 'update in batch': 445, '/': 12375, 'loss': 8.467466354370117}\n",
+      "{'epoch': 0, 'update in batch': 446, '/': 12375, 'loss': 8.627328872680664}\n",
+      "{'epoch': 0, 'update in batch': 447, '/': 12375, 'loss': 8.169447898864746}\n",
+      "{'epoch': 0, 'update in batch': 448, '/': 12375, 'loss': 8.528042793273926}\n",
+      "{'epoch': 0, 'update in batch': 449, '/': 12375, 'loss': 7.88436222076416}\n",
+      "{'epoch': 0, 'update in batch': 450, '/': 12375, 'loss': 8.412508964538574}\n",
+      "{'epoch': 0, 'update in batch': 451, '/': 12375, 'loss': 7.499697208404541}\n",
+      "{'epoch': 0, 'update in batch': 452, '/': 12375, 'loss': 7.976507663726807}\n",
+      "{'epoch': 0, 'update in batch': 453, '/': 12375, 'loss': 7.675797939300537}\n",
+      "{'epoch': 0, 'update in batch': 454, '/': 12375, 'loss': 7.8669233322143555}\n",
+      "{'epoch': 0, 'update in batch': 455, '/': 12375, 'loss': 8.665098190307617}\n",
+      "{'epoch': 0, 'update in batch': 456, '/': 12375, 'loss': 7.8209733963012695}\n",
+      "{'epoch': 0, 'update in batch': 457, '/': 12375, 'loss': 7.692556858062744}\n",
+      "{'epoch': 0, 'update in batch': 458, '/': 12375, 'loss': 8.053576469421387}\n",
+      "{'epoch': 0, 'update in batch': 459, '/': 12375, 'loss': 7.489670753479004}\n",
+      "{'epoch': 0, 'update in batch': 460, '/': 12375, 'loss': 8.047754287719727}\n",
+      "{'epoch': 0, 'update in batch': 461, '/': 12375, 'loss': 8.26936149597168}\n",
+      "{'epoch': 0, 'update in batch': 462, '/': 12375, 'loss': 7.668527126312256}\n",
+      "{'epoch': 0, 'update in batch': 463, '/': 12375, 'loss': 8.471875190734863}\n",
+      "{'epoch': 0, 'update in batch': 464, '/': 12375, 'loss': 8.722559928894043}\n",
+      "{'epoch': 0, 'update in batch': 465, '/': 12375, 'loss': 7.548885345458984}\n",
+      "{'epoch': 0, 'update in batch': 466, '/': 12375, 'loss': 8.01081657409668}\n",
+      "{'epoch': 0, 'update in batch': 467, '/': 12375, 'loss': 7.746401786804199}\n",
+      "{'epoch': 0, 'update in batch': 468, '/': 12375, 'loss': 7.818922519683838}\n",
+      "{'epoch': 0, 'update in batch': 469, '/': 12375, 'loss': 8.482749938964844}\n",
+      "{'epoch': 0, 'update in batch': 470, '/': 12375, 'loss': 8.266133308410645}\n",
+      "{'epoch': 0, 'update in batch': 471, '/': 12375, 'loss': 7.89252233505249}\n",
+      "{'epoch': 0, 'update in batch': 472, '/': 12375, 'loss': 7.924674034118652}\n",
+      "{'epoch': 0, 'update in batch': 473, '/': 12375, 'loss': 8.382250785827637}\n",
+      "{'epoch': 0, 'update in batch': 474, '/': 12375, 'loss': 8.113140106201172}\n",
+      "{'epoch': 0, 'update in batch': 475, '/': 12375, 'loss': 7.72476053237915}\n",
+      "{'epoch': 0, 'update in batch': 476, '/': 12375, 'loss': 7.532968044281006}\n",
+      "{'epoch': 0, 'update in batch': 477, '/': 12375, 'loss': 7.951869010925293}\n",
+      "{'epoch': 0, 'update in batch': 478, '/': 12375, 'loss': 7.6230034828186035}\n",
+      "{'epoch': 0, 'update in batch': 479, '/': 12375, 'loss': 8.676922798156738}\n",
+      "{'epoch': 0, 'update in batch': 480, '/': 12375, 'loss': 10.336963653564453}\n",
+      "{'epoch': 0, 'update in batch': 481, '/': 12375, 'loss': 9.232878684997559}\n",
+      "{'epoch': 0, 'update in batch': 482, '/': 12375, 'loss': 9.349263191223145}\n",
+      "{'epoch': 0, 'update in batch': 483, '/': 12375, 'loss': 8.044947624206543}\n",
+      "{'epoch': 0, 'update in batch': 484, '/': 12375, 'loss': 8.977167129516602}\n",
+      "{'epoch': 0, 'update in batch': 485, '/': 12375, 'loss': 9.314098358154297}\n",
+      "{'epoch': 0, 'update in batch': 486, '/': 12375, 'loss': 9.505475044250488}\n",
+      "{'epoch': 0, 'update in batch': 487, '/': 12375, 'loss': 8.401674270629883}\n",
+      "{'epoch': 0, 'update in batch': 488, '/': 12375, 'loss': 8.054757118225098}\n",
+      "{'epoch': 0, 'update in batch': 489, '/': 12375, 'loss': 8.657475471496582}\n",
+      "{'epoch': 0, 'update in batch': 490, '/': 12375, 'loss': 8.488958358764648}\n",
+      "{'epoch': 0, 'update in batch': 491, '/': 12375, 'loss': 8.702254295349121}\n",
+      "{'epoch': 0, 'update in batch': 492, '/': 12375, 'loss': 8.67253303527832}\n",
+      "{'epoch': 0, 'update in batch': 493, '/': 12375, 'loss': 8.876919746398926}\n",
+      "{'epoch': 0, 'update in batch': 494, '/': 12375, 'loss': 7.699006080627441}\n",
+      "{'epoch': 0, 'update in batch': 495, '/': 12375, 'loss': 8.168523788452148}\n",
+      "{'epoch': 0, 'update in batch': 496, '/': 12375, 'loss': 8.477700233459473}\n",
+      "{'epoch': 0, 'update in batch': 497, '/': 12375, 'loss': 7.9989824295043945}\n",
+      "{'epoch': 0, 'update in batch': 498, '/': 12375, 'loss': 8.250473022460938}\n",
+      "{'epoch': 0, 'update in batch': 499, '/': 12375, 'loss': 8.617412567138672}\n",
+      "{'epoch': 0, 'update in batch': 500, '/': 12375, 'loss': 7.848795413970947}\n",
+      "{'epoch': 0, 'update in batch': 501, '/': 12375, 'loss': 8.02950382232666}\n",
+      "{'epoch': 0, 'update in batch': 502, '/': 12375, 'loss': 8.533723831176758}\n",
+      "{'epoch': 0, 'update in batch': 503, '/': 12375, 'loss': 8.248880386352539}\n",
+      "{'epoch': 0, 'update in batch': 504, '/': 12375, 'loss': 8.2785062789917}\n",
+      "{'epoch': 0, 'update in batch': 505, '/': 12375, 'loss': 8.152409553527832}\n",
+      "{'epoch': 0, 'update in batch': 506, '/': 12375, 'loss': 7.752146244049072}\n",
+      "{'epoch': 0, 'update in batch': 507, '/': 12375, 'loss': 7.542990207672119}\n",
+      "{'epoch': 0, 'update in batch': 508, '/': 12375, 'loss': 8.700185775756836}\n",
+      "{'epoch': 0, 'update in batch': 509, '/': 12375, 'loss': 8.264249801635742}\n",
+      "{'epoch': 0, 'update in batch': 510, '/': 12375, 'loss': 7.731337547302246}\n",
+      "{'epoch': 0, 'update in batch': 511, '/': 12375, 'loss': 7.5015153884887695}\n",
+      "{'epoch': 0, 'update in batch': 512, '/': 12375, 'loss': 7.913277626037598}\n",
+      "{'epoch': 0, 'update in batch': 513, '/': 12375, 'loss': 8.196538925170898}\n",
+      "{'epoch': 0, 'update in batch': 514, '/': 12375, 'loss': 8.171829223632812}\n",
+      "{'epoch': 0, 'update in batch': 515, '/': 12375, 'loss': 8.270252227783203}\n",
+      "{'epoch': 0, 'update in batch': 516, '/': 12375, 'loss': 7.623510837554932}\n",
+      "{'epoch': 0, 'update in batch': 517, '/': 12375, 'loss': 7.380532741546631}\n",
+      "{'epoch': 0, 'update in batch': 518, '/': 12375, 'loss': 7.8589677810668945}\n",
+      "{'epoch': 0, 'update in batch': 519, '/': 12375, 'loss': 7.936441898345947}\n",
+      "{'epoch': 0, 'update in batch': 520, '/': 12375, 'loss': 8.338788032531738}\n",
+      "{'epoch': 0, 'update in batch': 521, '/': 12375, 'loss': 8.007526397705078}\n",
+      "{'epoch': 0, 'update in batch': 522, '/': 12375, 'loss': 8.878217697143555}\n",
+      "{'epoch': 0, 'update in batch': 523, '/': 12375, 'loss': 8.242380142211914}\n",
+      "{'epoch': 0, 'update in batch': 524, '/': 12375, 'loss': 7.810771942138672}\n",
+      "{'epoch': 0, 'update in batch': 525, '/': 12375, 'loss': 9.032331466674805}\n",
+      "{'epoch': 0, 'update in batch': 526, '/': 12375, 'loss': 8.266812324523926}\n",
+      "{'epoch': 0, 'update in batch': 527, '/': 12375, 'loss': 8.625367164611816}\n",
+      "{'epoch': 0, 'update in batch': 528, '/': 12375, 'loss': 8.396329879760742}\n",
+      "{'epoch': 0, 'update in batch': 529, '/': 12375, 'loss': 8.196920394897461}\n",
+      "{'epoch': 0, 'update in batch': 530, '/': 12375, 'loss': 7.226973056793213}\n",
+      "{'epoch': 0, 'update in batch': 531, '/': 12375, 'loss': 7.410706520080566}\n",
+      "{'epoch': 0, 'update in batch': 532, '/': 12375, 'loss': 8.36565113067627}\n",
+      "{'epoch': 0, 'update in batch': 533, '/': 12375, 'loss': 8.179082870483398}\n",
+      "{'epoch': 0, 'update in batch': 534, '/': 12375, 'loss': 7.855136871337891}\n",
+      "{'epoch': 0, 'update in batch': 535, '/': 12375, 'loss': 8.838866233825684}\n",
+      "{'epoch': 0, 'update in batch': 536, '/': 12375, 'loss': 9.001124382019043}\n",
+      "{'epoch': 0, 'update in batch': 537, '/': 12375, 'loss': 7.484568119049072}\n",
+      "{'epoch': 0, 'update in batch': 538, '/': 12375, 'loss': 8.615894317626953}\n",
+      "{'epoch': 0, 'update in batch': 539, '/': 12375, 'loss': 9.261515617370605}\n",
+      "{'epoch': 0, 'update in batch': 540, '/': 12375, 'loss': 9.211051940917969}\n",
+      "{'epoch': 0, 'update in batch': 541, '/': 12375, 'loss': 8.466217041015625}\n",
+      "{'epoch': 0, 'update in batch': 542, '/': 12375, 'loss': 8.587915420532227}\n",
+      "{'epoch': 0, 'update in batch': 543, '/': 12375, 'loss': 9.13318157196045}\n",
+      "{'epoch': 0, 'update in batch': 544, '/': 12375, 'loss': 8.392005920410156}\n",
+      "{'epoch': 0, 'update in batch': 545, '/': 12375, 'loss': 8.390703201293945}\n",
+      "{'epoch': 0, 'update in batch': 546, '/': 12375, 'loss': 9.290310859680176}\n",
+      "{'epoch': 0, 'update in batch': 547, '/': 12375, 'loss': 9.022209167480469}\n",
+      "{'epoch': 0, 'update in batch': 548, '/': 12375, 'loss': 8.60960865020752}\n",
+      "{'epoch': 0, 'update in batch': 549, '/': 12375, 'loss': 8.587557792663574}\n",
+      "{'epoch': 0, 'update in batch': 550, '/': 12375, 'loss': 8.589487075805664}\n",
+      "{'epoch': 0, 'update in batch': 551, '/': 12375, 'loss': 8.682807922363281}\n",
+      "{'epoch': 0, 'update in batch': 552, '/': 12375, 'loss': 8.980941772460938}\n",
+      "{'epoch': 0, 'update in batch': 553, '/': 12375, 'loss': 8.404943466186523}\n",
+      "{'epoch': 0, 'update in batch': 554, '/': 12375, 'loss': 7.944493293762207}\n",
+      "{'epoch': 0, 'update in batch': 555, '/': 12375, 'loss': 8.131128311157227}\n",
+      "{'epoch': 0, 'update in batch': 556, '/': 12375, 'loss': 7.992971897125244}\n",
+      "{'epoch': 0, 'update in batch': 557, '/': 12375, 'loss': 8.669340133666992}\n",
+      "{'epoch': 0, 'update in batch': 558, '/': 12375, 'loss': 7.976905822753906}\n",
+      "{'epoch': 0, 'update in batch': 559, '/': 12375, 'loss': 7.781266689300537}\n",
+      "{'epoch': 0, 'update in batch': 560, '/': 12375, 'loss': 8.708133697509766}\n",
+      "{'epoch': 0, 'update in batch': 561, '/': 12375, 'loss': 8.228082656860352}\n",
+      "{'epoch': 0, 'update in batch': 562, '/': 12375, 'loss': 8.114767074584961}\n",
+      "{'epoch': 0, 'update in batch': 563, '/': 12375, 'loss': 8.318135261535645}\n",
+      "{'epoch': 0, 'update in batch': 564, '/': 12375, 'loss': 7.5740509033203125}\n",
+      "{'epoch': 0, 'update in batch': 565, '/': 12375, 'loss': 8.043401718139648}\n",
+      "{'epoch': 0, 'update in batch': 566, '/': 12375, 'loss': 8.202252388000488}\n",
+      "{'epoch': 0, 'update in batch': 567, '/': 12375, 'loss': 7.982302665710449}\n",
+      "{'epoch': 0, 'update in batch': 568, '/': 12375, 'loss': 8.826205253601074}\n",
+      "{'epoch': 0, 'update in batch': 569, '/': 12375, 'loss': 8.548873901367188}\n",
+      "{'epoch': 0, 'update in batch': 570, '/': 12375, 'loss': 8.70071792602539}\n",
+      "{'epoch': 0, 'update in batch': 571, '/': 12375, 'loss': 9.096693992614746}\n",
+      "{'epoch': 0, 'update in batch': 572, '/': 12375, 'loss': 9.097640991210938}\n",
+      "{'epoch': 0, 'update in batch': 573, '/': 12375, 'loss': 7.996438503265381}\n",
+      "{'epoch': 0, 'update in batch': 574, '/': 12375, 'loss': 7.83231258392334}\n",
+      "{'epoch': 0, 'update in batch': 575, '/': 12375, 'loss': 7.510707855224609}\n",
+      "{'epoch': 0, 'update in batch': 576, '/': 12375, 'loss': 7.191658020019531}\n",
+      "{'epoch': 0, 'update in batch': 577, '/': 12375, 'loss': 8.419546127319336}\n",
+      "{'epoch': 0, 'update in batch': 578, '/': 12375, 'loss': 7.290713310241699}\n",
+      "{'epoch': 0, 'update in batch': 579, '/': 12375, 'loss': 9.260629653930664}\n",
+      "{'epoch': 0, 'update in batch': 580, '/': 12375, 'loss': 8.621269226074219}\n",
+      "{'epoch': 0, 'update in batch': 581, '/': 12375, 'loss': 8.847122192382812}\n",
+      "{'epoch': 0, 'update in batch': 582, '/': 12375, 'loss': 8.578901290893555}\n",
+      "{'epoch': 0, 'update in batch': 583, '/': 12375, 'loss': 8.02485466003418}\n",
+      "{'epoch': 0, 'update in batch': 584, '/': 12375, 'loss': 7.569238185882568}\n",
+      "{'epoch': 0, 'update in batch': 585, '/': 12375, 'loss': 9.044525146484375}\n",
+      "{'epoch': 0, 'update in batch': 586, '/': 12375, 'loss': 8.496503829956055}\n",
+      "{'epoch': 0, 'update in batch': 587, '/': 12375, 'loss': 8.260845184326172}\n",
+      "{'epoch': 0, 'update in batch': 588, '/': 12375, 'loss': 8.618722915649414}\n",
+      "{'epoch': 0, 'update in batch': 589, '/': 12375, 'loss': 8.217001914978027}\n",
+      "{'epoch': 0, 'update in batch': 590, '/': 12375, 'loss': 7.651991844177246}\n",
+      "{'epoch': 0, 'update in batch': 591, '/': 12375, 'loss': 8.177228927612305}\n",
+      "{'epoch': 0, 'update in batch': 592, '/': 12375, 'loss': 7.6111741065979}\n",
+      "{'epoch': 0, 'update in batch': 593, '/': 12375, 'loss': 7.9989333152771}\n",
+      "{'epoch': 0, 'update in batch': 594, '/': 12375, 'loss': 7.260928153991699}\n",
+      "{'epoch': 0, 'update in batch': 595, '/': 12375, 'loss': 8.348695755004883}\n",
+      "{'epoch': 0, 'update in batch': 596, '/': 12375, 'loss': 9.373626708984375}\n",
+      "{'epoch': 0, 'update in batch': 597, '/': 12375, 'loss': 9.623004913330078}\n",
+      "{'epoch': 0, 'update in batch': 598, '/': 12375, 'loss': 9.866781234741211}\n",
+      "{'epoch': 0, 'update in batch': 599, '/': 12375, 'loss': 8.448720932006836}\n",
+      "{'epoch': 0, 'update in batch': 600, '/': 12375, 'loss': 8.858267784118652}\n",
+      "{'epoch': 0, 'update in batch': 601, '/': 12375, 'loss': 8.701242446899414}\n",
+      "{'epoch': 0, 'update in batch': 602, '/': 12375, 'loss': 9.718575477600098}\n",
+      "{'epoch': 0, 'update in batch': 603, '/': 12375, 'loss': 9.428940773010254}\n",
+      "{'epoch': 0, 'update in batch': 604, '/': 12375, 'loss': 9.748838424682617}\n",
+      "{'epoch': 0, 'update in batch': 605, '/': 12375, 'loss': 9.345012664794922}\n",
+      "{'epoch': 0, 'update in batch': 606, '/': 12375, 'loss': 9.490135192871094}\n",
+      "{'epoch': 0, 'update in batch': 607, '/': 12375, 'loss': 8.99644660949707}\n",
+      "{'epoch': 0, 'update in batch': 608, '/': 12375, 'loss': 8.389543533325195}\n",
+      "{'epoch': 0, 'update in batch': 609, '/': 12375, 'loss': 8.854009628295898}\n",
+      "{'epoch': 0, 'update in batch': 610, '/': 12375, 'loss': 8.374090194702148}\n",
+      "{'epoch': 0, 'update in batch': 611, '/': 12375, 'loss': 8.66503620147705}\n",
+      "{'epoch': 0, 'update in batch': 612, '/': 12375, 'loss': 8.280558586120605}\n",
+      "{'epoch': 0, 'update in batch': 613, '/': 12375, 'loss': 8.535537719726562}\n",
+      "{'epoch': 0, 'update in batch': 614, '/': 12375, 'loss': 8.404601097106934}\n",
+      "{'epoch': 0, 'update in batch': 615, '/': 12375, 'loss': 9.010697364807129}\n",
+      "{'epoch': 0, 'update in batch': 616, '/': 12375, 'loss': 9.320754051208496}\n",
+      "{'epoch': 0, 'update in batch': 617, '/': 12375, 'loss': 8.58722972869873}\n",
+      "{'epoch': 0, 'update in batch': 618, '/': 12375, 'loss': 8.070728302001953}\n",
+      "{'epoch': 0, 'update in batch': 619, '/': 12375, 'loss': 8.327486991882324}\n",
+      "{'epoch': 0, 'update in batch': 620, '/': 12375, 'loss': 7.981652736663818}\n",
+      "{'epoch': 0, 'update in batch': 621, '/': 12375, 'loss': 8.218908309936523}\n",
+      "{'epoch': 0, 'update in batch': 622, '/': 12375, 'loss': 8.091439247131348}\n",
+      "{'epoch': 0, 'update in batch': 623, '/': 12375, 'loss': 8.105412483215332}\n",
+      "{'epoch': 0, 'update in batch': 624, '/': 12375, 'loss': 8.515739440917969}\n",
+      "{'epoch': 0, 'update in batch': 625, '/': 12375, 'loss': 8.850337028503418}\n",
+      "{'epoch': 0, 'update in batch': 626, '/': 12375, 'loss': 7.876460075378418}\n",
+      "{'epoch': 0, 'update in batch': 627, '/': 12375, 'loss': 8.410734176635742}\n",
+      "{'epoch': 0, 'update in batch': 628, '/': 12375, 'loss': 7.566420555114746}\n",
+      "{'epoch': 0, 'update in batch': 629, '/': 12375, 'loss': 8.021819114685059}\n",
+      "{'epoch': 0, 'update in batch': 630, '/': 12375, 'loss': 8.9411039352417}\n",
+      "{'epoch': 0, 'update in batch': 631, '/': 12375, 'loss': 9.673480033874512}\n",
+      "{'epoch': 0, 'update in batch': 632, '/': 12375, 'loss': 8.877766609191895}\n",
+      "{'epoch': 0, 'update in batch': 633, '/': 12375, 'loss': 8.997617721557617}\n",
+      "{'epoch': 0, 'update in batch': 634, '/': 12375, 'loss': 8.699110984802246}\n",
+      "{'epoch': 0, 'update in batch': 635, '/': 12375, 'loss': 9.041129112243652}\n",
+      "{'epoch': 0, 'update in batch': 636, '/': 12375, 'loss': 8.374354362487793}\n",
+      "{'epoch': 0, 'update in batch': 637, '/': 12375, 'loss': 7.387490749359131}\n",
+      "{'epoch': 0, 'update in batch': 638, '/': 12375, 'loss': 7.461884498596191}\n",
+      "{'epoch': 0, 'update in batch': 639, '/': 12375, 'loss': 8.271306037902832}\n",
+      "{'epoch': 0, 'update in batch': 640, '/': 12375, 'loss': 7.592693328857422}\n",
+      "{'epoch': 0, 'update in batch': 641, '/': 12375, 'loss': 8.091002464294434}\n",
+      "{'epoch': 0, 'update in batch': 642, '/': 12375, 'loss': 7.827973365783691}\n",
+      "{'epoch': 0, 'update in batch': 643, '/': 12375, 'loss': 8.122081756591797}\n",
+      "{'epoch': 0, 'update in batch': 644, '/': 12375, 'loss': 8.14753532409668}\n",
+      "{'epoch': 0, 'update in batch': 645, '/': 12375, 'loss': 8.241095542907715}\n",
+      "{'epoch': 0, 'update in batch': 646, '/': 12375, 'loss': 7.861433982849121}\n",
+      "{'epoch': 0, 'update in batch': 647, '/': 12375, 'loss': 8.384832382202148}\n",
+      "{'epoch': 0, 'update in batch': 648, '/': 12375, 'loss': 7.741837501525879}\n",
+      "{'epoch': 0, 'update in batch': 649, '/': 12375, 'loss': 8.317584991455078}\n",
+      "{'epoch': 0, 'update in batch': 650, '/': 12375, 'loss': 8.303326606750488}\n",
+      "{'epoch': 0, 'update in batch': 651, '/': 12375, 'loss': 8.869123458862305}\n",
+      "{'epoch': 0, 'update in batch': 652, '/': 12375, 'loss': 8.093311309814453}\n",
+      "{'epoch': 0, 'update in batch': 653, '/': 12375, 'loss': 9.171764373779297}\n",
+      "{'epoch': 0, 'update in batch': 654, '/': 12375, 'loss': 8.080896377563477}\n",
+      "{'epoch': 0, 'update in batch': 655, '/': 12375, 'loss': 8.923361778259277}\n",
+      "{'epoch': 0, 'update in batch': 656, '/': 12375, 'loss': 10.168739318847656}\n",
+      "{'epoch': 0, 'update in batch': 657, '/': 12375, 'loss': 8.467534065246582}\n",
+      "{'epoch': 0, 'update in batch': 658, '/': 12375, 'loss': 8.954014778137207}\n",
+      "{'epoch': 0, 'update in batch': 659, '/': 12375, 'loss': 8.931805610656738}\n",
+      "{'epoch': 0, 'update in batch': 660, '/': 12375, 'loss': 8.115968704223633}\n",
+      "{'epoch': 0, 'update in batch': 661, '/': 12375, 'loss': 9.035435676574707}\n",
+      "{'epoch': 0, 'update in batch': 662, '/': 12375, 'loss': 8.113950729370117}\n",
+      "{'epoch': 0, 'update in batch': 663, '/': 12375, 'loss': 7.765902042388916}\n",
+      "{'epoch': 0, 'update in batch': 664, '/': 12375, 'loss': 7.949366569519043}\n",
+      "{'epoch': 0, 'update in batch': 665, '/': 12375, 'loss': 7.625363349914551}\n",
+      "{'epoch': 0, 'update in batch': 666, '/': 12375, 'loss': 7.8294830322265625}\n",
+      "{'epoch': 0, 'update in batch': 667, '/': 12375, 'loss': 8.576509475708008}\n",
+      "{'epoch': 0, 'update in batch': 668, '/': 12375, 'loss': 8.41356372833252}\n",
+      "{'epoch': 0, 'update in batch': 669, '/': 12375, 'loss': 8.994348526000977}\n",
+      "{'epoch': 0, 'update in batch': 670, '/': 12375, 'loss': 8.628103256225586}\n",
+      "{'epoch': 0, 'update in batch': 671, '/': 12375, 'loss': 8.103495597839355}\n",
+      "{'epoch': 0, 'update in batch': 672, '/': 12375, 'loss': 7.434719085693359}\n",
+      "{'epoch': 0, 'update in batch': 673, '/': 12375, 'loss': 7.698149681091309}\n",
+      "{'epoch': 0, 'update in batch': 674, '/': 12375, 'loss': 7.7016143798828125}\n",
+      "{'epoch': 0, 'update in batch': 675, '/': 12375, 'loss': 8.536630630493164}\n",
+      "{'epoch': 0, 'update in batch': 676, '/': 12375, 'loss': 8.856534004211426}\n",
+      "{'epoch': 0, 'update in batch': 677, '/': 12375, 'loss': 8.57630443572998}\n",
+      "{'epoch': 0, 'update in batch': 678, '/': 12375, 'loss': 8.404435157775879}\n",
+      "{'epoch': 0, 'update in batch': 679, '/': 12375, 'loss': 8.201213836669922}\n",
+      "{'epoch': 0, 'update in batch': 680, '/': 12375, 'loss': 8.40557861328125}\n",
+      "{'epoch': 0, 'update in batch': 681, '/': 12375, 'loss': 7.417300224304199}\n",
+      "{'epoch': 0, 'update in batch': 682, '/': 12375, 'loss': 7.908846378326416}\n",
+      "{'epoch': 0, 'update in batch': 683, '/': 12375, 'loss': 7.903523921966553}\n",
+      "{'epoch': 0, 'update in batch': 684, '/': 12375, 'loss': 8.58791446685791}\n",
+      "{'epoch': 0, 'update in batch': 685, '/': 12375, 'loss': 8.562360763549805}\n",
+      "{'epoch': 0, 'update in batch': 686, '/': 12375, 'loss': 8.557474136352539}\n",
+      "{'epoch': 0, 'update in batch': 687, '/': 12375, 'loss': 8.261308670043945}\n",
+      "{'epoch': 0, 'update in batch': 688, '/': 12375, 'loss': 7.605063438415527}\n",
+      "{'epoch': 0, 'update in batch': 689, '/': 12375, 'loss': 8.569509506225586}\n",
+      "{'epoch': 0, 'update in batch': 690, '/': 12375, 'loss': 7.9545183181762695}\n",
+      "{'epoch': 0, 'update in batch': 691, '/': 12375, 'loss': 7.757490634918213}\n",
+      "{'epoch': 0, 'update in batch': 692, '/': 12375, 'loss': 7.986297607421875}\n",
+      "{'epoch': 0, 'update in batch': 693, '/': 12375, 'loss': 7.331404209136963}\n",
+      "{'epoch': 0, 'update in batch': 694, '/': 12375, 'loss': 8.758378982543945}\n",
+      "{'epoch': 0, 'update in batch': 695, '/': 12375, 'loss': 8.248878479003906}\n",
+      "{'epoch': 0, 'update in batch': 696, '/': 12375, 'loss': 7.87357234954834}\n",
+      "{'epoch': 0, 'update in batch': 697, '/': 12375, 'loss': 7.8984575271606445}\n",
+      "{'epoch': 0, 'update in batch': 698, '/': 12375, 'loss': 8.094112396240234}\n",
+      "{'epoch': 0, 'update in batch': 699, '/': 12375, 'loss': 8.365988731384277}\n",
+      "{'epoch': 0, 'update in batch': 700, '/': 12375, 'loss': 8.823446273803711}\n",
+      "{'epoch': 0, 'update in batch': 701, '/': 12375, 'loss': 8.74764633178711}\n",
+      "{'epoch': 0, 'update in batch': 702, '/': 12375, 'loss': 8.370217323303223}\n",
+      "{'epoch': 0, 'update in batch': 703, '/': 12375, 'loss': 8.318328857421875}\n",
+      "{'epoch': 0, 'update in batch': 704, '/': 12375, 'loss': 7.858921051025391}\n",
+      "{'epoch': 0, 'update in batch': 705, '/': 12375, 'loss': 9.018691062927246}\n",
+      "{'epoch': 0, 'update in batch': 706, '/': 12375, 'loss': 8.19449520111084}\n",
+      "{'epoch': 0, 'update in batch': 707, '/': 12375, 'loss': 8.396060943603516}\n",
+      "{'epoch': 0, 'update in batch': 708, '/': 12375, 'loss': 8.414098739624023}\n",
+      "{'epoch': 0, 'update in batch': 709, '/': 12375, 'loss': 8.653766632080078}\n",
+      "{'epoch': 0, 'update in batch': 710, '/': 12375, 'loss': 9.398948669433594}\n",
+      "{'epoch': 0, 'update in batch': 711, '/': 12375, 'loss': 9.139979362487793}\n",
+      "{'epoch': 0, 'update in batch': 712, '/': 12375, 'loss': 9.218217849731445}\n",
+      "{'epoch': 0, 'update in batch': 713, '/': 12375, 'loss': 9.033098220825195}\n",
+      "{'epoch': 0, 'update in batch': 714, '/': 12375, 'loss': 9.273706436157227}\n",
+      "{'epoch': 0, 'update in batch': 715, '/': 12375, 'loss': 8.823670387268066}\n",
+      "{'epoch': 0, 'update in batch': 716, '/': 12375, 'loss': 8.372310638427734}\n",
+      "{'epoch': 0, 'update in batch': 717, '/': 12375, 'loss': 9.141733169555664}\n",
+      "{'epoch': 0, 'update in batch': 718, '/': 12375, 'loss': 10.339315414428711}\n",
+      "{'epoch': 0, 'update in batch': 719, '/': 12375, 'loss': 9.504469871520996}\n",
+      "{'epoch': 0, 'update in batch': 720, '/': 12375, 'loss': 9.142096519470215}\n",
+      "{'epoch': 0, 'update in batch': 721, '/': 12375, 'loss': 8.826664924621582}\n",
+      "{'epoch': 0, 'update in batch': 722, '/': 12375, 'loss': 8.589262962341309}\n",
+      "{'epoch': 0, 'update in batch': 723, '/': 12375, 'loss': 8.304441452026367}\n",
+      "{'epoch': 0, 'update in batch': 724, '/': 12375, 'loss': 7.931284427642822}\n",
+      "{'epoch': 0, 'update in batch': 725, '/': 12375, 'loss': 8.748147964477539}\n",
+      "{'epoch': 0, 'update in batch': 726, '/': 12375, 'loss': 7.90532922744751}\n",
+      "{'epoch': 0, 'update in batch': 727, '/': 12375, 'loss': 8.5230712890625}\n",
+      "{'epoch': 0, 'update in batch': 728, '/': 12375, 'loss': 8.508931159973145}\n",
+      "{'epoch': 0, 'update in batch': 729, '/': 12375, 'loss': 8.070673942565918}\n",
+      "{'epoch': 0, 'update in batch': 730, '/': 12375, 'loss': 7.5905280113220215}\n",
+      "{'epoch': 0, 'update in batch': 731, '/': 12375, 'loss': 7.711911678314209}\n",
+      "{'epoch': 0, 'update in batch': 732, '/': 12375, 'loss': 8.175674438476562}\n",
+      "{'epoch': 0, 'update in batch': 733, '/': 12375, 'loss': 8.948505401611328}\n",
+      "{'epoch': 0, 'update in batch': 734, '/': 12375, 'loss': 8.340483665466309}\n",
+      "{'epoch': 0, 'update in batch': 735, '/': 12375, 'loss': 8.842791557312012}\n",
+      "{'epoch': 0, 'update in batch': 736, '/': 12375, 'loss': 7.638352394104004}\n",
+      "{'epoch': 0, 'update in batch': 737, '/': 12375, 'loss': 8.297000885009766}\n",
+      "{'epoch': 0, 'update in batch': 738, '/': 12375, 'loss': 8.500657081604004}\n",
+      "{'epoch': 0, 'update in batch': 739, '/': 12375, 'loss': 8.154755592346191}\n",
+      "{'epoch': 0, 'update in batch': 740, '/': 12375, 'loss': 8.571825981140137}\n",
+      "{'epoch': 0, 'update in batch': 741, '/': 12375, 'loss': 8.290356636047363}\n",
+      "{'epoch': 0, 'update in batch': 742, '/': 12375, 'loss': 7.54806661605835}\n",
+      "{'epoch': 0, 'update in batch': 743, '/': 12375, 'loss': 8.083871841430664}\n",
+      "{'epoch': 0, 'update in batch': 744, '/': 12375, 'loss': 8.41812801361084}\n",
+      "{'epoch': 0, 'update in batch': 745, '/': 12375, 'loss': 7.7818193435668945}\n",
+      "{'epoch': 0, 'update in batch': 746, '/': 12375, 'loss': 7.737512111663818}\n",
+      "{'epoch': 0, 'update in batch': 747, '/': 12375, 'loss': 7.853093147277832}\n",
+      "{'epoch': 0, 'update in batch': 748, '/': 12375, 'loss': 8.103666305541992}\n",
+      "{'epoch': 0, 'update in batch': 749, '/': 12375, 'loss': 8.16988754272461}\n",
+      "{'epoch': 0, 'update in batch': 750, '/': 12375, 'loss': 7.608107089996338}\n",
+      "{'epoch': 0, 'update in batch': 751, '/': 12375, 'loss': 7.289468288421631}\n",
+      "{'epoch': 0, 'update in batch': 752, '/': 12375, 'loss': 7.966766357421875}\n",
+      "{'epoch': 0, 'update in batch': 753, '/': 12375, 'loss': 7.998593330383301}\n",
+      "{'epoch': 0, 'update in batch': 754, '/': 12375, 'loss': 7.558453559875488}\n",
+      "{'epoch': 0, 'update in batch': 755, '/': 12375, 'loss': 7.499225616455078}\n",
+      "{'epoch': 0, 'update in batch': 756, '/': 12375, 'loss': 8.035170555114746}\n",
+      "{'epoch': 0, 'update in batch': 757, '/': 12375, 'loss': 8.785077095031738}\n",
+      "{'epoch': 0, 'update in batch': 758, '/': 12375, 'loss': 8.45618724822998}\n",
+      "{'epoch': 0, 'update in batch': 759, '/': 12375, 'loss': 8.281112670898438}\n",
+      "{'epoch': 0, 'update in batch': 760, '/': 12375, 'loss': 8.049875259399414}\n",
+      "{'epoch': 0, 'update in batch': 761, '/': 12375, 'loss': 8.044231414794922}\n",
+      "{'epoch': 0, 'update in batch': 762, '/': 12375, 'loss': 7.865212917327881}\n",
+      "{'epoch': 0, 'update in batch': 763, '/': 12375, 'loss': 8.131196975708008}\n",
+      "{'epoch': 0, 'update in batch': 764, '/': 12375, 'loss': 8.177148818969727}\n",
+      "{'epoch': 0, 'update in batch': 765, '/': 12375, 'loss': 8.159996032714844}\n",
+      "{'epoch': 0, 'update in batch': 766, '/': 12375, 'loss': 8.546540260314941}\n",
+      "{'epoch': 0, 'update in batch': 767, '/': 12375, 'loss': 9.644927024841309}\n",
+      "{'epoch': 0, 'update in batch': 768, '/': 12375, 'loss': 9.303425788879395}\n",
+      "{'epoch': 0, 'update in batch': 769, '/': 12375, 'loss': 9.392192840576172}\n",
+      "{'epoch': 0, 'update in batch': 770, '/': 12375, 'loss': 8.322591781616211}\n",
+      "{'epoch': 0, 'update in batch': 771, '/': 12375, 'loss': 8.942294120788574}\n",
+      "{'epoch': 0, 'update in batch': 772, '/': 12375, 'loss': 8.800315856933594}\n",
+      "{'epoch': 0, 'update in batch': 773, '/': 12375, 'loss': 8.607719421386719}\n",
+      "{'epoch': 0, 'update in batch': 774, '/': 12375, 'loss': 8.507893562316895}\n",
+      "{'epoch': 0, 'update in batch': 775, '/': 12375, 'loss': 8.196691513061523}\n",
+      "{'epoch': 0, 'update in batch': 776, '/': 12375, 'loss': 8.688486099243164}\n",
+      "{'epoch': 0, 'update in batch': 777, '/': 12375, 'loss': 8.36732006072998}\n",
+      "{'epoch': 0, 'update in batch': 778, '/': 12375, 'loss': 8.537694931030273}\n",
+      "{'epoch': 0, 'update in batch': 779, '/': 12375, 'loss': 8.90538215637207}\n",
+      "{'epoch': 0, 'update in batch': 780, '/': 12375, 'loss': 8.482542991638184}\n",
+      "{'epoch': 0, 'update in batch': 781, '/': 12375, 'loss': 8.261507034301758}\n",
+      "{'epoch': 0, 'update in batch': 782, '/': 12375, 'loss': 8.49395751953125}\n",
+      "{'epoch': 0, 'update in batch': 783, '/': 12375, 'loss': 8.194291114807129}\n",
+      "{'epoch': 0, 'update in batch': 784, '/': 12375, 'loss': 7.663492679595947}\n",
+      "{'epoch': 0, 'update in batch': 785, '/': 12375, 'loss': 7.794348239898682}\n",
+      "{'epoch': 0, 'update in batch': 786, '/': 12375, 'loss': 8.333261489868164}\n",
+      "{'epoch': 0, 'update in batch': 787, '/': 12375, 'loss': 8.268033981323242}\n",
+      "{'epoch': 0, 'update in batch': 788, '/': 12375, 'loss': 8.341202735900879}\n",
+      "{'epoch': 0, 'update in batch': 789, '/': 12375, 'loss': 8.074617385864258}\n",
+      "{'epoch': 0, 'update in batch': 790, '/': 12375, 'loss': 8.335709571838379}\n",
+      "{'epoch': 0, 'update in batch': 791, '/': 12375, 'loss': 7.487926483154297}\n",
+      "{'epoch': 0, 'update in batch': 792, '/': 12375, 'loss': 7.347609043121338}\n",
+      "{'epoch': 0, 'update in batch': 793, '/': 12375, 'loss': 7.313353538513184}\n",
+      "{'epoch': 0, 'update in batch': 794, '/': 12375, 'loss': 8.693550109863281}\n",
+      "{'epoch': 0, 'update in batch': 795, '/': 12375, 'loss': 7.819268226623535}\n",
+      "{'epoch': 0, 'update in batch': 796, '/': 12375, 'loss': 7.968497276306152}\n",
+      "{'epoch': 0, 'update in batch': 797, '/': 12375, 'loss': 9.010664939880371}\n",
+      "{'epoch': 0, 'update in batch': 798, '/': 12375, 'loss': 8.825654983520508}\n",
+      "{'epoch': 0, 'update in batch': 799, '/': 12375, 'loss': 8.641900062561035}\n",
+      "{'epoch': 0, 'update in batch': 800, '/': 12375, 'loss': 8.356302261352539}\n",
+      "{'epoch': 0, 'update in batch': 801, '/': 12375, 'loss': 8.21372127532959}\n",
+      "{'epoch': 0, 'update in batch': 802, '/': 12375, 'loss': 7.839674472808838}\n",
+      "{'epoch': 0, 'update in batch': 803, '/': 12375, 'loss': 7.659131050109863}\n",
+      "{'epoch': 0, 'update in batch': 804, '/': 12375, 'loss': 7.812694549560547}\n",
+      "{'epoch': 0, 'update in batch': 805, '/': 12375, 'loss': 8.343396186828613}\n",
+      "{'epoch': 0, 'update in batch': 806, '/': 12375, 'loss': 9.284059524536133}\n",
+      "{'epoch': 0, 'update in batch': 807, '/': 12375, 'loss': 8.966070175170898}\n",
+      "{'epoch': 0, 'update in batch': 808, '/': 12375, 'loss': 8.814554214477539}\n",
+      "{'epoch': 0, 'update in batch': 809, '/': 12375, 'loss': 7.711447238922119}\n",
+      "{'epoch': 0, 'update in batch': 810, '/': 12375, 'loss': 8.63614559173584}\n",
+      "{'epoch': 0, 'update in batch': 811, '/': 12375, 'loss': 9.352155685424805}\n",
+      "{'epoch': 0, 'update in batch': 812, '/': 12375, 'loss': 9.299283981323242}\n",
+      "{'epoch': 0, 'update in batch': 813, '/': 12375, 'loss': 9.004262924194336}\n",
+      "{'epoch': 0, 'update in batch': 814, '/': 12375, 'loss': 8.534396171569824}\n",
+      "{'epoch': 0, 'update in batch': 815, '/': 12375, 'loss': 8.522834777832031}\n",
+      "{'epoch': 0, 'update in batch': 816, '/': 12375, 'loss': 8.351238250732422}\n",
+      "{'epoch': 0, 'update in batch': 817, '/': 12375, 'loss': 9.019391059875488}\n",
+      "{'epoch': 0, 'update in batch': 818, '/': 12375, 'loss': 8.306681632995605}\n",
+      "{'epoch': 0, 'update in batch': 819, '/': 12375, 'loss': 8.85319995880127}\n",
+      "{'epoch': 0, 'update in batch': 820, '/': 12375, 'loss': 8.98952579498291}\n",
+      "{'epoch': 0, 'update in batch': 821, '/': 12375, 'loss': 8.917135238647461}\n",
+      "{'epoch': 0, 'update in batch': 822, '/': 12375, 'loss': 7.960620880126953}\n",
+      "{'epoch': 0, 'update in batch': 823, '/': 12375, 'loss': 8.39950942993164}\n",
+      "{'epoch': 0, 'update in batch': 824, '/': 12375, 'loss': 9.050474166870117}\n",
+      "{'epoch': 0, 'update in batch': 825, '/': 12375, 'loss': 8.383383750915527}\n",
+      "{'epoch': 0, 'update in batch': 826, '/': 12375, 'loss': 8.222079277038574}\n",
+      "{'epoch': 0, 'update in batch': 827, '/': 12375, 'loss': 9.292940139770508}\n",
+      "{'epoch': 0, 'update in batch': 828, '/': 12375, 'loss': 8.867687225341797}\n",
+      "{'epoch': 0, 'update in batch': 829, '/': 12375, 'loss': 8.63172435760498}\n",
+      "{'epoch': 0, 'update in batch': 830, '/': 12375, 'loss': 8.570908546447754}\n",
+      "{'epoch': 0, 'update in batch': 831, '/': 12375, 'loss': 8.296366691589355}\n",
+      "{'epoch': 0, 'update in batch': 832, '/': 12375, 'loss': 8.496325492858887}\n",
+      "{'epoch': 0, 'update in batch': 833, '/': 12375, 'loss': 8.572782516479492}\n",
+      "{'epoch': 0, 'update in batch': 834, '/': 12375, 'loss': 8.160130500793457}\n",
+      "{'epoch': 0, 'update in batch': 835, '/': 12375, 'loss': 8.508310317993164}\n",
+      "{'epoch': 0, 'update in batch': 836, '/': 12375, 'loss': 8.777969360351562}\n",
+      "{'epoch': 0, 'update in batch': 837, '/': 12375, 'loss': 9.14763355255127}\n",
+      "{'epoch': 0, 'update in batch': 838, '/': 12375, 'loss': 8.225178718566895}\n",
+      "{'epoch': 0, 'update in batch': 839, '/': 12375, 'loss': 9.709895133972168}\n",
+      "{'epoch': 0, 'update in batch': 840, '/': 12375, 'loss': 8.570801734924316}\n",
+      "{'epoch': 0, 'update in batch': 841, '/': 12375, 'loss': 8.517003059387207}\n",
+      "{'epoch': 0, 'update in batch': 842, '/': 12375, 'loss': 8.168983459472656}\n",
+      "{'epoch': 0, 'update in batch': 843, '/': 12375, 'loss': 8.37407112121582}\n",
+      "{'epoch': 0, 'update in batch': 844, '/': 12375, 'loss': 9.357515335083008}\n",
+      "{'epoch': 0, 'update in batch': 845, '/': 12375, 'loss': 8.368376731872559}\n",
+      "{'epoch': 0, 'update in batch': 846, '/': 12375, 'loss': 8.331424713134766}\n",
+      "{'epoch': 0, 'update in batch': 847, '/': 12375, 'loss': 7.9016547203063965}\n",
+      "{'epoch': 0, 'update in batch': 848, '/': 12375, 'loss': 8.809407234191895}\n",
+      "{'epoch': 0, 'update in batch': 849, '/': 12375, 'loss': 7.910439491271973}\n",
+      "{'epoch': 0, 'update in batch': 850, '/': 12375, 'loss': 8.561531066894531}\n",
+      "{'epoch': 0, 'update in batch': 851, '/': 12375, 'loss': 8.517328262329102}\n",
+      "{'epoch': 0, 'update in batch': 852, '/': 12375, 'loss': 7.815997123718262}\n",
+      "{'epoch': 0, 'update in batch': 853, '/': 12375, 'loss': 8.39799690246582}\n",
+      "{'epoch': 0, 'update in batch': 854, '/': 12375, 'loss': 8.990804672241211}\n",
+      "{'epoch': 0, 'update in batch': 855, '/': 12375, 'loss': 8.77781867980957}\n",
+      "{'epoch': 0, 'update in batch': 856, '/': 12375, 'loss': 9.67410659790039}\n",
+      "{'epoch': 0, 'update in batch': 857, '/': 12375, 'loss': 8.973968505859375}\n",
+      "{'epoch': 0, 'update in batch': 858, '/': 12375, 'loss': 8.42984390258789}\n",
+      "{'epoch': 0, 'update in batch': 859, '/': 12375, 'loss': 8.422828674316406}\n",
+      "{'epoch': 0, 'update in batch': 860, '/': 12375, 'loss': 8.884193420410156}\n",
+      "{'epoch': 0, 'update in batch': 861, '/': 12375, 'loss': 8.916500091552734}\n",
+      "{'epoch': 0, 'update in batch': 862, '/': 12375, 'loss': 9.625783920288086}\n",
+      "{'epoch': 0, 'update in batch': 863, '/': 12375, 'loss': 8.413415908813477}\n",
+      "{'epoch': 0, 'update in batch': 864, '/': 12375, 'loss': 8.519057273864746}\n",
+      "{'epoch': 0, 'update in batch': 865, '/': 12375, 'loss': 8.87990665435791}\n",
+      "{'epoch': 0, 'update in batch': 866, '/': 12375, 'loss': 8.637372970581055}\n",
+      "{'epoch': 0, 'update in batch': 867, '/': 12375, 'loss': 8.704527854919434}\n",
+      "{'epoch': 0, 'update in batch': 868, '/': 12375, 'loss': 9.068037986755371}\n",
+      "{'epoch': 0, 'update in batch': 869, '/': 12375, 'loss': 9.004140853881836}\n",
+      "{'epoch': 0, 'update in batch': 870, '/': 12375, 'loss': 9.510736465454102}\n",
+      "{'epoch': 0, 'update in batch': 871, '/': 12375, 'loss': 8.767504692077637}\n",
+      "{'epoch': 0, 'update in batch': 872, '/': 12375, 'loss': 9.114171028137207}\n",
+      "{'epoch': 0, 'update in batch': 873, '/': 12375, 'loss': 9.371620178222656}\n",
+      "{'epoch': 0, 'update in batch': 874, '/': 12375, 'loss': 8.81856918334961}\n",
+      "{'epoch': 0, 'update in batch': 875, '/': 12375, 'loss': 8.86706256866455}\n",
+      "{'epoch': 0, 'update in batch': 876, '/': 12375, 'loss': 9.147856712341309}\n",
+      "{'epoch': 0, 'update in batch': 877, '/': 12375, 'loss': 8.953914642333984}\n",
+      "{'epoch': 0, 'update in batch': 878, '/': 12375, 'loss': 8.594276428222656}\n",
+      "{'epoch': 0, 'update in batch': 879, '/': 12375, 'loss': 8.719287872314453}\n",
+      "{'epoch': 0, 'update in batch': 880, '/': 12375, 'loss': 8.943967819213867}\n",
+      "{'epoch': 0, 'update in batch': 881, '/': 12375, 'loss': 9.364320755004883}\n",
+      "{'epoch': 0, 'update in batch': 882, '/': 12375, 'loss': 8.903885841369629}\n",
+      "{'epoch': 0, 'update in batch': 883, '/': 12375, 'loss': 9.183731079101562}\n",
+      "{'epoch': 0, 'update in batch': 884, '/': 12375, 'loss': 9.35949420928955}\n",
+      "{'epoch': 0, 'update in batch': 885, '/': 12375, 'loss': 8.913480758666992}\n",
+      "{'epoch': 0, 'update in batch': 886, '/': 12375, 'loss': 8.458696365356445}\n",
+      "{'epoch': 0, 'update in batch': 887, '/': 12375, 'loss': 8.924074172973633}\n",
+      "{'epoch': 0, 'update in batch': 888, '/': 12375, 'loss': 8.874330520629883}\n",
+      "{'epoch': 0, 'update in batch': 889, '/': 12375, 'loss': 8.56616497039795}\n",
+      "{'epoch': 0, 'update in batch': 890, '/': 12375, 'loss': 7.7258124351501465}\n",
+      "{'epoch': 0, 'update in batch': 891, '/': 12375, 'loss': 8.3917875289917}\n",
+      "{'epoch': 0, 'update in batch': 892, '/': 12375, 'loss': 7.816139221191406}\n",
+      "{'epoch': 0, 'update in batch': 893, '/': 12375, 'loss': 8.211332321166992}\n",
+      "{'epoch': 0, 'update in batch': 894, '/': 12375, 'loss': 8.759943008422852}\n",
+      "{'epoch': 0, 'update in batch': 895, '/': 12375, 'loss': 8.659969329833984}\n",
+      "{'epoch': 0, 'update in batch': 896, '/': 12375, 'loss': 8.471197128295898}\n",
+      "{'epoch': 0, 'update in batch': 897, '/': 12375, 'loss': 8.620243072509766}\n",
+      "{'epoch': 0, 'update in batch': 898, '/': 12375, 'loss': 8.052007675170898}\n",
+      "{'epoch': 0, 'update in batch': 899, '/': 12375, 'loss': 8.339970588684082}\n",
+      "{'epoch': 0, 'update in batch': 900, '/': 12375, 'loss': 7.919166564941406}\n",
+      "{'epoch': 0, 'update in batch': 901, '/': 12375, 'loss': 7.898157596588135}\n",
+      "{'epoch': 0, 'update in batch': 902, '/': 12375, 'loss': 8.718192100524902}\n",
+      "{'epoch': 0, 'update in batch': 903, '/': 12375, 'loss': 8.497445106506348}\n",
+      "{'epoch': 0, 'update in batch': 904, '/': 12375, 'loss': 8.419966697692871}\n",
+      "{'epoch': 0, 'update in batch': 905, '/': 12375, 'loss': 8.684101104736328}\n",
+      "{'epoch': 0, 'update in batch': 906, '/': 12375, 'loss': 8.825830459594727}\n",
+      "{'epoch': 0, 'update in batch': 907, '/': 12375, 'loss': 8.681718826293945}\n",
+      "{'epoch': 0, 'update in batch': 908, '/': 12375, 'loss': 9.167582511901855}\n",
+      "{'epoch': 0, 'update in batch': 909, '/': 12375, 'loss': 8.591687202453613}\n",
+      "{'epoch': 0, 'update in batch': 910, '/': 12375, 'loss': 7.914061069488525}\n",
+      "{'epoch': 0, 'update in batch': 911, '/': 12375, 'loss': 8.247171401977539}\n",
+      "{'epoch': 0, 'update in batch': 912, '/': 12375, 'loss': 9.609560012817383}\n",
+      "{'epoch': 0, 'update in batch': 913, '/': 12375, 'loss': 9.768906593322754}\n",
+      "{'epoch': 0, 'update in batch': 914, '/': 12375, 'loss': 9.331228256225586}\n",
+      "{'epoch': 0, 'update in batch': 915, '/': 12375, 'loss': 8.211970329284668}\n",
+      "{'epoch': 0, 'update in batch': 916, '/': 12375, 'loss': 8.87564754486084}\n",
+      "{'epoch': 0, 'update in batch': 917, '/': 12375, 'loss': 8.378292083740234}\n",
+      "{'epoch': 0, 'update in batch': 918, '/': 12375, 'loss': 7.889003753662109}\n",
+      "{'epoch': 0, 'update in batch': 919, '/': 12375, 'loss': 8.307699203491211}\n",
+      "{'epoch': 0, 'update in batch': 920, '/': 12375, 'loss': 8.788361549377441}\n",
+      "{'epoch': 0, 'update in batch': 921, '/': 12375, 'loss': 8.641788482666016}\n",
+      "{'epoch': 0, 'update in batch': 922, '/': 12375, 'loss': 8.786386489868164}\n",
+      "{'epoch': 0, 'update in batch': 923, '/': 12375, 'loss': 8.924551010131836}\n",
+      "{'epoch': 0, 'update in batch': 924, '/': 12375, 'loss': 9.311993598937988}\n",
+      "{'epoch': 0, 'update in batch': 925, '/': 12375, 'loss': 8.499320030212402}\n",
+      "{'epoch': 0, 'update in batch': 926, '/': 12375, 'loss': 8.326249122619629}\n",
+      "{'epoch': 0, 'update in batch': 927, '/': 12375, 'loss': 8.590108871459961}\n",
+      "{'epoch': 0, 'update in batch': 928, '/': 12375, 'loss': 8.779115676879883}\n",
+      "{'epoch': 0, 'update in batch': 929, '/': 12375, 'loss': 8.147941589355469}\n",
+      "{'epoch': 0, 'update in batch': 930, '/': 12375, 'loss': 8.580376625061035}\n",
+      "{'epoch': 0, 'update in batch': 931, '/': 12375, 'loss': 7.5588579177856445}\n",
+      "{'epoch': 0, 'update in batch': 932, '/': 12375, 'loss': 8.929627418518066}\n",
+      "{'epoch': 0, 'update in batch': 933, '/': 12375, 'loss': 8.300515174865723}\n",
+      "{'epoch': 0, 'update in batch': 934, '/': 12375, 'loss': 8.147017478942871}\n",
+      "{'epoch': 0, 'update in batch': 935, '/': 12375, 'loss': 8.598628044128418}\n",
+      "{'epoch': 0, 'update in batch': 936, '/': 12375, 'loss': 7.966684818267822}\n",
+      "{'epoch': 0, 'update in batch': 937, '/': 12375, 'loss': 8.596166610717773}\n",
+      "{'epoch': 0, 'update in batch': 938, '/': 12375, 'loss': 7.587233066558838}\n",
+      "{'epoch': 0, 'update in batch': 939, '/': 12375, 'loss': 8.530977249145508}\n",
+      "{'epoch': 0, 'update in batch': 940, '/': 12375, 'loss': 8.94809627532959}\n",
+      "{'epoch': 0, 'update in batch': 941, '/': 12375, 'loss': 7.794242858886719}\n",
+      "{'epoch': 0, 'update in batch': 942, '/': 12375, 'loss': 8.007669448852539}\n",
+      "{'epoch': 0, 'update in batch': 943, '/': 12375, 'loss': 7.9234185218811035}\n",
+      "{'epoch': 0, 'update in batch': 944, '/': 12375, 'loss': 7.4940619468688965}\n",
+      "{'epoch': 0, 'update in batch': 945, '/': 12375, 'loss': 7.421326637268066}\n",
+      "{'epoch': 0, 'update in batch': 946, '/': 12375, 'loss': 7.2576446533203125}\n",
+      "{'epoch': 0, 'update in batch': 947, '/': 12375, 'loss': 7.837796211242676}\n",
+      "{'epoch': 0, 'update in batch': 948, '/': 12375, 'loss': 7.931826114654541}\n",
+      "{'epoch': 0, 'update in batch': 949, '/': 12375, 'loss': 8.065799713134766}\n",
+      "{'epoch': 0, 'update in batch': 950, '/': 12375, 'loss': 7.875384330749512}\n",
+      "{'epoch': 0, 'update in batch': 951, '/': 12375, 'loss': 7.458620548248291}\n",
+      "{'epoch': 0, 'update in batch': 952, '/': 12375, 'loss': 7.491738796234131}\n",
+      "{'epoch': 0, 'update in batch': 953, '/': 12375, 'loss': 7.920045375823975}\n",
+      "{'epoch': 0, 'update in batch': 954, '/': 12375, 'loss': 8.411321640014648}\n",
+      "{'epoch': 0, 'update in batch': 955, '/': 12375, 'loss': 7.565280914306641}\n",
+      "{'epoch': 0, 'update in batch': 956, '/': 12375, 'loss': 7.659764289855957}\n",
+      "{'epoch': 0, 'update in batch': 957, '/': 12375, 'loss': 9.04188060760498}\n",
+      "{'epoch': 0, 'update in batch': 958, '/': 12375, 'loss': 8.510115623474121}\n",
+      "{'epoch': 0, 'update in batch': 959, '/': 12375, 'loss': 8.144859313964844}\n",
+      "{'epoch': 0, 'update in batch': 960, '/': 12375, 'loss': 7.687314510345459}\n",
+      "{'epoch': 0, 'update in batch': 961, '/': 12375, 'loss': 7.440733909606934}\n",
+      "{'epoch': 0, 'update in batch': 962, '/': 12375, 'loss': 8.053125381469727}\n",
+      "{'epoch': 0, 'update in batch': 963, '/': 12375, 'loss': 7.672478675842285}\n",
+      "{'epoch': 0, 'update in batch': 964, '/': 12375, 'loss': 8.346168518066406}\n",
+      "{'epoch': 0, 'update in batch': 965, '/': 12375, 'loss': 7.888302803039551}\n",
+      "{'epoch': 0, 'update in batch': 966, '/': 12375, 'loss': 8.966414451599121}\n",
+      "{'epoch': 0, 'update in batch': 967, '/': 12375, 'loss': 7.974981784820557}\n",
+      "{'epoch': 0, 'update in batch': 968, '/': 12375, 'loss': 8.237500190734863}\n",
+      "{'epoch': 0, 'update in batch': 969, '/': 12375, 'loss': 8.215100288391113}\n",
+      "{'epoch': 0, 'update in batch': 970, '/': 12375, 'loss': 8.543596267700195}\n",
+      "{'epoch': 0, 'update in batch': 971, '/': 12375, 'loss': 9.590649604797363}\n",
+      "{'epoch': 0, 'update in batch': 972, '/': 12375, 'loss': 8.749595642089844}\n",
+      "{'epoch': 0, 'update in batch': 973, '/': 12375, 'loss': 8.945927619934082}\n",
+      "{'epoch': 0, 'update in batch': 974, '/': 12375, 'loss': 8.178234100341797}\n",
+      "{'epoch': 0, 'update in batch': 975, '/': 12375, 'loss': 8.830297470092773}\n",
+      "{'epoch': 0, 'update in batch': 976, '/': 12375, 'loss': 8.120842933654785}\n",
+      "{'epoch': 0, 'update in batch': 977, '/': 12375, 'loss': 8.345327377319336}\n",
+      "{'epoch': 0, 'update in batch': 978, '/': 12375, 'loss': 8.585369110107422}\n",
+      "{'epoch': 0, 'update in batch': 979, '/': 12375, 'loss': 9.27368450164795}\n",
+      "{'epoch': 0, 'update in batch': 980, '/': 12375, 'loss': 8.609963417053223}\n",
+      "{'epoch': 0, 'update in batch': 981, '/': 12375, 'loss': 9.420918464660645}\n",
+      "{'epoch': 0, 'update in batch': 982, '/': 12375, 'loss': 8.418312072753906}\n",
+      "{'epoch': 0, 'update in batch': 983, '/': 12375, 'loss': 9.392106056213379}\n",
+      "{'epoch': 0, 'update in batch': 984, '/': 12375, 'loss': 8.379825592041016}\n",
+      "{'epoch': 0, 'update in batch': 985, '/': 12375, 'loss': 8.141127586364746}\n",
+      "{'epoch': 0, 'update in batch': 986, '/': 12375, 'loss': 8.522348403930664}\n",
+      "{'epoch': 0, 'update in batch': 987, '/': 12375, 'loss': 8.00739574432373}\n",
+      "{'epoch': 0, 'update in batch': 988, '/': 12375, 'loss': 8.772936820983887}\n",
+      "{'epoch': 0, 'update in batch': 989, '/': 12375, 'loss': 7.940047264099121}\n",
+      "{'epoch': 0, 'update in batch': 990, '/': 12375, 'loss': 8.462837219238281}\n",
+      "{'epoch': 0, 'update in batch': 991, '/': 12375, 'loss': 7.609224796295166}\n",
+      "{'epoch': 0, 'update in batch': 992, '/': 12375, 'loss': 7.748269557952881}\n",
+      "{'epoch': 0, 'update in batch': 993, '/': 12375, 'loss': 8.289995193481445}\n",
+      "{'epoch': 0, 'update in batch': 994, '/': 12375, 'loss': 8.450060844421387}\n",
+      "{'epoch': 0, 'update in batch': 995, '/': 12375, 'loss': 7.720250129699707}\n",
+      "{'epoch': 0, 'update in batch': 996, '/': 12375, 'loss': 7.729211330413818}\n",
+      "{'epoch': 0, 'update in batch': 997, '/': 12375, 'loss': 8.335826873779297}\n",
+      "{'epoch': 0, 'update in batch': 998, '/': 12375, 'loss': 8.634674072265625}\n",
+      "{'epoch': 0, 'update in batch': 999, '/': 12375, 'loss': 7.855266571044922}\n",
+      "{'epoch': 0, 'update in batch': 1000, '/': 12375, 'loss': 8.169015884399414}\n",
+      "{'epoch': 0, 'update in batch': 1001, '/': 12375, 'loss': 7.8427934646606445}\n",
+      "{'epoch': 0, 'update in batch': 1002, '/': 12375, 'loss': 8.599740982055664}\n",
+      "{'epoch': 0, 'update in batch': 1003, '/': 12375, 'loss': 7.642904758453369}\n",
+      "{'epoch': 0, 'update in batch': 1004, '/': 12375, 'loss': 8.029282569885254}\n",
+      "{'epoch': 0, 'update in batch': 1005, '/': 12375, 'loss': 8.483668327331543}\n",
+      "{'epoch': 0, 'update in batch': 1006, '/': 12375, 'loss': 8.721484184265137}\n",
+      "{'epoch': 0, 'update in batch': 1007, '/': 12375, 'loss': 8.982131004333496}\n",
+      "{'epoch': 0, 'update in batch': 1008, '/': 12375, 'loss': 8.57007884979248}\n",
+      "{'epoch': 0, 'update in batch': 1009, '/': 12375, 'loss': 9.048446655273438}\n",
+      "{'epoch': 0, 'update in batch': 1010, '/': 12375, 'loss': 8.009927749633789}\n",
+      "{'epoch': 0, 'update in batch': 1011, '/': 12375, 'loss': 8.516724586486816}\n",
+      "{'epoch': 0, 'update in batch': 1012, '/': 12375, 'loss': 8.677610397338867}\n",
+      "{'epoch': 0, 'update in batch': 1013, '/': 12375, 'loss': 9.039481163024902}\n",
+      "{'epoch': 0, 'update in batch': 1014, '/': 12375, 'loss': 8.27114486694336}\n",
+      "{'epoch': 0, 'update in batch': 1015, '/': 12375, 'loss': 8.541360855102539}\n",
+      "{'epoch': 0, 'update in batch': 1016, '/': 12375, 'loss': 8.251161575317383}\n",
+      "{'epoch': 0, 'update in batch': 1017, '/': 12375, 'loss': 8.463268280029297}\n",
+      "{'epoch': 0, 'update in batch': 1018, '/': 12375, 'loss': 8.358427047729492}\n",
+      "{'epoch': 0, 'update in batch': 1019, '/': 12375, 'loss': 7.320509433746338}\n",
+      "{'epoch': 0, 'update in batch': 1020, '/': 12375, 'loss': 7.526325225830078}\n",
+      "{'epoch': 0, 'update in batch': 1021, '/': 12375, 'loss': 7.304351806640625}\n",
+      "{'epoch': 0, 'update in batch': 1022, '/': 12375, 'loss': 8.18248462677002}\n",
+      "{'epoch': 0, 'update in batch': 1023, '/': 12375, 'loss': 7.823285102844238}\n",
+      "{'epoch': 0, 'update in batch': 1024, '/': 12375, 'loss': 8.682805061340332}\n",
+      "{'epoch': 0, 'update in batch': 1025, '/': 12375, 'loss': 8.654695510864258}\n",
+      "{'epoch': 0, 'update in batch': 1026, '/': 12375, 'loss': 8.214822769165039}\n",
+      "{'epoch': 0, 'update in batch': 1027, '/': 12375, 'loss': 8.216660499572754}\n",
+      "{'epoch': 0, 'update in batch': 1028, '/': 12375, 'loss': 8.485567092895508}\n",
+      "{'epoch': 0, 'update in batch': 1029, '/': 12375, 'loss': 8.302305221557617}\n",
+      "{'epoch': 0, 'update in batch': 1030, '/': 12375, 'loss': 7.660480499267578}\n",
+      "{'epoch': 0, 'update in batch': 1031, '/': 12375, 'loss': 8.69296646118164}\n",
+      "{'epoch': 0, 'update in batch': 1032, '/': 12375, 'loss': 7.696280479431152}\n",
+      "{'epoch': 0, 'update in batch': 1033, '/': 12375, 'loss': 8.827996253967285}\n",
+      "{'epoch': 0, 'update in batch': 1034, '/': 12375, 'loss': 8.698043823242188}\n",
+      "{'epoch': 0, 'update in batch': 1035, '/': 12375, 'loss': 8.562604904174805}\n",
+      "{'epoch': 0, 'update in batch': 1036, '/': 12375, 'loss': 9.22337818145752}\n",
+      "{'epoch': 0, 'update in batch': 1037, '/': 12375, 'loss': 9.055864334106445}\n",
+      "{'epoch': 0, 'update in batch': 1038, '/': 12375, 'loss': 8.785484313964844}\n",
+      "{'epoch': 0, 'update in batch': 1039, '/': 12375, 'loss': 8.831006050109863}\n",
+      "{'epoch': 0, 'update in batch': 1040, '/': 12375, 'loss': 8.52844524383545}\n",
+      "{'epoch': 0, 'update in batch': 1041, '/': 12375, 'loss': 7.865306854248047}\n",
+      "{'epoch': 0, 'update in batch': 1042, '/': 12375, 'loss': 7.562847137451172}\n",
+      "{'epoch': 0, 'update in batch': 1043, '/': 12375, 'loss': 8.163202285766602}\n",
+      "{'epoch': 0, 'update in batch': 1044, '/': 12375, 'loss': 8.414881706237793}\n",
+      "{'epoch': 0, 'update in batch': 1045, '/': 12375, 'loss': 9.030357360839844}\n",
+      "{'epoch': 0, 'update in batch': 1046, '/': 12375, 'loss': 8.753157615661621}\n",
+      "{'epoch': 0, 'update in batch': 1047, '/': 12375, 'loss': 8.211411476135254}\n",
+      "{'epoch': 0, 'update in batch': 1048, '/': 12375, 'loss': 8.5824613571167}\n",
+      "{'epoch': 0, 'update in batch': 1049, '/': 12375, 'loss': 8.629941940307617}\n",
+      "{'epoch': 0, 'update in batch': 1050, '/': 12375, 'loss': 8.294097900390625}\n",
+      "{'epoch': 0, 'update in batch': 1051, '/': 12375, 'loss': 8.96408748626709}\n",
+      "{'epoch': 0, 'update in batch': 1052, '/': 12375, 'loss': 8.179758071899414}\n",
+      "{'epoch': 0, 'update in batch': 1053, '/': 12375, 'loss': 8.547124862670898}\n",
+      "{'epoch': 0, 'update in batch': 1054, '/': 12375, 'loss': 8.67455005645752}\n",
+      "{'epoch': 0, 'update in batch': 1055, '/': 12375, 'loss': 8.585590362548828}\n",
+      "{'epoch': 0, 'update in batch': 1056, '/': 12375, 'loss': 8.77816104888916}\n",
+      "{'epoch': 0, 'update in batch': 1057, '/': 12375, 'loss': 8.662059783935547}\n",
+      "{'epoch': 0, 'update in batch': 1058, '/': 12375, 'loss': 9.507318496704102}\n",
+      "{'epoch': 0, 'update in batch': 1059, '/': 12375, 'loss': 8.942959785461426}\n",
+      "{'epoch': 0, 'update in batch': 1060, '/': 12375, 'loss': 8.420942306518555}\n",
+      "{'epoch': 0, 'update in batch': 1061, '/': 12375, 'loss': 8.457883834838867}\n",
+      "{'epoch': 0, 'update in batch': 1062, '/': 12375, 'loss': 8.496851921081543}\n",
+      "{'epoch': 0, 'update in batch': 1063, '/': 12375, 'loss': 8.026801109313965}\n",
+      "{'epoch': 0, 'update in batch': 1064, '/': 12375, 'loss': 8.142916679382324}\n",
+      "{'epoch': 0, 'update in batch': 1065, '/': 12375, 'loss': 8.230161666870117}\n",
+      "{'epoch': 0, 'update in batch': 1066, '/': 12375, 'loss': 8.368368148803711}\n",
+      "{'epoch': 0, 'update in batch': 1067, '/': 12375, 'loss': 8.669398307800293}\n",
+      "{'epoch': 0, 'update in batch': 1068, '/': 12375, 'loss': 7.748641014099121}\n",
+      "{'epoch': 0, 'update in batch': 1069, '/': 12375, 'loss': 7.628603458404541}\n",
+      "{'epoch': 0, 'update in batch': 1070, '/': 12375, 'loss': 7.67364501953125}\n",
+      "{'epoch': 0, 'update in batch': 1071, '/': 12375, 'loss': 8.094783782958984}\n",
+      "{'epoch': 0, 'update in batch': 1072, '/': 12375, 'loss': 7.641539573669434}\n",
+      "{'epoch': 0, 'update in batch': 1073, '/': 12375, 'loss': 8.310982704162598}\n",
+      "{'epoch': 0, 'update in batch': 1074, '/': 12375, 'loss': 7.927529811859131}\n",
+      "{'epoch': 0, 'update in batch': 1075, '/': 12375, 'loss': 8.384971618652344}\n",
+      "{'epoch': 0, 'update in batch': 1076, '/': 12375, 'loss': 8.269838333129883}\n",
+      "{'epoch': 0, 'update in batch': 1077, '/': 12375, 'loss': 7.448751926422119}\n",
+      "{'epoch': 0, 'update in batch': 1078, '/': 12375, 'loss': 8.325631141662598}\n",
+      "{'epoch': 0, 'update in batch': 1079, '/': 12375, 'loss': 7.85806941986084}\n",
+      "{'epoch': 0, 'update in batch': 1080, '/': 12375, 'loss': 8.130891799926758}\n",
+      "{'epoch': 0, 'update in batch': 1081, '/': 12375, 'loss': 9.238751411437988}\n",
+      "{'epoch': 0, 'update in batch': 1082, '/': 12375, 'loss': 8.872522354125977}\n",
+      "{'epoch': 0, 'update in batch': 1083, '/': 12375, 'loss': 9.008745193481445}\n",
+      "{'epoch': 0, 'update in batch': 1084, '/': 12375, 'loss': 9.214560508728027}\n",
+      "{'epoch': 0, 'update in batch': 1085, '/': 12375, 'loss': 8.402657508850098}\n",
+      "{'epoch': 0, 'update in batch': 1086, '/': 12375, 'loss': 8.339956283569336}\n",
+      "{'epoch': 0, 'update in batch': 1087, '/': 12375, 'loss': 8.64972972869873}\n",
+      "{'epoch': 0, 'update in batch': 1088, '/': 12375, 'loss': 8.381033897399902}\n",
+      "{'epoch': 0, 'update in batch': 1089, '/': 12375, 'loss': 7.810300350189209}\n",
+      "{'epoch': 0, 'update in batch': 1090, '/': 12375, 'loss': 8.874208450317383}\n",
+      "{'epoch': 0, 'update in batch': 1091, '/': 12375, 'loss': 7.8173370361328125}\n",
+      "{'epoch': 0, 'update in batch': 1092, '/': 12375, 'loss': 7.539286136627197}\n",
+      "{'epoch': 0, 'update in batch': 1093, '/': 12375, 'loss': 8.264608383178711}\n",
+      "{'epoch': 0, 'update in batch': 1094, '/': 12375, 'loss': 7.0866193771362305}\n",
+      "{'epoch': 0, 'update in batch': 1095, '/': 12375, 'loss': 8.263774871826172}\n",
+      "{'epoch': 0, 'update in batch': 1096, '/': 12375, 'loss': 8.118833541870117}\n",
+      "{'epoch': 0, 'update in batch': 1097, '/': 12375, 'loss': 8.256339073181152}\n",
+      "{'epoch': 0, 'update in batch': 1098, '/': 12375, 'loss': 7.498490333557129}\n",
+      "{'epoch': 0, 'update in batch': 1099, '/': 12375, 'loss': 7.949056148529053}\n",
+      "{'epoch': 0, 'update in batch': 1100, '/': 12375, 'loss': 7.828019142150879}\n",
+      "{'epoch': 0, 'update in batch': 1101, '/': 12375, 'loss': 7.99622106552124}\n",
+      "{'epoch': 0, 'update in batch': 1102, '/': 12375, 'loss': 7.594350337982178}\n",
+      "{'epoch': 0, 'update in batch': 1103, '/': 12375, 'loss': 8.28111743927002}\n",
+      "{'epoch': 0, 'update in batch': 1104, '/': 12375, 'loss': 7.575682640075684}\n",
+      "{'epoch': 0, 'update in batch': 1105, '/': 12375, 'loss': 8.001411437988281}\n",
+      "{'epoch': 0, 'update in batch': 1106, '/': 12375, 'loss': 8.453317642211914}\n",
+      "{'epoch': 0, 'update in batch': 1107, '/': 12375, 'loss': 7.994847774505615}\n",
+      "{'epoch': 0, 'update in batch': 1108, '/': 12375, 'loss': 7.528433322906494}\n",
+      "{'epoch': 0, 'update in batch': 1109, '/': 12375, 'loss': 8.189964294433594}\n",
+      "{'epoch': 0, 'update in batch': 1110, '/': 12375, 'loss': 7.94088888168335}\n",
+      "{'epoch': 0, 'update in batch': 1111, '/': 12375, 'loss': 7.8841681480407715}\n",
+      "{'epoch': 0, 'update in batch': 1112, '/': 12375, 'loss': 7.766800880432129}\n",
+      "{'epoch': 0, 'update in batch': 1113, '/': 12375, 'loss': 7.558615684509277}\n",
+      "{'epoch': 0, 'update in batch': 1114, '/': 12375, 'loss': 7.723397254943848}\n",
+      "{'epoch': 0, 'update in batch': 1115, '/': 12375, 'loss': 7.045299530029297}\n",
+      "{'epoch': 0, 'update in batch': 1116, '/': 12375, 'loss': 8.497146606445312}\n",
+      "{'epoch': 0, 'update in batch': 1117, '/': 12375, 'loss': 8.695843696594238}\n",
+      "{'epoch': 0, 'update in batch': 1118, '/': 12375, 'loss': 7.874032020568848}\n",
+      "{'epoch': 0, 'update in batch': 1119, '/': 12375, 'loss': 7.782583713531494}\n",
+      "{'epoch': 0, 'update in batch': 1120, '/': 12375, 'loss': 8.059926986694336}\n",
+      "{'epoch': 0, 'update in batch': 1121, '/': 12375, 'loss': 8.655367851257324}\n",
+      "{'epoch': 0, 'update in batch': 1122, '/': 12375, 'loss': 7.850238800048828}\n",
+      "{'epoch': 0, 'update in batch': 1123, '/': 12375, 'loss': 8.525537490844727}\n",
+      "{'epoch': 0, 'update in batch': 1124, '/': 12375, 'loss': 8.375631332397461}\n",
+      "{'epoch': 0, 'update in batch': 1125, '/': 12375, 'loss': 9.24100112915039}\n",
+      "{'epoch': 0, 'update in batch': 1126, '/': 12375, 'loss': 9.018621444702148}\n",
+      "{'epoch': 0, 'update in batch': 1127, '/': 12375, 'loss': 9.043307304382324}\n",
+      "{'epoch': 0, 'update in batch': 1128, '/': 12375, 'loss': 8.398503303527832}\n",
+      "{'epoch': 0, 'update in batch': 1129, '/': 12375, 'loss': 8.02947998046875}\n",
+      "{'epoch': 0, 'update in batch': 1130, '/': 12375, 'loss': 8.287630081176758}\n",
+      "{'epoch': 0, 'update in batch': 1131, '/': 12375, 'loss': 8.354555130004883}\n",
+      "{'epoch': 0, 'update in batch': 1132, '/': 12375, 'loss': 7.775130271911621}\n",
+      "{'epoch': 0, 'update in batch': 1133, '/': 12375, 'loss': 8.354228973388672}\n",
+      "{'epoch': 0, 'update in batch': 1134, '/': 12375, 'loss': 7.890909671783447}\n",
+      "{'epoch': 0, 'update in batch': 1135, '/': 12375, 'loss': 8.862125396728516}\n",
+      "{'epoch': 0, 'update in batch': 1136, '/': 12375, 'loss': 8.162138938903809}\n",
+      "{'epoch': 0, 'update in batch': 1137, '/': 12375, 'loss': 8.255891799926758}\n",
+      "{'epoch': 0, 'update in batch': 1138, '/': 12375, 'loss': 8.123562812805176}\n",
+      "{'epoch': 0, 'update in batch': 1139, '/': 12375, 'loss': 7.540525913238525}\n",
+      "{'epoch': 0, 'update in batch': 1140, '/': 12375, 'loss': 8.43980884552002}\n",
+      "{'epoch': 0, 'update in batch': 1141, '/': 12375, 'loss': 8.692178726196289}\n",
+      "{'epoch': 0, 'update in batch': 1142, '/': 12375, 'loss': 8.076507568359375}\n",
+      "{'epoch': 0, 'update in batch': 1143, '/': 12375, 'loss': 8.57066535949707}\n",
+      "{'epoch': 0, 'update in batch': 1144, '/': 12375, 'loss': 8.163619041442871}\n",
+      "{'epoch': 0, 'update in batch': 1145, '/': 12375, 'loss': 7.927193641662598}\n",
+      "{'epoch': 0, 'update in batch': 1146, '/': 12375, 'loss': 8.7582368850708}\n",
+      "{'epoch': 0, 'update in batch': 1147, '/': 12375, 'loss': 8.103547096252441}\n",
+      "{'epoch': 0, 'update in batch': 1148, '/': 12375, 'loss': 8.636151313781738}\n",
+      "{'epoch': 0, 'update in batch': 1149, '/': 12375, 'loss': 8.895615577697754}\n",
+      "{'epoch': 0, 'update in batch': 1150, '/': 12375, 'loss': 8.497673988342285}\n",
+      "{'epoch': 0, 'update in batch': 1151, '/': 12375, 'loss': 9.113302230834961}\n",
+      "{'epoch': 0, 'update in batch': 1152, '/': 12375, 'loss': 8.58611011505127}\n",
+      "{'epoch': 0, 'update in batch': 1153, '/': 12375, 'loss': 8.80722427368164}\n",
+      "{'epoch': 0, 'update in batch': 1154, '/': 12375, 'loss': 8.378067970275879}\n",
+      "{'epoch': 0, 'update in batch': 1155, '/': 12375, 'loss': 9.035840034484863}\n",
+      "{'epoch': 0, 'update in batch': 1156, '/': 12375, 'loss': 8.823949813842773}\n",
+      "{'epoch': 0, 'update in batch': 1157, '/': 12375, 'loss': 8.199705123901367}\n",
+      "{'epoch': 0, 'update in batch': 1158, '/': 12375, 'loss': 8.413941383361816}\n",
+      "{'epoch': 0, 'update in batch': 1159, '/': 12375, 'loss': 8.84632396697998}\n",
+      "{'epoch': 0, 'update in batch': 1160, '/': 12375, 'loss': 9.648844718933105}\n",
+      "{'epoch': 0, 'update in batch': 1161, '/': 12375, 'loss': 9.152396202087402}\n",
+      "{'epoch': 0, 'update in batch': 1162, '/': 12375, 'loss': 8.558511734008789}\n",
+      "{'epoch': 0, 'update in batch': 1163, '/': 12375, 'loss': 8.70669937133789}\n",
+      "{'epoch': 0, 'update in batch': 1164, '/': 12375, 'loss': 9.355367660522461}\n",
+      "{'epoch': 0, 'update in batch': 1165, '/': 12375, 'loss': 8.752309799194336}\n",
+      "{'epoch': 0, 'update in batch': 1166, '/': 12375, 'loss': 8.141340255737305}\n",
+      "{'epoch': 0, 'update in batch': 1167, '/': 12375, 'loss': 8.487601280212402}\n",
+      "{'epoch': 0, 'update in batch': 1168, '/': 12375, 'loss': 8.647062301635742}\n",
+      "{'epoch': 0, 'update in batch': 1169, '/': 12375, 'loss': 8.832062721252441}\n",
+      "{'epoch': 0, 'update in batch': 1170, '/': 12375, 'loss': 8.697110176086426}\n",
+      "{'epoch': 0, 'update in batch': 1171, '/': 12375, 'loss': 8.265107154846191}\n",
+      "{'epoch': 0, 'update in batch': 1172, '/': 12375, 'loss': 8.560930252075195}\n",
+      "{'epoch': 0, 'update in batch': 1173, '/': 12375, 'loss': 9.135847091674805}\n",
+      "{'epoch': 0, 'update in batch': 1174, '/': 12375, 'loss': 8.774568557739258}\n",
+      "{'epoch': 0, 'update in batch': 1175, '/': 12375, 'loss': 7.715184211730957}\n",
+      "{'epoch': 0, 'update in batch': 1176, '/': 12375, 'loss': 7.820263862609863}\n",
+      "{'epoch': 0, 'update in batch': 1177, '/': 12375, 'loss': 7.8683271408081055}\n",
+      "{'epoch': 0, 'update in batch': 1178, '/': 12375, 'loss': 7.755171775817871}\n",
+      "{'epoch': 0, 'update in batch': 1179, '/': 12375, 'loss': 7.898215293884277}\n",
+      "{'epoch': 0, 'update in batch': 1180, '/': 12375, 'loss': 7.835169315338135}\n",
+      "{'epoch': 0, 'update in batch': 1181, '/': 12375, 'loss': 8.495621681213379}\n",
+      "{'epoch': 0, 'update in batch': 1182, '/': 12375, 'loss': 7.308775424957275}\n",
+      "{'epoch': 0, 'update in batch': 1183, '/': 12375, 'loss': 7.6541619300842285}\n",
+      "{'epoch': 0, 'update in batch': 1184, '/': 12375, 'loss': 7.951573371887207}\n",
+      "{'epoch': 0, 'update in batch': 1185, '/': 12375, 'loss': 7.5177764892578125}\n",
+      "{'epoch': 0, 'update in batch': 1186, '/': 12375, 'loss': 7.728167533874512}\n",
+      "{'epoch': 0, 'update in batch': 1187, '/': 12375, 'loss': 8.693769454956055}\n",
+      "{'epoch': 0, 'update in batch': 1188, '/': 12375, 'loss': 8.455739974975586}\n",
+      "{'epoch': 0, 'update in batch': 1189, '/': 12375, 'loss': 7.593489170074463}\n",
+      "{'epoch': 0, 'update in batch': 1190, '/': 12375, 'loss': 8.40995979309082}\n",
+      "{'epoch': 0, 'update in batch': 1191, '/': 12375, 'loss': 8.508970260620117}\n",
+      "{'epoch': 0, 'update in batch': 1192, '/': 12375, 'loss': 8.054325103759766}\n",
+      "{'epoch': 0, 'update in batch': 1193, '/': 12375, 'loss': 7.76010799407959}\n",
+      "{'epoch': 0, 'update in batch': 1194, '/': 12375, 'loss': 8.088096618652344}\n",
+      "{'epoch': 0, 'update in batch': 1195, '/': 12375, 'loss': 7.911808013916016}\n",
+      "{'epoch': 0, 'update in batch': 1196, '/': 12375, 'loss': 8.532513618469238}\n",
+      "{'epoch': 0, 'update in batch': 1197, '/': 12375, 'loss': 9.017007827758789}\n",
+      "{'epoch': 0, 'update in batch': 1198, '/': 12375, 'loss': 8.98796558380127}\n",
+      "{'epoch': 0, 'update in batch': 1199, '/': 12375, 'loss': 8.897395133972168}\n",
+      "{'epoch': 0, 'update in batch': 1200, '/': 12375, 'loss': 8.263032913208008}\n",
+      "{'epoch': 0, 'update in batch': 1201, '/': 12375, 'loss': 7.8287353515625}\n",
+      "{'epoch': 0, 'update in batch': 1202, '/': 12375, 'loss': 7.132112979888916}\n",
+      "{'epoch': 0, 'update in batch': 1203, '/': 12375, 'loss': 8.15640640258789}\n",
+      "{'epoch': 0, 'update in batch': 1204, '/': 12375, 'loss': 7.745057106018066}\n",
+      "{'epoch': 0, 'update in batch': 1205, '/': 12375, 'loss': 7.8656721115112305}\n",
+      "{'epoch': 0, 'update in batch': 1206, '/': 12375, 'loss': 7.542630672454834}\n",
+      "{'epoch': 0, 'update in batch': 1207, '/': 12375, 'loss': 7.8040337562561035}\n",
+      "{'epoch': 0, 'update in batch': 1208, '/': 12375, 'loss': 7.696299076080322}\n",
+      "{'epoch': 0, 'update in batch': 1209, '/': 12375, 'loss': 7.69848108291626}\n",
+      "{'epoch': 0, 'update in batch': 1210, '/': 12375, 'loss': 8.049245834350586}\n",
+      "{'epoch': 0, 'update in batch': 1211, '/': 12375, 'loss': 8.395417213439941}\n",
+      "{'epoch': 0, 'update in batch': 1212, '/': 12375, 'loss': 8.04644775390625}\n",
+      "{'epoch': 0, 'update in batch': 1213, '/': 12375, 'loss': 8.074316024780273}\n",
+      "{'epoch': 0, 'update in batch': 1214, '/': 12375, 'loss': 7.9052934646606445}\n",
+      "{'epoch': 0, 'update in batch': 1215, '/': 12375, 'loss': 8.109883308410645}\n",
+      "{'epoch': 0, 'update in batch': 1216, '/': 12375, 'loss': 8.464886665344238}\n",
+      "{'epoch': 0, 'update in batch': 1217, '/': 12375, 'loss': 7.809405326843262}\n",
+      "{'epoch': 0, 'update in batch': 1218, '/': 12375, 'loss': 7.3513994216918945}\n",
+      "{'epoch': 0, 'update in batch': 1219, '/': 12375, 'loss': 7.784062385559082}\n",
+      "{'epoch': 0, 'update in batch': 1220, '/': 12375, 'loss': 7.7288103103637695}\n",
+      "{'epoch': 0, 'update in batch': 1221, '/': 12375, 'loss': 8.419930458068848}\n",
+      "{'epoch': 0, 'update in batch': 1222, '/': 12375, 'loss': 8.884979248046875}\n",
+      "{'epoch': 0, 'update in batch': 1223, '/': 12375, 'loss': 8.305187225341797}\n",
+      "{'epoch': 0, 'update in batch': 1224, '/': 12375, 'loss': 8.737764358520508}\n",
+      "{'epoch': 0, 'update in batch': 1225, '/': 12375, 'loss': 8.20094108581543}\n",
+      "{'epoch': 0, 'update in batch': 1226, '/': 12375, 'loss': 7.3851637840271}\n",
+      "{'epoch': 0, 'update in batch': 1227, '/': 12375, 'loss': 8.385719299316406}\n",
+      "{'epoch': 0, 'update in batch': 1228, '/': 12375, 'loss': 8.120061874389648}\n",
+      "{'epoch': 0, 'update in batch': 1229, '/': 12375, 'loss': 8.491350173950195}\n",
+      "{'epoch': 0, 'update in batch': 1230, '/': 12375, 'loss': 8.908068656921387}\n",
+      "{'epoch': 0, 'update in batch': 1231, '/': 12375, 'loss': 8.688614845275879}\n",
+      "{'epoch': 0, 'update in batch': 1232, '/': 12375, 'loss': 7.638943672180176}\n",
+      "{'epoch': 0, 'update in batch': 1233, '/': 12375, 'loss': 7.574803829193115}\n",
+      "{'epoch': 0, 'update in batch': 1234, '/': 12375, 'loss': 7.546535491943359}\n",
+      "{'epoch': 0, 'update in batch': 1235, '/': 12375, 'loss': 8.026239395141602}\n",
+      "{'epoch': 0, 'update in batch': 1236, '/': 12375, 'loss': 7.814840793609619}\n",
+      "{'epoch': 0, 'update in batch': 1237, '/': 12375, 'loss': 7.920544624328613}\n",
+      "{'epoch': 0, 'update in batch': 1238, '/': 12375, 'loss': 7.33217716217041}\n",
+      "{'epoch': 0, 'update in batch': 1239, '/': 12375, 'loss': 7.622350215911865}\n",
+      "{'epoch': 0, 'update in batch': 1240, '/': 12375, 'loss': 8.171433448791504}\n",
+      "{'epoch': 0, 'update in batch': 1241, '/': 12375, 'loss': 7.767168998718262}\n",
+      "{'epoch': 0, 'update in batch': 1242, '/': 12375, 'loss': 8.100798606872559}\n",
+      "{'epoch': 0, 'update in batch': 1243, '/': 12375, 'loss': 7.455831050872803}\n",
+      "{'epoch': 0, 'update in batch': 1244, '/': 12375, 'loss': 7.872791290283203}\n",
+      "{'epoch': 0, 'update in batch': 1245, '/': 12375, 'loss': 7.495405673980713}\n",
+      "{'epoch': 0, 'update in batch': 1246, '/': 12375, 'loss': 7.861777305603027}\n",
+      "{'epoch': 0, 'update in batch': 1247, '/': 12375, 'loss': 7.491878509521484}\n",
+      "{'epoch': 0, 'update in batch': 1248, '/': 12375, 'loss': 7.795836448669434}\n",
+      "{'epoch': 0, 'update in batch': 1249, '/': 12375, 'loss': 8.141749382019043}\n",
+      "{'epoch': 0, 'update in batch': 1250, '/': 12375, 'loss': 7.79935359954834}\n",
+      "{'epoch': 0, 'update in batch': 1251, '/': 12375, 'loss': 7.922793388366699}\n",
+      "{'epoch': 0, 'update in batch': 1252, '/': 12375, 'loss': 7.999566078186035}\n",
+      "{'epoch': 0, 'update in batch': 1253, '/': 12375, 'loss': 8.398613929748535}\n",
+      "{'epoch': 0, 'update in batch': 1254, '/': 12375, 'loss': 7.814867973327637}\n",
+      "{'epoch': 0, 'update in batch': 1255, '/': 12375, 'loss': 7.876399040222168}\n",
+      "{'epoch': 0, 'update in batch': 1256, '/': 12375, 'loss': 7.292356014251709}\n",
+      "{'epoch': 0, 'update in batch': 1257, '/': 12375, 'loss': 7.727425575256348}\n",
+      "{'epoch': 0, 'update in batch': 1258, '/': 12375, 'loss': 8.084219932556152}\n",
+      "{'epoch': 0, 'update in batch': 1259, '/': 12375, 'loss': 8.421937942504883}\n",
+      "{'epoch': 0, 'update in batch': 1260, '/': 12375, 'loss': 8.15694522857666}\n",
+      "{'epoch': 0, 'update in batch': 1261, '/': 12375, 'loss': 8.026278495788574}\n",
+      "{'epoch': 0, 'update in batch': 1262, '/': 12375, 'loss': 8.055543899536133}\n",
+      "{'epoch': 0, 'update in batch': 1263, '/': 12375, 'loss': 7.713171482086182}\n",
+      "{'epoch': 0, 'update in batch': 1264, '/': 12375, 'loss': 7.797292232513428}\n",
+      "{'epoch': 0, 'update in batch': 1265, '/': 12375, 'loss': 7.029816627502441}\n",
+      "{'epoch': 0, 'update in batch': 1266, '/': 12375, 'loss': 7.596920013427734}\n",
+      "{'epoch': 0, 'update in batch': 1267, '/': 12375, 'loss': 7.368875980377197}\n",
+      "{'epoch': 0, 'update in batch': 1268, '/': 12375, 'loss': 8.12885570526123}\n",
+      "{'epoch': 0, 'update in batch': 1269, '/': 12375, 'loss': 7.848236083984375}\n",
+      "{'epoch': 0, 'update in batch': 1270, '/': 12375, 'loss': 8.354220390319824}\n",
+      "{'epoch': 0, 'update in batch': 1271, '/': 12375, 'loss': 8.215612411499023}\n",
+      "{'epoch': 0, 'update in batch': 1272, '/': 12375, 'loss': 7.983092308044434}\n",
+      "{'epoch': 0, 'update in batch': 1273, '/': 12375, 'loss': 9.14993667602539}\n",
+      "{'epoch': 0, 'update in batch': 1274, '/': 12375, 'loss': 8.507494926452637}\n",
+      "{'epoch': 0, 'update in batch': 1275, '/': 12375, 'loss': 7.886020660400391}\n",
+      "{'epoch': 0, 'update in batch': 1276, '/': 12375, 'loss': 8.222382545471191}\n",
+      "{'epoch': 0, 'update in batch': 1277, '/': 12375, 'loss': 7.881278038024902}\n",
+      "{'epoch': 0, 'update in batch': 1278, '/': 12375, 'loss': 8.181020736694336}\n",
+      "{'epoch': 0, 'update in batch': 1279, '/': 12375, 'loss': 8.275123596191406}\n",
+      "{'epoch': 0, 'update in batch': 1280, '/': 12375, 'loss': 7.455290794372559}\n",
+      "{'epoch': 0, 'update in batch': 1281, '/': 12375, 'loss': 7.416188716888428}\n",
+      "{'epoch': 0, 'update in batch': 1282, '/': 12375, 'loss': 7.76111364364624}\n",
+      "{'epoch': 0, 'update in batch': 1283, '/': 12375, 'loss': 8.008500099182129}\n",
+      "{'epoch': 0, 'update in batch': 1284, '/': 12375, 'loss': 8.785719871520996}\n",
+      "{'epoch': 0, 'update in batch': 1285, '/': 12375, 'loss': 9.244117736816406}\n",
+      "{'epoch': 0, 'update in batch': 1286, '/': 12375, 'loss': 8.418172836303711}\n",
+      "{'epoch': 0, 'update in batch': 1287, '/': 12375, 'loss': 8.101070404052734}\n",
+      "{'epoch': 0, 'update in batch': 1288, '/': 12375, 'loss': 8.478748321533203}\n",
+      "{'epoch': 0, 'update in batch': 1289, '/': 12375, 'loss': 8.10847282409668}\n",
+      "{'epoch': 0, 'update in batch': 1290, '/': 12375, 'loss': 7.641260623931885}\n",
+      "{'epoch': 0, 'update in batch': 1291, '/': 12375, 'loss': 7.776494026184082}\n",
+      "{'epoch': 0, 'update in batch': 1292, '/': 12375, 'loss': 8.240147590637207}\n",
+      "{'epoch': 0, 'update in batch': 1293, '/': 12375, 'loss': 7.909010410308838}\n",
+      "{'epoch': 0, 'update in batch': 1294, '/': 12375, 'loss': 7.65801477432251}\n",
+      "{'epoch': 0, 'update in batch': 1295, '/': 12375, 'loss': 7.971393585205078}\n",
+      "{'epoch': 0, 'update in batch': 1296, '/': 12375, 'loss': 8.193787574768066}\n",
+      "{'epoch': 0, 'update in batch': 1297, '/': 12375, 'loss': 8.844346046447754}\n",
+      "{'epoch': 0, 'update in batch': 1298, '/': 12375, 'loss': 8.673418045043945}\n",
+      "{'epoch': 0, 'update in batch': 1299, '/': 12375, 'loss': 7.636232852935791}\n",
+      "{'epoch': 0, 'update in batch': 1300, '/': 12375, 'loss': 7.762789249420166}\n",
+      "{'epoch': 0, 'update in batch': 1301, '/': 12375, 'loss': 7.6323652267456055}\n",
+      "{'epoch': 0, 'update in batch': 1302, '/': 12375, 'loss': 8.525047302246094}\n",
+      "{'epoch': 0, 'update in batch': 1303, '/': 12375, 'loss': 8.146225929260254}\n",
+      "{'epoch': 0, 'update in batch': 1304, '/': 12375, 'loss': 7.868768215179443}\n",
+      "{'epoch': 0, 'update in batch': 1305, '/': 12375, 'loss': 8.201415061950684}\n",
+      "{'epoch': 0, 'update in batch': 1306, '/': 12375, 'loss': 8.469514846801758}\n",
+      "{'epoch': 0, 'update in batch': 1307, '/': 12375, 'loss': 8.387762069702148}\n",
+      "{'epoch': 0, 'update in batch': 1308, '/': 12375, 'loss': 8.216669082641602}\n",
+      "{'epoch': 0, 'update in batch': 1309, '/': 12375, 'loss': 7.838967800140381}\n",
+      "{'epoch': 0, 'update in batch': 1310, '/': 12375, 'loss': 8.614477157592773}\n",
+      "{'epoch': 0, 'update in batch': 1311, '/': 12375, 'loss': 8.139026641845703}\n",
+      "{'epoch': 0, 'update in batch': 1312, '/': 12375, 'loss': 7.670422554016113}\n",
+      "{'epoch': 0, 'update in batch': 1313, '/': 12375, 'loss': 7.762766361236572}\n",
+      "{'epoch': 0, 'update in batch': 1314, '/': 12375, 'loss': 7.662060737609863}\n",
+      "{'epoch': 0, 'update in batch': 1315, '/': 12375, 'loss': 7.805765628814697}\n",
+      "{'epoch': 0, 'update in batch': 1316, '/': 12375, 'loss': 7.256717681884766}\n",
+      "{'epoch': 0, 'update in batch': 1317, '/': 12375, 'loss': 7.998866081237793}\n",
+      "{'epoch': 0, 'update in batch': 1318, '/': 12375, 'loss': 8.934497833251953}\n",
+      "{'epoch': 0, 'update in batch': 1319, '/': 12375, 'loss': 8.19826602935791}\n",
+      "{'epoch': 0, 'update in batch': 1320, '/': 12375, 'loss': 7.622763633728027}\n",
+      "{'epoch': 0, 'update in batch': 1321, '/': 12375, 'loss': 8.036710739135742}\n",
+      "{'epoch': 0, 'update in batch': 1322, '/': 12375, 'loss': 7.550625801086426}\n",
+      "{'epoch': 0, 'update in batch': 1323, '/': 12375, 'loss': 8.284945487976074}\n",
+      "{'epoch': 0, 'update in batch': 1324, '/': 12375, 'loss': 7.869969844818115}\n",
+      "{'epoch': 0, 'update in batch': 1325, '/': 12375, 'loss': 8.659858703613281}\n",
+      "{'epoch': 0, 'update in batch': 1326, '/': 12375, 'loss': 7.535292148590088}\n",
+      "{'epoch': 0, 'update in batch': 1327, '/': 12375, 'loss': 7.488328456878662}\n",
+      "{'epoch': 0, 'update in batch': 1328, '/': 12375, 'loss': 7.713321685791016}\n",
+      "{'epoch': 0, 'update in batch': 1329, '/': 12375, 'loss': 6.998259544372559}\n",
+      "{'epoch': 0, 'update in batch': 1330, '/': 12375, 'loss': 8.085145950317383}\n",
+      "{'epoch': 0, 'update in batch': 1331, '/': 12375, 'loss': 7.345105171203613}\n",
+      "{'epoch': 0, 'update in batch': 1332, '/': 12375, 'loss': 7.640611171722412}\n",
+      "{'epoch': 0, 'update in batch': 1333, '/': 12375, 'loss': 7.3097381591796875}\n",
+      "{'epoch': 0, 'update in batch': 1334, '/': 12375, 'loss': 8.839371681213379}\n",
+      "{'epoch': 0, 'update in batch': 1335, '/': 12375, 'loss': 8.599455833435059}\n",
+      "{'epoch': 0, 'update in batch': 1336, '/': 12375, 'loss': 8.30794620513916}\n",
+      "{'epoch': 0, 'update in batch': 1337, '/': 12375, 'loss': 7.994116306304932}\n",
+      "{'epoch': 0, 'update in batch': 1338, '/': 12375, 'loss': 8.020210266113281}\n",
+      "{'epoch': 0, 'update in batch': 1339, '/': 12375, 'loss': 8.559603691101074}\n",
+      "{'epoch': 0, 'update in batch': 1340, '/': 12375, 'loss': 8.833797454833984}\n",
+      "{'epoch': 0, 'update in batch': 1341, '/': 12375, 'loss': 8.549567222595215}\n",
+      "{'epoch': 0, 'update in batch': 1342, '/': 12375, 'loss': 8.320158004760742}\n",
+      "{'epoch': 0, 'update in batch': 1343, '/': 12375, 'loss': 8.733769416809082}\n",
+      "{'epoch': 0, 'update in batch': 1344, '/': 12375, 'loss': 8.491159439086914}\n",
+      "{'epoch': 0, 'update in batch': 1345, '/': 12375, 'loss': 8.45336627960205}\n",
+      "{'epoch': 0, 'update in batch': 1346, '/': 12375, 'loss': 8.391705513000488}\n",
+      "{'epoch': 0, 'update in batch': 1347, '/': 12375, 'loss': 8.057050704956055}\n",
+      "{'epoch': 0, 'update in batch': 1348, '/': 12375, 'loss': 8.333032608032227}\n",
+      "{'epoch': 0, 'update in batch': 1349, '/': 12375, 'loss': 8.377054214477539}\n",
+      "{'epoch': 0, 'update in batch': 1350, '/': 12375, 'loss': 8.595573425292969}\n",
+      "{'epoch': 0, 'update in batch': 1351, '/': 12375, 'loss': 7.89013147354126}\n",
+      "{'epoch': 0, 'update in batch': 1352, '/': 12375, 'loss': 8.27952766418457}\n",
+      "{'epoch': 0, 'update in batch': 1353, '/': 12375, 'loss': 7.779819488525391}\n",
+      "{'epoch': 0, 'update in batch': 1354, '/': 12375, 'loss': 8.104305267333984}\n",
+      "{'epoch': 0, 'update in batch': 1355, '/': 12375, 'loss': 9.817779541015625}\n",
+      "{'epoch': 0, 'update in batch': 1356, '/': 12375, 'loss': 8.18826675415039}\n",
+      "{'epoch': 0, 'update in batch': 1357, '/': 12375, 'loss': 7.484338283538818}\n",
+      "{'epoch': 0, 'update in batch': 1358, '/': 12375, 'loss': 7.25557804107666}\n",
+      "{'epoch': 0, 'update in batch': 1359, '/': 12375, 'loss': 8.199424743652344}\n",
+      "{'epoch': 0, 'update in batch': 1360, '/': 12375, 'loss': 8.148124694824219}\n",
+      "{'epoch': 0, 'update in batch': 1361, '/': 12375, 'loss': 7.922353267669678}\n",
+      "{'epoch': 0, 'update in batch': 1362, '/': 12375, 'loss': 8.764976501464844}\n",
+      "{'epoch': 0, 'update in batch': 1363, '/': 12375, 'loss': 8.280374526977539}\n",
+      "{'epoch': 0, 'update in batch': 1364, '/': 12375, 'loss': 8.572157859802246}\n",
+      "{'epoch': 0, 'update in batch': 1365, '/': 12375, 'loss': 7.638579368591309}\n",
+      "{'epoch': 0, 'update in batch': 1366, '/': 12375, 'loss': 8.969228744506836}\n",
+      "{'epoch': 0, 'update in batch': 1367, '/': 12375, 'loss': 9.26146125793457}\n",
+      "{'epoch': 0, 'update in batch': 1368, '/': 12375, 'loss': 8.325757026672363}\n",
+      "{'epoch': 0, 'update in batch': 1369, '/': 12375, 'loss': 8.581644058227539}\n",
+      "{'epoch': 0, 'update in batch': 1370, '/': 12375, 'loss': 7.714325904846191}\n",
+      "{'epoch': 0, 'update in batch': 1371, '/': 12375, 'loss': 7.946232795715332}\n",
+      "{'epoch': 0, 'update in batch': 1372, '/': 12375, 'loss': 7.771157264709473}\n",
+      "{'epoch': 0, 'update in batch': 1373, '/': 12375, 'loss': 7.810216426849365}\n",
+      "{'epoch': 0, 'update in batch': 1374, '/': 12375, 'loss': 7.799688816070557}\n",
+      "{'epoch': 0, 'update in batch': 1375, '/': 12375, 'loss': 7.222181797027588}\n",
+      "{'epoch': 0, 'update in batch': 1376, '/': 12375, 'loss': 7.060366153717041}\n",
+      "{'epoch': 0, 'update in batch': 1377, '/': 12375, 'loss': 8.003076553344727}\n",
+      "{'epoch': 0, 'update in batch': 1378, '/': 12375, 'loss': 8.84779167175293}\n",
+      "{'epoch': 0, 'update in batch': 1379, '/': 12375, 'loss': 8.817626953125}\n",
+      "{'epoch': 0, 'update in batch': 1380, '/': 12375, 'loss': 8.534109115600586}\n",
+      "{'epoch': 0, 'update in batch': 1381, '/': 12375, 'loss': 8.985780715942383}\n",
+      "{'epoch': 0, 'update in batch': 1382, '/': 12375, 'loss': 7.972391605377197}\n",
+      "{'epoch': 0, 'update in batch': 1383, '/': 12375, 'loss': 8.627447128295898}\n",
+      "{'epoch': 0, 'update in batch': 1384, '/': 12375, 'loss': 8.084219932556152}\n",
+      "{'epoch': 0, 'update in batch': 1385, '/': 12375, 'loss': 7.701573371887207}\n",
+      "{'epoch': 0, 'update in batch': 1386, '/': 12375, 'loss': 7.591922760009766}\n",
+      "{'epoch': 0, 'update in batch': 1387, '/': 12375, 'loss': 8.24654769897461}\n",
+      "{'epoch': 0, 'update in batch': 1388, '/': 12375, 'loss': 7.482146263122559}\n",
+      "{'epoch': 0, 'update in batch': 1389, '/': 12375, 'loss': 7.5880446434021}\n",
+      "{'epoch': 0, 'update in batch': 1390, '/': 12375, 'loss': 7.921637058258057}\n",
+      "{'epoch': 0, 'update in batch': 1391, '/': 12375, 'loss': 7.626137733459473}\n",
+      "{'epoch': 0, 'update in batch': 1392, '/': 12375, 'loss': 8.262618064880371}\n",
+      "{'epoch': 0, 'update in batch': 1393, '/': 12375, 'loss': 7.947763919830322}\n",
+      "{'epoch': 0, 'update in batch': 1394, '/': 12375, 'loss': 7.512258052825928}\n",
+      "{'epoch': 0, 'update in batch': 1395, '/': 12375, 'loss': 8.01187515258789}\n",
+      "{'epoch': 0, 'update in batch': 1396, '/': 12375, 'loss': 8.123648643493652}\n",
+      "{'epoch': 0, 'update in batch': 1397, '/': 12375, 'loss': 9.39661693572998}\n",
+      "{'epoch': 0, 'update in batch': 1398, '/': 12375, 'loss': 8.102624893188477}\n",
+      "{'epoch': 0, 'update in batch': 1399, '/': 12375, 'loss': 8.609273910522461}\n",
+      "{'epoch': 0, 'update in batch': 1400, '/': 12375, 'loss': 8.640764236450195}\n",
+      "{'epoch': 0, 'update in batch': 1401, '/': 12375, 'loss': 8.593602180480957}\n",
+      "{'epoch': 0, 'update in batch': 1402, '/': 12375, 'loss': 8.390775680541992}\n",
+      "{'epoch': 0, 'update in batch': 1403, '/': 12375, 'loss': 7.585561275482178}\n",
+      "{'epoch': 0, 'update in batch': 1404, '/': 12375, 'loss': 8.581266403198242}\n",
+      "{'epoch': 0, 'update in batch': 1405, '/': 12375, 'loss': 8.290800094604492}\n",
+      "{'epoch': 0, 'update in batch': 1406, '/': 12375, 'loss': 8.05904483795166}\n",
+      "{'epoch': 0, 'update in batch': 1407, '/': 12375, 'loss': 8.860057830810547}\n",
+      "{'epoch': 0, 'update in batch': 1408, '/': 12375, 'loss': 8.409964561462402}\n",
+      "{'epoch': 0, 'update in batch': 1409, '/': 12375, 'loss': 8.479018211364746}\n",
+      "{'epoch': 0, 'update in batch': 1410, '/': 12375, 'loss': 8.326837539672852}\n",
+      "{'epoch': 0, 'update in batch': 1411, '/': 12375, 'loss': 8.137574195861816}\n",
+      "{'epoch': 0, 'update in batch': 1412, '/': 12375, 'loss': 8.231912612915039}\n",
+      "{'epoch': 0, 'update in batch': 1413, '/': 12375, 'loss': 8.141470909118652}\n",
+      "{'epoch': 0, 'update in batch': 1414, '/': 12375, 'loss': 7.342843532562256}\n",
+      "{'epoch': 0, 'update in batch': 1415, '/': 12375, 'loss': 7.573575019836426}\n",
+      "{'epoch': 0, 'update in batch': 1416, '/': 12375, 'loss': 7.517012596130371}\n",
+      "{'epoch': 0, 'update in batch': 1417, '/': 12375, 'loss': 7.501230716705322}\n",
+      "{'epoch': 0, 'update in batch': 1418, '/': 12375, 'loss': 7.896958351135254}\n",
+      "{'epoch': 0, 'update in batch': 1419, '/': 12375, 'loss': 6.8621344566345215}\n",
+      "{'epoch': 0, 'update in batch': 1420, '/': 12375, 'loss': 7.384122371673584}\n",
+      "{'epoch': 0, 'update in batch': 1421, '/': 12375, 'loss': 8.484153747558594}\n",
+      "{'epoch': 0, 'update in batch': 1422, '/': 12375, 'loss': 7.5497283935546875}\n",
+      "{'epoch': 0, 'update in batch': 1423, '/': 12375, 'loss': 7.6770734786987305}\n",
+      "{'epoch': 0, 'update in batch': 1424, '/': 12375, 'loss': 8.5344877243042}\n",
+      "{'epoch': 0, 'update in batch': 1425, '/': 12375, 'loss': 8.221114158630371}\n",
+      "{'epoch': 0, 'update in batch': 1426, '/': 12375, 'loss': 7.188823699951172}\n",
+      "{'epoch': 0, 'update in batch': 1427, '/': 12375, 'loss': 7.873104095458984}\n",
+      "{'epoch': 0, 'update in batch': 1428, '/': 12375, 'loss': 7.187921047210693}\n",
+      "{'epoch': 0, 'update in batch': 1429, '/': 12375, 'loss': 7.252449035644531}\n",
+      "{'epoch': 0, 'update in batch': 1430, '/': 12375, 'loss': 7.751692771911621}\n",
+      "{'epoch': 0, 'update in batch': 1431, '/': 12375, 'loss': 7.870131492614746}\n",
+      "{'epoch': 0, 'update in batch': 1432, '/': 12375, 'loss': 8.252046585083008}\n",
+      "{'epoch': 0, 'update in batch': 1433, '/': 12375, 'loss': 8.150694847106934}\n",
+      "{'epoch': 0, 'update in batch': 1434, '/': 12375, 'loss': 8.325529098510742}\n",
+      "{'epoch': 0, 'update in batch': 1435, '/': 12375, 'loss': 8.536866188049316}\n",
+      "{'epoch': 0, 'update in batch': 1436, '/': 12375, 'loss': 9.218202590942383}\n",
+      "{'epoch': 0, 'update in batch': 1437, '/': 12375, 'loss': 8.594277381896973}\n",
+      "{'epoch': 0, 'update in batch': 1438, '/': 12375, 'loss': 8.014230728149414}\n",
+      "{'epoch': 0, 'update in batch': 1439, '/': 12375, 'loss': 8.397974014282227}\n",
+      "{'epoch': 0, 'update in batch': 1440, '/': 12375, 'loss': 8.60854434967041}\n",
+      "{'epoch': 0, 'update in batch': 1441, '/': 12375, 'loss': 8.451162338256836}\n",
+      "{'epoch': 0, 'update in batch': 1442, '/': 12375, 'loss': 9.17849063873291}\n",
+      "{'epoch': 0, 'update in batch': 1443, '/': 12375, 'loss': 8.76148796081543}\n",
+      "{'epoch': 0, 'update in batch': 1444, '/': 12375, 'loss': 8.322141647338867}\n",
+      "{'epoch': 0, 'update in batch': 1445, '/': 12375, 'loss': 8.824614524841309}\n",
+      "{'epoch': 0, 'update in batch': 1446, '/': 12375, 'loss': 8.157795906066895}\n",
+      "{'epoch': 0, 'update in batch': 1447, '/': 12375, 'loss': 9.062189102172852}\n",
+      "{'epoch': 0, 'update in batch': 1448, '/': 12375, 'loss': 9.240970611572266}\n",
+      "{'epoch': 0, 'update in batch': 1449, '/': 12375, 'loss': 8.582391738891602}\n",
+      "{'epoch': 0, 'update in batch': 1450, '/': 12375, 'loss': 8.40683364868164}\n",
+      "{'epoch': 0, 'update in batch': 1451, '/': 12375, 'loss': 9.18629264831543}\n",
+      "{'epoch': 0, 'update in batch': 1452, '/': 12375, 'loss': 8.657369613647461}\n",
+      "{'epoch': 0, 'update in batch': 1453, '/': 12375, 'loss': 9.474615097045898}\n",
+      "{'epoch': 0, 'update in batch': 1454, '/': 12375, 'loss': 9.147171020507812}\n",
+      "{'epoch': 0, 'update in batch': 1455, '/': 12375, 'loss': 8.173009872436523}\n",
+      "{'epoch': 0, 'update in batch': 1456, '/': 12375, 'loss': 8.501734733581543}\n",
+      "{'epoch': 0, 'update in batch': 1457, '/': 12375, 'loss': 8.693046569824219}\n",
+      "{'epoch': 0, 'update in batch': 1458, '/': 12375, 'loss': 8.424217224121094}\n",
+      "{'epoch': 0, 'update in batch': 1459, '/': 12375, 'loss': 8.599628448486328}\n",
+      "{'epoch': 0, 'update in batch': 1460, '/': 12375, 'loss': 8.52385425567627}\n",
+      "{'epoch': 0, 'update in batch': 1461, '/': 12375, 'loss': 9.194417953491211}\n",
+      "{'epoch': 0, 'update in batch': 1462, '/': 12375, 'loss': 8.861207008361816}\n",
+      "{'epoch': 0, 'update in batch': 1463, '/': 12375, 'loss': 8.229401588439941}\n",
+      "{'epoch': 0, 'update in batch': 1464, '/': 12375, 'loss': 7.5591888427734375}\n",
+      "{'epoch': 0, 'update in batch': 1465, '/': 12375, 'loss': 9.25153636932373}\n",
+      "{'epoch': 0, 'update in batch': 1466, '/': 12375, 'loss': 8.092119216918945}\n",
+      "{'epoch': 0, 'update in batch': 1467, '/': 12375, 'loss': 8.53637981414795}\n",
+      "{'epoch': 0, 'update in batch': 1468, '/': 12375, 'loss': 8.106099128723145}\n",
+      "{'epoch': 0, 'update in batch': 1469, '/': 12375, 'loss': 7.708122253417969}\n",
+      "{'epoch': 0, 'update in batch': 1470, '/': 12375, 'loss': 7.457757472991943}\n",
+      "{'epoch': 0, 'update in batch': 1471, '/': 12375, 'loss': 7.870806694030762}\n",
+      "{'epoch': 0, 'update in batch': 1472, '/': 12375, 'loss': 7.694333553314209}\n",
+      "{'epoch': 0, 'update in batch': 1473, '/': 12375, 'loss': 8.189641952514648}\n",
+      "{'epoch': 0, 'update in batch': 1474, '/': 12375, 'loss': 7.361639976501465}\n",
+      "{'epoch': 0, 'update in batch': 1475, '/': 12375, 'loss': 7.73662805557251}\n",
+      "{'epoch': 0, 'update in batch': 1476, '/': 12375, 'loss': 8.406428337097168}\n",
+      "{'epoch': 0, 'update in batch': 1477, '/': 12375, 'loss': 8.345609664916992}\n",
+      "{'epoch': 0, 'update in batch': 1478, '/': 12375, 'loss': 8.440364837646484}\n",
+      "{'epoch': 0, 'update in batch': 1479, '/': 12375, 'loss': 7.941655158996582}\n",
+      "{'epoch': 0, 'update in batch': 1480, '/': 12375, 'loss': 8.781391143798828}\n",
+      "{'epoch': 0, 'update in batch': 1481, '/': 12375, 'loss': 8.71544075012207}\n",
+      "{'epoch': 0, 'update in batch': 1482, '/': 12375, 'loss': 7.972928047180176}\n",
+      "{'epoch': 0, 'update in batch': 1483, '/': 12375, 'loss': 8.598409652709961}\n",
+      "{'epoch': 0, 'update in batch': 1484, '/': 12375, 'loss': 7.729184627532959}\n",
+      "{'epoch': 0, 'update in batch': 1485, '/': 12375, 'loss': 7.847104072570801}\n",
+      "{'epoch': 0, 'update in batch': 1486, '/': 12375, 'loss': 7.726362705230713}\n",
+      "{'epoch': 0, 'update in batch': 1487, '/': 12375, 'loss': 7.182991981506348}\n",
+      "{'epoch': 0, 'update in batch': 1488, '/': 12375, 'loss': 8.552000999450684}\n",
+      "{'epoch': 0, 'update in batch': 1489, '/': 12375, 'loss': 7.59520959854126}\n",
+      "{'epoch': 0, 'update in batch': 1490, '/': 12375, 'loss': 7.653069972991943}\n",
+      "{'epoch': 0, 'update in batch': 1491, '/': 12375, 'loss': 7.8542022705078125}\n",
+      "{'epoch': 0, 'update in batch': 1492, '/': 12375, 'loss': 7.791123390197754}\n",
+      "{'epoch': 0, 'update in batch': 1493, '/': 12375, 'loss': 7.338419437408447}\n",
+      "{'epoch': 0, 'update in batch': 1494, '/': 12375, 'loss': 8.174972534179688}\n",
+      "{'epoch': 0, 'update in batch': 1495, '/': 12375, 'loss': 8.161669731140137}\n",
+      "{'epoch': 0, 'update in batch': 1496, '/': 12375, 'loss': 8.782388687133789}\n",
+      "{'epoch': 0, 'update in batch': 1497, '/': 12375, 'loss': 7.175985813140869}\n",
+      "{'epoch': 0, 'update in batch': 1498, '/': 12375, 'loss': 8.132166862487793}\n",
+      "{'epoch': 0, 'update in batch': 1499, '/': 12375, 'loss': 7.600892543792725}\n",
+      "{'epoch': 0, 'update in batch': 1500, '/': 12375, 'loss': 8.696779251098633}\n",
+      "{'epoch': 0, 'update in batch': 1501, '/': 12375, 'loss': 7.703760623931885}\n",
+      "{'epoch': 0, 'update in batch': 1502, '/': 12375, 'loss': 8.245052337646484}\n",
+      "{'epoch': 0, 'update in batch': 1503, '/': 12375, 'loss': 8.043474197387695}\n",
+      "{'epoch': 0, 'update in batch': 1504, '/': 12375, 'loss': 7.333962917327881}\n",
+      "{'epoch': 0, 'update in batch': 1505, '/': 12375, 'loss': 7.989251613616943}\n",
+      "{'epoch': 0, 'update in batch': 1506, '/': 12375, 'loss': 8.188399314880371}\n",
+      "{'epoch': 0, 'update in batch': 1507, '/': 12375, 'loss': 7.662775993347168}\n",
+      "{'epoch': 0, 'update in batch': 1508, '/': 12375, 'loss': 8.178462982177734}\n",
+      "{'epoch': 0, 'update in batch': 1509, '/': 12375, 'loss': 7.6499505043029785}\n",
+      "{'epoch': 0, 'update in batch': 1510, '/': 12375, 'loss': 8.099004745483398}\n",
+      "{'epoch': 0, 'update in batch': 1511, '/': 12375, 'loss': 7.577834129333496}\n",
+      "{'epoch': 0, 'update in batch': 1512, '/': 12375, 'loss': 7.577221870422363}\n",
+      "{'epoch': 0, 'update in batch': 1513, '/': 12375, 'loss': 8.95280647277832}\n",
+      "{'epoch': 0, 'update in batch': 1514, '/': 12375, 'loss': 8.567819595336914}\n",
+      "{'epoch': 0, 'update in batch': 1515, '/': 12375, 'loss': 8.023980140686035}\n",
+      "{'epoch': 0, 'update in batch': 1516, '/': 12375, 'loss': 7.558434963226318}\n",
+      "{'epoch': 0, 'update in batch': 1517, '/': 12375, 'loss': 7.3851447105407715}\n",
+      "{'epoch': 0, 'update in batch': 1518, '/': 12375, 'loss': 7.831590175628662}\n",
+      "{'epoch': 0, 'update in batch': 1519, '/': 12375, 'loss': 8.41063117980957}\n",
+      "{'epoch': 0, 'update in batch': 1520, '/': 12375, 'loss': 7.299670219421387}\n",
+      "{'epoch': 0, 'update in batch': 1521, '/': 12375, 'loss': 7.49368953704834}\n",
+      "{'epoch': 0, 'update in batch': 1522, '/': 12375, 'loss': 7.551934719085693}\n",
+      "{'epoch': 0, 'update in batch': 1523, '/': 12375, 'loss': 8.272534370422363}\n",
+      "{'epoch': 0, 'update in batch': 1524, '/': 12375, 'loss': 8.953293800354004}\n",
+      "{'epoch': 0, 'update in batch': 1525, '/': 12375, 'loss': 8.517190933227539}\n",
+      "{'epoch': 0, 'update in batch': 1526, '/': 12375, 'loss': 8.794343948364258}\n",
+      "{'epoch': 0, 'update in batch': 1527, '/': 12375, 'loss': 8.349114418029785}\n",
+      "{'epoch': 0, 'update in batch': 1528, '/': 12375, 'loss': 8.821213722229004}\n",
+      "{'epoch': 0, 'update in batch': 1529, '/': 12375, 'loss': 8.724238395690918}\n",
+      "{'epoch': 0, 'update in batch': 1530, '/': 12375, 'loss': 9.415655136108398}\n",
+      "{'epoch': 0, 'update in batch': 1531, '/': 12375, 'loss': 8.134702682495117}\n",
+      "{'epoch': 0, 'update in batch': 1532, '/': 12375, 'loss': 7.779060363769531}\n",
+      "{'epoch': 0, 'update in batch': 1533, '/': 12375, 'loss': 8.190479278564453}\n",
+      "{'epoch': 0, 'update in batch': 1534, '/': 12375, 'loss': 8.051194190979004}\n",
+      "{'epoch': 0, 'update in batch': 1535, '/': 12375, 'loss': 8.260881423950195}\n",
+      "{'epoch': 0, 'update in batch': 1536, '/': 12375, 'loss': 7.867544651031494}\n",
+      "{'epoch': 0, 'update in batch': 1537, '/': 12375, 'loss': 8.268516540527344}\n",
+      "{'epoch': 0, 'update in batch': 1538, '/': 12375, 'loss': 8.033463478088379}\n",
+      "{'epoch': 0, 'update in batch': 1539, '/': 12375, 'loss': 8.329240798950195}\n",
+      "{'epoch': 0, 'update in batch': 1540, '/': 12375, 'loss': 8.718194007873535}\n",
+      "{'epoch': 0, 'update in batch': 1541, '/': 12375, 'loss': 8.386393547058105}\n",
+      "{'epoch': 0, 'update in batch': 1542, '/': 12375, 'loss': 8.162835121154785}\n",
+      "{'epoch': 0, 'update in batch': 1543, '/': 12375, 'loss': 7.960720062255859}\n",
+      "{'epoch': 0, 'update in batch': 1544, '/': 12375, 'loss': 8.68020248413086}\n",
+      "{'epoch': 0, 'update in batch': 1545, '/': 12375, 'loss': 8.5675687789917}\n",
+      "{'epoch': 0, 'update in batch': 1546, '/': 12375, 'loss': 8.175333023071289}\n",
+      "{'epoch': 0, 'update in batch': 1547, '/': 12375, 'loss': 8.5058012008667}\n",
+      "{'epoch': 0, 'update in batch': 1548, '/': 12375, 'loss': 8.633790016174316}\n",
+      "{'epoch': 0, 'update in batch': 1549, '/': 12375, 'loss': 8.976175308227539}\n",
+      "{'epoch': 0, 'update in batch': 1550, '/': 12375, 'loss': 9.174064636230469}\n",
+      "{'epoch': 0, 'update in batch': 1551, '/': 12375, 'loss': 9.431828498840332}\n",
+      "{'epoch': 0, 'update in batch': 1552, '/': 12375, 'loss': 8.948040008544922}\n",
+      "{'epoch': 0, 'update in batch': 1553, '/': 12375, 'loss': 8.924392700195312}\n",
+      "{'epoch': 0, 'update in batch': 1554, '/': 12375, 'loss': 8.902634620666504}\n",
+      "{'epoch': 0, 'update in batch': 1555, '/': 12375, 'loss': 8.185517311096191}\n",
+      "{'epoch': 0, 'update in batch': 1556, '/': 12375, 'loss': 8.145589828491211}\n",
+      "{'epoch': 0, 'update in batch': 1557, '/': 12375, 'loss': 7.396666526794434}\n",
+      "{'epoch': 0, 'update in batch': 1558, '/': 12375, 'loss': 8.483583450317383}\n",
+      "{'epoch': 0, 'update in batch': 1559, '/': 12375, 'loss': 7.6864333152771}\n",
+      "{'epoch': 0, 'update in batch': 1560, '/': 12375, 'loss': 7.399562835693359}\n",
+      "{'epoch': 0, 'update in batch': 1561, '/': 12375, 'loss': 8.318427085876465}\n",
+      "{'epoch': 0, 'update in batch': 1562, '/': 12375, 'loss': 7.846859931945801}\n",
+      "{'epoch': 0, 'update in batch': 1563, '/': 12375, 'loss': 7.787086486816406}\n",
+      "{'epoch': 0, 'update in batch': 1564, '/': 12375, 'loss': 7.626927852630615}\n",
+      "{'epoch': 0, 'update in batch': 1565, '/': 12375, 'loss': 7.696475982666016}\n",
+      "{'epoch': 0, 'update in batch': 1566, '/': 12375, 'loss': 7.753777980804443}\n",
+      "{'epoch': 0, 'update in batch': 1567, '/': 12375, 'loss': 7.5056891441345215}\n",
+      "{'epoch': 0, 'update in batch': 1568, '/': 12375, 'loss': 7.785044193267822}\n",
+      "{'epoch': 0, 'update in batch': 1569, '/': 12375, 'loss': 7.804729461669922}\n",
+      "{'epoch': 0, 'update in batch': 1570, '/': 12375, 'loss': 8.267936706542969}\n",
+      "{'epoch': 0, 'update in batch': 1571, '/': 12375, 'loss': 8.666951179504395}\n",
+      "{'epoch': 0, 'update in batch': 1572, '/': 12375, 'loss': 7.800601959228516}\n",
+      "{'epoch': 0, 'update in batch': 1573, '/': 12375, 'loss': 8.330007553100586}\n",
+      "{'epoch': 0, 'update in batch': 1574, '/': 12375, 'loss': 8.007201194763184}\n",
+      "{'epoch': 0, 'update in batch': 1575, '/': 12375, 'loss': 7.772550106048584}\n",
+      "{'epoch': 0, 'update in batch': 1576, '/': 12375, 'loss': 8.021353721618652}\n",
+      "{'epoch': 0, 'update in batch': 1577, '/': 12375, 'loss': 7.909958839416504}\n",
+      "{'epoch': 0, 'update in batch': 1578, '/': 12375, 'loss': 7.996504306793213}\n",
+      "{'epoch': 0, 'update in batch': 1579, '/': 12375, 'loss': 7.9120306968688965}\n",
+      "{'epoch': 0, 'update in batch': 1580, '/': 12375, 'loss': 7.243886470794678}\n",
+      "{'epoch': 0, 'update in batch': 1581, '/': 12375, 'loss': 8.309951782226562}\n",
+      "{'epoch': 0, 'update in batch': 1582, '/': 12375, 'loss': 7.387869834899902}\n",
+      "{'epoch': 0, 'update in batch': 1583, '/': 12375, 'loss': 7.918683052062988}\n",
+      "{'epoch': 0, 'update in batch': 1584, '/': 12375, 'loss': 6.9550461769104}\n",
+      "{'epoch': 0, 'update in batch': 1585, '/': 12375, 'loss': 7.756288051605225}\n",
+      "{'epoch': 0, 'update in batch': 1586, '/': 12375, 'loss': 8.303513526916504}\n",
+      "{'epoch': 0, 'update in batch': 1587, '/': 12375, 'loss': 8.987722396850586}\n",
+      "{'epoch': 0, 'update in batch': 1588, '/': 12375, 'loss': 9.40576457977295}\n",
+      "{'epoch': 0, 'update in batch': 1589, '/': 12375, 'loss': 8.80521011352539}\n",
+      "{'epoch': 0, 'update in batch': 1590, '/': 12375, 'loss': 8.276506423950195}\n",
+      "{'epoch': 0, 'update in batch': 1591, '/': 12375, 'loss': 8.02961254119873}\n",
+      "{'epoch': 0, 'update in batch': 1592, '/': 12375, 'loss': 7.660222053527832}\n",
+      "{'epoch': 0, 'update in batch': 1593, '/': 12375, 'loss': 8.703373908996582}\n",
+      "{'epoch': 0, 'update in batch': 1594, '/': 12375, 'loss': 8.47240924835205}\n",
+      "{'epoch': 0, 'update in batch': 1595, '/': 12375, 'loss': 8.831241607666016}\n",
+      "{'epoch': 0, 'update in batch': 1596, '/': 12375, 'loss': 7.659402370452881}\n",
+      "{'epoch': 0, 'update in batch': 1597, '/': 12375, 'loss': 7.46716833114624}\n",
+      "{'epoch': 0, 'update in batch': 1598, '/': 12375, 'loss': 7.658475399017334}\n",
+      "{'epoch': 0, 'update in batch': 1599, '/': 12375, 'loss': 7.663146018981934}\n",
+      "{'epoch': 0, 'update in batch': 1600, '/': 12375, 'loss': 7.939324378967285}\n",
+      "{'epoch': 0, 'update in batch': 1601, '/': 12375, 'loss': 7.653513431549072}\n",
+      "{'epoch': 0, 'update in batch': 1602, '/': 12375, 'loss': 7.9359025955200195}\n",
+      "{'epoch': 0, 'update in batch': 1603, '/': 12375, 'loss': 8.11888313293457}\n",
+      "{'epoch': 0, 'update in batch': 1604, '/': 12375, 'loss': 7.2556352615356445}\n",
+      "{'epoch': 0, 'update in batch': 1605, '/': 12375, 'loss': 7.702491760253906}\n",
+      "{'epoch': 0, 'update in batch': 1606, '/': 12375, 'loss': 6.599236488342285}\n",
+      "{'epoch': 0, 'update in batch': 1607, '/': 12375, 'loss': 7.746273994445801}\n",
+      "{'epoch': 0, 'update in batch': 1608, '/': 12375, 'loss': 7.92846155166626}\n",
+      "{'epoch': 0, 'update in batch': 1609, '/': 12375, 'loss': 8.455989837646484}\n",
+      "{'epoch': 0, 'update in batch': 1610, '/': 12375, 'loss': 9.28872013092041}\n",
+      "{'epoch': 0, 'update in batch': 1611, '/': 12375, 'loss': 7.836592197418213}\n",
+      "{'epoch': 0, 'update in batch': 1612, '/': 12375, 'loss': 7.698341369628906}\n",
+      "{'epoch': 0, 'update in batch': 1613, '/': 12375, 'loss': 7.955100059509277}\n",
+      "{'epoch': 0, 'update in batch': 1614, '/': 12375, 'loss': 7.827370643615723}\n",
+      "{'epoch': 0, 'update in batch': 1615, '/': 12375, 'loss': 7.3603339195251465}\n",
+      "{'epoch': 0, 'update in batch': 1616, '/': 12375, 'loss': 8.214433670043945}\n",
+      "{'epoch': 0, 'update in batch': 1617, '/': 12375, 'loss': 9.363279342651367}\n",
+      "{'epoch': 0, 'update in batch': 1618, '/': 12375, 'loss': 8.229413032531738}\n",
+      "{'epoch': 0, 'update in batch': 1619, '/': 12375, 'loss': 7.602302551269531}\n",
+      "{'epoch': 0, 'update in batch': 1620, '/': 12375, 'loss': 8.069716453552246}\n",
+      "{'epoch': 0, 'update in batch': 1621, '/': 12375, 'loss': 8.13803768157959}\n",
+      "{'epoch': 0, 'update in batch': 1622, '/': 12375, 'loss': 9.306305885314941}\n",
+      "{'epoch': 0, 'update in batch': 1623, '/': 12375, 'loss': 9.260774612426758}\n",
+      "{'epoch': 0, 'update in batch': 1624, '/': 12375, 'loss': 7.606489658355713}\n",
+      "{'epoch': 0, 'update in batch': 1625, '/': 12375, 'loss': 7.566758155822754}\n",
+      "{'epoch': 0, 'update in batch': 1626, '/': 12375, 'loss': 8.407247543334961}\n",
+      "{'epoch': 0, 'update in batch': 1627, '/': 12375, 'loss': 7.776533603668213}\n",
+      "{'epoch': 0, 'update in batch': 1628, '/': 12375, 'loss': 7.5468950271606445}\n",
+      "{'epoch': 0, 'update in batch': 1629, '/': 12375, 'loss': 7.769495487213135}\n",
+      "{'epoch': 0, 'update in batch': 1630, '/': 12375, 'loss': 8.062946319580078}\n",
+      "{'epoch': 0, 'update in batch': 1631, '/': 12375, 'loss': 7.463474273681641}\n",
+      "{'epoch': 0, 'update in batch': 1632, '/': 12375, 'loss': 8.096402168273926}\n",
+      "{'epoch': 0, 'update in batch': 1633, '/': 12375, 'loss': 7.615486145019531}\n",
+      "{'epoch': 0, 'update in batch': 1634, '/': 12375, 'loss': 8.58513355255127}\n",
+      "{'epoch': 0, 'update in batch': 1635, '/': 12375, 'loss': 7.413908958435059}\n",
+      "{'epoch': 0, 'update in batch': 1636, '/': 12375, 'loss': 7.925321102142334}\n",
+      "{'epoch': 0, 'update in batch': 1637, '/': 12375, 'loss': 7.885401248931885}\n",
+      "{'epoch': 0, 'update in batch': 1638, '/': 12375, 'loss': 7.69970703125}\n",
+      "{'epoch': 0, 'update in batch': 1639, '/': 12375, 'loss': 7.99112606048584}\n",
+      "{'epoch': 0, 'update in batch': 1640, '/': 12375, 'loss': 7.224484443664551}\n",
+      "{'epoch': 0, 'update in batch': 1641, '/': 12375, 'loss': 8.006616592407227}\n",
+      "{'epoch': 0, 'update in batch': 1642, '/': 12375, 'loss': 7.405949592590332}\n",
+      "{'epoch': 0, 'update in batch': 1643, '/': 12375, 'loss': 7.13101863861084}\n",
+      "{'epoch': 0, 'update in batch': 1644, '/': 12375, 'loss': 7.803718566894531}\n",
+      "{'epoch': 0, 'update in batch': 1645, '/': 12375, 'loss': 8.282401084899902}\n",
+      "{'epoch': 0, 'update in batch': 1646, '/': 12375, 'loss': 7.525912284851074}\n",
+      "{'epoch': 0, 'update in batch': 1647, '/': 12375, 'loss': 7.910443305969238}\n",
+      "{'epoch': 0, 'update in batch': 1648, '/': 12375, 'loss': 7.5143561363220215}\n",
+      "{'epoch': 0, 'update in batch': 1649, '/': 12375, 'loss': 7.0364251136779785}\n",
+      "{'epoch': 0, 'update in batch': 1650, '/': 12375, 'loss': 7.358847141265869}\n",
+      "{'epoch': 0, 'update in batch': 1651, '/': 12375, 'loss': 8.055468559265137}\n",
+      "{'epoch': 0, 'update in batch': 1652, '/': 12375, 'loss': 7.707045078277588}\n",
+      "{'epoch': 0, 'update in batch': 1653, '/': 12375, 'loss': 7.142348289489746}\n",
+      "{'epoch': 0, 'update in batch': 1654, '/': 12375, 'loss': 7.670048713684082}\n",
+      "{'epoch': 0, 'update in batch': 1655, '/': 12375, 'loss': 8.519222259521484}\n",
+      "{'epoch': 0, 'update in batch': 1656, '/': 12375, 'loss': 8.181432723999023}\n",
+      "{'epoch': 0, 'update in batch': 1657, '/': 12375, 'loss': 8.456212997436523}\n",
+      "{'epoch': 0, 'update in batch': 1658, '/': 12375, 'loss': 9.080598831176758}\n",
+      "{'epoch': 0, 'update in batch': 1659, '/': 12375, 'loss': 8.305584907531738}\n",
+      "{'epoch': 0, 'update in batch': 1660, '/': 12375, 'loss': 8.095717430114746}\n",
+      "{'epoch': 0, 'update in batch': 1661, '/': 12375, 'loss': 8.392868041992188}\n",
+      "{'epoch': 0, 'update in batch': 1662, '/': 12375, 'loss': 8.915726661682129}\n",
+      "{'epoch': 0, 'update in batch': 1663, '/': 12375, 'loss': 8.62635612487793}\n",
+      "{'epoch': 0, 'update in batch': 1664, '/': 12375, 'loss': 8.493515968322754}\n",
+      "{'epoch': 0, 'update in batch': 1665, '/': 12375, 'loss': 9.085241317749023}\n",
+      "{'epoch': 0, 'update in batch': 1666, '/': 12375, 'loss': 8.923290252685547}\n",
+      "{'epoch': 0, 'update in batch': 1667, '/': 12375, 'loss': 8.56739616394043}\n",
+      "{'epoch': 0, 'update in batch': 1668, '/': 12375, 'loss': 9.4095458984375}\n",
+      "{'epoch': 0, 'update in batch': 1669, '/': 12375, 'loss': 8.524115562438965}\n",
+      "{'epoch': 0, 'update in batch': 1670, '/': 12375, 'loss': 7.887493133544922}\n",
+      "{'epoch': 0, 'update in batch': 1671, '/': 12375, 'loss': 7.358528137207031}\n",
+      "{'epoch': 0, 'update in batch': 1672, '/': 12375, 'loss': 7.49517822265625}\n",
+      "{'epoch': 0, 'update in batch': 1673, '/': 12375, 'loss': 8.034785270690918}\n",
+      "{'epoch': 0, 'update in batch': 1674, '/': 12375, 'loss': 7.940573215484619}\n",
+      "{'epoch': 0, 'update in batch': 1675, '/': 12375, 'loss': 8.310056686401367}\n",
+      "{'epoch': 0, 'update in batch': 1676, '/': 12375, 'loss': 8.792198181152344}\n",
+      "{'epoch': 0, 'update in batch': 1677, '/': 12375, 'loss': 8.88711166381836}\n",
+      "{'epoch': 0, 'update in batch': 1678, '/': 12375, 'loss': 8.929655075073242}\n",
+      "{'epoch': 0, 'update in batch': 1679, '/': 12375, 'loss': 8.553529739379883}\n",
+      "{'epoch': 0, 'update in batch': 1680, '/': 12375, 'loss': 7.378623008728027}\n",
+      "{'epoch': 0, 'update in batch': 1681, '/': 12375, 'loss': 7.8735456466674805}\n",
+      "{'epoch': 0, 'update in batch': 1682, '/': 12375, 'loss': 8.267502784729004}\n",
+      "{'epoch': 0, 'update in batch': 1683, '/': 12375, 'loss': 8.200248718261719}\n",
+      "{'epoch': 0, 'update in batch': 1684, '/': 12375, 'loss': 8.55303955078125}\n",
+      "{'epoch': 0, 'update in batch': 1685, '/': 12375, 'loss': 8.865654945373535}\n",
+      "{'epoch': 0, 'update in batch': 1686, '/': 12375, 'loss': 9.032169342041016}\n",
+      "{'epoch': 0, 'update in batch': 1687, '/': 12375, 'loss': 9.52592658996582}\n",
+      "{'epoch': 0, 'update in batch': 1688, '/': 12375, 'loss': 8.757527351379395}\n",
+      "{'epoch': 0, 'update in batch': 1689, '/': 12375, 'loss': 9.135961532592773}\n",
+      "{'epoch': 0, 'update in batch': 1690, '/': 12375, 'loss': 9.079046249389648}\n",
+      "{'epoch': 0, 'update in batch': 1691, '/': 12375, 'loss': 7.794580936431885}\n",
+      "{'epoch': 0, 'update in batch': 1692, '/': 12375, 'loss': 8.532044410705566}\n",
+      "{'epoch': 0, 'update in batch': 1693, '/': 12375, 'loss': 7.956538200378418}\n",
+      "{'epoch': 0, 'update in batch': 1694, '/': 12375, 'loss': 7.968946933746338}\n",
+      "{'epoch': 0, 'update in batch': 1695, '/': 12375, 'loss': 8.242889404296875}\n",
+      "{'epoch': 0, 'update in batch': 1696, '/': 12375, 'loss': 7.710287570953369}\n",
+      "{'epoch': 0, 'update in batch': 1697, '/': 12375, 'loss': 8.66936206817627}\n",
+      "{'epoch': 0, 'update in batch': 1698, '/': 12375, 'loss': 7.9347076416015625}\n",
+      "{'epoch': 0, 'update in batch': 1699, '/': 12375, 'loss': 7.700803279876709}\n",
+      "{'epoch': 0, 'update in batch': 1700, '/': 12375, 'loss': 7.956512451171875}\n",
+      "{'epoch': 0, 'update in batch': 1701, '/': 12375, 'loss': 8.449645042419434}\n",
+      "{'epoch': 0, 'update in batch': 1702, '/': 12375, 'loss': 8.46422290802002}\n",
+      "{'epoch': 0, 'update in batch': 1703, '/': 12375, 'loss': 8.149018287658691}\n",
+      "{'epoch': 0, 'update in batch': 1704, '/': 12375, 'loss': 7.896932125091553}\n",
+      "{'epoch': 0, 'update in batch': 1705, '/': 12375, 'loss': 8.201496124267578}\n",
+      "{'epoch': 0, 'update in batch': 1706, '/': 12375, 'loss': 7.950257301330566}\n",
+      "{'epoch': 0, 'update in batch': 1707, '/': 12375, 'loss': 8.150640487670898}\n",
+      "{'epoch': 0, 'update in batch': 1708, '/': 12375, 'loss': 7.783123970031738}\n",
+      "{'epoch': 0, 'update in batch': 1709, '/': 12375, 'loss': 7.583286285400391}\n",
+      "{'epoch': 0, 'update in batch': 1710, '/': 12375, 'loss': 6.8124542236328125}\n",
+      "{'epoch': 0, 'update in batch': 1711, '/': 12375, 'loss': 8.074271202087402}\n",
+      "{'epoch': 0, 'update in batch': 1712, '/': 12375, 'loss': 7.629885673522949}\n",
+      "{'epoch': 0, 'update in batch': 1713, '/': 12375, 'loss': 9.615139961242676}\n",
+      "{'epoch': 0, 'update in batch': 1714, '/': 12375, 'loss': 8.569986343383789}\n",
+      "{'epoch': 0, 'update in batch': 1715, '/': 12375, 'loss': 8.818891525268555}\n",
+      "{'epoch': 0, 'update in batch': 1716, '/': 12375, 'loss': 10.063018798828125}\n",
+      "{'epoch': 0, 'update in batch': 1717, '/': 12375, 'loss': 9.289399147033691}\n",
+      "{'epoch': 0, 'update in batch': 1718, '/': 12375, 'loss': 8.814074516296387}\n",
+      "{'epoch': 0, 'update in batch': 1719, '/': 12375, 'loss': 8.50611686706543}\n",
+      "{'epoch': 0, 'update in batch': 1720, '/': 12375, 'loss': 9.460824012756348}\n",
+      "{'epoch': 0, 'update in batch': 1721, '/': 12375, 'loss': 9.17651653289795}\n",
+      "{'epoch': 0, 'update in batch': 1722, '/': 12375, 'loss': 8.821279525756836}\n",
+      "{'epoch': 0, 'update in batch': 1723, '/': 12375, 'loss': 8.293020248413086}\n",
+      "{'epoch': 0, 'update in batch': 1724, '/': 12375, 'loss': 8.228168487548828}\n",
+      "{'epoch': 0, 'update in batch': 1725, '/': 12375, 'loss': 8.756467819213867}\n",
+      "{'epoch': 0, 'update in batch': 1726, '/': 12375, 'loss': 8.328862190246582}\n",
+      "{'epoch': 0, 'update in batch': 1727, '/': 12375, 'loss': 8.271358489990234}\n",
+      "{'epoch': 0, 'update in batch': 1728, '/': 12375, 'loss': 8.214509963989258}\n",
+      "{'epoch': 0, 'update in batch': 1729, '/': 12375, 'loss': 8.708122253417969}\n",
+      "{'epoch': 0, 'update in batch': 1730, '/': 12375, 'loss': 8.168608665466309}\n",
+      "{'epoch': 0, 'update in batch': 1731, '/': 12375, 'loss': 8.611421585083008}\n",
+      "{'epoch': 0, 'update in batch': 1732, '/': 12375, 'loss': 9.536703109741211}\n",
+      "{'epoch': 0, 'update in batch': 1733, '/': 12375, 'loss': 8.389694213867188}\n",
+      "{'epoch': 0, 'update in batch': 1734, '/': 12375, 'loss': 10.196749687194824}\n",
+      "{'epoch': 0, 'update in batch': 1735, '/': 12375, 'loss': 8.518006324768066}\n",
+      "{'epoch': 0, 'update in batch': 1736, '/': 12375, 'loss': 8.168130874633789}\n",
+      "{'epoch': 0, 'update in batch': 1737, '/': 12375, 'loss': 9.374715805053711}\n",
+      "{'epoch': 0, 'update in batch': 1738, '/': 12375, 'loss': 8.293924331665039}\n",
+      "{'epoch': 0, 'update in batch': 1739, '/': 12375, 'loss': 7.5712103843688965}\n",
+      "{'epoch': 0, 'update in batch': 1740, '/': 12375, 'loss': 7.251896858215332}\n",
+      "{'epoch': 0, 'update in batch': 1741, '/': 12375, 'loss': 7.466952323913574}\n",
+      "{'epoch': 0, 'update in batch': 1742, '/': 12375, 'loss': 8.760628700256348}\n",
+      "{'epoch': 0, 'update in batch': 1743, '/': 12375, 'loss': 7.5325727462768555}\n",
+      "{'epoch': 0, 'update in batch': 1744, '/': 12375, 'loss': 8.69912052154541}\n",
+      "{'epoch': 0, 'update in batch': 1745, '/': 12375, 'loss': 9.377748489379883}\n",
+      "{'epoch': 0, 'update in batch': 1746, '/': 12375, 'loss': 9.543217658996582}\n",
+      "{'epoch': 0, 'update in batch': 1747, '/': 12375, 'loss': 9.548749923706055}\n",
+      "{'epoch': 0, 'update in batch': 1748, '/': 12375, 'loss': 8.703268051147461}\n",
+      "{'epoch': 0, 'update in batch': 1749, '/': 12375, 'loss': 8.078033447265625}\n",
+      "{'epoch': 0, 'update in batch': 1750, '/': 12375, 'loss': 8.54881763458252}\n",
+      "{'epoch': 0, 'update in batch': 1751, '/': 12375, 'loss': 8.00439739227295}\n",
+      "{'epoch': 0, 'update in batch': 1752, '/': 12375, 'loss': 7.9829277992248535}\n",
+      "{'epoch': 0, 'update in batch': 1753, '/': 12375, 'loss': 9.855097770690918}\n",
+      "{'epoch': 0, 'update in batch': 1754, '/': 12375, 'loss': 8.36646556854248}\n",
+      "{'epoch': 0, 'update in batch': 1755, '/': 12375, 'loss': 7.426962375640869}\n",
+      "{'epoch': 0, 'update in batch': 1756, '/': 12375, 'loss': 7.830584526062012}\n",
+      "{'epoch': 0, 'update in batch': 1757, '/': 12375, 'loss': 8.031827926635742}\n",
+      "{'epoch': 0, 'update in batch': 1758, '/': 12375, 'loss': 7.8928399085998535}\n",
+      "{'epoch': 0, 'update in batch': 1759, '/': 12375, 'loss': 7.736366271972656}\n",
+      "{'epoch': 0, 'update in batch': 1760, '/': 12375, 'loss': 8.737255096435547}\n",
+      "{'epoch': 0, 'update in batch': 1761, '/': 12375, 'loss': 8.280245780944824}\n",
+      "{'epoch': 0, 'update in batch': 1762, '/': 12375, 'loss': 8.018601417541504}\n",
+      "{'epoch': 0, 'update in batch': 1763, '/': 12375, 'loss': 8.093992233276367}\n",
+      "{'epoch': 0, 'update in batch': 1764, '/': 12375, 'loss': 7.85724401473999}\n",
+      "{'epoch': 0, 'update in batch': 1765, '/': 12375, 'loss': 7.953988075256348}\n",
+      "{'epoch': 0, 'update in batch': 1766, '/': 12375, 'loss': 8.84793472290039}\n",
+      "{'epoch': 0, 'update in batch': 1767, '/': 12375, 'loss': 8.501263618469238}\n",
+      "{'epoch': 0, 'update in batch': 1768, '/': 12375, 'loss': 8.263605117797852}\n",
+      "{'epoch': 0, 'update in batch': 1769, '/': 12375, 'loss': 8.375638961791992}\n",
+      "{'epoch': 0, 'update in batch': 1770, '/': 12375, 'loss': 8.5677490234375}\n",
+      "{'epoch': 0, 'update in batch': 1771, '/': 12375, 'loss': 8.26411247253418}\n",
+      "{'epoch': 0, 'update in batch': 1772, '/': 12375, 'loss': 8.506897926330566}\n",
+      "{'epoch': 0, 'update in batch': 1773, '/': 12375, 'loss': 8.027039527893066}\n",
+      "{'epoch': 0, 'update in batch': 1774, '/': 12375, 'loss': 8.464120864868164}\n",
+      "{'epoch': 0, 'update in batch': 1775, '/': 12375, 'loss': 8.5472993850708}\n",
+      "{'epoch': 0, 'update in batch': 1776, '/': 12375, 'loss': 8.13870906829834}\n",
+      "{'epoch': 0, 'update in batch': 1777, '/': 12375, 'loss': 8.198758125305176}\n",
+      "{'epoch': 0, 'update in batch': 1778, '/': 12375, 'loss': 7.8433685302734375}\n",
+      "{'epoch': 0, 'update in batch': 1779, '/': 12375, 'loss': 7.979112148284912}\n",
+      "{'epoch': 0, 'update in batch': 1780, '/': 12375, 'loss': 7.390602111816406}\n",
+      "{'epoch': 0, 'update in batch': 1781, '/': 12375, 'loss': 8.23988151550293}\n",
+      "{'epoch': 0, 'update in batch': 1782, '/': 12375, 'loss': 7.519949436187744}\n",
+      "{'epoch': 0, 'update in batch': 1783, '/': 12375, 'loss': 7.778906345367432}\n",
+      "{'epoch': 0, 'update in batch': 1784, '/': 12375, 'loss': 8.10837173461914}\n",
+      "{'epoch': 0, 'update in batch': 1785, '/': 12375, 'loss': 7.719637870788574}\n",
+      "{'epoch': 0, 'update in batch': 1786, '/': 12375, 'loss': 8.262655258178711}\n",
+      "{'epoch': 0, 'update in batch': 1787, '/': 12375, 'loss': 7.776402473449707}\n",
+      "{'epoch': 0, 'update in batch': 1788, '/': 12375, 'loss': 7.984722137451172}\n",
+      "{'epoch': 0, 'update in batch': 1789, '/': 12375, 'loss': 7.441503047943115}\n",
+      "{'epoch': 0, 'update in batch': 1790, '/': 12375, 'loss': 8.020906448364258}\n",
+      "{'epoch': 0, 'update in batch': 1791, '/': 12375, 'loss': 7.558750152587891}\n",
+      "{'epoch': 0, 'update in batch': 1792, '/': 12375, 'loss': 7.160985469818115}\n",
+      "{'epoch': 0, 'update in batch': 1793, '/': 12375, 'loss': 8.125923156738281}\n",
+      "{'epoch': 0, 'update in batch': 1794, '/': 12375, 'loss': 7.954939842224121}\n",
+      "{'epoch': 0, 'update in batch': 1795, '/': 12375, 'loss': 8.016469955444336}\n",
+      "{'epoch': 0, 'update in batch': 1796, '/': 12375, 'loss': 8.441344261169434}\n",
+      "{'epoch': 0, 'update in batch': 1797, '/': 12375, 'loss': 7.567702293395996}\n",
+      "{'epoch': 0, 'update in batch': 1798, '/': 12375, 'loss': 7.588100433349609}\n",
+      "{'epoch': 0, 'update in batch': 1799, '/': 12375, 'loss': 7.395018577575684}\n",
+      "{'epoch': 0, 'update in batch': 1800, '/': 12375, 'loss': 7.852943420410156}\n",
+      "{'epoch': 0, 'update in batch': 1801, '/': 12375, 'loss': 7.260420322418213}\n",
+      "{'epoch': 0, 'update in batch': 1802, '/': 12375, 'loss': 7.552694797515869}\n",
+      "{'epoch': 0, 'update in batch': 1803, '/': 12375, 'loss': 7.947049140930176}\n",
+      "{'epoch': 0, 'update in batch': 1804, '/': 12375, 'loss': 8.035246849060059}\n",
+      "{'epoch': 0, 'update in batch': 1805, '/': 12375, 'loss': 8.091192245483398}\n",
+      "{'epoch': 0, 'update in batch': 1806, '/': 12375, 'loss': 8.274227142333984}\n",
+      "{'epoch': 0, 'update in batch': 1807, '/': 12375, 'loss': 7.45309591293335}\n",
+      "{'epoch': 0, 'update in batch': 1808, '/': 12375, 'loss': 7.606867790222168}\n",
+      "{'epoch': 0, 'update in batch': 1809, '/': 12375, 'loss': 8.54878044128418}\n",
+      "{'epoch': 0, 'update in batch': 1810, '/': 12375, 'loss': 8.99550724029541}\n",
+      "{'epoch': 0, 'update in batch': 1811, '/': 12375, 'loss': 9.073995590209961}\n",
+      "{'epoch': 0, 'update in batch': 1812, '/': 12375, 'loss': 9.194055557250977}\n",
+      "{'epoch': 0, 'update in batch': 1813, '/': 12375, 'loss': 9.077041625976562}\n",
+      "{'epoch': 0, 'update in batch': 1814, '/': 12375, 'loss': 8.698919296264648}\n",
+      "{'epoch': 0, 'update in batch': 1815, '/': 12375, 'loss': 8.22932243347168}\n",
+      "{'epoch': 0, 'update in batch': 1816, '/': 12375, 'loss': 8.782281875610352}\n",
+      "{'epoch': 0, 'update in batch': 1817, '/': 12375, 'loss': 8.14583969116211}\n",
+      "{'epoch': 0, 'update in batch': 1818, '/': 12375, 'loss': 9.505167007446289}\n",
+      "{'epoch': 0, 'update in batch': 1819, '/': 12375, 'loss': 8.775836944580078}\n",
+      "{'epoch': 0, 'update in batch': 1820, '/': 12375, 'loss': 8.86978816986084}\n",
+      "{'epoch': 0, 'update in batch': 1821, '/': 12375, 'loss': 8.863341331481934}\n",
+      "{'epoch': 0, 'update in batch': 1822, '/': 12375, 'loss': 9.291129112243652}\n",
+      "{'epoch': 0, 'update in batch': 1823, '/': 12375, 'loss': 9.208358764648438}\n",
+      "{'epoch': 0, 'update in batch': 1824, '/': 12375, 'loss': 7.773784637451172}\n",
+      "{'epoch': 0, 'update in batch': 1825, '/': 12375, 'loss': 7.80618953704834}\n",
+      "{'epoch': 0, 'update in batch': 1826, '/': 12375, 'loss': 8.123191833496094}\n",
+      "{'epoch': 0, 'update in batch': 1827, '/': 12375, 'loss': 7.990914344787598}\n",
+      "{'epoch': 0, 'update in batch': 1828, '/': 12375, 'loss': 7.788527488708496}\n",
+      "{'epoch': 0, 'update in batch': 1829, '/': 12375, 'loss': 7.293604850769043}\n",
+      "{'epoch': 0, 'update in batch': 1830, '/': 12375, 'loss': 7.906170845031738}\n",
+      "{'epoch': 0, 'update in batch': 1831, '/': 12375, 'loss': 7.939577579498291}\n",
+      "{'epoch': 0, 'update in batch': 1832, '/': 12375, 'loss': 7.179896354675293}\n",
+      "{'epoch': 0, 'update in batch': 1833, '/': 12375, 'loss': 7.268611907958984}\n",
+      "{'epoch': 0, 'update in batch': 1834, '/': 12375, 'loss': 7.682260036468506}\n",
+      "{'epoch': 0, 'update in batch': 1835, '/': 12375, 'loss': 8.057880401611328}\n",
+      "{'epoch': 0, 'update in batch': 1836, '/': 12375, 'loss': 7.268917083740234}\n",
+      "{'epoch': 0, 'update in batch': 1837, '/': 12375, 'loss': 7.659247398376465}\n",
+      "{'epoch': 0, 'update in batch': 1838, '/': 12375, 'loss': 8.086058616638184}\n",
+      "{'epoch': 0, 'update in batch': 1839, '/': 12375, 'loss': 7.770951271057129}\n",
+      "{'epoch': 0, 'update in batch': 1840, '/': 12375, 'loss': 7.485451698303223}\n",
+      "{'epoch': 0, 'update in batch': 1841, '/': 12375, 'loss': 7.35507869720459}\n",
+      "{'epoch': 0, 'update in batch': 1842, '/': 12375, 'loss': 8.152666091918945}\n",
+      "{'epoch': 0, 'update in batch': 1843, '/': 12375, 'loss': 7.878819942474365}\n",
+      "{'epoch': 0, 'update in batch': 1844, '/': 12375, 'loss': 7.24582052230835}\n",
+      "{'epoch': 0, 'update in batch': 1845, '/': 12375, 'loss': 7.700634002685547}\n",
+      "{'epoch': 0, 'update in batch': 1846, '/': 12375, 'loss': 8.104195594787598}\n",
+      "{'epoch': 0, 'update in batch': 1847, '/': 12375, 'loss': 8.725785255432129}\n",
+      "{'epoch': 0, 'update in batch': 1848, '/': 12375, 'loss': 8.849371910095215}\n",
+      "{'epoch': 0, 'update in batch': 1849, '/': 12375, 'loss': 8.240766525268555}\n",
+      "{'epoch': 0, 'update in batch': 1850, '/': 12375, 'loss': 7.954136848449707}\n",
+      "{'epoch': 0, 'update in batch': 1851, '/': 12375, 'loss': 7.399744987487793}\n",
+      "{'epoch': 0, 'update in batch': 1852, '/': 12375, 'loss': 7.230432987213135}\n",
+      "{'epoch': 0, 'update in batch': 1853, '/': 12375, 'loss': 7.620868682861328}\n",
+      "{'epoch': 0, 'update in batch': 1854, '/': 12375, 'loss': 7.5891008377075195}\n",
+      "{'epoch': 0, 'update in batch': 1855, '/': 12375, 'loss': 7.649672031402588}\n",
+      "{'epoch': 0, 'update in batch': 1856, '/': 12375, 'loss': 7.975473880767822}\n",
+      "{'epoch': 0, 'update in batch': 1857, '/': 12375, 'loss': 7.495129585266113}\n",
+      "{'epoch': 0, 'update in batch': 1858, '/': 12375, 'loss': 8.049883842468262}\n",
+      "{'epoch': 0, 'update in batch': 1859, '/': 12375, 'loss': 7.718087673187256}\n",
+      "{'epoch': 0, 'update in batch': 1860, '/': 12375, 'loss': 7.948642730712891}\n",
+      "{'epoch': 0, 'update in batch': 1861, '/': 12375, 'loss': 7.554746150970459}\n",
+      "{'epoch': 0, 'update in batch': 1862, '/': 12375, 'loss': 7.374471187591553}\n",
+      "{'epoch': 0, 'update in batch': 1863, '/': 12375, 'loss': 7.766259670257568}\n",
+      "{'epoch': 0, 'update in batch': 1864, '/': 12375, 'loss': 7.4406633377075195}\n",
+      "{'epoch': 0, 'update in batch': 1865, '/': 12375, 'loss': 7.7591047286987305}\n",
+      "{'epoch': 0, 'update in batch': 1866, '/': 12375, 'loss': 7.496179103851318}\n",
+      "{'epoch': 0, 'update in batch': 1867, '/': 12375, 'loss': 8.087347030639648}\n",
+      "{'epoch': 0, 'update in batch': 1868, '/': 12375, 'loss': 7.711888313293457}\n",
+      "{'epoch': 0, 'update in batch': 1869, '/': 12375, 'loss': 7.9133429527282715}\n",
+      "{'epoch': 0, 'update in batch': 1870, '/': 12375, 'loss': 7.828677177429199}\n",
+      "{'epoch': 0, 'update in batch': 1871, '/': 12375, 'loss': 6.957491874694824}\n",
+      "{'epoch': 0, 'update in batch': 1872, '/': 12375, 'loss': 7.807318687438965}\n",
+      "{'epoch': 0, 'update in batch': 1873, '/': 12375, 'loss': 7.7706146240234375}\n",
+      "{'epoch': 0, 'update in batch': 1874, '/': 12375, 'loss': 7.9395341873168945}\n",
+      "{'epoch': 0, 'update in batch': 1875, '/': 12375, 'loss': 8.231554985046387}\n",
+      "{'epoch': 0, 'update in batch': 1876, '/': 12375, 'loss': 8.14294719696045}\n",
+      "{'epoch': 0, 'update in batch': 1877, '/': 12375, 'loss': 7.749744415283203}\n",
+      "{'epoch': 0, 'update in batch': 1878, '/': 12375, 'loss': 8.34900951385498}\n",
+      "{'epoch': 0, 'update in batch': 1879, '/': 12375, 'loss': 8.181636810302734}\n",
+      "{'epoch': 0, 'update in batch': 1880, '/': 12375, 'loss': 7.63068151473999}\n",
+      "{'epoch': 0, 'update in batch': 1881, '/': 12375, 'loss': 8.464476585388184}\n",
+      "{'epoch': 0, 'update in batch': 1882, '/': 12375, 'loss': 8.055070877075195}\n",
+      "{'epoch': 0, 'update in batch': 1883, '/': 12375, 'loss': 7.551280975341797}\n",
+      "{'epoch': 0, 'update in batch': 1884, '/': 12375, 'loss': 8.279336929321289}\n",
+      "{'epoch': 0, 'update in batch': 1885, '/': 12375, 'loss': 7.687213897705078}\n",
+      "{'epoch': 0, 'update in batch': 1886, '/': 12375, 'loss': 8.261343955993652}\n",
+      "{'epoch': 0, 'update in batch': 1887, '/': 12375, 'loss': 7.75765323638916}\n",
+      "{'epoch': 0, 'update in batch': 1888, '/': 12375, 'loss': 7.714571475982666}\n",
+      "{'epoch': 0, 'update in batch': 1889, '/': 12375, 'loss': 8.52509880065918}\n",
+      "{'epoch': 0, 'update in batch': 1890, '/': 12375, 'loss': 8.463891983032227}\n",
+      "{'epoch': 0, 'update in batch': 1891, '/': 12375, 'loss': 7.594187259674072}\n",
+      "{'epoch': 0, 'update in batch': 1892, '/': 12375, 'loss': 8.311578750610352}\n",
+      "{'epoch': 0, 'update in batch': 1893, '/': 12375, 'loss': 7.801156044006348}\n",
+      "{'epoch': 0, 'update in batch': 1894, '/': 12375, 'loss': 8.132875442504883}\n",
+      "{'epoch': 0, 'update in batch': 1895, '/': 12375, 'loss': 7.469826698303223}\n",
+      "{'epoch': 0, 'update in batch': 1896, '/': 12375, 'loss': 7.242992401123047}\n",
+      "{'epoch': 0, 'update in batch': 1897, '/': 12375, 'loss': 6.8688554763793945}\n",
+      "{'epoch': 0, 'update in batch': 1898, '/': 12375, 'loss': 7.653246879577637}\n",
+      "{'epoch': 0, 'update in batch': 1899, '/': 12375, 'loss': 8.172300338745117}\n",
+      "{'epoch': 0, 'update in batch': 1900, '/': 12375, 'loss': 7.865653038024902}\n",
+      "{'epoch': 0, 'update in batch': 1901, '/': 12375, 'loss': 8.31947135925293}\n",
+      "{'epoch': 0, 'update in batch': 1902, '/': 12375, 'loss': 8.704593658447266}\n",
+      "{'epoch': 0, 'update in batch': 1903, '/': 12375, 'loss': 8.148977279663086}\n",
+      "{'epoch': 0, 'update in batch': 1904, '/': 12375, 'loss': 8.744585037231445}\n",
+      "{'epoch': 0, 'update in batch': 1905, '/': 12375, 'loss': 8.20106315612793}\n",
+      "{'epoch': 0, 'update in batch': 1906, '/': 12375, 'loss': 9.000039100646973}\n",
+      "{'epoch': 0, 'update in batch': 1907, '/': 12375, 'loss': 8.713616371154785}\n",
+      "{'epoch': 0, 'update in batch': 1908, '/': 12375, 'loss': 8.604240417480469}\n",
+      "{'epoch': 0, 'update in batch': 1909, '/': 12375, 'loss': 8.453363418579102}\n",
+      "{'epoch': 0, 'update in batch': 1910, '/': 12375, 'loss': 8.39615535736084}\n",
+      "{'epoch': 0, 'update in batch': 1911, '/': 12375, 'loss': 8.636981964111328}\n",
+      "{'epoch': 0, 'update in batch': 1912, '/': 12375, 'loss': 7.555118560791016}\n",
+      "{'epoch': 0, 'update in batch': 1913, '/': 12375, 'loss': 8.273962020874023}\n",
+      "{'epoch': 0, 'update in batch': 1914, '/': 12375, 'loss': 8.160049438476562}\n",
+      "{'epoch': 0, 'update in batch': 1915, '/': 12375, 'loss': 7.894003868103027}\n",
+      "{'epoch': 0, 'update in batch': 1916, '/': 12375, 'loss': 8.099651336669922}\n",
+      "{'epoch': 0, 'update in batch': 1917, '/': 12375, 'loss': 7.275754451751709}\n",
+      "{'epoch': 0, 'update in batch': 1918, '/': 12375, 'loss': 8.069073677062988}\n",
+      "{'epoch': 0, 'update in batch': 1919, '/': 12375, 'loss': 8.037982940673828}\n",
+      "{'epoch': 0, 'update in batch': 1920, '/': 12375, 'loss': 8.68391227722168}\n",
+      "{'epoch': 0, 'update in batch': 1921, '/': 12375, 'loss': 8.876672744750977}\n",
+      "{'epoch': 0, 'update in batch': 1922, '/': 12375, 'loss': 7.966574192047119}\n",
+      "{'epoch': 0, 'update in batch': 1923, '/': 12375, 'loss': 8.300252914428711}\n",
+      "{'epoch': 0, 'update in batch': 1924, '/': 12375, 'loss': 7.806311130523682}\n",
+      "{'epoch': 0, 'update in batch': 1925, '/': 12375, 'loss': 8.17336654663086}\n",
+      "{'epoch': 0, 'update in batch': 1926, '/': 12375, 'loss': 8.891525268554688}\n",
+      "{'epoch': 0, 'update in batch': 1927, '/': 12375, 'loss': 9.042633056640625}\n",
+      "{'epoch': 0, 'update in batch': 1928, '/': 12375, 'loss': 8.71077823638916}\n",
+      "{'epoch': 0, 'update in batch': 1929, '/': 12375, 'loss': 8.866634368896484}\n",
+      "{'epoch': 0, 'update in batch': 1930, '/': 12375, 'loss': 8.058059692382812}\n",
+      "{'epoch': 0, 'update in batch': 1931, '/': 12375, 'loss': 7.583558559417725}\n",
+      "{'epoch': 0, 'update in batch': 1932, '/': 12375, 'loss': 7.581545829772949}\n",
+      "{'epoch': 0, 'update in batch': 1933, '/': 12375, 'loss': 8.01579475402832}\n",
+      "{'epoch': 0, 'update in batch': 1934, '/': 12375, 'loss': 8.3810396194458}\n",
+      "{'epoch': 0, 'update in batch': 1935, '/': 12375, 'loss': 7.714293003082275}\n",
+      "{'epoch': 0, 'update in batch': 1936, '/': 12375, 'loss': 8.275252342224121}\n",
+      "{'epoch': 0, 'update in batch': 1937, '/': 12375, 'loss': 7.259732723236084}\n",
+      "{'epoch': 0, 'update in batch': 1938, '/': 12375, 'loss': 8.150256156921387}\n",
+      "{'epoch': 0, 'update in batch': 1939, '/': 12375, 'loss': 8.323745727539062}\n",
+      "{'epoch': 0, 'update in batch': 1940, '/': 12375, 'loss': 8.462281227111816}\n",
+      "{'epoch': 0, 'update in batch': 1941, '/': 12375, 'loss': 8.346318244934082}\n",
+      "{'epoch': 0, 'update in batch': 1942, '/': 12375, 'loss': 8.471925735473633}\n",
+      "{'epoch': 0, 'update in batch': 1943, '/': 12375, 'loss': 8.395051956176758}\n",
+      "{'epoch': 0, 'update in batch': 1944, '/': 12375, 'loss': 8.622215270996094}\n",
+      "{'epoch': 0, 'update in batch': 1945, '/': 12375, 'loss': 8.130838394165039}\n",
+      "{'epoch': 0, 'update in batch': 1946, '/': 12375, 'loss': 8.86361312866211}\n",
+      "{'epoch': 0, 'update in batch': 1947, '/': 12375, 'loss': 8.200902938842773}\n",
+      "{'epoch': 0, 'update in batch': 1948, '/': 12375, 'loss': 7.316493988037109}\n",
+      "{'epoch': 0, 'update in batch': 1949, '/': 12375, 'loss': 8.231619834899902}\n",
+      "{'epoch': 0, 'update in batch': 1950, '/': 12375, 'loss': 7.335340976715088}\n",
+      "{'epoch': 0, 'update in batch': 1951, '/': 12375, 'loss': 7.219588279724121}\n",
+      "{'epoch': 0, 'update in batch': 1952, '/': 12375, 'loss': 7.198622226715088}\n",
+      "{'epoch': 0, 'update in batch': 1953, '/': 12375, 'loss': 7.724169731140137}\n",
+      "{'epoch': 0, 'update in batch': 1954, '/': 12375, 'loss': 7.196345329284668}\n",
+      "{'epoch': 0, 'update in batch': 1955, '/': 12375, 'loss': 6.947659492492676}\n",
+      "{'epoch': 0, 'update in batch': 1956, '/': 12375, 'loss': 6.877962589263916}\n",
+      "{'epoch': 0, 'update in batch': 1957, '/': 12375, 'loss': 8.87330150604248}\n",
+      "{'epoch': 0, 'update in batch': 1958, '/': 12375, 'loss': 8.73276424407959}\n",
+      "{'epoch': 0, 'update in batch': 1959, '/': 12375, 'loss': 9.277469635009766}\n",
+      "{'epoch': 0, 'update in batch': 1960, '/': 12375, 'loss': 8.752599716186523}\n",
+      "{'epoch': 0, 'update in batch': 1961, '/': 12375, 'loss': 9.07624626159668}\n",
+      "{'epoch': 0, 'update in batch': 1962, '/': 12375, 'loss': 8.917780876159668}\n",
+      "{'epoch': 0, 'update in batch': 1963, '/': 12375, 'loss': 8.52996826171875}\n",
+      "{'epoch': 0, 'update in batch': 1964, '/': 12375, 'loss': 8.69017505645752}\n",
+      "{'epoch': 0, 'update in batch': 1965, '/': 12375, 'loss': 9.967756271362305}\n",
+      "{'epoch': 0, 'update in batch': 1966, '/': 12375, 'loss': 9.108926773071289}\n",
+      "{'epoch': 0, 'update in batch': 1967, '/': 12375, 'loss': 9.583990097045898}\n",
+      "{'epoch': 0, 'update in batch': 1968, '/': 12375, 'loss': 8.780754089355469}\n",
+      "{'epoch': 0, 'update in batch': 1969, '/': 12375, 'loss': 9.036174774169922}\n",
+      "{'epoch': 0, 'update in batch': 1970, '/': 12375, 'loss': 8.581002235412598}\n",
+      "{'epoch': 0, 'update in batch': 1971, '/': 12375, 'loss': 8.5028715133667}\n",
+      "{'epoch': 0, 'update in batch': 1972, '/': 12375, 'loss': 8.325592994689941}\n",
+      "{'epoch': 0, 'update in batch': 1973, '/': 12375, 'loss': 9.205408096313477}\n",
+      "{'epoch': 0, 'update in batch': 1974, '/': 12375, 'loss': 8.824784278869629}\n",
+      "{'epoch': 0, 'update in batch': 1975, '/': 12375, 'loss': 9.355484962463379}\n",
+      "{'epoch': 0, 'update in batch': 1976, '/': 12375, 'loss': 9.123405456542969}\n",
+      "{'epoch': 0, 'update in batch': 1977, '/': 12375, 'loss': 9.206711769104004}\n",
+      "{'epoch': 0, 'update in batch': 1978, '/': 12375, 'loss': 9.502047538757324}\n",
+      "{'epoch': 0, 'update in batch': 1979, '/': 12375, 'loss': 9.08880615234375}\n",
+      "{'epoch': 0, 'update in batch': 1980, '/': 12375, 'loss': 8.151106834411621}\n",
+      "{'epoch': 0, 'update in batch': 1981, '/': 12375, 'loss': 8.013556480407715}\n",
+      "{'epoch': 0, 'update in batch': 1982, '/': 12375, 'loss': 9.281817436218262}\n",
+      "{'epoch': 0, 'update in batch': 1983, '/': 12375, 'loss': 9.125883102416992}\n",
+      "{'epoch': 0, 'update in batch': 1984, '/': 12375, 'loss': 8.484375953674316}\n",
+      "{'epoch': 0, 'update in batch': 1985, '/': 12375, 'loss': 9.246150016784668}\n",
+      "{'epoch': 0, 'update in batch': 1986, '/': 12375, 'loss': 8.482049942016602}\n",
+      "{'epoch': 0, 'update in batch': 1987, '/': 12375, 'loss': 7.907244682312012}\n",
+      "{'epoch': 0, 'update in batch': 1988, '/': 12375, 'loss': 9.036781311035156}\n",
+      "{'epoch': 0, 'update in batch': 1989, '/': 12375, 'loss': 8.80970287322998}\n",
+      "{'epoch': 0, 'update in batch': 1990, '/': 12375, 'loss': 7.9385857582092285}\n",
+      "{'epoch': 0, 'update in batch': 1991, '/': 12375, 'loss': 8.072159767150879}\n",
+      "{'epoch': 0, 'update in batch': 1992, '/': 12375, 'loss': 7.673765659332275}\n",
+      "{'epoch': 0, 'update in batch': 1993, '/': 12375, 'loss': 7.978939056396484}\n",
+      "{'epoch': 0, 'update in batch': 1994, '/': 12375, 'loss': 7.976380825042725}\n",
+      "{'epoch': 0, 'update in batch': 1995, '/': 12375, 'loss': 7.520625114440918}\n",
+      "{'epoch': 0, 'update in batch': 1996, '/': 12375, 'loss': 7.6318206787109375}\n",
+      "{'epoch': 0, 'update in batch': 1997, '/': 12375, 'loss': 7.902848720550537}\n",
+      "{'epoch': 0, 'update in batch': 1998, '/': 12375, 'loss': 7.901126861572266}\n",
+      "{'epoch': 0, 'update in batch': 1999, '/': 12375, 'loss': 7.767681121826172}\n",
+      "{'epoch': 0, 'update in batch': 2000, '/': 12375, 'loss': 7.967393398284912}\n",
+      "{'epoch': 0, 'update in batch': 2001, '/': 12375, 'loss': 7.940535068511963}\n",
+      "{'epoch': 0, 'update in batch': 2002, '/': 12375, 'loss': 7.459702491760254}\n",
+      "{'epoch': 0, 'update in batch': 2003, '/': 12375, 'loss': 6.882620334625244}\n",
+      "{'epoch': 0, 'update in batch': 2004, '/': 12375, 'loss': 7.342160224914551}\n",
+      "{'epoch': 0, 'update in batch': 2005, '/': 12375, 'loss': 7.756481170654297}\n",
+      "{'epoch': 0, 'update in batch': 2006, '/': 12375, 'loss': 7.859877109527588}\n",
+      "{'epoch': 0, 'update in batch': 2007, '/': 12375, 'loss': 7.516202449798584}\n",
+      "{'epoch': 0, 'update in batch': 2008, '/': 12375, 'loss': 7.971405982971191}\n",
+      "{'epoch': 0, 'update in batch': 2009, '/': 12375, 'loss': 7.253859043121338}\n",
+      "{'epoch': 0, 'update in batch': 2010, '/': 12375, 'loss': 7.946839332580566}\n",
+      "{'epoch': 0, 'update in batch': 2011, '/': 12375, 'loss': 6.829872131347656}\n",
+      "{'epoch': 0, 'update in batch': 2012, '/': 12375, 'loss': 7.130329132080078}\n",
+      "{'epoch': 0, 'update in batch': 2013, '/': 12375, 'loss': 7.4010210037231445}\n",
+      "{'epoch': 0, 'update in batch': 2014, '/': 12375, 'loss': 7.301517486572266}\n",
+      "{'epoch': 0, 'update in batch': 2015, '/': 12375, 'loss': 8.151552200317383}\n",
+      "{'epoch': 0, 'update in batch': 2016, '/': 12375, 'loss': 7.032495021820068}\n",
+      "{'epoch': 0, 'update in batch': 2017, '/': 12375, 'loss': 7.5011467933654785}\n",
+      "{'epoch': 0, 'update in batch': 2018, '/': 12375, 'loss': 7.824528694152832}\n",
+      "{'epoch': 0, 'update in batch': 2019, '/': 12375, 'loss': 7.160022735595703}\n",
+      "{'epoch': 0, 'update in batch': 2020, '/': 12375, 'loss': 7.820275783538818}\n",
+      "{'epoch': 0, 'update in batch': 2021, '/': 12375, 'loss': 8.116852760314941}\n",
+      "{'epoch': 0, 'update in batch': 2022, '/': 12375, 'loss': 7.920896053314209}\n",
+      "{'epoch': 0, 'update in batch': 2023, '/': 12375, 'loss': 6.802214622497559}\n",
+      "{'epoch': 0, 'update in batch': 2024, '/': 12375, 'loss': 7.361004829406738}\n",
+      "{'epoch': 0, 'update in batch': 2025, '/': 12375, 'loss': 7.225409030914307}\n",
+      "{'epoch': 0, 'update in batch': 2026, '/': 12375, 'loss': 8.295316696166992}\n",
+      "{'epoch': 0, 'update in batch': 2027, '/': 12375, 'loss': 7.8985700607299805}\n",
+      "{'epoch': 0, 'update in batch': 2028, '/': 12375, 'loss': 7.256699562072754}\n",
+      "{'epoch': 0, 'update in batch': 2029, '/': 12375, 'loss': 7.538462162017822}\n",
+      "{'epoch': 0, 'update in batch': 2030, '/': 12375, 'loss': 6.948836326599121}\n",
+      "{'epoch': 0, 'update in batch': 2031, '/': 12375, 'loss': 7.630998134613037}\n",
+      "{'epoch': 0, 'update in batch': 2032, '/': 12375, 'loss': 7.633942604064941}\n",
+      "{'epoch': 0, 'update in batch': 2033, '/': 12375, 'loss': 7.819760322570801}\n",
+      "{'epoch': 0, 'update in batch': 2034, '/': 12375, 'loss': 7.884091854095459}\n",
+      "{'epoch': 0, 'update in batch': 2035, '/': 12375, 'loss': 7.714268684387207}\n",
+      "{'epoch': 0, 'update in batch': 2036, '/': 12375, 'loss': 8.227714538574219}\n",
+      "{'epoch': 0, 'update in batch': 2037, '/': 12375, 'loss': 7.432618618011475}\n",
+      "{'epoch': 0, 'update in batch': 2038, '/': 12375, 'loss': 7.964344024658203}\n",
+      "{'epoch': 0, 'update in batch': 2039, '/': 12375, 'loss': 7.864832401275635}\n",
+      "{'epoch': 0, 'update in batch': 2040, '/': 12375, 'loss': 7.449255466461182}\n",
+      "{'epoch': 0, 'update in batch': 2041, '/': 12375, 'loss': 7.725970268249512}\n",
+      "{'epoch': 0, 'update in batch': 2042, '/': 12375, 'loss': 7.790292263031006}\n",
+      "{'epoch': 0, 'update in batch': 2043, '/': 12375, 'loss': 7.4114885330200195}\n",
+      "{'epoch': 0, 'update in batch': 2044, '/': 12375, 'loss': 7.1945600509643555}\n",
+      "{'epoch': 0, 'update in batch': 2045, '/': 12375, 'loss': 7.337322235107422}\n",
+      "{'epoch': 0, 'update in batch': 2046, '/': 12375, 'loss': 7.336260795593262}\n",
+      "{'epoch': 0, 'update in batch': 2047, '/': 12375, 'loss': 7.426906585693359}\n",
+      "{'epoch': 0, 'update in batch': 2048, '/': 12375, 'loss': 7.631030082702637}\n",
+      "{'epoch': 0, 'update in batch': 2049, '/': 12375, 'loss': 9.171980857849121}\n",
+      "{'epoch': 0, 'update in batch': 2050, '/': 12375, 'loss': 8.842016220092773}\n",
+      "{'epoch': 0, 'update in batch': 2051, '/': 12375, 'loss': 7.778079032897949}\n",
+      "{'epoch': 0, 'update in batch': 2052, '/': 12375, 'loss': 8.144651412963867}\n",
+      "{'epoch': 0, 'update in batch': 2053, '/': 12375, 'loss': 8.167795181274414}\n",
+      "{'epoch': 0, 'update in batch': 2054, '/': 12375, 'loss': 8.13426399230957}\n",
+      "{'epoch': 0, 'update in batch': 2055, '/': 12375, 'loss': 8.492563247680664}\n",
+      "{'epoch': 0, 'update in batch': 2056, '/': 12375, 'loss': 8.965149879455566}\n",
+      "{'epoch': 0, 'update in batch': 2057, '/': 12375, 'loss': 8.95044231414795}\n",
+      "{'epoch': 0, 'update in batch': 2058, '/': 12375, 'loss': 8.77007007598877}\n",
+      "{'epoch': 0, 'update in batch': 2059, '/': 12375, 'loss': 8.932816505432129}\n",
+      "{'epoch': 0, 'update in batch': 2060, '/': 12375, 'loss': 8.642934799194336}\n",
+      "{'epoch': 0, 'update in batch': 2061, '/': 12375, 'loss': 7.983815670013428}\n",
+      "{'epoch': 0, 'update in batch': 2062, '/': 12375, 'loss': 8.304268836975098}\n",
+      "{'epoch': 0, 'update in batch': 2063, '/': 12375, 'loss': 8.520626068115234}\n",
+      "{'epoch': 0, 'update in batch': 2064, '/': 12375, 'loss': 9.04204273223877}\n",
+      "{'epoch': 0, 'update in batch': 2065, '/': 12375, 'loss': 7.595703125}\n",
+      "{'epoch': 0, 'update in batch': 2066, '/': 12375, 'loss': 7.6790666580200195}\n",
+      "{'epoch': 0, 'update in batch': 2067, '/': 12375, 'loss': 7.966887474060059}\n",
+      "{'epoch': 0, 'update in batch': 2068, '/': 12375, 'loss': 8.323722839355469}\n",
+      "{'epoch': 0, 'update in batch': 2069, '/': 12375, 'loss': 8.391580581665039}\n",
+      "{'epoch': 0, 'update in batch': 2070, '/': 12375, 'loss': 8.388850212097168}\n",
+      "{'epoch': 0, 'update in batch': 2071, '/': 12375, 'loss': 8.757692337036133}\n",
+      "{'epoch': 0, 'update in batch': 2072, '/': 12375, 'loss': 7.972677707672119}\n",
+      "{'epoch': 0, 'update in batch': 2073, '/': 12375, 'loss': 7.795873165130615}\n",
+      "{'epoch': 0, 'update in batch': 2074, '/': 12375, 'loss': 7.257803916931152}\n",
+      "{'epoch': 0, 'update in batch': 2075, '/': 12375, 'loss': 7.470845699310303}\n",
+      "{'epoch': 0, 'update in batch': 2076, '/': 12375, 'loss': 7.971105098724365}\n",
+      "{'epoch': 0, 'update in batch': 2077, '/': 12375, 'loss': 7.679541110992432}\n",
+      "{'epoch': 0, 'update in batch': 2078, '/': 12375, 'loss': 7.842516899108887}\n",
+      "{'epoch': 0, 'update in batch': 2079, '/': 12375, 'loss': 7.730249881744385}\n",
+      "{'epoch': 0, 'update in batch': 2080, '/': 12375, 'loss': 7.759543418884277}\n",
+      "{'epoch': 0, 'update in batch': 2081, '/': 12375, 'loss': 7.288670539855957}\n",
+      "{'epoch': 0, 'update in batch': 2082, '/': 12375, 'loss': 7.826404571533203}\n",
+      "{'epoch': 0, 'update in batch': 2083, '/': 12375, 'loss': 7.453176975250244}\n",
+      "{'epoch': 0, 'update in batch': 2084, '/': 12375, 'loss': 8.055486679077148}\n",
+      "{'epoch': 0, 'update in batch': 2085, '/': 12375, 'loss': 7.084193229675293}\n",
+      "{'epoch': 0, 'update in batch': 2086, '/': 12375, 'loss': 8.07383918762207}\n",
+      "{'epoch': 0, 'update in batch': 2087, '/': 12375, 'loss': 7.488913536071777}\n",
+      "{'epoch': 0, 'update in batch': 2088, '/': 12375, 'loss': 7.599239349365234}\n",
+      "{'epoch': 0, 'update in batch': 2089, '/': 12375, 'loss': 7.927437782287598}\n",
+      "{'epoch': 0, 'update in batch': 2090, '/': 12375, 'loss': 7.287574768066406}\n",
+      "{'epoch': 0, 'update in batch': 2091, '/': 12375, 'loss': 7.458985805511475}\n",
+      "{'epoch': 0, 'update in batch': 2092, '/': 12375, 'loss': 7.1683149337768555}\n",
+      "{'epoch': 0, 'update in batch': 2093, '/': 12375, 'loss': 8.034252166748047}\n",
+      "{'epoch': 0, 'update in batch': 2094, '/': 12375, 'loss': 7.890129089355469}\n",
+      "{'epoch': 0, 'update in batch': 2095, '/': 12375, 'loss': 7.511669158935547}\n",
+      "{'epoch': 0, 'update in batch': 2096, '/': 12375, 'loss': 8.947908401489258}\n",
+      "{'epoch': 0, 'update in batch': 2097, '/': 12375, 'loss': 8.864595413208008}\n",
+      "{'epoch': 0, 'update in batch': 2098, '/': 12375, 'loss': 6.970013618469238}\n",
+      "{'epoch': 0, 'update in batch': 2099, '/': 12375, 'loss': 7.278766632080078}\n",
+      "{'epoch': 0, 'update in batch': 2100, '/': 12375, 'loss': 7.57269287109375}\n",
+      "{'epoch': 0, 'update in batch': 2101, '/': 12375, 'loss': 7.380983829498291}\n",
+      "{'epoch': 0, 'update in batch': 2102, '/': 12375, 'loss': 7.919735908508301}\n",
+      "{'epoch': 0, 'update in batch': 2103, '/': 12375, 'loss': 8.593001365661621}\n",
+      "{'epoch': 0, 'update in batch': 2104, '/': 12375, 'loss': 8.159134864807129}\n",
+      "{'epoch': 0, 'update in batch': 2105, '/': 12375, 'loss': 7.428067207336426}\n",
+      "{'epoch': 0, 'update in batch': 2106, '/': 12375, 'loss': 7.264443874359131}\n",
+      "{'epoch': 0, 'update in batch': 2107, '/': 12375, 'loss': 7.857230186462402}\n",
+      "{'epoch': 0, 'update in batch': 2108, '/': 12375, 'loss': 8.124246597290039}\n",
+      "{'epoch': 0, 'update in batch': 2109, '/': 12375, 'loss': 8.734346389770508}\n",
+      "{'epoch': 0, 'update in batch': 2110, '/': 12375, 'loss': 8.965535163879395}\n",
+      "{'epoch': 0, 'update in batch': 2111, '/': 12375, 'loss': 8.009172439575195}\n",
+      "{'epoch': 0, 'update in batch': 2112, '/': 12375, 'loss': 8.61697769165039}\n",
+      "{'epoch': 0, 'update in batch': 2113, '/': 12375, 'loss': 8.367223739624023}\n",
+      "{'epoch': 0, 'update in batch': 2114, '/': 12375, 'loss': 8.19068717956543}\n",
+      "{'epoch': 0, 'update in batch': 2115, '/': 12375, 'loss': 8.086960792541504}\n",
+      "{'epoch': 0, 'update in batch': 2116, '/': 12375, 'loss': 8.729010581970215}\n",
+      "{'epoch': 0, 'update in batch': 2117, '/': 12375, 'loss': 7.429970741271973}\n",
+      "{'epoch': 0, 'update in batch': 2118, '/': 12375, 'loss': 7.621213436126709}\n",
+      "{'epoch': 0, 'update in batch': 2119, '/': 12375, 'loss': 8.505809783935547}\n",
+      "{'epoch': 0, 'update in batch': 2120, '/': 12375, 'loss': 7.355190277099609}\n",
+      "{'epoch': 0, 'update in batch': 2121, '/': 12375, 'loss': 7.909893989562988}\n",
+      "{'epoch': 0, 'update in batch': 2122, '/': 12375, 'loss': 7.81497859954834}\n",
+      "{'epoch': 0, 'update in batch': 2123, '/': 12375, 'loss': 7.498047828674316}\n",
+      "{'epoch': 0, 'update in batch': 2124, '/': 12375, 'loss': 7.446226596832275}\n",
+      "{'epoch': 0, 'update in batch': 2125, '/': 12375, 'loss': 7.651732444763184}\n",
+      "{'epoch': 0, 'update in batch': 2126, '/': 12375, 'loss': 7.298497676849365}\n",
+      "{'epoch': 0, 'update in batch': 2127, '/': 12375, 'loss': 8.065557479858398}\n",
+      "{'epoch': 0, 'update in batch': 2128, '/': 12375, 'loss': 9.345867156982422}\n",
+      "{'epoch': 0, 'update in batch': 2129, '/': 12375, 'loss': 8.674066543579102}\n",
+      "{'epoch': 0, 'update in batch': 2130, '/': 12375, 'loss': 8.356025695800781}\n",
+      "{'epoch': 0, 'update in batch': 2131, '/': 12375, 'loss': 7.89431619644165}\n",
+      "{'epoch': 0, 'update in batch': 2132, '/': 12375, 'loss': 8.862039566040039}\n",
+      "{'epoch': 0, 'update in batch': 2133, '/': 12375, 'loss': 8.080890655517578}\n",
+      "{'epoch': 0, 'update in batch': 2134, '/': 12375, 'loss': 8.237363815307617}\n",
+      "{'epoch': 0, 'update in batch': 2135, '/': 12375, 'loss': 8.182661056518555}\n",
+      "{'epoch': 0, 'update in batch': 2136, '/': 12375, 'loss': 9.321733474731445}\n",
+      "{'epoch': 0, 'update in batch': 2137, '/': 12375, 'loss': 9.462141036987305}\n",
+      "{'epoch': 0, 'update in batch': 2138, '/': 12375, 'loss': 8.534006118774414}\n",
+      "{'epoch': 0, 'update in batch': 2139, '/': 12375, 'loss': 8.165050506591797}\n",
+      "{'epoch': 0, 'update in batch': 2140, '/': 12375, 'loss': 8.796455383300781}\n",
+      "{'epoch': 0, 'update in batch': 2141, '/': 12375, 'loss': 8.281776428222656}\n",
+      "{'epoch': 0, 'update in batch': 2142, '/': 12375, 'loss': 8.224142074584961}\n",
+      "{'epoch': 0, 'update in batch': 2143, '/': 12375, 'loss': 8.468816757202148}\n",
+      "{'epoch': 0, 'update in batch': 2144, '/': 12375, 'loss': 8.759119987487793}\n",
+      "{'epoch': 0, 'update in batch': 2145, '/': 12375, 'loss': 8.790891647338867}\n",
+      "{'epoch': 0, 'update in batch': 2146, '/': 12375, 'loss': 8.31245231628418}\n",
+      "{'epoch': 0, 'update in batch': 2147, '/': 12375, 'loss': 8.561836242675781}\n",
+      "{'epoch': 0, 'update in batch': 2148, '/': 12375, 'loss': 9.17555046081543}\n",
+      "{'epoch': 0, 'update in batch': 2149, '/': 12375, 'loss': 8.34391975402832}\n",
+      "{'epoch': 0, 'update in batch': 2150, '/': 12375, 'loss': 8.082100868225098}\n",
+      "{'epoch': 0, 'update in batch': 2151, '/': 12375, 'loss': 7.944038391113281}\n",
+      "{'epoch': 0, 'update in batch': 2152, '/': 12375, 'loss': 7.69796895980835}\n",
+      "{'epoch': 0, 'update in batch': 2153, '/': 12375, 'loss': 7.747317314147949}\n",
+      "{'epoch': 0, 'update in batch': 2154, '/': 12375, 'loss': 8.14552116394043}\n",
+      "{'epoch': 0, 'update in batch': 2155, '/': 12375, 'loss': 8.793928146362305}\n",
+      "{'epoch': 0, 'update in batch': 2156, '/': 12375, 'loss': 7.374636650085449}\n",
+      "{'epoch': 0, 'update in batch': 2157, '/': 12375, 'loss': 8.528338432312012}\n",
+      "{'epoch': 0, 'update in batch': 2158, '/': 12375, 'loss': 7.985038757324219}\n",
+      "{'epoch': 0, 'update in batch': 2159, '/': 12375, 'loss': 8.486455917358398}\n",
+      "{'epoch': 0, 'update in batch': 2160, '/': 12375, 'loss': 8.355466842651367}\n",
+      "{'epoch': 0, 'update in batch': 2161, '/': 12375, 'loss': 7.3916521072387695}\n",
+      "{'epoch': 0, 'update in batch': 2162, '/': 12375, 'loss': 7.671001434326172}\n",
+      "{'epoch': 0, 'update in batch': 2163, '/': 12375, 'loss': 7.271185874938965}\n",
+      "{'epoch': 0, 'update in batch': 2164, '/': 12375, 'loss': 7.730255126953125}\n",
+      "{'epoch': 0, 'update in batch': 2165, '/': 12375, 'loss': 7.5096611976623535}\n",
+      "{'epoch': 0, 'update in batch': 2166, '/': 12375, 'loss': 7.735445976257324}\n",
+      "{'epoch': 0, 'update in batch': 2167, '/': 12375, 'loss': 8.082562446594238}\n",
+      "{'epoch': 0, 'update in batch': 2168, '/': 12375, 'loss': 7.891026496887207}\n",
+      "{'epoch': 0, 'update in batch': 2169, '/': 12375, 'loss': 8.762487411499023}\n",
+      "{'epoch': 0, 'update in batch': 2170, '/': 12375, 'loss': 9.038806915283203}\n",
+      "{'epoch': 0, 'update in batch': 2171, '/': 12375, 'loss': 8.558547973632812}\n",
+      "{'epoch': 0, 'update in batch': 2172, '/': 12375, 'loss': 7.865415096282959}\n",
+      "{'epoch': 0, 'update in batch': 2173, '/': 12375, 'loss': 8.415445327758789}\n",
+      "{'epoch': 0, 'update in batch': 2174, '/': 12375, 'loss': 8.223782539367676}\n",
+      "{'epoch': 0, 'update in batch': 2175, '/': 12375, 'loss': 8.049571990966797}\n",
+      "{'epoch': 0, 'update in batch': 2176, '/': 12375, 'loss': 7.851305961608887}\n",
+      "{'epoch': 0, 'update in batch': 2177, '/': 12375, 'loss': 7.864930629730225}\n",
+      "{'epoch': 0, 'update in batch': 2178, '/': 12375, 'loss': 7.6652326583862305}\n",
+      "{'epoch': 0, 'update in batch': 2179, '/': 12375, 'loss': 7.821188449859619}\n",
+      "{'epoch': 0, 'update in batch': 2180, '/': 12375, 'loss': 8.15471076965332}\n",
+      "{'epoch': 0, 'update in batch': 2181, '/': 12375, 'loss': 7.828352928161621}\n",
+      "{'epoch': 0, 'update in batch': 2182, '/': 12375, 'loss': 7.774109840393066}\n",
+      "{'epoch': 0, 'update in batch': 2183, '/': 12375, 'loss': 8.488595008850098}\n",
+      "{'epoch': 0, 'update in batch': 2184, '/': 12375, 'loss': 8.567789077758789}\n",
+      "{'epoch': 0, 'update in batch': 2185, '/': 12375, 'loss': 8.92138957977295}\n",
+      "{'epoch': 0, 'update in batch': 2186, '/': 12375, 'loss': 8.557363510131836}\n",
+      "{'epoch': 0, 'update in batch': 2187, '/': 12375, 'loss': 8.34058952331543}\n",
+      "{'epoch': 0, 'update in batch': 2188, '/': 12375, 'loss': 8.816699028015137}\n",
+      "{'epoch': 0, 'update in batch': 2189, '/': 12375, 'loss': 7.994060516357422}\n",
+      "{'epoch': 0, 'update in batch': 2190, '/': 12375, 'loss': 7.605446815490723}\n",
+      "{'epoch': 0, 'update in batch': 2191, '/': 12375, 'loss': 7.915337562561035}\n",
+      "{'epoch': 0, 'update in batch': 2192, '/': 12375, 'loss': 7.738168239593506}\n",
+      "{'epoch': 0, 'update in batch': 2193, '/': 12375, 'loss': 8.268204689025879}\n",
+      "{'epoch': 0, 'update in batch': 2194, '/': 12375, 'loss': 7.987990379333496}\n",
+      "{'epoch': 0, 'update in batch': 2195, '/': 12375, 'loss': 8.345139503479004}\n",
+      "{'epoch': 0, 'update in batch': 2196, '/': 12375, 'loss': 8.029561996459961}\n",
+      "{'epoch': 0, 'update in batch': 2197, '/': 12375, 'loss': 7.858046531677246}\n",
+      "{'epoch': 0, 'update in batch': 2198, '/': 12375, 'loss': 7.891778469085693}\n",
+      "{'epoch': 0, 'update in batch': 2199, '/': 12375, 'loss': 7.357611179351807}\n",
+      "{'epoch': 0, 'update in batch': 2200, '/': 12375, 'loss': 7.730274200439453}\n",
+      "{'epoch': 0, 'update in batch': 2201, '/': 12375, 'loss': 7.97647762298584}\n",
+      "{'epoch': 0, 'update in batch': 2202, '/': 12375, 'loss': 8.086365699768066}\n",
+      "{'epoch': 0, 'update in batch': 2203, '/': 12375, 'loss': 8.60687255859375}\n",
+      "{'epoch': 0, 'update in batch': 2204, '/': 12375, 'loss': 9.28869915008545}\n",
+      "{'epoch': 0, 'update in batch': 2205, '/': 12375, 'loss': 7.668797492980957}\n",
+      "{'epoch': 0, 'update in batch': 2206, '/': 12375, 'loss': 8.52617359161377}\n",
+      "{'epoch': 0, 'update in batch': 2207, '/': 12375, 'loss': 8.343769073486328}\n",
+      "{'epoch': 0, 'update in batch': 2208, '/': 12375, 'loss': 8.704424858093262}\n",
+      "{'epoch': 0, 'update in batch': 2209, '/': 12375, 'loss': 8.474632263183594}\n",
+      "{'epoch': 0, 'update in batch': 2210, '/': 12375, 'loss': 8.593844413757324}\n",
+      "{'epoch': 0, 'update in batch': 2211, '/': 12375, 'loss': 7.651035308837891}\n",
+      "{'epoch': 0, 'update in batch': 2212, '/': 12375, 'loss': 7.660695552825928}\n",
+      "{'epoch': 0, 'update in batch': 2213, '/': 12375, 'loss': 7.289132595062256}\n",
+      "{'epoch': 0, 'update in batch': 2214, '/': 12375, 'loss': 7.8253302574157715}\n",
+      "{'epoch': 0, 'update in batch': 2215, '/': 12375, 'loss': 8.616499900817871}\n",
+      "{'epoch': 0, 'update in batch': 2216, '/': 12375, 'loss': 8.42126750946045}\n",
+      "{'epoch': 0, 'update in batch': 2217, '/': 12375, 'loss': 8.59482479095459}\n",
+      "{'epoch': 0, 'update in batch': 2218, '/': 12375, 'loss': 6.849059104919434}\n",
+      "{'epoch': 0, 'update in batch': 2219, '/': 12375, 'loss': 7.7804670333862305}\n",
+      "{'epoch': 0, 'update in batch': 2220, '/': 12375, 'loss': 8.412518501281738}\n",
+      "{'epoch': 0, 'update in batch': 2221, '/': 12375, 'loss': 8.62813949584961}\n",
+      "{'epoch': 0, 'update in batch': 2222, '/': 12375, 'loss': 7.861212253570557}\n",
+      "{'epoch': 0, 'update in batch': 2223, '/': 12375, 'loss': 7.617520332336426}\n",
+      "{'epoch': 0, 'update in batch': 2224, '/': 12375, 'loss': 7.881046295166016}\n",
+      "{'epoch': 0, 'update in batch': 2225, '/': 12375, 'loss': 7.436954498291016}\n",
+      "{'epoch': 0, 'update in batch': 2226, '/': 12375, 'loss': 8.467257499694824}\n",
+      "{'epoch': 0, 'update in batch': 2227, '/': 12375, 'loss': 8.070509910583496}\n",
+      "{'epoch': 0, 'update in batch': 2228, '/': 12375, 'loss': 7.984671115875244}\n",
+      "{'epoch': 0, 'update in batch': 2229, '/': 12375, 'loss': 8.250334739685059}\n",
+      "{'epoch': 0, 'update in batch': 2230, '/': 12375, 'loss': 8.636469841003418}\n",
+      "{'epoch': 0, 'update in batch': 2231, '/': 12375, 'loss': 9.23095989227295}\n",
+      "{'epoch': 0, 'update in batch': 2232, '/': 12375, 'loss': 8.42576789855957}\n",
+      "{'epoch': 0, 'update in batch': 2233, '/': 12375, 'loss': 8.307821273803711}\n",
+      "{'epoch': 0, 'update in batch': 2234, '/': 12375, 'loss': 7.934271812438965}\n",
+      "{'epoch': 0, 'update in batch': 2235, '/': 12375, 'loss': 7.5451860427856445}\n",
+      "{'epoch': 0, 'update in batch': 2236, '/': 12375, 'loss': 8.518129348754883}\n",
+      "{'epoch': 0, 'update in batch': 2237, '/': 12375, 'loss': 8.39521312713623}\n",
+      "{'epoch': 0, 'update in batch': 2238, '/': 12375, 'loss': 8.131486892700195}\n",
+      "{'epoch': 0, 'update in batch': 2239, '/': 12375, 'loss': 8.466619491577148}\n",
+      "{'epoch': 0, 'update in batch': 2240, '/': 12375, 'loss': 8.309037208557129}\n",
+      "{'epoch': 0, 'update in batch': 2241, '/': 12375, 'loss': 9.149308204650879}\n",
+      "{'epoch': 0, 'update in batch': 2242, '/': 12375, 'loss': 8.360069274902344}\n",
+      "{'epoch': 0, 'update in batch': 2243, '/': 12375, 'loss': 8.607129096984863}\n",
+      "{'epoch': 0, 'update in batch': 2244, '/': 12375, 'loss': 8.186639785766602}\n",
+      "{'epoch': 0, 'update in batch': 2245, '/': 12375, 'loss': 8.206069946289062}\n",
+      "{'epoch': 0, 'update in batch': 2246, '/': 12375, 'loss': 8.263373374938965}\n",
+      "{'epoch': 0, 'update in batch': 2247, '/': 12375, 'loss': 7.316669464111328}\n",
+      "{'epoch': 0, 'update in batch': 2248, '/': 12375, 'loss': 8.005632400512695}\n",
+      "{'epoch': 0, 'update in batch': 2249, '/': 12375, 'loss': 8.363181114196777}\n",
+      "{'epoch': 0, 'update in batch': 2250, '/': 12375, 'loss': 8.985340118408203}\n",
+      "{'epoch': 0, 'update in batch': 2251, '/': 12375, 'loss': 9.110078811645508}\n",
+      "{'epoch': 0, 'update in batch': 2252, '/': 12375, 'loss': 7.119676113128662}\n",
+      "{'epoch': 0, 'update in batch': 2253, '/': 12375, 'loss': 7.507541656494141}\n",
+      "{'epoch': 0, 'update in batch': 2254, '/': 12375, 'loss': 8.438779830932617}\n",
+      "{'epoch': 0, 'update in batch': 2255, '/': 12375, 'loss': 7.6726531982421875}\n",
+      "{'epoch': 0, 'update in batch': 2256, '/': 12375, 'loss': 8.865291595458984}\n",
+      "{'epoch': 0, 'update in batch': 2257, '/': 12375, 'loss': 7.908406734466553}\n",
+      "{'epoch': 0, 'update in batch': 2258, '/': 12375, 'loss': 7.393588066101074}\n",
+      "{'epoch': 0, 'update in batch': 2259, '/': 12375, 'loss': 8.111388206481934}\n",
+      "{'epoch': 0, 'update in batch': 2260, '/': 12375, 'loss': 7.344539642333984}\n",
+      "{'epoch': 0, 'update in batch': 2261, '/': 12375, 'loss': 9.471670150756836}\n",
+      "{'epoch': 0, 'update in batch': 2262, '/': 12375, 'loss': 7.884910583496094}\n",
+      "{'epoch': 0, 'update in batch': 2263, '/': 12375, 'loss': 7.280156135559082}\n",
+      "{'epoch': 0, 'update in batch': 2264, '/': 12375, 'loss': 7.4543867111206055}\n",
+      "{'epoch': 0, 'update in batch': 2265, '/': 12375, 'loss': 7.481845855712891}\n",
+      "{'epoch': 0, 'update in batch': 2266, '/': 12375, 'loss': 7.55893087387085}\n",
+      "{'epoch': 0, 'update in batch': 2267, '/': 12375, 'loss': 7.462655544281006}\n",
+      "{'epoch': 0, 'update in batch': 2268, '/': 12375, 'loss': 7.977118015289307}\n",
+      "{'epoch': 0, 'update in batch': 2269, '/': 12375, 'loss': 8.511285781860352}\n",
+      "{'epoch': 0, 'update in batch': 2270, '/': 12375, 'loss': 8.581887245178223}\n",
+      "{'epoch': 0, 'update in batch': 2271, '/': 12375, 'loss': 7.877925872802734}\n",
+      "{'epoch': 0, 'update in batch': 2272, '/': 12375, 'loss': 8.465304374694824}\n",
+      "{'epoch': 0, 'update in batch': 2273, '/': 12375, 'loss': 8.668279647827148}\n",
+      "{'epoch': 0, 'update in batch': 2274, '/': 12375, 'loss': 8.421163558959961}\n",
+      "{'epoch': 0, 'update in batch': 2275, '/': 12375, 'loss': 8.094324111938477}\n",
+      "{'epoch': 0, 'update in batch': 2276, '/': 12375, 'loss': 8.74064826965332}\n",
+      "{'epoch': 0, 'update in batch': 2277, '/': 12375, 'loss': 7.8482160568237305}\n",
+      "{'epoch': 0, 'update in batch': 2278, '/': 12375, 'loss': 8.581048965454102}\n",
+      "{'epoch': 0, 'update in batch': 2279, '/': 12375, 'loss': 8.494449615478516}\n",
+      "{'epoch': 0, 'update in batch': 2280, '/': 12375, 'loss': 7.941835880279541}\n",
+      "{'epoch': 0, 'update in batch': 2281, '/': 12375, 'loss': 8.600847244262695}\n",
+      "{'epoch': 0, 'update in batch': 2282, '/': 12375, 'loss': 8.268009185791016}\n",
+      "{'epoch': 0, 'update in batch': 2283, '/': 12375, 'loss': 7.690110206604004}\n",
+      "{'epoch': 0, 'update in batch': 2284, '/': 12375, 'loss': 8.065603256225586}\n",
+      "{'epoch': 0, 'update in batch': 2285, '/': 12375, 'loss': 8.047019958496094}\n",
+      "{'epoch': 0, 'update in batch': 2286, '/': 12375, 'loss': 7.677937984466553}\n",
+      "{'epoch': 0, 'update in batch': 2287, '/': 12375, 'loss': 7.7709784507751465}\n",
+      "{'epoch': 0, 'update in batch': 2288, '/': 12375, 'loss': 7.144473075866699}\n",
+      "{'epoch': 0, 'update in batch': 2289, '/': 12375, 'loss': 7.8764472007751465}\n",
+      "{'epoch': 0, 'update in batch': 2290, '/': 12375, 'loss': 8.046950340270996}\n",
+      "{'epoch': 0, 'update in batch': 2291, '/': 12375, 'loss': 8.1248197555542}\n",
+      "{'epoch': 0, 'update in batch': 2292, '/': 12375, 'loss': 8.531977653503418}\n",
+      "{'epoch': 0, 'update in batch': 2293, '/': 12375, 'loss': 7.929469108581543}\n",
+      "{'epoch': 0, 'update in batch': 2294, '/': 12375, 'loss': 8.704050064086914}\n",
+      "{'epoch': 0, 'update in batch': 2295, '/': 12375, 'loss': 7.692559242248535}\n",
+      "{'epoch': 0, 'update in batch': 2296, '/': 12375, 'loss': 7.546541690826416}\n",
+      "{'epoch': 0, 'update in batch': 2297, '/': 12375, 'loss': 8.16629409790039}\n",
+      "{'epoch': 0, 'update in batch': 2298, '/': 12375, 'loss': 8.226959228515625}\n",
+      "{'epoch': 0, 'update in batch': 2299, '/': 12375, 'loss': 9.076342582702637}\n",
+      "{'epoch': 0, 'update in batch': 2300, '/': 12375, 'loss': 8.023127555847168}\n",
+      "{'epoch': 0, 'update in batch': 2301, '/': 12375, 'loss': 8.642475128173828}\n",
+      "{'epoch': 0, 'update in batch': 2302, '/': 12375, 'loss': 7.866832733154297}\n",
+      "{'epoch': 0, 'update in batch': 2303, '/': 12375, 'loss': 7.531233310699463}\n",
+      "{'epoch': 0, 'update in batch': 2304, '/': 12375, 'loss': 8.201215744018555}\n",
+      "{'epoch': 0, 'update in batch': 2305, '/': 12375, 'loss': 8.562883377075195}\n",
+      "{'epoch': 0, 'update in batch': 2306, '/': 12375, 'loss': 8.300847053527832}\n",
+      "{'epoch': 0, 'update in batch': 2307, '/': 12375, 'loss': 7.7401299476623535}\n",
+      "{'epoch': 0, 'update in batch': 2308, '/': 12375, 'loss': 8.059596061706543}\n",
+      "{'epoch': 0, 'update in batch': 2309, '/': 12375, 'loss': 8.346122741699219}\n",
+      "{'epoch': 0, 'update in batch': 2310, '/': 12375, 'loss': 8.02515697479248}\n",
+      "{'epoch': 0, 'update in batch': 2311, '/': 12375, 'loss': 8.799713134765625}\n",
+      "{'epoch': 0, 'update in batch': 2312, '/': 12375, 'loss': 8.010380744934082}\n",
+      "{'epoch': 0, 'update in batch': 2313, '/': 12375, 'loss': 7.579394340515137}\n",
+      "{'epoch': 0, 'update in batch': 2314, '/': 12375, 'loss': 8.34839916229248}\n",
+      "{'epoch': 0, 'update in batch': 2315, '/': 12375, 'loss': 9.146319389343262}\n",
+      "{'epoch': 0, 'update in batch': 2316, '/': 12375, 'loss': 8.574686050415039}\n",
+      "{'epoch': 0, 'update in batch': 2317, '/': 12375, 'loss': 7.583750247955322}\n",
+      "{'epoch': 0, 'update in batch': 2318, '/': 12375, 'loss': 8.123537063598633}\n",
+      "{'epoch': 0, 'update in batch': 2319, '/': 12375, 'loss': 8.341714859008789}\n",
+      "{'epoch': 0, 'update in batch': 2320, '/': 12375, 'loss': 8.61375617980957}\n",
+      "{'epoch': 0, 'update in batch': 2321, '/': 12375, 'loss': 8.817659378051758}\n",
+      "{'epoch': 0, 'update in batch': 2322, '/': 12375, 'loss': 8.323127746582031}\n",
+      "{'epoch': 0, 'update in batch': 2323, '/': 12375, 'loss': 7.9646315574646}\n",
+      "{'epoch': 0, 'update in batch': 2324, '/': 12375, 'loss': 8.531975746154785}\n",
+      "{'epoch': 0, 'update in batch': 2325, '/': 12375, 'loss': 8.617192268371582}\n",
+      "{'epoch': 0, 'update in batch': 2326, '/': 12375, 'loss': 8.731761932373047}\n",
+      "{'epoch': 0, 'update in batch': 2327, '/': 12375, 'loss': 8.467817306518555}\n",
+      "{'epoch': 0, 'update in batch': 2328, '/': 12375, 'loss': 8.239829063415527}\n",
+      "{'epoch': 0, 'update in batch': 2329, '/': 12375, 'loss': 8.955621719360352}\n",
+      "{'epoch': 0, 'update in batch': 2330, '/': 12375, 'loss': 8.210164070129395}\n",
+      "{'epoch': 0, 'update in batch': 2331, '/': 12375, 'loss': 8.320226669311523}\n",
+      "{'epoch': 0, 'update in batch': 2332, '/': 12375, 'loss': 8.037416458129883}\n",
+      "{'epoch': 0, 'update in batch': 2333, '/': 12375, 'loss': 8.187700271606445}\n",
+      "{'epoch': 0, 'update in batch': 2334, '/': 12375, 'loss': 8.245500564575195}\n",
+      "{'epoch': 0, 'update in batch': 2335, '/': 12375, 'loss': 8.683305740356445}\n",
+      "{'epoch': 0, 'update in batch': 2336, '/': 12375, 'loss': 8.049631118774414}\n",
+      "{'epoch': 0, 'update in batch': 2337, '/': 12375, 'loss': 8.089836120605469}\n",
+      "{'epoch': 0, 'update in batch': 2338, '/': 12375, 'loss': 8.36081600189209}\n",
+      "{'epoch': 0, 'update in batch': 2339, '/': 12375, 'loss': 8.038313865661621}\n",
+      "{'epoch': 0, 'update in batch': 2340, '/': 12375, 'loss': 8.186368942260742}\n",
+      "{'epoch': 0, 'update in batch': 2341, '/': 12375, 'loss': 8.621183395385742}\n",
+      "{'epoch': 0, 'update in batch': 2342, '/': 12375, 'loss': 9.000605583190918}\n",
+      "{'epoch': 0, 'update in batch': 2343, '/': 12375, 'loss': 7.861525058746338}\n",
+      "{'epoch': 0, 'update in batch': 2344, '/': 12375, 'loss': 7.847867012023926}\n",
+      "{'epoch': 0, 'update in batch': 2345, '/': 12375, 'loss': 7.358911037445068}\n",
+      "{'epoch': 0, 'update in batch': 2346, '/': 12375, 'loss': 7.671933650970459}\n",
+      "{'epoch': 0, 'update in batch': 2347, '/': 12375, 'loss': 7.215822696685791}\n",
+      "{'epoch': 0, 'update in batch': 2348, '/': 12375, 'loss': 7.147165775299072}\n",
+      "{'epoch': 0, 'update in batch': 2349, '/': 12375, 'loss': 7.487062931060791}\n",
+      "{'epoch': 0, 'update in batch': 2350, '/': 12375, 'loss': 7.319045066833496}\n",
+      "{'epoch': 0, 'update in batch': 2351, '/': 12375, 'loss': 7.971402645111084}\n",
+      "{'epoch': 0, 'update in batch': 2352, '/': 12375, 'loss': 8.52132797241211}\n",
+      "{'epoch': 0, 'update in batch': 2353, '/': 12375, 'loss': 8.782155990600586}\n",
+      "{'epoch': 0, 'update in batch': 2354, '/': 12375, 'loss': 9.256523132324219}\n",
+      "{'epoch': 0, 'update in batch': 2355, '/': 12375, 'loss': 8.820599555969238}\n",
+      "{'epoch': 0, 'update in batch': 2356, '/': 12375, 'loss': 8.316912651062012}\n",
+      "{'epoch': 0, 'update in batch': 2357, '/': 12375, 'loss': 7.734042167663574}\n",
+      "{'epoch': 0, 'update in batch': 2358, '/': 12375, 'loss': 7.17657470703125}\n",
+      "{'epoch': 0, 'update in batch': 2359, '/': 12375, 'loss': 7.723830223083496}\n",
+      "{'epoch': 0, 'update in batch': 2360, '/': 12375, 'loss': 8.291196823120117}\n",
+      "{'epoch': 0, 'update in batch': 2361, '/': 12375, 'loss': 8.358457565307617}\n",
+      "{'epoch': 0, 'update in batch': 2362, '/': 12375, 'loss': 7.915528297424316}\n",
+      "{'epoch': 0, 'update in batch': 2363, '/': 12375, 'loss': 8.518976211547852}\n",
+      "{'epoch': 0, 'update in batch': 2364, '/': 12375, 'loss': 8.141547203063965}\n",
+      "{'epoch': 0, 'update in batch': 2365, '/': 12375, 'loss': 7.902886867523193}\n",
+      "{'epoch': 0, 'update in batch': 2366, '/': 12375, 'loss': 7.269026279449463}\n",
+      "{'epoch': 0, 'update in batch': 2367, '/': 12375, 'loss': 8.575067520141602}\n",
+      "{'epoch': 0, 'update in batch': 2368, '/': 12375, 'loss': 8.242562294006348}\n",
+      "{'epoch': 0, 'update in batch': 2369, '/': 12375, 'loss': 8.072816848754883}\n",
+      "{'epoch': 0, 'update in batch': 2370, '/': 12375, 'loss': 7.143807888031006}\n",
+      "{'epoch': 0, 'update in batch': 2371, '/': 12375, 'loss': 6.980467319488525}\n",
+      "{'epoch': 0, 'update in batch': 2372, '/': 12375, 'loss': 7.2202911376953125}\n",
+      "{'epoch': 0, 'update in batch': 2373, '/': 12375, 'loss': 7.888681888580322}\n",
+      "{'epoch': 0, 'update in batch': 2374, '/': 12375, 'loss': 8.331517219543457}\n",
+      "{'epoch': 0, 'update in batch': 2375, '/': 12375, 'loss': 8.14600944519043}\n",
+      "{'epoch': 0, 'update in batch': 2376, '/': 12375, 'loss': 8.011372566223145}\n",
+      "{'epoch': 0, 'update in batch': 2377, '/': 12375, 'loss': 7.633090019226074}\n",
+      "{'epoch': 0, 'update in batch': 2378, '/': 12375, 'loss': 7.892033576965332}\n",
+      "{'epoch': 0, 'update in batch': 2379, '/': 12375, 'loss': 8.534972190856934}\n",
+      "{'epoch': 0, 'update in batch': 2380, '/': 12375, 'loss': 7.61245584487915}\n",
+      "{'epoch': 0, 'update in batch': 2381, '/': 12375, 'loss': 8.390341758728027}\n",
+      "{'epoch': 0, 'update in batch': 2382, '/': 12375, 'loss': 8.24170970916748}\n",
+      "{'epoch': 0, 'update in batch': 2383, '/': 12375, 'loss': 7.742610931396484}\n",
+      "{'epoch': 0, 'update in batch': 2384, '/': 12375, 'loss': 7.7938408851623535}\n",
+      "{'epoch': 0, 'update in batch': 2385, '/': 12375, 'loss': 7.390166282653809}\n",
+      "{'epoch': 0, 'update in batch': 2386, '/': 12375, 'loss': 8.03487491607666}\n",
+      "{'epoch': 0, 'update in batch': 2387, '/': 12375, 'loss': 7.710397243499756}\n",
+      "{'epoch': 0, 'update in batch': 2388, '/': 12375, 'loss': 7.950024604797363}\n",
+      "{'epoch': 0, 'update in batch': 2389, '/': 12375, 'loss': 8.699356079101562}\n",
+      "{'epoch': 0, 'update in batch': 2390, '/': 12375, 'loss': 8.722484588623047}\n",
+      "{'epoch': 0, 'update in batch': 2391, '/': 12375, 'loss': 7.7959771156311035}\n",
+      "{'epoch': 0, 'update in batch': 2392, '/': 12375, 'loss': 6.98361873626709}\n",
+      "{'epoch': 0, 'update in batch': 2393, '/': 12375, 'loss': 8.178017616271973}\n",
+      "{'epoch': 0, 'update in batch': 2394, '/': 12375, 'loss': 8.370721817016602}\n",
+      "{'epoch': 0, 'update in batch': 2395, '/': 12375, 'loss': 8.464680671691895}\n",
+      "{'epoch': 0, 'update in batch': 2396, '/': 12375, 'loss': 7.478516578674316}\n",
+      "{'epoch': 0, 'update in batch': 2397, '/': 12375, 'loss': 7.654637813568115}\n",
+      "{'epoch': 0, 'update in batch': 2398, '/': 12375, 'loss': 8.315978050231934}\n",
+      "{'epoch': 0, 'update in batch': 2399, '/': 12375, 'loss': 7.144190788269043}\n",
+      "{'epoch': 0, 'update in batch': 2400, '/': 12375, 'loss': 7.516105651855469}\n",
+      "{'epoch': 0, 'update in batch': 2401, '/': 12375, 'loss': 7.865678310394287}\n",
+      "{'epoch': 0, 'update in batch': 2402, '/': 12375, 'loss': 7.491772651672363}\n",
+      "{'epoch': 0, 'update in batch': 2403, '/': 12375, 'loss': 7.502729892730713}\n",
+      "{'epoch': 0, 'update in batch': 2404, '/': 12375, 'loss': 7.5219902992248535}\n",
+      "{'epoch': 0, 'update in batch': 2405, '/': 12375, 'loss': 7.5525712966918945}\n",
+      "{'epoch': 0, 'update in batch': 2406, '/': 12375, 'loss': 8.050956726074219}\n",
+      "{'epoch': 0, 'update in batch': 2407, '/': 12375, 'loss': 7.050736427307129}\n",
+      "{'epoch': 0, 'update in batch': 2408, '/': 12375, 'loss': 8.29731559753418}\n",
+      "{'epoch': 0, 'update in batch': 2409, '/': 12375, 'loss': 7.972256660461426}\n",
+      "{'epoch': 0, 'update in batch': 2410, '/': 12375, 'loss': 7.3470659255981445}\n",
+      "{'epoch': 0, 'update in batch': 2411, '/': 12375, 'loss': 7.782019138336182}\n",
+      "{'epoch': 0, 'update in batch': 2412, '/': 12375, 'loss': 7.48828649520874}\n",
+      "{'epoch': 0, 'update in batch': 2413, '/': 12375, 'loss': 8.08893871307373}\n",
+      "{'epoch': 0, 'update in batch': 2414, '/': 12375, 'loss': 8.508221626281738}\n",
+      "{'epoch': 0, 'update in batch': 2415, '/': 12375, 'loss': 8.327412605285645}\n",
+      "{'epoch': 0, 'update in batch': 2416, '/': 12375, 'loss': 8.553197860717773}\n",
+      "{'epoch': 0, 'update in batch': 2417, '/': 12375, 'loss': 8.448508262634277}\n",
+      "{'epoch': 0, 'update in batch': 2418, '/': 12375, 'loss': 8.747509956359863}\n",
+      "{'epoch': 0, 'update in batch': 2419, '/': 12375, 'loss': 8.468220710754395}\n",
+      "{'epoch': 0, 'update in batch': 2420, '/': 12375, 'loss': 8.889947891235352}\n",
+      "{'epoch': 0, 'update in batch': 2421, '/': 12375, 'loss': 8.427331924438477}\n",
+      "{'epoch': 0, 'update in batch': 2422, '/': 12375, 'loss': 9.111490249633789}\n",
+      "{'epoch': 0, 'update in batch': 2423, '/': 12375, 'loss': 8.86205768585205}\n",
+      "{'epoch': 0, 'update in batch': 2424, '/': 12375, 'loss': 8.135435104370117}\n",
+      "{'epoch': 0, 'update in batch': 2425, '/': 12375, 'loss': 8.593912124633789}\n",
+      "{'epoch': 0, 'update in batch': 2426, '/': 12375, 'loss': 8.838533401489258}\n",
+      "{'epoch': 0, 'update in batch': 2427, '/': 12375, 'loss': 8.976997375488281}\n",
+      "{'epoch': 0, 'update in batch': 2428, '/': 12375, 'loss': 8.756219863891602}\n",
+      "{'epoch': 0, 'update in batch': 2429, '/': 12375, 'loss': 7.63132381439209}\n",
+      "{'epoch': 0, 'update in batch': 2430, '/': 12375, 'loss': 7.681436061859131}\n",
+      "{'epoch': 0, 'update in batch': 2431, '/': 12375, 'loss': 7.385364532470703}\n",
+      "{'epoch': 0, 'update in batch': 2432, '/': 12375, 'loss': 8.133980751037598}\n",
+      "{'epoch': 0, 'update in batch': 2433, '/': 12375, 'loss': 10.57153606414795}\n",
+      "{'epoch': 0, 'update in batch': 2434, '/': 12375, 'loss': 10.897353172302246}\n",
+      "{'epoch': 0, 'update in batch': 2435, '/': 12375, 'loss': 9.815740585327148}\n",
+      "{'epoch': 0, 'update in batch': 2436, '/': 12375, 'loss': 7.9389824867248535}\n",
+      "{'epoch': 0, 'update in batch': 2437, '/': 12375, 'loss': 7.197324275970459}\n",
+      "{'epoch': 0, 'update in batch': 2438, '/': 12375, 'loss': 7.663264274597168}\n",
+      "{'epoch': 0, 'update in batch': 2439, '/': 12375, 'loss': 7.777667999267578}\n",
+      "{'epoch': 0, 'update in batch': 2440, '/': 12375, 'loss': 8.271430969238281}\n",
+      "{'epoch': 0, 'update in batch': 2441, '/': 12375, 'loss': 7.396209716796875}\n",
+      "{'epoch': 0, 'update in batch': 2442, '/': 12375, 'loss': 7.124068260192871}\n",
+      "{'epoch': 0, 'update in batch': 2443, '/': 12375, 'loss': 7.792712211608887}\n",
+      "{'epoch': 0, 'update in batch': 2444, '/': 12375, 'loss': 7.254070281982422}\n",
+      "{'epoch': 0, 'update in batch': 2445, '/': 12375, 'loss': 8.30152416229248}\n",
+      "{'epoch': 0, 'update in batch': 2446, '/': 12375, 'loss': 6.793471336364746}\n",
+      "{'epoch': 0, 'update in batch': 2447, '/': 12375, 'loss': 6.750766754150391}\n",
+      "{'epoch': 0, 'update in batch': 2448, '/': 12375, 'loss': 7.666810035705566}\n",
+      "{'epoch': 0, 'update in batch': 2449, '/': 12375, 'loss': 6.835994720458984}\n",
+      "{'epoch': 0, 'update in batch': 2450, '/': 12375, 'loss': 7.025296211242676}\n",
+      "{'epoch': 0, 'update in batch': 2451, '/': 12375, 'loss': 7.124293327331543}\n",
+      "{'epoch': 0, 'update in batch': 2452, '/': 12375, 'loss': 7.505209922790527}\n",
+      "{'epoch': 0, 'update in batch': 2453, '/': 12375, 'loss': 7.077027320861816}\n",
+      "{'epoch': 0, 'update in batch': 2454, '/': 12375, 'loss': 7.38295841217041}\n",
+      "{'epoch': 0, 'update in batch': 2455, '/': 12375, 'loss': 6.7692694664001465}\n",
+      "{'epoch': 0, 'update in batch': 2456, '/': 12375, 'loss': 6.7149786949157715}\n",
+      "{'epoch': 0, 'update in batch': 2457, '/': 12375, 'loss': 7.248373508453369}\n",
+      "{'epoch': 0, 'update in batch': 2458, '/': 12375, 'loss': 6.589913845062256}\n",
+      "{'epoch': 0, 'update in batch': 2459, '/': 12375, 'loss': 6.738653659820557}\n",
+      "{'epoch': 0, 'update in batch': 2460, '/': 12375, 'loss': 6.302957534790039}\n",
+      "{'epoch': 0, 'update in batch': 2461, '/': 12375, 'loss': 6.593045711517334}\n",
+      "{'epoch': 0, 'update in batch': 2462, '/': 12375, 'loss': 6.802698612213135}\n",
+      "{'epoch': 0, 'update in batch': 2463, '/': 12375, 'loss': 6.725685119628906}\n",
+      "{'epoch': 0, 'update in batch': 2464, '/': 12375, 'loss': 6.618958473205566}\n",
+      "{'epoch': 0, 'update in batch': 2465, '/': 12375, 'loss': 6.654638767242432}\n",
+      "{'epoch': 0, 'update in batch': 2466, '/': 12375, 'loss': 6.595114231109619}\n",
+      "{'epoch': 0, 'update in batch': 2467, '/': 12375, 'loss': 7.390015602111816}\n",
+      "{'epoch': 0, 'update in batch': 2468, '/': 12375, 'loss': 6.595760345458984}\n",
+      "{'epoch': 0, 'update in batch': 2469, '/': 12375, 'loss': 6.900048732757568}\n",
+      "{'epoch': 0, 'update in batch': 2470, '/': 12375, 'loss': 6.972550392150879}\n",
+      "{'epoch': 0, 'update in batch': 2471, '/': 12375, 'loss': 7.022540092468262}\n",
+      "{'epoch': 0, 'update in batch': 2472, '/': 12375, 'loss': 6.5771918296813965}\n",
+      "{'epoch': 0, 'update in batch': 2473, '/': 12375, 'loss': 6.693872928619385}\n",
+      "{'epoch': 0, 'update in batch': 2474, '/': 12375, 'loss': 6.956788063049316}\n",
+      "{'epoch': 0, 'update in batch': 2475, '/': 12375, 'loss': 7.4055328369140625}\n",
+      "{'epoch': 0, 'update in batch': 2476, '/': 12375, 'loss': 6.5277533531188965}\n",
+      "{'epoch': 0, 'update in batch': 2477, '/': 12375, 'loss': 6.400066375732422}\n",
+      "{'epoch': 0, 'update in batch': 2478, '/': 12375, 'loss': 6.241030693054199}\n",
+      "{'epoch': 0, 'update in batch': 2479, '/': 12375, 'loss': 6.389318943023682}\n",
+      "{'epoch': 0, 'update in batch': 2480, '/': 12375, 'loss': 6.199568748474121}\n",
+      "{'epoch': 0, 'update in batch': 2481, '/': 12375, 'loss': 6.393716812133789}\n",
+      "{'epoch': 0, 'update in batch': 2482, '/': 12375, 'loss': 6.699162483215332}\n",
+      "{'epoch': 0, 'update in batch': 2483, '/': 12375, 'loss': 6.560540199279785}\n",
+      "{'epoch': 0, 'update in batch': 2484, '/': 12375, 'loss': 6.950653076171875}\n",
+      "{'epoch': 0, 'update in batch': 2485, '/': 12375, 'loss': 7.496251583099365}\n",
+      "{'epoch': 0, 'update in batch': 2486, '/': 12375, 'loss': 6.383627891540527}\n",
+      "{'epoch': 0, 'update in batch': 2487, '/': 12375, 'loss': 5.5663957595825195}\n",
+      "{'epoch': 0, 'update in batch': 2488, '/': 12375, 'loss': 6.216788291931152}\n",
+      "{'epoch': 0, 'update in batch': 2489, '/': 12375, 'loss': 6.8156561851501465}\n",
+      "{'epoch': 0, 'update in batch': 2490, '/': 12375, 'loss': 6.689767360687256}\n",
+      "{'epoch': 0, 'update in batch': 2491, '/': 12375, 'loss': 6.8983564376831055}\n",
+      "{'epoch': 0, 'update in batch': 2492, '/': 12375, 'loss': 6.953375816345215}\n",
+      "{'epoch': 0, 'update in batch': 2493, '/': 12375, 'loss': 7.0172576904296875}\n",
+      "{'epoch': 0, 'update in batch': 2494, '/': 12375, 'loss': 7.399958610534668}\n",
+      "{'epoch': 0, 'update in batch': 2495, '/': 12375, 'loss': 7.132811069488525}\n",
+      "{'epoch': 0, 'update in batch': 2496, '/': 12375, 'loss': 7.1709442138671875}\n",
+      "{'epoch': 0, 'update in batch': 2497, '/': 12375, 'loss': 7.060764312744141}\n",
+      "{'epoch': 0, 'update in batch': 2498, '/': 12375, 'loss': 7.30700159072876}\n",
+      "{'epoch': 0, 'update in batch': 2499, '/': 12375, 'loss': 7.082663536071777}\n",
+      "{'epoch': 0, 'update in batch': 2500, '/': 12375, 'loss': 7.328860282897949}\n",
+      "{'epoch': 0, 'update in batch': 2501, '/': 12375, 'loss': 7.522719383239746}\n",
+      "{'epoch': 0, 'update in batch': 2502, '/': 12375, 'loss': 6.546462059020996}\n",
+      "{'epoch': 0, 'update in batch': 2503, '/': 12375, 'loss': 7.138069152832031}\n",
+      "{'epoch': 0, 'update in batch': 2504, '/': 12375, 'loss': 7.3441290855407715}\n",
+      "{'epoch': 0, 'update in batch': 2505, '/': 12375, 'loss': 7.271849155426025}\n",
+      "{'epoch': 0, 'update in batch': 2506, '/': 12375, 'loss': 7.432036399841309}\n",
+      "{'epoch': 0, 'update in batch': 2507, '/': 12375, 'loss': 7.066754341125488}\n",
+      "{'epoch': 0, 'update in batch': 2508, '/': 12375, 'loss': 6.977450370788574}\n",
+      "{'epoch': 0, 'update in batch': 2509, '/': 12375, 'loss': 6.903480529785156}\n",
+      "{'epoch': 0, 'update in batch': 2510, '/': 12375, 'loss': 7.021016597747803}\n",
+      "{'epoch': 0, 'update in batch': 2511, '/': 12375, 'loss': 7.2710676193237305}\n",
+      "{'epoch': 0, 'update in batch': 2512, '/': 12375, 'loss': 7.3409600257873535}\n",
+      "{'epoch': 0, 'update in batch': 2513, '/': 12375, 'loss': 6.583338737487793}\n",
+      "{'epoch': 0, 'update in batch': 2514, '/': 12375, 'loss': 6.7267351150512695}\n",
+      "{'epoch': 0, 'update in batch': 2515, '/': 12375, 'loss': 6.714364528656006}\n",
+      "{'epoch': 0, 'update in batch': 2516, '/': 12375, 'loss': 7.71975564956665}\n",
+      "{'epoch': 0, 'update in batch': 2517, '/': 12375, 'loss': 6.672301292419434}\n",
+      "{'epoch': 0, 'update in batch': 2518, '/': 12375, 'loss': 6.819590091705322}\n",
+      "{'epoch': 0, 'update in batch': 2519, '/': 12375, 'loss': 6.862809658050537}\n",
+      "{'epoch': 0, 'update in batch': 2520, '/': 12375, 'loss': 6.9027838706970215}\n",
+      "{'epoch': 0, 'update in batch': 2521, '/': 12375, 'loss': 6.895656585693359}\n",
+      "{'epoch': 0, 'update in batch': 2522, '/': 12375, 'loss': 6.981863498687744}\n",
+      "{'epoch': 0, 'update in batch': 2523, '/': 12375, 'loss': 6.891186714172363}\n",
+      "{'epoch': 0, 'update in batch': 2524, '/': 12375, 'loss': 7.564105987548828}\n",
+      "{'epoch': 0, 'update in batch': 2525, '/': 12375, 'loss': 7.575204372406006}\n",
+      "{'epoch': 0, 'update in batch': 2526, '/': 12375, 'loss': 7.501588344573975}\n",
+      "{'epoch': 0, 'update in batch': 2527, '/': 12375, 'loss': 7.5032548904418945}\n",
+      "{'epoch': 0, 'update in batch': 2528, '/': 12375, 'loss': 7.531798362731934}\n",
+      "{'epoch': 0, 'update in batch': 2529, '/': 12375, 'loss': 7.491070747375488}\n",
+      "{'epoch': 0, 'update in batch': 2530, '/': 12375, 'loss': 7.33880090713501}\n",
+      "{'epoch': 0, 'update in batch': 2531, '/': 12375, 'loss': 7.066733360290527}\n",
+      "{'epoch': 0, 'update in batch': 2532, '/': 12375, 'loss': 7.18520975112915}\n",
+      "{'epoch': 0, 'update in batch': 2533, '/': 12375, 'loss': 7.133056640625}\n",
+      "{'epoch': 0, 'update in batch': 2534, '/': 12375, 'loss': 6.809030055999756}\n",
+      "{'epoch': 0, 'update in batch': 2535, '/': 12375, 'loss': 7.197788238525391}\n",
+      "{'epoch': 0, 'update in batch': 2536, '/': 12375, 'loss': 6.66232442855835}\n",
+      "{'epoch': 0, 'update in batch': 2537, '/': 12375, 'loss': 6.8583784103393555}\n",
+      "{'epoch': 0, 'update in batch': 2538, '/': 12375, 'loss': 6.6228156089782715}\n",
+      "{'epoch': 0, 'update in batch': 2539, '/': 12375, 'loss': 6.465946197509766}\n",
+      "{'epoch': 0, 'update in batch': 2540, '/': 12375, 'loss': 7.13144063949585}\n",
+      "{'epoch': 0, 'update in batch': 2541, '/': 12375, 'loss': 6.571955680847168}\n",
+      "{'epoch': 0, 'update in batch': 2542, '/': 12375, 'loss': 6.751253604888916}\n",
+      "{'epoch': 0, 'update in batch': 2543, '/': 12375, 'loss': 6.817652225494385}\n",
+      "{'epoch': 0, 'update in batch': 2544, '/': 12375, 'loss': 7.162846565246582}\n",
+      "{'epoch': 0, 'update in batch': 2545, '/': 12375, 'loss': 6.928117275238037}\n",
+      "{'epoch': 0, 'update in batch': 2546, '/': 12375, 'loss': 6.6260552406311035}\n",
+      "{'epoch': 0, 'update in batch': 2547, '/': 12375, 'loss': 6.7175445556640625}\n",
+      "{'epoch': 0, 'update in batch': 2548, '/': 12375, 'loss': 6.6465744972229}\n",
+      "{'epoch': 0, 'update in batch': 2549, '/': 12375, 'loss': 7.141495704650879}\n",
+      "{'epoch': 0, 'update in batch': 2550, '/': 12375, 'loss': 6.556931972503662}\n",
+      "{'epoch': 0, 'update in batch': 2551, '/': 12375, 'loss': 7.2472028732299805}\n",
+      "{'epoch': 0, 'update in batch': 2552, '/': 12375, 'loss': 6.990820407867432}\n",
+      "{'epoch': 0, 'update in batch': 2553, '/': 12375, 'loss': 6.953924655914307}\n",
+      "{'epoch': 0, 'update in batch': 2554, '/': 12375, 'loss': 7.178003787994385}\n",
+      "{'epoch': 0, 'update in batch': 2555, '/': 12375, 'loss': 7.029876708984375}\n",
+      "{'epoch': 0, 'update in batch': 2556, '/': 12375, 'loss': 6.738059043884277}\n",
+      "{'epoch': 0, 'update in batch': 2557, '/': 12375, 'loss': 7.35312032699585}\n",
+      "{'epoch': 0, 'update in batch': 2558, '/': 12375, 'loss': 7.119643211364746}\n",
+      "{'epoch': 0, 'update in batch': 2559, '/': 12375, 'loss': 6.73546838760376}\n",
+      "{'epoch': 0, 'update in batch': 2560, '/': 12375, 'loss': 7.206855773925781}\n",
+      "{'epoch': 0, 'update in batch': 2561, '/': 12375, 'loss': 7.0450544357299805}\n",
+      "{'epoch': 0, 'update in batch': 2562, '/': 12375, 'loss': 7.203249931335449}\n",
+      "{'epoch': 0, 'update in batch': 2563, '/': 12375, 'loss': 7.334922790527344}\n",
+      "{'epoch': 0, 'update in batch': 2564, '/': 12375, 'loss': 7.354074001312256}\n",
+      "{'epoch': 0, 'update in batch': 2565, '/': 12375, 'loss': 7.484213829040527}\n",
+      "{'epoch': 0, 'update in batch': 2566, '/': 12375, 'loss': 7.639803409576416}\n",
+      "{'epoch': 0, 'update in batch': 2567, '/': 12375, 'loss': 7.668862819671631}\n",
+      "{'epoch': 0, 'update in batch': 2568, '/': 12375, 'loss': 7.1807146072387695}\n",
+      "{'epoch': 0, 'update in batch': 2569, '/': 12375, 'loss': 7.307415008544922}\n",
+      "{'epoch': 0, 'update in batch': 2570, '/': 12375, 'loss': 7.193238735198975}\n",
+      "{'epoch': 0, 'update in batch': 2571, '/': 12375, 'loss': 6.96222448348999}\n",
+      "{'epoch': 0, 'update in batch': 2572, '/': 12375, 'loss': 7.153960227966309}\n",
+      "{'epoch': 0, 'update in batch': 2573, '/': 12375, 'loss': 7.134555816650391}\n",
+      "{'epoch': 0, 'update in batch': 2574, '/': 12375, 'loss': 6.9687299728393555}\n",
+      "{'epoch': 0, 'update in batch': 2575, '/': 12375, 'loss': 7.246532440185547}\n",
+      "{'epoch': 0, 'update in batch': 2576, '/': 12375, 'loss': 7.289060115814209}\n",
+      "{'epoch': 0, 'update in batch': 2577, '/': 12375, 'loss': 7.492231845855713}\n",
+      "{'epoch': 0, 'update in batch': 2578, '/': 12375, 'loss': 6.806750297546387}\n",
+      "{'epoch': 0, 'update in batch': 2579, '/': 12375, 'loss': 6.938075065612793}\n",
+      "{'epoch': 0, 'update in batch': 2580, '/': 12375, 'loss': 6.376354217529297}\n",
+      "{'epoch': 0, 'update in batch': 2581, '/': 12375, 'loss': 6.7309465408325195}\n",
+      "{'epoch': 0, 'update in batch': 2582, '/': 12375, 'loss': 7.072258949279785}\n",
+      "{'epoch': 0, 'update in batch': 2583, '/': 12375, 'loss': 7.12831974029541}\n",
+      "{'epoch': 0, 'update in batch': 2584, '/': 12375, 'loss': 7.200860023498535}\n",
+      "{'epoch': 0, 'update in batch': 2585, '/': 12375, 'loss': 7.198707580566406}\n",
+      "{'epoch': 0, 'update in batch': 2586, '/': 12375, 'loss': 6.751504421234131}\n",
+      "{'epoch': 0, 'update in batch': 2587, '/': 12375, 'loss': 6.771167755126953}\n",
+      "{'epoch': 0, 'update in batch': 2588, '/': 12375, 'loss': 6.918717861175537}\n",
+      "{'epoch': 0, 'update in batch': 2589, '/': 12375, 'loss': 6.652649879455566}\n",
+      "{'epoch': 0, 'update in batch': 2590, '/': 12375, 'loss': 7.044668674468994}\n",
+      "{'epoch': 0, 'update in batch': 2591, '/': 12375, 'loss': 7.055907249450684}\n",
+      "{'epoch': 0, 'update in batch': 2592, '/': 12375, 'loss': 6.97112512588501}\n",
+      "{'epoch': 0, 'update in batch': 2593, '/': 12375, 'loss': 6.4492645263671875}\n",
+      "{'epoch': 0, 'update in batch': 2594, '/': 12375, 'loss': 6.284283638000488}\n",
+      "{'epoch': 0, 'update in batch': 2595, '/': 12375, 'loss': 7.092054843902588}\n",
+      "{'epoch': 0, 'update in batch': 2596, '/': 12375, 'loss': 6.785837650299072}\n",
+      "{'epoch': 0, 'update in batch': 2597, '/': 12375, 'loss': 6.536089897155762}\n",
+      "{'epoch': 0, 'update in batch': 2598, '/': 12375, 'loss': 6.84161901473999}\n",
+      "{'epoch': 0, 'update in batch': 2599, '/': 12375, 'loss': 6.789793968200684}\n",
+      "{'epoch': 0, 'update in batch': 2600, '/': 12375, 'loss': 6.7152886390686035}\n",
+      "{'epoch': 0, 'update in batch': 2601, '/': 12375, 'loss': 6.868700981140137}\n",
+      "{'epoch': 0, 'update in batch': 2602, '/': 12375, 'loss': 6.7179388999938965}\n",
+      "{'epoch': 0, 'update in batch': 2603, '/': 12375, 'loss': 6.695044040679932}\n",
+      "{'epoch': 0, 'update in batch': 2604, '/': 12375, 'loss': 6.982199668884277}\n",
+      "{'epoch': 0, 'update in batch': 2605, '/': 12375, 'loss': 6.867393493652344}\n",
+      "{'epoch': 0, 'update in batch': 2606, '/': 12375, 'loss': 6.590819358825684}\n",
+      "{'epoch': 0, 'update in batch': 2607, '/': 12375, 'loss': 6.3260064125061035}\n",
+      "{'epoch': 0, 'update in batch': 2608, '/': 12375, 'loss': 6.740811347961426}\n",
+      "{'epoch': 0, 'update in batch': 2609, '/': 12375, 'loss': 6.65541934967041}\n",
+      "{'epoch': 0, 'update in batch': 2610, '/': 12375, 'loss': 7.359118461608887}\n",
+      "{'epoch': 0, 'update in batch': 2611, '/': 12375, 'loss': 6.912001132965088}\n",
+      "{'epoch': 0, 'update in batch': 2612, '/': 12375, 'loss': 6.63201379776001}\n",
+      "{'epoch': 0, 'update in batch': 2613, '/': 12375, 'loss': 7.678853511810303}\n",
+      "{'epoch': 0, 'update in batch': 2614, '/': 12375, 'loss': 7.165762424468994}\n",
+      "{'epoch': 0, 'update in batch': 2615, '/': 12375, 'loss': 7.5234375}\n",
+      "{'epoch': 0, 'update in batch': 2616, '/': 12375, 'loss': 7.365267276763916}\n",
+      "{'epoch': 0, 'update in batch': 2617, '/': 12375, 'loss': 7.262434959411621}\n",
+      "{'epoch': 0, 'update in batch': 2618, '/': 12375, 'loss': 7.2819318771362305}\n",
+      "{'epoch': 0, 'update in batch': 2619, '/': 12375, 'loss': 7.2705793380737305}\n",
+      "{'epoch': 0, 'update in batch': 2620, '/': 12375, 'loss': 7.307863712310791}\n",
+      "{'epoch': 0, 'update in batch': 2621, '/': 12375, 'loss': 7.70352840423584}\n",
+      "{'epoch': 0, 'update in batch': 2622, '/': 12375, 'loss': 7.418931484222412}\n",
+      "{'epoch': 0, 'update in batch': 2623, '/': 12375, 'loss': 7.122934818267822}\n",
+      "{'epoch': 0, 'update in batch': 2624, '/': 12375, 'loss': 6.507498264312744}\n",
+      "{'epoch': 0, 'update in batch': 2625, '/': 12375, 'loss': 7.136330604553223}\n",
+      "{'epoch': 0, 'update in batch': 2626, '/': 12375, 'loss': 7.056097984313965}\n",
+      "{'epoch': 0, 'update in batch': 2627, '/': 12375, 'loss': 6.989511966705322}\n",
+      "{'epoch': 0, 'update in batch': 2628, '/': 12375, 'loss': 7.040374755859375}\n",
+      "{'epoch': 0, 'update in batch': 2629, '/': 12375, 'loss': 7.0643792152404785}\n",
+      "{'epoch': 0, 'update in batch': 2630, '/': 12375, 'loss': 6.36591911315918}\n",
+      "{'epoch': 0, 'update in batch': 2631, '/': 12375, 'loss': 6.539458274841309}\n",
+      "{'epoch': 0, 'update in batch': 2632, '/': 12375, 'loss': 6.687366485595703}\n",
+      "{'epoch': 0, 'update in batch': 2633, '/': 12375, 'loss': 6.7800774574279785}\n",
+      "{'epoch': 0, 'update in batch': 2634, '/': 12375, 'loss': 6.5173516273498535}\n",
+      "{'epoch': 0, 'update in batch': 2635, '/': 12375, 'loss': 6.875687599182129}\n",
+      "{'epoch': 0, 'update in batch': 2636, '/': 12375, 'loss': 6.801766395568848}\n",
+      "{'epoch': 0, 'update in batch': 2637, '/': 12375, 'loss': 6.441922187805176}\n",
+      "{'epoch': 0, 'update in batch': 2638, '/': 12375, 'loss': 7.172510623931885}\n",
+      "{'epoch': 0, 'update in batch': 2639, '/': 12375, 'loss': 7.1247453689575195}\n",
+      "{'epoch': 0, 'update in batch': 2640, '/': 12375, 'loss': 6.981304168701172}\n",
+      "{'epoch': 0, 'update in batch': 2641, '/': 12375, 'loss': 6.4227495193481445}\n",
+      "{'epoch': 0, 'update in batch': 2642, '/': 12375, 'loss': 6.789092063903809}\n",
+      "{'epoch': 0, 'update in batch': 2643, '/': 12375, 'loss': 6.810998439788818}\n",
+      "{'epoch': 0, 'update in batch': 2644, '/': 12375, 'loss': 6.969235420227051}\n",
+      "{'epoch': 0, 'update in batch': 2645, '/': 12375, 'loss': 6.374868392944336}\n",
+      "{'epoch': 0, 'update in batch': 2646, '/': 12375, 'loss': 6.676741600036621}\n",
+      "{'epoch': 0, 'update in batch': 2647, '/': 12375, 'loss': 7.172860622406006}\n",
+      "{'epoch': 0, 'update in batch': 2648, '/': 12375, 'loss': 6.8309006690979}\n",
+      "{'epoch': 0, 'update in batch': 2649, '/': 12375, 'loss': 6.957831382751465}\n",
+      "{'epoch': 0, 'update in batch': 2650, '/': 12375, 'loss': 6.892405033111572}\n",
+      "{'epoch': 0, 'update in batch': 2651, '/': 12375, 'loss': 6.718121528625488}\n",
+      "{'epoch': 0, 'update in batch': 2652, '/': 12375, 'loss': 6.757314205169678}\n",
+      "{'epoch': 0, 'update in batch': 2653, '/': 12375, 'loss': 7.031282901763916}\n",
+      "{'epoch': 0, 'update in batch': 2654, '/': 12375, 'loss': 7.0477423667907715}\n",
+      "{'epoch': 0, 'update in batch': 2655, '/': 12375, 'loss': 6.936509609222412}\n",
+      "{'epoch': 0, 'update in batch': 2656, '/': 12375, 'loss': 6.784167289733887}\n",
+      "{'epoch': 0, 'update in batch': 2657, '/': 12375, 'loss': 6.267245292663574}\n",
+      "{'epoch': 0, 'update in batch': 2658, '/': 12375, 'loss': 7.2009406089782715}\n",
+      "{'epoch': 0, 'update in batch': 2659, '/': 12375, 'loss': 7.106438636779785}\n",
+      "{'epoch': 0, 'update in batch': 2660, '/': 12375, 'loss': 7.161679267883301}\n",
+      "{'epoch': 0, 'update in batch': 2661, '/': 12375, 'loss': 7.182014465332031}\n",
+      "{'epoch': 0, 'update in batch': 2662, '/': 12375, 'loss': 7.580406188964844}\n",
+      "{'epoch': 0, 'update in batch': 2663, '/': 12375, 'loss': 7.41671085357666}\n",
+      "{'epoch': 0, 'update in batch': 2664, '/': 12375, 'loss': 7.302834987640381}\n",
+      "{'epoch': 0, 'update in batch': 2665, '/': 12375, 'loss': 7.121364593505859}\n",
+      "{'epoch': 0, 'update in batch': 2666, '/': 12375, 'loss': 7.31520938873291}\n",
+      "{'epoch': 0, 'update in batch': 2667, '/': 12375, 'loss': 6.905803680419922}\n",
+      "{'epoch': 0, 'update in batch': 2668, '/': 12375, 'loss': 6.901419162750244}\n",
+      "{'epoch': 0, 'update in batch': 2669, '/': 12375, 'loss': 7.14754581451416}\n",
+      "{'epoch': 0, 'update in batch': 2670, '/': 12375, 'loss': 7.008986473083496}\n",
+      "{'epoch': 0, 'update in batch': 2671, '/': 12375, 'loss': 7.022707462310791}\n",
+      "{'epoch': 0, 'update in batch': 2672, '/': 12375, 'loss': 6.823407173156738}\n",
+      "{'epoch': 0, 'update in batch': 2673, '/': 12375, 'loss': 6.513433933258057}\n",
+      "{'epoch': 0, 'update in batch': 2674, '/': 12375, 'loss': 6.805240631103516}\n",
+      "{'epoch': 0, 'update in batch': 2675, '/': 12375, 'loss': 6.413121223449707}\n",
+      "{'epoch': 0, 'update in batch': 2676, '/': 12375, 'loss': 6.232425689697266}\n",
+      "{'epoch': 0, 'update in batch': 2677, '/': 12375, 'loss': 6.418238639831543}\n",
+      "{'epoch': 0, 'update in batch': 2678, '/': 12375, 'loss': 6.982541561126709}\n",
+      "{'epoch': 0, 'update in batch': 2679, '/': 12375, 'loss': 6.8105340003967285}\n",
+      "{'epoch': 0, 'update in batch': 2680, '/': 12375, 'loss': 7.456042289733887}\n",
+      "{'epoch': 0, 'update in batch': 2681, '/': 12375, 'loss': 7.4128618240356445}\n",
+      "{'epoch': 0, 'update in batch': 2682, '/': 12375, 'loss': 7.681588172912598}\n",
+      "{'epoch': 0, 'update in batch': 2683, '/': 12375, 'loss': 7.59344482421875}\n",
+      "{'epoch': 0, 'update in batch': 2684, '/': 12375, 'loss': 7.612309455871582}\n",
+      "{'epoch': 0, 'update in batch': 2685, '/': 12375, 'loss': 7.086846828460693}\n",
+      "{'epoch': 0, 'update in batch': 2686, '/': 12375, 'loss': 7.49350118637085}\n",
+      "{'epoch': 0, 'update in batch': 2687, '/': 12375, 'loss': 7.563995361328125}\n",
+      "{'epoch': 0, 'update in batch': 2688, '/': 12375, 'loss': 7.3643479347229}\n",
+      "{'epoch': 0, 'update in batch': 2689, '/': 12375, 'loss': 7.384502410888672}\n",
+      "{'epoch': 0, 'update in batch': 2690, '/': 12375, 'loss': 7.288691520690918}\n",
+      "{'epoch': 0, 'update in batch': 2691, '/': 12375, 'loss': 6.892167568206787}\n",
+      "{'epoch': 0, 'update in batch': 2692, '/': 12375, 'loss': 6.809686183929443}\n",
+      "{'epoch': 0, 'update in batch': 2693, '/': 12375, 'loss': 6.8963303565979}\n",
+      "{'epoch': 0, 'update in batch': 2694, '/': 12375, 'loss': 6.894758701324463}\n",
+      "{'epoch': 0, 'update in batch': 2695, '/': 12375, 'loss': 6.842097282409668}\n",
+      "{'epoch': 0, 'update in batch': 2696, '/': 12375, 'loss': 6.790833950042725}\n",
+      "{'epoch': 0, 'update in batch': 2697, '/': 12375, 'loss': 6.540125370025635}\n",
+      "{'epoch': 0, 'update in batch': 2698, '/': 12375, 'loss': 7.1476850509643555}\n",
+      "{'epoch': 0, 'update in batch': 2699, '/': 12375, 'loss': 6.225069999694824}\n",
+      "{'epoch': 0, 'update in batch': 2700, '/': 12375, 'loss': 6.972973823547363}\n",
+      "{'epoch': 0, 'update in batch': 2701, '/': 12375, 'loss': 7.555139064788818}\n",
+      "{'epoch': 0, 'update in batch': 2702, '/': 12375, 'loss': 7.066213130950928}\n",
+      "{'epoch': 0, 'update in batch': 2703, '/': 12375, 'loss': 6.888648986816406}\n",
+      "{'epoch': 0, 'update in batch': 2704, '/': 12375, 'loss': 7.279725551605225}\n",
+      "{'epoch': 0, 'update in batch': 2705, '/': 12375, 'loss': 7.001377105712891}\n",
+      "{'epoch': 0, 'update in batch': 2706, '/': 12375, 'loss': 6.759905815124512}\n",
+      "{'epoch': 0, 'update in batch': 2707, '/': 12375, 'loss': 7.068593502044678}\n",
+      "{'epoch': 0, 'update in batch': 2708, '/': 12375, 'loss': 7.942202091217041}\n",
+      "{'epoch': 0, 'update in batch': 2709, '/': 12375, 'loss': 7.014026641845703}\n",
+      "{'epoch': 0, 'update in batch': 2710, '/': 12375, 'loss': 6.769979953765869}\n",
+      "{'epoch': 0, 'update in batch': 2711, '/': 12375, 'loss': 7.060187339782715}\n",
+      "{'epoch': 0, 'update in batch': 2712, '/': 12375, 'loss': 7.03896427154541}\n",
+      "{'epoch': 0, 'update in batch': 2713, '/': 12375, 'loss': 6.913269996643066}\n",
+      "{'epoch': 0, 'update in batch': 2714, '/': 12375, 'loss': 6.714707374572754}\n",
+      "{'epoch': 0, 'update in batch': 2715, '/': 12375, 'loss': 7.000481605529785}\n",
+      "{'epoch': 0, 'update in batch': 2716, '/': 12375, 'loss': 6.48156213760376}\n",
+      "{'epoch': 0, 'update in batch': 2717, '/': 12375, 'loss': 6.982521057128906}\n",
+      "{'epoch': 0, 'update in batch': 2718, '/': 12375, 'loss': 6.723546504974365}\n",
+      "{'epoch': 0, 'update in batch': 2719, '/': 12375, 'loss': 6.763594150543213}\n",
+      "{'epoch': 0, 'update in batch': 2720, '/': 12375, 'loss': 6.665989875793457}\n",
+      "{'epoch': 0, 'update in batch': 2721, '/': 12375, 'loss': 6.7046685218811035}\n",
+      "{'epoch': 0, 'update in batch': 2722, '/': 12375, 'loss': 6.66622257232666}\n",
+      "{'epoch': 0, 'update in batch': 2723, '/': 12375, 'loss': 6.871058464050293}\n",
+      "{'epoch': 0, 'update in batch': 2724, '/': 12375, 'loss': 6.820728302001953}\n",
+      "{'epoch': 0, 'update in batch': 2725, '/': 12375, 'loss': 6.355589389801025}\n",
+      "{'epoch': 0, 'update in batch': 2726, '/': 12375, 'loss': 6.68172550201416}\n",
+      "{'epoch': 0, 'update in batch': 2727, '/': 12375, 'loss': 6.613666534423828}\n",
+      "{'epoch': 0, 'update in batch': 2728, '/': 12375, 'loss': 7.0805792808532715}\n",
+      "{'epoch': 0, 'update in batch': 2729, '/': 12375, 'loss': 6.220293045043945}\n",
+      "{'epoch': 0, 'update in batch': 2730, '/': 12375, 'loss': 6.957184791564941}\n",
+      "{'epoch': 0, 'update in batch': 2731, '/': 12375, 'loss': 6.778630256652832}\n",
+      "{'epoch': 0, 'update in batch': 2732, '/': 12375, 'loss': 6.881319999694824}\n",
+      "{'epoch': 0, 'update in batch': 2733, '/': 12375, 'loss': 7.0859375}\n",
+      "{'epoch': 0, 'update in batch': 2734, '/': 12375, 'loss': 7.023650169372559}\n",
+      "{'epoch': 0, 'update in batch': 2735, '/': 12375, 'loss': 7.175286293029785}\n",
+      "{'epoch': 0, 'update in batch': 2736, '/': 12375, 'loss': 6.411801338195801}\n",
+      "{'epoch': 0, 'update in batch': 2737, '/': 12375, 'loss': 6.966560363769531}\n",
+      "{'epoch': 0, 'update in batch': 2738, '/': 12375, 'loss': 6.181105613708496}\n",
+      "{'epoch': 0, 'update in batch': 2739, '/': 12375, 'loss': 6.496856689453125}\n",
+      "{'epoch': 0, 'update in batch': 2740, '/': 12375, 'loss': 6.866395473480225}\n",
+      "{'epoch': 0, 'update in batch': 2741, '/': 12375, 'loss': 6.818841457366943}\n",
+      "{'epoch': 0, 'update in batch': 2742, '/': 12375, 'loss': 6.835907936096191}\n",
+      "{'epoch': 0, 'update in batch': 2743, '/': 12375, 'loss': 7.043680667877197}\n",
+      "{'epoch': 0, 'update in batch': 2744, '/': 12375, 'loss': 6.381221771240234}\n",
+      "{'epoch': 0, 'update in batch': 2745, '/': 12375, 'loss': 6.6748456954956055}\n",
+      "{'epoch': 0, 'update in batch': 2746, '/': 12375, 'loss': 7.231564521789551}\n",
+      "{'epoch': 0, 'update in batch': 2747, '/': 12375, 'loss': 7.324049472808838}\n",
+      "{'epoch': 0, 'update in batch': 2748, '/': 12375, 'loss': 7.6654462814331055}\n",
+      "{'epoch': 0, 'update in batch': 2749, '/': 12375, 'loss': 7.697784423828125}\n",
+      "{'epoch': 0, 'update in batch': 2750, '/': 12375, 'loss': 7.335019111633301}\n",
+      "{'epoch': 0, 'update in batch': 2751, '/': 12375, 'loss': 7.5209174156188965}\n",
+      "{'epoch': 0, 'update in batch': 2752, '/': 12375, 'loss': 7.352283477783203}\n",
+      "{'epoch': 0, 'update in batch': 2753, '/': 12375, 'loss': 7.45449686050415}\n",
+      "{'epoch': 0, 'update in batch': 2754, '/': 12375, 'loss': 7.716927528381348}\n",
+      "{'epoch': 0, 'update in batch': 2755, '/': 12375, 'loss': 7.30115270614624}\n",
+      "{'epoch': 0, 'update in batch': 2756, '/': 12375, 'loss': 7.512692928314209}\n",
+      "{'epoch': 0, 'update in batch': 2757, '/': 12375, 'loss': 7.633388519287109}\n",
+      "{'epoch': 0, 'update in batch': 2758, '/': 12375, 'loss': 7.310385704040527}\n",
+      "{'epoch': 0, 'update in batch': 2759, '/': 12375, 'loss': 7.246857643127441}\n",
+      "{'epoch': 0, 'update in batch': 2760, '/': 12375, 'loss': 7.121396064758301}\n",
+      "{'epoch': 0, 'update in batch': 2761, '/': 12375, 'loss': 7.297135829925537}\n",
+      "{'epoch': 0, 'update in batch': 2762, '/': 12375, 'loss': 7.1531219482421875}\n",
+      "{'epoch': 0, 'update in batch': 2763, '/': 12375, 'loss': 7.1956467628479}\n",
+      "{'epoch': 0, 'update in batch': 2764, '/': 12375, 'loss': 6.699300289154053}\n",
+      "{'epoch': 0, 'update in batch': 2765, '/': 12375, 'loss': 7.5049920082092285}\n",
+      "{'epoch': 0, 'update in batch': 2766, '/': 12375, 'loss': 7.3619208335876465}\n",
+      "{'epoch': 0, 'update in batch': 2767, '/': 12375, 'loss': 7.430861473083496}\n",
+      "{'epoch': 0, 'update in batch': 2768, '/': 12375, 'loss': 6.8309526443481445}\n",
+      "{'epoch': 0, 'update in batch': 2769, '/': 12375, 'loss': 7.318110466003418}\n",
+      "{'epoch': 0, 'update in batch': 2770, '/': 12375, 'loss': 7.384718894958496}\n",
+      "{'epoch': 0, 'update in batch': 2771, '/': 12375, 'loss': 7.019040584564209}\n",
+      "{'epoch': 0, 'update in batch': 2772, '/': 12375, 'loss': 7.270125389099121}\n",
+      "{'epoch': 0, 'update in batch': 2773, '/': 12375, 'loss': 6.818717002868652}\n",
+      "{'epoch': 0, 'update in batch': 2774, '/': 12375, 'loss': 7.930354118347168}\n",
+      "{'epoch': 0, 'update in batch': 2775, '/': 12375, 'loss': 7.62899923324585}\n",
+      "{'epoch': 0, 'update in batch': 2776, '/': 12375, 'loss': 7.125689506530762}\n",
+      "{'epoch': 0, 'update in batch': 2777, '/': 12375, 'loss': 6.74413537979126}\n",
+      "{'epoch': 0, 'update in batch': 2778, '/': 12375, 'loss': 7.469199180603027}\n",
+      "{'epoch': 0, 'update in batch': 2779, '/': 12375, 'loss': 7.376376152038574}\n",
+      "{'epoch': 0, 'update in batch': 2780, '/': 12375, 'loss': 7.168464660644531}\n",
+      "{'epoch': 0, 'update in batch': 2781, '/': 12375, 'loss': 7.235597133636475}\n",
+      "{'epoch': 0, 'update in batch': 2782, '/': 12375, 'loss': 7.101294040679932}\n",
+      "{'epoch': 0, 'update in batch': 2783, '/': 12375, 'loss': 7.811324119567871}\n",
+      "{'epoch': 0, 'update in batch': 2784, '/': 12375, 'loss': 7.3790154457092285}\n",
+      "{'epoch': 0, 'update in batch': 2785, '/': 12375, 'loss': 7.501519680023193}\n",
+      "{'epoch': 0, 'update in batch': 2786, '/': 12375, 'loss': 6.831160545349121}\n",
+      "{'epoch': 0, 'update in batch': 2787, '/': 12375, 'loss': 7.443723201751709}\n",
+      "{'epoch': 0, 'update in batch': 2788, '/': 12375, 'loss': 7.058013916015625}\n",
+      "{'epoch': 0, 'update in batch': 2789, '/': 12375, 'loss': 7.201624393463135}\n",
+      "{'epoch': 0, 'update in batch': 2790, '/': 12375, 'loss': 7.065097808837891}\n",
+      "{'epoch': 0, 'update in batch': 2791, '/': 12375, 'loss': 7.218869686126709}\n",
+      "{'epoch': 0, 'update in batch': 2792, '/': 12375, 'loss': 7.00476598739624}\n",
+      "{'epoch': 0, 'update in batch': 2793, '/': 12375, 'loss': 7.2715349197387695}\n",
+      "{'epoch': 0, 'update in batch': 2794, '/': 12375, 'loss': 7.390249729156494}\n",
+      "{'epoch': 0, 'update in batch': 2795, '/': 12375, 'loss': 7.085641384124756}\n",
+      "{'epoch': 0, 'update in batch': 2796, '/': 12375, 'loss': 7.142271518707275}\n",
+      "{'epoch': 0, 'update in batch': 2797, '/': 12375, 'loss': 6.862549781799316}\n",
+      "{'epoch': 0, 'update in batch': 2798, '/': 12375, 'loss': 7.38007116317749}\n",
+      "{'epoch': 0, 'update in batch': 2799, '/': 12375, 'loss': 6.779923439025879}\n",
+      "{'epoch': 0, 'update in batch': 2800, '/': 12375, 'loss': 6.740858554840088}\n",
+      "{'epoch': 0, 'update in batch': 2801, '/': 12375, 'loss': 6.836912631988525}\n",
+      "{'epoch': 0, 'update in batch': 2802, '/': 12375, 'loss': 7.505312919616699}\n",
+      "{'epoch': 0, 'update in batch': 2803, '/': 12375, 'loss': 6.844773769378662}\n",
+      "{'epoch': 0, 'update in batch': 2804, '/': 12375, 'loss': 6.929495811462402}\n",
+      "{'epoch': 0, 'update in batch': 2805, '/': 12375, 'loss': 6.549510955810547}\n",
+      "{'epoch': 0, 'update in batch': 2806, '/': 12375, 'loss': 7.034165859222412}\n",
+      "{'epoch': 0, 'update in batch': 2807, '/': 12375, 'loss': 7.064984321594238}\n",
+      "{'epoch': 0, 'update in batch': 2808, '/': 12375, 'loss': 7.12528133392334}\n",
+      "{'epoch': 0, 'update in batch': 2809, '/': 12375, 'loss': 7.370059013366699}\n",
+      "{'epoch': 0, 'update in batch': 2810, '/': 12375, 'loss': 6.864310264587402}\n",
+      "{'epoch': 0, 'update in batch': 2811, '/': 12375, 'loss': 6.761883735656738}\n",
+      "{'epoch': 0, 'update in batch': 2812, '/': 12375, 'loss': 7.183346748352051}\n",
+      "{'epoch': 0, 'update in batch': 2813, '/': 12375, 'loss': 7.229668617248535}\n",
+      "{'epoch': 0, 'update in batch': 2814, '/': 12375, 'loss': 7.9391350746154785}\n",
+      "{'epoch': 0, 'update in batch': 2815, '/': 12375, 'loss': 7.3796234130859375}\n",
+      "{'epoch': 0, 'update in batch': 2816, '/': 12375, 'loss': 7.25744104385376}\n",
+      "{'epoch': 0, 'update in batch': 2817, '/': 12375, 'loss': 6.95080041885376}\n",
+      "{'epoch': 0, 'update in batch': 2818, '/': 12375, 'loss': 6.929049491882324}\n",
+      "{'epoch': 0, 'update in batch': 2819, '/': 12375, 'loss': 6.557868957519531}\n",
+      "{'epoch': 0, 'update in batch': 2820, '/': 12375, 'loss': 6.774467468261719}\n",
+      "{'epoch': 0, 'update in batch': 2821, '/': 12375, 'loss': 7.772853851318359}\n",
+      "{'epoch': 0, 'update in batch': 2822, '/': 12375, 'loss': 7.733848571777344}\n",
+      "{'epoch': 0, 'update in batch': 2823, '/': 12375, 'loss': 6.953578948974609}\n",
+      "{'epoch': 0, 'update in batch': 2824, '/': 12375, 'loss': 7.097817897796631}\n",
+      "{'epoch': 0, 'update in batch': 2825, '/': 12375, 'loss': 6.965091705322266}\n",
+      "{'epoch': 0, 'update in batch': 2826, '/': 12375, 'loss': 7.111331939697266}\n",
+      "{'epoch': 0, 'update in batch': 2827, '/': 12375, 'loss': 7.027230739593506}\n",
+      "{'epoch': 0, 'update in batch': 2828, '/': 12375, 'loss': 7.693083763122559}\n",
+      "{'epoch': 0, 'update in batch': 2829, '/': 12375, 'loss': 7.078707695007324}\n",
+      "{'epoch': 0, 'update in batch': 2830, '/': 12375, 'loss': 7.243833065032959}\n",
+      "{'epoch': 0, 'update in batch': 2831, '/': 12375, 'loss': 7.012547969818115}\n",
+      "{'epoch': 0, 'update in batch': 2832, '/': 12375, 'loss': 7.187483787536621}\n",
+      "{'epoch': 0, 'update in batch': 2833, '/': 12375, 'loss': 6.88266134262085}\n",
+      "{'epoch': 0, 'update in batch': 2834, '/': 12375, 'loss': 7.184337615966797}\n",
+      "{'epoch': 0, 'update in batch': 2835, '/': 12375, 'loss': 7.648184776306152}\n",
+      "{'epoch': 0, 'update in batch': 2836, '/': 12375, 'loss': 7.1529059410095215}\n",
+      "{'epoch': 0, 'update in batch': 2837, '/': 12375, 'loss': 6.958394527435303}\n",
+      "{'epoch': 0, 'update in batch': 2838, '/': 12375, 'loss': 7.505202293395996}\n",
+      "{'epoch': 0, 'update in batch': 2839, '/': 12375, 'loss': 6.768882751464844}\n",
+      "{'epoch': 0, 'update in batch': 2840, '/': 12375, 'loss': 6.9429826736450195}\n",
+      "{'epoch': 0, 'update in batch': 2841, '/': 12375, 'loss': 6.660211086273193}\n",
+      "{'epoch': 0, 'update in batch': 2842, '/': 12375, 'loss': 6.90448522567749}\n",
+      "{'epoch': 0, 'update in batch': 2843, '/': 12375, 'loss': 6.872559547424316}\n",
+      "{'epoch': 0, 'update in batch': 2844, '/': 12375, 'loss': 7.060055732727051}\n",
+      "{'epoch': 0, 'update in batch': 2845, '/': 12375, 'loss': 6.904952049255371}\n",
+      "{'epoch': 0, 'update in batch': 2846, '/': 12375, 'loss': 7.334689140319824}\n",
+      "{'epoch': 0, 'update in batch': 2847, '/': 12375, 'loss': 7.3801398277282715}\n",
+      "{'epoch': 0, 'update in batch': 2848, '/': 12375, 'loss': 7.419564247131348}\n",
+      "{'epoch': 0, 'update in batch': 2849, '/': 12375, 'loss': 6.73306941986084}\n",
+      "{'epoch': 0, 'update in batch': 2850, '/': 12375, 'loss': 7.961945533752441}\n",
+      "{'epoch': 0, 'update in batch': 2851, '/': 12375, 'loss': 7.097496032714844}\n",
+      "{'epoch': 0, 'update in batch': 2852, '/': 12375, 'loss': 7.047331809997559}\n",
+      "{'epoch': 0, 'update in batch': 2853, '/': 12375, 'loss': 6.92608118057251}\n",
+      "{'epoch': 0, 'update in batch': 2854, '/': 12375, 'loss': 6.815295219421387}\n",
+      "{'epoch': 0, 'update in batch': 2855, '/': 12375, 'loss': 7.432351112365723}\n",
+      "{'epoch': 0, 'update in batch': 2856, '/': 12375, 'loss': 6.94381856918335}\n",
+      "{'epoch': 0, 'update in batch': 2857, '/': 12375, 'loss': 6.334161281585693}\n",
+      "{'epoch': 0, 'update in batch': 2858, '/': 12375, 'loss': 6.750779628753662}\n",
+      "{'epoch': 0, 'update in batch': 2859, '/': 12375, 'loss': 7.260727882385254}\n",
+      "{'epoch': 0, 'update in batch': 2860, '/': 12375, 'loss': 6.988009452819824}\n",
+      "{'epoch': 0, 'update in batch': 2861, '/': 12375, 'loss': 6.4451584815979}\n",
+      "{'epoch': 0, 'update in batch': 2862, '/': 12375, 'loss': 6.686336517333984}\n",
+      "{'epoch': 0, 'update in batch': 2863, '/': 12375, 'loss': 7.286900997161865}\n",
+      "{'epoch': 0, 'update in batch': 2864, '/': 12375, 'loss': 7.7507524490356445}\n",
+      "{'epoch': 0, 'update in batch': 2865, '/': 12375, 'loss': 7.453371524810791}\n",
+      "{'epoch': 0, 'update in batch': 2866, '/': 12375, 'loss': 7.333951473236084}\n",
+      "{'epoch': 0, 'update in batch': 2867, '/': 12375, 'loss': 7.547800540924072}\n",
+      "{'epoch': 0, 'update in batch': 2868, '/': 12375, 'loss': 7.389597415924072}\n",
+      "{'epoch': 0, 'update in batch': 2869, '/': 12375, 'loss': 7.388890743255615}\n",
+      "{'epoch': 0, 'update in batch': 2870, '/': 12375, 'loss': 7.214875221252441}\n",
+      "{'epoch': 0, 'update in batch': 2871, '/': 12375, 'loss': 7.421502590179443}\n",
+      "{'epoch': 0, 'update in batch': 2872, '/': 12375, 'loss': 7.68679141998291}\n",
+      "{'epoch': 0, 'update in batch': 2873, '/': 12375, 'loss': 7.94356632232666}\n",
+      "{'epoch': 0, 'update in batch': 2874, '/': 12375, 'loss': 7.460302829742432}\n",
+      "{'epoch': 0, 'update in batch': 2875, '/': 12375, 'loss': 7.473250389099121}\n",
+      "{'epoch': 0, 'update in batch': 2876, '/': 12375, 'loss': 7.866883754730225}\n",
+      "{'epoch': 0, 'update in batch': 2877, '/': 12375, 'loss': 7.65071964263916}\n",
+      "{'epoch': 0, 'update in batch': 2878, '/': 12375, 'loss': 7.4208197593688965}\n",
+      "{'epoch': 0, 'update in batch': 2879, '/': 12375, 'loss': 7.522254943847656}\n",
+      "{'epoch': 0, 'update in batch': 2880, '/': 12375, 'loss': 7.281406402587891}\n",
+      "{'epoch': 0, 'update in batch': 2881, '/': 12375, 'loss': 7.631619453430176}\n",
+      "{'epoch': 0, 'update in batch': 2882, '/': 12375, 'loss': 7.620619773864746}\n",
+      "{'epoch': 0, 'update in batch': 2883, '/': 12375, 'loss': 7.213929653167725}\n",
+      "{'epoch': 0, 'update in batch': 2884, '/': 12375, 'loss': 7.421628475189209}\n",
+      "{'epoch': 0, 'update in batch': 2885, '/': 12375, 'loss': 7.027960777282715}\n",
+      "{'epoch': 0, 'update in batch': 2886, '/': 12375, 'loss': 7.332545280456543}\n",
+      "{'epoch': 0, 'update in batch': 2887, '/': 12375, 'loss': 6.8184967041015625}\n",
+      "{'epoch': 0, 'update in batch': 2888, '/': 12375, 'loss': 6.867243766784668}\n",
+      "{'epoch': 0, 'update in batch': 2889, '/': 12375, 'loss': 7.380146026611328}\n",
+      "{'epoch': 0, 'update in batch': 2890, '/': 12375, 'loss': 7.216760158538818}\n",
+      "{'epoch': 0, 'update in batch': 2891, '/': 12375, 'loss': 7.425318717956543}\n",
+      "{'epoch': 0, 'update in batch': 2892, '/': 12375, 'loss': 6.833395481109619}\n",
+      "{'epoch': 0, 'update in batch': 2893, '/': 12375, 'loss': 7.433372497558594}\n",
+      "{'epoch': 0, 'update in batch': 2894, '/': 12375, 'loss': 7.084176540374756}\n",
+      "{'epoch': 0, 'update in batch': 2895, '/': 12375, 'loss': 6.953746795654297}\n",
+      "{'epoch': 0, 'update in batch': 2896, '/': 12375, 'loss': 7.725716590881348}\n",
+      "{'epoch': 0, 'update in batch': 2897, '/': 12375, 'loss': 7.053448677062988}\n",
+      "{'epoch': 0, 'update in batch': 2898, '/': 12375, 'loss': 7.316033840179443}\n",
+      "{'epoch': 0, 'update in batch': 2899, '/': 12375, 'loss': 7.721884250640869}\n",
+      "{'epoch': 0, 'update in batch': 2900, '/': 12375, 'loss': 6.8502349853515625}\n",
+      "{'epoch': 0, 'update in batch': 2901, '/': 12375, 'loss': 7.3971452713012695}\n",
+      "{'epoch': 0, 'update in batch': 2902, '/': 12375, 'loss': 6.67920446395874}\n",
+      "{'epoch': 0, 'update in batch': 2903, '/': 12375, 'loss': 7.325418949127197}\n",
+      "{'epoch': 0, 'update in batch': 2904, '/': 12375, 'loss': 7.17699670791626}\n",
+      "{'epoch': 0, 'update in batch': 2905, '/': 12375, 'loss': 7.466164588928223}\n",
+      "{'epoch': 0, 'update in batch': 2906, '/': 12375, 'loss': 7.289999485015869}\n",
+      "{'epoch': 0, 'update in batch': 2907, '/': 12375, 'loss': 7.2436981201171875}\n",
+      "{'epoch': 0, 'update in batch': 2908, '/': 12375, 'loss': 6.8898773193359375}\n",
+      "{'epoch': 0, 'update in batch': 2909, '/': 12375, 'loss': 7.456750392913818}\n",
+      "{'epoch': 0, 'update in batch': 2910, '/': 12375, 'loss': 7.476902008056641}\n",
+      "{'epoch': 0, 'update in batch': 2911, '/': 12375, 'loss': 6.803892612457275}\n",
+      "{'epoch': 0, 'update in batch': 2912, '/': 12375, 'loss': 6.826467037200928}\n",
+      "{'epoch': 0, 'update in batch': 2913, '/': 12375, 'loss': 7.113316535949707}\n",
+      "{'epoch': 0, 'update in batch': 2914, '/': 12375, 'loss': 7.0618743896484375}\n",
+      "{'epoch': 0, 'update in batch': 2915, '/': 12375, 'loss': 7.995532989501953}\n",
+      "{'epoch': 0, 'update in batch': 2916, '/': 12375, 'loss': 8.433988571166992}\n",
+      "{'epoch': 0, 'update in batch': 2917, '/': 12375, 'loss': 8.33161735534668}\n",
+      "{'epoch': 0, 'update in batch': 2918, '/': 12375, 'loss': 7.62860631942749}\n",
+      "{'epoch': 0, 'update in batch': 2919, '/': 12375, 'loss': 7.231706142425537}\n",
+      "{'epoch': 0, 'update in batch': 2920, '/': 12375, 'loss': 7.869229793548584}\n",
+      "{'epoch': 0, 'update in batch': 2921, '/': 12375, 'loss': 8.175772666931152}\n",
+      "{'epoch': 0, 'update in batch': 2922, '/': 12375, 'loss': 8.056747436523438}\n",
+      "{'epoch': 0, 'update in batch': 2923, '/': 12375, 'loss': 7.197085380554199}\n",
+      "{'epoch': 0, 'update in batch': 2924, '/': 12375, 'loss': 7.443373203277588}\n",
+      "{'epoch': 0, 'update in batch': 2925, '/': 12375, 'loss': 7.720938205718994}\n",
+      "{'epoch': 0, 'update in batch': 2926, '/': 12375, 'loss': 7.670861721038818}\n",
+      "{'epoch': 0, 'update in batch': 2927, '/': 12375, 'loss': 7.5723066329956055}\n",
+      "{'epoch': 0, 'update in batch': 2928, '/': 12375, 'loss': 7.635133266448975}\n",
+      "{'epoch': 0, 'update in batch': 2929, '/': 12375, 'loss': 7.779332637786865}\n",
+      "{'epoch': 0, 'update in batch': 2930, '/': 12375, 'loss': 6.87998104095459}\n",
+      "{'epoch': 0, 'update in batch': 2931, '/': 12375, 'loss': 7.4411468505859375}\n",
+      "{'epoch': 0, 'update in batch': 2932, '/': 12375, 'loss': 7.376982688903809}\n",
+      "{'epoch': 0, 'update in batch': 2933, '/': 12375, 'loss': 7.370142459869385}\n",
+      "{'epoch': 0, 'update in batch': 2934, '/': 12375, 'loss': 7.657259941101074}\n",
+      "{'epoch': 0, 'update in batch': 2935, '/': 12375, 'loss': 7.043988227844238}\n",
+      "{'epoch': 0, 'update in batch': 2936, '/': 12375, 'loss': 6.9856276512146}\n",
+      "{'epoch': 0, 'update in batch': 2937, '/': 12375, 'loss': 7.780457973480225}\n",
+      "{'epoch': 0, 'update in batch': 2938, '/': 12375, 'loss': 7.816599369049072}\n",
+      "{'epoch': 0, 'update in batch': 2939, '/': 12375, 'loss': 7.139115810394287}\n",
+      "{'epoch': 0, 'update in batch': 2940, '/': 12375, 'loss': 7.647823333740234}\n",
+      "{'epoch': 0, 'update in batch': 2941, '/': 12375, 'loss': 6.936517238616943}\n",
+      "{'epoch': 0, 'update in batch': 2942, '/': 12375, 'loss': 7.127854824066162}\n",
+      "{'epoch': 0, 'update in batch': 2943, '/': 12375, 'loss': 6.993265628814697}\n",
+      "{'epoch': 0, 'update in batch': 2944, '/': 12375, 'loss': 7.717394828796387}\n",
+      "{'epoch': 0, 'update in batch': 2945, '/': 12375, 'loss': 7.0569748878479}\n",
+      "{'epoch': 0, 'update in batch': 2946, '/': 12375, 'loss': 6.887886047363281}\n",
+      "{'epoch': 0, 'update in batch': 2947, '/': 12375, 'loss': 7.286818027496338}\n",
+      "{'epoch': 0, 'update in batch': 2948, '/': 12375, 'loss': 7.244889259338379}\n",
+      "{'epoch': 0, 'update in batch': 2949, '/': 12375, 'loss': 7.218167781829834}\n",
+      "{'epoch': 0, 'update in batch': 2950, '/': 12375, 'loss': 7.532279014587402}\n",
+      "{'epoch': 0, 'update in batch': 2951, '/': 12375, 'loss': 7.440911293029785}\n",
+      "{'epoch': 0, 'update in batch': 2952, '/': 12375, 'loss': 7.403805732727051}\n",
+      "{'epoch': 0, 'update in batch': 2953, '/': 12375, 'loss': 6.9340949058532715}\n",
+      "{'epoch': 0, 'update in batch': 2954, '/': 12375, 'loss': 7.049350738525391}\n",
+      "{'epoch': 0, 'update in batch': 2955, '/': 12375, 'loss': 7.397922515869141}\n",
+      "{'epoch': 0, 'update in batch': 2956, '/': 12375, 'loss': 7.1153154373168945}\n",
+      "{'epoch': 0, 'update in batch': 2957, '/': 12375, 'loss': 7.615721702575684}\n",
+      "{'epoch': 0, 'update in batch': 2958, '/': 12375, 'loss': 7.765710353851318}\n",
+      "{'epoch': 0, 'update in batch': 2959, '/': 12375, 'loss': 7.479609489440918}\n",
+      "{'epoch': 0, 'update in batch': 2960, '/': 12375, 'loss': 7.360904693603516}\n",
+      "{'epoch': 0, 'update in batch': 2961, '/': 12375, 'loss': 8.15139102935791}\n",
+      "{'epoch': 0, 'update in batch': 2962, '/': 12375, 'loss': 7.493222713470459}\n",
+      "{'epoch': 0, 'update in batch': 2963, '/': 12375, 'loss': 7.810283660888672}\n",
+      "{'epoch': 0, 'update in batch': 2964, '/': 12375, 'loss': 7.2996063232421875}\n",
+      "{'epoch': 0, 'update in batch': 2965, '/': 12375, 'loss': 7.308629512786865}\n",
+      "{'epoch': 0, 'update in batch': 2966, '/': 12375, 'loss': 6.504485130310059}\n",
+      "{'epoch': 0, 'update in batch': 2967, '/': 12375, 'loss': 7.144488334655762}\n",
+      "{'epoch': 0, 'update in batch': 2968, '/': 12375, 'loss': 7.690498352050781}\n",
+      "{'epoch': 0, 'update in batch': 2969, '/': 12375, 'loss': 7.302580833435059}\n",
+      "{'epoch': 0, 'update in batch': 2970, '/': 12375, 'loss': 7.561915397644043}\n",
+      "{'epoch': 0, 'update in batch': 2971, '/': 12375, 'loss': 8.056171417236328}\n",
+      "{'epoch': 0, 'update in batch': 2972, '/': 12375, 'loss': 7.256155490875244}\n",
+      "{'epoch': 0, 'update in batch': 2973, '/': 12375, 'loss': 7.493631839752197}\n",
+      "{'epoch': 0, 'update in batch': 2974, '/': 12375, 'loss': 7.983643531799316}\n",
+      "{'epoch': 0, 'update in batch': 2975, '/': 12375, 'loss': 8.252634048461914}\n",
+      "{'epoch': 0, 'update in batch': 2976, '/': 12375, 'loss': 8.1210355758667}\n",
+      "{'epoch': 0, 'update in batch': 2977, '/': 12375, 'loss': 7.605574131011963}\n",
+      "{'epoch': 0, 'update in batch': 2978, '/': 12375, 'loss': 7.77028751373291}\n",
+      "{'epoch': 0, 'update in batch': 2979, '/': 12375, 'loss': 7.774472713470459}\n",
+      "{'epoch': 0, 'update in batch': 2980, '/': 12375, 'loss': 7.7703447341918945}\n",
+      "{'epoch': 0, 'update in batch': 2981, '/': 12375, 'loss': 7.708865165710449}\n",
+      "{'epoch': 0, 'update in batch': 2982, '/': 12375, 'loss': 8.124319076538086}\n",
+      "{'epoch': 0, 'update in batch': 2983, '/': 12375, 'loss': 8.001958847045898}\n",
+      "{'epoch': 0, 'update in batch': 2984, '/': 12375, 'loss': 7.7356414794921875}\n",
+      "{'epoch': 0, 'update in batch': 2985, '/': 12375, 'loss': 8.319645881652832}\n",
+      "{'epoch': 0, 'update in batch': 2986, '/': 12375, 'loss': 7.64902400970459}\n",
+      "{'epoch': 0, 'update in batch': 2987, '/': 12375, 'loss': 8.027119636535645}\n",
+      "{'epoch': 0, 'update in batch': 2988, '/': 12375, 'loss': 7.6841936111450195}\n",
+      "{'epoch': 0, 'update in batch': 2989, '/': 12375, 'loss': 7.358712673187256}\n",
+      "{'epoch': 0, 'update in batch': 2990, '/': 12375, 'loss': 7.41784143447876}\n",
+      "{'epoch': 0, 'update in batch': 2991, '/': 12375, 'loss': 7.1624345779418945}\n",
+      "{'epoch': 0, 'update in batch': 2992, '/': 12375, 'loss': 7.740877628326416}\n",
+      "{'epoch': 0, 'update in batch': 2993, '/': 12375, 'loss': 7.51699686050415}\n",
+      "{'epoch': 0, 'update in batch': 2994, '/': 12375, 'loss': 7.24990177154541}\n",
+      "{'epoch': 0, 'update in batch': 2995, '/': 12375, 'loss': 7.527624607086182}\n",
+      "{'epoch': 0, 'update in batch': 2996, '/': 12375, 'loss': 7.726412773132324}\n",
+      "{'epoch': 0, 'update in batch': 2997, '/': 12375, 'loss': 7.558705806732178}\n",
+      "{'epoch': 0, 'update in batch': 2998, '/': 12375, 'loss': 7.573250770568848}\n",
+      "{'epoch': 0, 'update in batch': 2999, '/': 12375, 'loss': 6.974095821380615}\n",
+      "{'epoch': 0, 'update in batch': 3000, '/': 12375, 'loss': 7.236544132232666}\n",
+      "{'epoch': 0, 'update in batch': 3001, '/': 12375, 'loss': 7.332472801208496}\n",
+      "{'epoch': 0, 'update in batch': 3002, '/': 12375, 'loss': 7.381717681884766}\n",
+      "{'epoch': 0, 'update in batch': 3003, '/': 12375, 'loss': 8.128419876098633}\n",
+      "{'epoch': 0, 'update in batch': 3004, '/': 12375, 'loss': 7.548155307769775}\n",
+      "{'epoch': 0, 'update in batch': 3005, '/': 12375, 'loss': 7.691498756408691}\n",
+      "{'epoch': 0, 'update in batch': 3006, '/': 12375, 'loss': 7.9039716720581055}\n",
+      "{'epoch': 0, 'update in batch': 3007, '/': 12375, 'loss': 7.804823875427246}\n",
+      "{'epoch': 0, 'update in batch': 3008, '/': 12375, 'loss': 7.768634796142578}\n",
+      "{'epoch': 0, 'update in batch': 3009, '/': 12375, 'loss': 7.176239967346191}\n",
+      "{'epoch': 0, 'update in batch': 3010, '/': 12375, 'loss': 7.198065757751465}\n",
+      "{'epoch': 0, 'update in batch': 3011, '/': 12375, 'loss': 6.702887058258057}\n",
+      "{'epoch': 0, 'update in batch': 3012, '/': 12375, 'loss': 7.343573093414307}\n",
+      "{'epoch': 0, 'update in batch': 3013, '/': 12375, 'loss': 7.51717472076416}\n",
+      "{'epoch': 0, 'update in batch': 3014, '/': 12375, 'loss': 7.231932640075684}\n",
+      "{'epoch': 0, 'update in batch': 3015, '/': 12375, 'loss': 8.112513542175293}\n",
+      "{'epoch': 0, 'update in batch': 3016, '/': 12375, 'loss': 7.400217533111572}\n",
+      "{'epoch': 0, 'update in batch': 3017, '/': 12375, 'loss': 7.73602819442749}\n",
+      "{'epoch': 0, 'update in batch': 3018, '/': 12375, 'loss': 7.753598213195801}\n",
+      "{'epoch': 0, 'update in batch': 3019, '/': 12375, 'loss': 7.191399574279785}\n",
+      "{'epoch': 0, 'update in batch': 3020, '/': 12375, 'loss': 7.1236467361450195}\n",
+      "{'epoch': 0, 'update in batch': 3021, '/': 12375, 'loss': 8.203263282775879}\n",
+      "{'epoch': 0, 'update in batch': 3022, '/': 12375, 'loss': 7.4598894119262695}\n",
+      "{'epoch': 0, 'update in batch': 3023, '/': 12375, 'loss': 7.499176979064941}\n",
+      "{'epoch': 0, 'update in batch': 3024, '/': 12375, 'loss': 7.842966556549072}\n",
+      "{'epoch': 0, 'update in batch': 3025, '/': 12375, 'loss': 7.538861274719238}\n",
+      "{'epoch': 0, 'update in batch': 3026, '/': 12375, 'loss': 6.922472953796387}\n",
+      "{'epoch': 0, 'update in batch': 3027, '/': 12375, 'loss': 7.089831352233887}\n",
+      "{'epoch': 0, 'update in batch': 3028, '/': 12375, 'loss': 7.437592506408691}\n",
+      "{'epoch': 0, 'update in batch': 3029, '/': 12375, 'loss': 6.785182952880859}\n",
+      "{'epoch': 0, 'update in batch': 3030, '/': 12375, 'loss': 7.376885414123535}\n",
+      "{'epoch': 0, 'update in batch': 3031, '/': 12375, 'loss': 7.714433193206787}\n",
+      "{'epoch': 0, 'update in batch': 3032, '/': 12375, 'loss': 8.483626365661621}\n",
+      "{'epoch': 0, 'update in batch': 3033, '/': 12375, 'loss': 8.318964004516602}\n",
+      "{'epoch': 0, 'update in batch': 3034, '/': 12375, 'loss': 7.944016456604004}\n",
+      "{'epoch': 0, 'update in batch': 3035, '/': 12375, 'loss': 7.988161563873291}\n",
+      "{'epoch': 0, 'update in batch': 3036, '/': 12375, 'loss': 7.799163818359375}\n",
+      "{'epoch': 0, 'update in batch': 3037, '/': 12375, 'loss': 8.02464485168457}\n",
+      "{'epoch': 0, 'update in batch': 3038, '/': 12375, 'loss': 8.830370903015137}\n",
+      "{'epoch': 0, 'update in batch': 3039, '/': 12375, 'loss': 8.181461334228516}\n",
+      "{'epoch': 0, 'update in batch': 3040, '/': 12375, 'loss': 8.452499389648438}\n",
+      "{'epoch': 0, 'update in batch': 3041, '/': 12375, 'loss': 8.382270812988281}\n",
+      "{'epoch': 0, 'update in batch': 3042, '/': 12375, 'loss': 8.277567863464355}\n",
+      "{'epoch': 0, 'update in batch': 3043, '/': 12375, 'loss': 7.811366081237793}\n",
+      "{'epoch': 0, 'update in batch': 3044, '/': 12375, 'loss': 7.54678201675415}\n",
+      "{'epoch': 0, 'update in batch': 3045, '/': 12375, 'loss': 8.134669303894043}\n",
+      "{'epoch': 0, 'update in batch': 3046, '/': 12375, 'loss': 7.630375862121582}\n",
+      "{'epoch': 0, 'update in batch': 3047, '/': 12375, 'loss': 8.021003723144531}\n",
+      "{'epoch': 0, 'update in batch': 3048, '/': 12375, 'loss': 7.4703545570373535}\n",
+      "{'epoch': 0, 'update in batch': 3049, '/': 12375, 'loss': 8.099885940551758}\n",
+      "{'epoch': 0, 'update in batch': 3050, '/': 12375, 'loss': 7.460051536560059}\n",
+      "{'epoch': 0, 'update in batch': 3051, '/': 12375, 'loss': 8.747206687927246}\n",
+      "{'epoch': 0, 'update in batch': 3052, '/': 12375, 'loss': 7.736044406890869}\n",
+      "{'epoch': 0, 'update in batch': 3053, '/': 12375, 'loss': 7.8807053565979}\n",
+      "{'epoch': 0, 'update in batch': 3054, '/': 12375, 'loss': 7.3001813888549805}\n",
+      "{'epoch': 0, 'update in batch': 3055, '/': 12375, 'loss': 7.4408416748046875}\n",
+      "{'epoch': 0, 'update in batch': 3056, '/': 12375, 'loss': 7.575913429260254}\n",
+      "{'epoch': 0, 'update in batch': 3057, '/': 12375, 'loss': 7.786759376525879}\n",
+      "{'epoch': 0, 'update in batch': 3058, '/': 12375, 'loss': 7.1576828956604}\n",
+      "{'epoch': 0, 'update in batch': 3059, '/': 12375, 'loss': 7.777462959289551}\n",
+      "{'epoch': 0, 'update in batch': 3060, '/': 12375, 'loss': 7.938147068023682}\n",
+      "{'epoch': 0, 'update in batch': 3061, '/': 12375, 'loss': 7.219858646392822}\n",
+      "{'epoch': 0, 'update in batch': 3062, '/': 12375, 'loss': 7.616743564605713}\n",
+      "{'epoch': 0, 'update in batch': 3063, '/': 12375, 'loss': 7.074444770812988}\n",
+      "{'epoch': 0, 'update in batch': 3064, '/': 12375, 'loss': 7.52520227432251}\n",
+      "{'epoch': 0, 'update in batch': 3065, '/': 12375, 'loss': 7.372286319732666}\n",
+      "{'epoch': 0, 'update in batch': 3066, '/': 12375, 'loss': 8.439650535583496}\n",
+      "{'epoch': 0, 'update in batch': 3067, '/': 12375, 'loss': 7.828497409820557}\n",
+      "{'epoch': 0, 'update in batch': 3068, '/': 12375, 'loss': 7.933438777923584}\n",
+      "{'epoch': 0, 'update in batch': 3069, '/': 12375, 'loss': 7.743953704833984}\n",
+      "{'epoch': 0, 'update in batch': 3070, '/': 12375, 'loss': 7.757874488830566}\n",
+      "{'epoch': 0, 'update in batch': 3071, '/': 12375, 'loss': 7.833583831787109}\n",
+      "{'epoch': 0, 'update in batch': 3072, '/': 12375, 'loss': 6.731085300445557}\n",
+      "{'epoch': 0, 'update in batch': 3073, '/': 12375, 'loss': 6.743361473083496}\n",
+      "{'epoch': 0, 'update in batch': 3074, '/': 12375, 'loss': 6.9105987548828125}\n",
+      "{'epoch': 0, 'update in batch': 3075, '/': 12375, 'loss': 7.104956150054932}\n",
+      "{'epoch': 0, 'update in batch': 3076, '/': 12375, 'loss': 7.3021721839904785}\n",
+      "{'epoch': 0, 'update in batch': 3077, '/': 12375, 'loss': 6.9302239418029785}\n",
+      "{'epoch': 0, 'update in batch': 3078, '/': 12375, 'loss': 7.034844875335693}\n",
+      "{'epoch': 0, 'update in batch': 3079, '/': 12375, 'loss': 7.552151679992676}\n",
+      "{'epoch': 0, 'update in batch': 3080, '/': 12375, 'loss': 7.039351463317871}\n",
+      "{'epoch': 0, 'update in batch': 3081, '/': 12375, 'loss': 7.056937217712402}\n",
+      "{'epoch': 0, 'update in batch': 3082, '/': 12375, 'loss': 7.549306392669678}\n",
+      "{'epoch': 0, 'update in batch': 3083, '/': 12375, 'loss': 7.143492221832275}\n",
+      "{'epoch': 0, 'update in batch': 3084, '/': 12375, 'loss': 7.426148891448975}\n",
+      "{'epoch': 0, 'update in batch': 3085, '/': 12375, 'loss': 7.3578948974609375}\n",
+      "{'epoch': 0, 'update in batch': 3086, '/': 12375, 'loss': 7.775321960449219}\n",
+      "{'epoch': 0, 'update in batch': 3087, '/': 12375, 'loss': 7.672016143798828}\n",
+      "{'epoch': 0, 'update in batch': 3088, '/': 12375, 'loss': 7.6008405685424805}\n",
+      "{'epoch': 0, 'update in batch': 3089, '/': 12375, 'loss': 7.796036720275879}\n",
+      "{'epoch': 0, 'update in batch': 3090, '/': 12375, 'loss': 7.657131195068359}\n",
+      "{'epoch': 0, 'update in batch': 3091, '/': 12375, 'loss': 8.061884880065918}\n",
+      "{'epoch': 0, 'update in batch': 3092, '/': 12375, 'loss': 8.569639205932617}\n",
+      "{'epoch': 0, 'update in batch': 3093, '/': 12375, 'loss': 7.792817115783691}\n",
+      "{'epoch': 0, 'update in batch': 3094, '/': 12375, 'loss': 8.005264282226562}\n",
+      "{'epoch': 0, 'update in batch': 3095, '/': 12375, 'loss': 7.714066505432129}\n",
+      "{'epoch': 0, 'update in batch': 3096, '/': 12375, 'loss': 7.9195427894592285}\n",
+      "{'epoch': 0, 'update in batch': 3097, '/': 12375, 'loss': 7.869203090667725}\n",
+      "{'epoch': 0, 'update in batch': 3098, '/': 12375, 'loss': 7.560539245605469}\n",
+      "{'epoch': 0, 'update in batch': 3099, '/': 12375, 'loss': 7.320790767669678}\n",
+      "{'epoch': 0, 'update in batch': 3100, '/': 12375, 'loss': 7.214745998382568}\n",
+      "{'epoch': 0, 'update in batch': 3101, '/': 12375, 'loss': 7.34988260269165}\n",
+      "{'epoch': 0, 'update in batch': 3102, '/': 12375, 'loss': 7.419960021972656}\n",
+      "{'epoch': 0, 'update in batch': 3103, '/': 12375, 'loss': 8.060577392578125}\n",
+      "{'epoch': 0, 'update in batch': 3104, '/': 12375, 'loss': 7.400820255279541}\n",
+      "{'epoch': 0, 'update in batch': 3105, '/': 12375, 'loss': 7.944366455078125}\n",
+      "{'epoch': 0, 'update in batch': 3106, '/': 12375, 'loss': 7.0728583335876465}\n",
+      "{'epoch': 0, 'update in batch': 3107, '/': 12375, 'loss': 7.589781284332275}\n",
+      "{'epoch': 0, 'update in batch': 3108, '/': 12375, 'loss': 7.153087615966797}\n",
+      "{'epoch': 0, 'update in batch': 3109, '/': 12375, 'loss': 6.720097541809082}\n",
+      "{'epoch': 0, 'update in batch': 3110, '/': 12375, 'loss': 7.7481865882873535}\n",
+      "{'epoch': 0, 'update in batch': 3111, '/': 12375, 'loss': 8.048757553100586}\n",
+      "{'epoch': 0, 'update in batch': 3112, '/': 12375, 'loss': 7.921555995941162}\n",
+      "{'epoch': 0, 'update in batch': 3113, '/': 12375, 'loss': 8.023553848266602}\n",
+      "{'epoch': 0, 'update in batch': 3114, '/': 12375, 'loss': 7.734466552734375}\n",
+      "{'epoch': 0, 'update in batch': 3115, '/': 12375, 'loss': 7.714481353759766}\n",
+      "{'epoch': 0, 'update in batch': 3116, '/': 12375, 'loss': 7.120657920837402}\n",
+      "{'epoch': 0, 'update in batch': 3117, '/': 12375, 'loss': 6.956943511962891}\n",
+      "{'epoch': 0, 'update in batch': 3118, '/': 12375, 'loss': 7.356433868408203}\n",
+      "{'epoch': 0, 'update in batch': 3119, '/': 12375, 'loss': 7.829396724700928}\n",
+      "{'epoch': 0, 'update in batch': 3120, '/': 12375, 'loss': 7.614736080169678}\n",
+      "{'epoch': 0, 'update in batch': 3121, '/': 12375, 'loss': 8.066084861755371}\n",
+      "{'epoch': 0, 'update in batch': 3122, '/': 12375, 'loss': 7.517430305480957}\n",
+      "{'epoch': 0, 'update in batch': 3123, '/': 12375, 'loss': 7.094717502593994}\n",
+      "{'epoch': 0, 'update in batch': 3124, '/': 12375, 'loss': 7.3270745277404785}\n",
+      "{'epoch': 0, 'update in batch': 3125, '/': 12375, 'loss': 7.659327507019043}\n",
+      "{'epoch': 0, 'update in batch': 3126, '/': 12375, 'loss': 6.641064643859863}\n",
+      "{'epoch': 0, 'update in batch': 3127, '/': 12375, 'loss': 7.393380165100098}\n",
+      "{'epoch': 0, 'update in batch': 3128, '/': 12375, 'loss': 7.167891025543213}\n",
+      "{'epoch': 0, 'update in batch': 3129, '/': 12375, 'loss': 7.177984714508057}\n",
+      "{'epoch': 0, 'update in batch': 3130, '/': 12375, 'loss': 7.8926873207092285}\n",
+      "{'epoch': 0, 'update in batch': 3131, '/': 12375, 'loss': 7.302481174468994}\n",
+      "{'epoch': 0, 'update in batch': 3132, '/': 12375, 'loss': 7.728787899017334}\n",
+      "{'epoch': 0, 'update in batch': 3133, '/': 12375, 'loss': 6.756844520568848}\n",
+      "{'epoch': 0, 'update in batch': 3134, '/': 12375, 'loss': 7.602064609527588}\n",
+      "{'epoch': 0, 'update in batch': 3135, '/': 12375, 'loss': 7.817397117614746}\n",
+      "{'epoch': 0, 'update in batch': 3136, '/': 12375, 'loss': 7.6828436851501465}\n",
+      "{'epoch': 0, 'update in batch': 3137, '/': 12375, 'loss': 7.689528465270996}\n",
+      "{'epoch': 0, 'update in batch': 3138, '/': 12375, 'loss': 7.740239143371582}\n",
+      "{'epoch': 0, 'update in batch': 3139, '/': 12375, 'loss': 6.86504602432251}\n",
+      "{'epoch': 0, 'update in batch': 3140, '/': 12375, 'loss': 7.961183071136475}\n",
+      "{'epoch': 0, 'update in batch': 3141, '/': 12375, 'loss': 7.806551933288574}\n",
+      "{'epoch': 0, 'update in batch': 3142, '/': 12375, 'loss': 7.270529270172119}\n",
+      "{'epoch': 0, 'update in batch': 3143, '/': 12375, 'loss': 7.541404724121094}\n",
+      "{'epoch': 0, 'update in batch': 3144, '/': 12375, 'loss': 7.672824859619141}\n",
+      "{'epoch': 0, 'update in batch': 3145, '/': 12375, 'loss': 7.870490074157715}\n",
+      "{'epoch': 0, 'update in batch': 3146, '/': 12375, 'loss': 8.369050025939941}\n",
+      "{'epoch': 0, 'update in batch': 3147, '/': 12375, 'loss': 8.133382797241211}\n",
+      "{'epoch': 0, 'update in batch': 3148, '/': 12375, 'loss': 7.858551025390625}\n",
+      "{'epoch': 0, 'update in batch': 3149, '/': 12375, 'loss': 7.816493034362793}\n",
+      "{'epoch': 0, 'update in batch': 3150, '/': 12375, 'loss': 8.248846054077148}\n",
+      "{'epoch': 0, 'update in batch': 3151, '/': 12375, 'loss': 7.515851020812988}\n",
+      "{'epoch': 0, 'update in batch': 3152, '/': 12375, 'loss': 7.642106056213379}\n",
+      "{'epoch': 0, 'update in batch': 3153, '/': 12375, 'loss': 8.173537254333496}\n",
+      "{'epoch': 0, 'update in batch': 3154, '/': 12375, 'loss': 9.029634475708008}\n",
+      "{'epoch': 0, 'update in batch': 3155, '/': 12375, 'loss': 8.23697280883789}\n",
+      "{'epoch': 0, 'update in batch': 3156, '/': 12375, 'loss': 7.811093807220459}\n",
+      "{'epoch': 0, 'update in batch': 3157, '/': 12375, 'loss': 7.902665138244629}\n",
+      "{'epoch': 0, 'update in batch': 3158, '/': 12375, 'loss': 7.4081902503967285}\n",
+      "{'epoch': 0, 'update in batch': 3159, '/': 12375, 'loss': 7.432483673095703}\n",
+      "{'epoch': 0, 'update in batch': 3160, '/': 12375, 'loss': 7.0963640213012695}\n",
+      "{'epoch': 0, 'update in batch': 3161, '/': 12375, 'loss': 7.473247528076172}\n",
+      "{'epoch': 0, 'update in batch': 3162, '/': 12375, 'loss': 7.513625144958496}\n",
+      "{'epoch': 0, 'update in batch': 3163, '/': 12375, 'loss': 7.618653297424316}\n",
+      "{'epoch': 0, 'update in batch': 3164, '/': 12375, 'loss': 7.369842529296875}\n",
+      "{'epoch': 0, 'update in batch': 3165, '/': 12375, 'loss': 6.502130031585693}\n",
+      "{'epoch': 0, 'update in batch': 3166, '/': 12375, 'loss': 6.9248366355896}\n",
+      "{'epoch': 0, 'update in batch': 3167, '/': 12375, 'loss': 7.163841247558594}\n",
+      "{'epoch': 0, 'update in batch': 3168, '/': 12375, 'loss': 7.288858890533447}\n",
+      "{'epoch': 0, 'update in batch': 3169, '/': 12375, 'loss': 7.826150417327881}\n",
+      "{'epoch': 0, 'update in batch': 3170, '/': 12375, 'loss': 7.349675178527832}\n",
+      "{'epoch': 0, 'update in batch': 3171, '/': 12375, 'loss': 7.527787208557129}\n",
+      "{'epoch': 0, 'update in batch': 3172, '/': 12375, 'loss': 6.903634071350098}\n",
+      "{'epoch': 0, 'update in batch': 3173, '/': 12375, 'loss': 7.49733829498291}\n",
+      "{'epoch': 0, 'update in batch': 3174, '/': 12375, 'loss': 7.5245208740234375}\n",
+      "{'epoch': 0, 'update in batch': 3175, '/': 12375, 'loss': 7.255663871765137}\n",
+      "{'epoch': 0, 'update in batch': 3176, '/': 12375, 'loss': 7.3943772315979}\n",
+      "{'epoch': 0, 'update in batch': 3177, '/': 12375, 'loss': 6.851966857910156}\n",
+      "{'epoch': 0, 'update in batch': 3178, '/': 12375, 'loss': 6.689774990081787}\n",
+      "{'epoch': 0, 'update in batch': 3179, '/': 12375, 'loss': 7.673622131347656}\n",
+      "{'epoch': 0, 'update in batch': 3180, '/': 12375, 'loss': 6.473431587219238}\n",
+      "{'epoch': 0, 'update in batch': 3181, '/': 12375, 'loss': 6.620963096618652}\n",
+      "{'epoch': 0, 'update in batch': 3182, '/': 12375, 'loss': 6.885664939880371}\n",
+      "{'epoch': 0, 'update in batch': 3183, '/': 12375, 'loss': 7.2498908042907715}\n",
+      "{'epoch': 0, 'update in batch': 3184, '/': 12375, 'loss': 6.859260559082031}\n",
+      "{'epoch': 0, 'update in batch': 3185, '/': 12375, 'loss': 6.827476501464844}\n",
+      "{'epoch': 0, 'update in batch': 3186, '/': 12375, 'loss': 7.108075141906738}\n",
+      "{'epoch': 0, 'update in batch': 3187, '/': 12375, 'loss': 6.306813716888428}\n",
+      "{'epoch': 0, 'update in batch': 3188, '/': 12375, 'loss': 7.155341148376465}\n",
+      "{'epoch': 0, 'update in batch': 3189, '/': 12375, 'loss': 7.188033103942871}\n",
+      "{'epoch': 0, 'update in batch': 3190, '/': 12375, 'loss': 6.875087738037109}\n",
+      "{'epoch': 0, 'update in batch': 3191, '/': 12375, 'loss': 6.506478786468506}\n",
+      "{'epoch': 0, 'update in batch': 3192, '/': 12375, 'loss': 7.4693121910095215}\n",
+      "{'epoch': 0, 'update in batch': 3193, '/': 12375, 'loss': 7.468523979187012}\n",
+      "{'epoch': 0, 'update in batch': 3194, '/': 12375, 'loss': 7.732079982757568}\n",
+      "{'epoch': 0, 'update in batch': 3195, '/': 12375, 'loss': 6.993673801422119}\n",
+      "{'epoch': 0, 'update in batch': 3196, '/': 12375, 'loss': 7.318212032318115}\n",
+      "{'epoch': 0, 'update in batch': 3197, '/': 12375, 'loss': 7.029282569885254}\n",
+      "{'epoch': 0, 'update in batch': 3198, '/': 12375, 'loss': 6.2780985832214355}\n",
+      "{'epoch': 0, 'update in batch': 3199, '/': 12375, 'loss': 7.5916242599487305}\n",
+      "{'epoch': 0, 'update in batch': 3200, '/': 12375, 'loss': 7.332568168640137}\n",
+      "{'epoch': 0, 'update in batch': 3201, '/': 12375, 'loss': 7.072151184082031}\n",
+      "{'epoch': 0, 'update in batch': 3202, '/': 12375, 'loss': 7.839757442474365}\n",
+      "{'epoch': 0, 'update in batch': 3203, '/': 12375, 'loss': 8.215461730957031}\n",
+      "{'epoch': 0, 'update in batch': 3204, '/': 12375, 'loss': 8.39918041229248}\n",
+      "{'epoch': 0, 'update in batch': 3205, '/': 12375, 'loss': 7.77678918838501}\n",
+      "{'epoch': 0, 'update in batch': 3206, '/': 12375, 'loss': 7.8207688331604}\n",
+      "{'epoch': 0, 'update in batch': 3207, '/': 12375, 'loss': 8.1435546875}\n",
+      "{'epoch': 0, 'update in batch': 3208, '/': 12375, 'loss': 7.540421962738037}\n",
+      "{'epoch': 0, 'update in batch': 3209, '/': 12375, 'loss': 7.782515525817871}\n",
+      "{'epoch': 0, 'update in batch': 3210, '/': 12375, 'loss': 7.843951225280762}\n",
+      "{'epoch': 0, 'update in batch': 3211, '/': 12375, 'loss': 7.575982570648193}\n",
+      "{'epoch': 0, 'update in batch': 3212, '/': 12375, 'loss': 7.728855133056641}\n",
+      "{'epoch': 0, 'update in batch': 3213, '/': 12375, 'loss': 7.535140037536621}\n",
+      "{'epoch': 0, 'update in batch': 3214, '/': 12375, 'loss': 8.219381332397461}\n",
+      "{'epoch': 0, 'update in batch': 3215, '/': 12375, 'loss': 7.966571807861328}\n",
+      "{'epoch': 0, 'update in batch': 3216, '/': 12375, 'loss': 7.85391902923584}\n",
+      "{'epoch': 0, 'update in batch': 3217, '/': 12375, 'loss': 7.809024810791016}\n",
+      "{'epoch': 0, 'update in batch': 3218, '/': 12375, 'loss': 7.758584022521973}\n",
+      "{'epoch': 0, 'update in batch': 3219, '/': 12375, 'loss': 7.391544342041016}\n",
+      "{'epoch': 0, 'update in batch': 3220, '/': 12375, 'loss': 7.20233678817749}\n",
+      "{'epoch': 0, 'update in batch': 3221, '/': 12375, 'loss': 7.447073936462402}\n",
+      "{'epoch': 0, 'update in batch': 3222, '/': 12375, 'loss': 7.836056709289551}\n",
+      "{'epoch': 0, 'update in batch': 3223, '/': 12375, 'loss': 7.810312747955322}\n",
+      "{'epoch': 0, 'update in batch': 3224, '/': 12375, 'loss': 7.433620452880859}\n",
+      "{'epoch': 0, 'update in batch': 3225, '/': 12375, 'loss': 7.637665748596191}\n",
+      "{'epoch': 0, 'update in batch': 3226, '/': 12375, 'loss': 7.796667575836182}\n",
+      "{'epoch': 0, 'update in batch': 3227, '/': 12375, 'loss': 6.794007778167725}\n",
+      "{'epoch': 0, 'update in batch': 3228, '/': 12375, 'loss': 6.654484748840332}\n",
+      "{'epoch': 0, 'update in batch': 3229, '/': 12375, 'loss': 7.1428422927856445}\n",
+      "{'epoch': 0, 'update in batch': 3230, '/': 12375, 'loss': 7.851737022399902}\n",
+      "{'epoch': 0, 'update in batch': 3231, '/': 12375, 'loss': 7.307122230529785}\n",
+      "{'epoch': 0, 'update in batch': 3232, '/': 12375, 'loss': 7.775801658630371}\n",
+      "{'epoch': 0, 'update in batch': 3233, '/': 12375, 'loss': 8.521066665649414}\n",
+      "{'epoch': 0, 'update in batch': 3234, '/': 12375, 'loss': 7.344117641448975}\n",
+      "{'epoch': 0, 'update in batch': 3235, '/': 12375, 'loss': 7.765437126159668}\n",
+      "{'epoch': 0, 'update in batch': 3236, '/': 12375, 'loss': 7.490877628326416}\n",
+      "{'epoch': 0, 'update in batch': 3237, '/': 12375, 'loss': 7.601366996765137}\n",
+      "{'epoch': 0, 'update in batch': 3238, '/': 12375, 'loss': 7.296820640563965}\n",
+      "{'epoch': 0, 'update in batch': 3239, '/': 12375, 'loss': 6.895683288574219}\n",
+      "{'epoch': 0, 'update in batch': 3240, '/': 12375, 'loss': 7.453482151031494}\n",
+      "{'epoch': 0, 'update in batch': 3241, '/': 12375, 'loss': 7.998887538909912}\n",
+      "{'epoch': 0, 'update in batch': 3242, '/': 12375, 'loss': 7.992328643798828}\n",
+      "{'epoch': 0, 'update in batch': 3243, '/': 12375, 'loss': 8.27669906616211}\n",
+      "{'epoch': 0, 'update in batch': 3244, '/': 12375, 'loss': 7.036562919616699}\n",
+      "{'epoch': 0, 'update in batch': 3245, '/': 12375, 'loss': 7.211058616638184}\n",
+      "{'epoch': 0, 'update in batch': 3246, '/': 12375, 'loss': 8.219345092773438}\n",
+      "{'epoch': 0, 'update in batch': 3247, '/': 12375, 'loss': 8.245720863342285}\n",
+      "{'epoch': 0, 'update in batch': 3248, '/': 12375, 'loss': 7.9115190505981445}\n",
+      "{'epoch': 0, 'update in batch': 3249, '/': 12375, 'loss': 8.195258140563965}\n",
+      "{'epoch': 0, 'update in batch': 3250, '/': 12375, 'loss': 7.991541862487793}\n",
+      "{'epoch': 0, 'update in batch': 3251, '/': 12375, 'loss': 7.225949287414551}\n",
+      "{'epoch': 0, 'update in batch': 3252, '/': 12375, 'loss': 7.768918037414551}\n",
+      "{'epoch': 0, 'update in batch': 3253, '/': 12375, 'loss': 7.519688606262207}\n",
+      "{'epoch': 0, 'update in batch': 3254, '/': 12375, 'loss': 8.056065559387207}\n",
+      "{'epoch': 0, 'update in batch': 3255, '/': 12375, 'loss': 8.022146224975586}\n",
+      "{'epoch': 0, 'update in batch': 3256, '/': 12375, 'loss': 7.999739646911621}\n",
+      "{'epoch': 0, 'update in batch': 3257, '/': 12375, 'loss': 8.0640230178833}\n",
+      "{'epoch': 0, 'update in batch': 3258, '/': 12375, 'loss': 7.1297287940979}\n",
+      "{'epoch': 0, 'update in batch': 3259, '/': 12375, 'loss': 7.888003349304199}\n",
+      "{'epoch': 0, 'update in batch': 3260, '/': 12375, 'loss': 7.948598384857178}\n",
+      "{'epoch': 0, 'update in batch': 3261, '/': 12375, 'loss': 7.9163947105407715}\n",
+      "{'epoch': 0, 'update in batch': 3262, '/': 12375, 'loss': 7.438450813293457}\n",
+      "{'epoch': 0, 'update in batch': 3263, '/': 12375, 'loss': 8.297350883483887}\n",
+      "{'epoch': 0, 'update in batch': 3264, '/': 12375, 'loss': 7.667948246002197}\n",
+      "{'epoch': 0, 'update in batch': 3265, '/': 12375, 'loss': 7.998370170593262}\n",
+      "{'epoch': 0, 'update in batch': 3266, '/': 12375, 'loss': 7.750655174255371}\n",
+      "{'epoch': 0, 'update in batch': 3267, '/': 12375, 'loss': 7.513599395751953}\n",
+      "{'epoch': 0, 'update in batch': 3268, '/': 12375, 'loss': 7.820898532867432}\n",
+      "{'epoch': 0, 'update in batch': 3269, '/': 12375, 'loss': 6.942091941833496}\n",
+      "{'epoch': 0, 'update in batch': 3270, '/': 12375, 'loss': 7.885404109954834}\n",
+      "{'epoch': 0, 'update in batch': 3271, '/': 12375, 'loss': 7.865499019622803}\n",
+      "{'epoch': 0, 'update in batch': 3272, '/': 12375, 'loss': 7.790109157562256}\n",
+      "{'epoch': 0, 'update in batch': 3273, '/': 12375, 'loss': 8.019800186157227}\n",
+      "{'epoch': 0, 'update in batch': 3274, '/': 12375, 'loss': 7.900763511657715}\n",
+      "{'epoch': 0, 'update in batch': 3275, '/': 12375, 'loss': 8.044221878051758}\n",
+      "{'epoch': 0, 'update in batch': 3276, '/': 12375, 'loss': 7.711456298828125}\n",
+      "{'epoch': 0, 'update in batch': 3277, '/': 12375, 'loss': 7.972229957580566}\n",
+      "{'epoch': 0, 'update in batch': 3278, '/': 12375, 'loss': 7.4205780029296875}\n",
+      "{'epoch': 0, 'update in batch': 3279, '/': 12375, 'loss': 7.913492679595947}\n",
+      "{'epoch': 0, 'update in batch': 3280, '/': 12375, 'loss': 8.309840202331543}\n",
+      "{'epoch': 0, 'update in batch': 3281, '/': 12375, 'loss': 7.593149662017822}\n",
+      "{'epoch': 0, 'update in batch': 3282, '/': 12375, 'loss': 7.430418491363525}\n",
+      "{'epoch': 0, 'update in batch': 3283, '/': 12375, 'loss': 7.5702924728393555}\n",
+      "{'epoch': 0, 'update in batch': 3284, '/': 12375, 'loss': 7.944520473480225}\n",
+      "{'epoch': 0, 'update in batch': 3285, '/': 12375, 'loss': 7.582523345947266}\n",
+      "{'epoch': 0, 'update in batch': 3286, '/': 12375, 'loss': 7.800286293029785}\n",
+      "{'epoch': 0, 'update in batch': 3287, '/': 12375, 'loss': 7.689843654632568}\n",
+      "{'epoch': 0, 'update in batch': 3288, '/': 12375, 'loss': 7.284655570983887}\n",
+      "{'epoch': 0, 'update in batch': 3289, '/': 12375, 'loss': 7.61563777923584}\n",
+      "{'epoch': 0, 'update in batch': 3290, '/': 12375, 'loss': 8.254233360290527}\n",
+      "{'epoch': 0, 'update in batch': 3291, '/': 12375, 'loss': 8.060415267944336}\n",
+      "{'epoch': 0, 'update in batch': 3292, '/': 12375, 'loss': 8.372390747070312}\n",
+      "{'epoch': 0, 'update in batch': 3293, '/': 12375, 'loss': 7.970881462097168}\n",
+      "{'epoch': 0, 'update in batch': 3294, '/': 12375, 'loss': 7.685947418212891}\n",
+      "{'epoch': 0, 'update in batch': 3295, '/': 12375, 'loss': 7.587831974029541}\n",
+      "{'epoch': 0, 'update in batch': 3296, '/': 12375, 'loss': 8.191337585449219}\n",
+      "{'epoch': 0, 'update in batch': 3297, '/': 12375, 'loss': 8.02731704711914}\n",
+      "{'epoch': 0, 'update in batch': 3298, '/': 12375, 'loss': 8.103818893432617}\n",
+      "{'epoch': 0, 'update in batch': 3299, '/': 12375, 'loss': 7.5598273277282715}\n",
+      "{'epoch': 0, 'update in batch': 3300, '/': 12375, 'loss': 8.111425399780273}\n",
+      "{'epoch': 0, 'update in batch': 3301, '/': 12375, 'loss': 7.635762691497803}\n",
+      "{'epoch': 0, 'update in batch': 3302, '/': 12375, 'loss': 7.53436803817749}\n",
+      "{'epoch': 0, 'update in batch': 3303, '/': 12375, 'loss': 8.302469253540039}\n",
+      "{'epoch': 0, 'update in batch': 3304, '/': 12375, 'loss': 7.966114044189453}\n",
+      "{'epoch': 0, 'update in batch': 3305, '/': 12375, 'loss': 8.161201477050781}\n",
+      "{'epoch': 0, 'update in batch': 3306, '/': 12375, 'loss': 8.15150260925293}\n",
+      "{'epoch': 0, 'update in batch': 3307, '/': 12375, 'loss': 7.882994651794434}\n",
+      "{'epoch': 0, 'update in batch': 3308, '/': 12375, 'loss': 8.034309387207031}\n",
+      "{'epoch': 0, 'update in batch': 3309, '/': 12375, 'loss': 8.21924877166748}\n",
+      "{'epoch': 0, 'update in batch': 3310, '/': 12375, 'loss': 7.638205528259277}\n",
+      "{'epoch': 0, 'update in batch': 3311, '/': 12375, 'loss': 8.266789436340332}\n",
+      "{'epoch': 0, 'update in batch': 3312, '/': 12375, 'loss': 8.001626968383789}\n",
+      "{'epoch': 0, 'update in batch': 3313, '/': 12375, 'loss': 8.116043090820312}\n",
+      "{'epoch': 0, 'update in batch': 3314, '/': 12375, 'loss': 7.828463554382324}\n",
+      "{'epoch': 0, 'update in batch': 3315, '/': 12375, 'loss': 7.880690574645996}\n",
+      "{'epoch': 0, 'update in batch': 3316, '/': 12375, 'loss': 7.4852190017700195}\n",
+      "{'epoch': 0, 'update in batch': 3317, '/': 12375, 'loss': 8.675924301147461}\n",
+      "{'epoch': 0, 'update in batch': 3318, '/': 12375, 'loss': 7.752758979797363}\n",
+      "{'epoch': 0, 'update in batch': 3319, '/': 12375, 'loss': 7.951207160949707}\n",
+      "{'epoch': 0, 'update in batch': 3320, '/': 12375, 'loss': 8.460729598999023}\n",
+      "{'epoch': 0, 'update in batch': 3321, '/': 12375, 'loss': 7.649537086486816}\n",
+      "{'epoch': 0, 'update in batch': 3322, '/': 12375, 'loss': 7.7123212814331055}\n",
+      "{'epoch': 0, 'update in batch': 3323, '/': 12375, 'loss': 8.05716609954834}\n",
+      "{'epoch': 0, 'update in batch': 3324, '/': 12375, 'loss': 7.5809783935546875}\n",
+      "{'epoch': 0, 'update in batch': 3325, '/': 12375, 'loss': 7.690744876861572}\n",
+      "{'epoch': 0, 'update in batch': 3326, '/': 12375, 'loss': 7.2519402503967285}\n",
+      "{'epoch': 0, 'update in batch': 3327, '/': 12375, 'loss': 7.77498722076416}\n",
+      "{'epoch': 0, 'update in batch': 3328, '/': 12375, 'loss': 7.046079158782959}\n",
+      "{'epoch': 0, 'update in batch': 3329, '/': 12375, 'loss': 7.791947364807129}\n",
+      "{'epoch': 0, 'update in batch': 3330, '/': 12375, 'loss': 7.662526607513428}\n",
+      "{'epoch': 0, 'update in batch': 3331, '/': 12375, 'loss': 8.05460262298584}\n",
+      "{'epoch': 0, 'update in batch': 3332, '/': 12375, 'loss': 7.339534759521484}\n",
+      "{'epoch': 0, 'update in batch': 3333, '/': 12375, 'loss': 7.659171104431152}\n",
+      "{'epoch': 0, 'update in batch': 3334, '/': 12375, 'loss': 7.452984809875488}\n",
+      "{'epoch': 0, 'update in batch': 3335, '/': 12375, 'loss': 7.7135772705078125}\n",
+      "{'epoch': 0, 'update in batch': 3336, '/': 12375, 'loss': 7.129541873931885}\n",
+      "{'epoch': 0, 'update in batch': 3337, '/': 12375, 'loss': 7.433530330657959}\n",
+      "{'epoch': 0, 'update in batch': 3338, '/': 12375, 'loss': 7.917319297790527}\n",
+      "{'epoch': 0, 'update in batch': 3339, '/': 12375, 'loss': 7.508246421813965}\n",
+      "{'epoch': 0, 'update in batch': 3340, '/': 12375, 'loss': 7.801550388336182}\n",
+      "{'epoch': 0, 'update in batch': 3341, '/': 12375, 'loss': 7.500777244567871}\n",
+      "{'epoch': 0, 'update in batch': 3342, '/': 12375, 'loss': 8.05531120300293}\n",
+      "{'epoch': 0, 'update in batch': 3343, '/': 12375, 'loss': 7.592851161956787}\n",
+      "{'epoch': 0, 'update in batch': 3344, '/': 12375, 'loss': 8.184425354003906}\n",
+      "{'epoch': 0, 'update in batch': 3345, '/': 12375, 'loss': 7.220823764801025}\n",
+      "{'epoch': 0, 'update in batch': 3346, '/': 12375, 'loss': 7.209889888763428}\n",
+      "{'epoch': 0, 'update in batch': 3347, '/': 12375, 'loss': 8.389265060424805}\n",
+      "{'epoch': 0, 'update in batch': 3348, '/': 12375, 'loss': 8.171651840209961}\n",
+      "{'epoch': 0, 'update in batch': 3349, '/': 12375, 'loss': 8.196542739868164}\n",
+      "{'epoch': 0, 'update in batch': 3350, '/': 12375, 'loss': 7.928133964538574}\n",
+      "{'epoch': 0, 'update in batch': 3351, '/': 12375, 'loss': 7.585223197937012}\n",
+      "{'epoch': 0, 'update in batch': 3352, '/': 12375, 'loss': 7.488560676574707}\n",
+      "{'epoch': 0, 'update in batch': 3353, '/': 12375, 'loss': 7.519318580627441}\n",
+      "{'epoch': 0, 'update in batch': 3354, '/': 12375, 'loss': 7.086424350738525}\n",
+      "{'epoch': 0, 'update in batch': 3355, '/': 12375, 'loss': 7.836411476135254}\n",
+      "{'epoch': 0, 'update in batch': 3356, '/': 12375, 'loss': 7.498337745666504}\n",
+      "{'epoch': 0, 'update in batch': 3357, '/': 12375, 'loss': 7.71463680267334}\n",
+      "{'epoch': 0, 'update in batch': 3358, '/': 12375, 'loss': 7.859415531158447}\n",
+      "{'epoch': 0, 'update in batch': 3359, '/': 12375, 'loss': 7.912990570068359}\n",
+      "{'epoch': 0, 'update in batch': 3360, '/': 12375, 'loss': 7.95147180557251}\n",
+      "{'epoch': 0, 'update in batch': 3361, '/': 12375, 'loss': 7.722349643707275}\n",
+      "{'epoch': 0, 'update in batch': 3362, '/': 12375, 'loss': 7.347748756408691}\n",
+      "{'epoch': 0, 'update in batch': 3363, '/': 12375, 'loss': 7.8629584312438965}\n",
+      "{'epoch': 0, 'update in batch': 3364, '/': 12375, 'loss': 7.8100690841674805}\n",
+      "{'epoch': 0, 'update in batch': 3365, '/': 12375, 'loss': 7.471637725830078}\n",
+      "{'epoch': 0, 'update in batch': 3366, '/': 12375, 'loss': 7.109799861907959}\n",
+      "{'epoch': 0, 'update in batch': 3367, '/': 12375, 'loss': 7.0750412940979}\n",
+      "{'epoch': 0, 'update in batch': 3368, '/': 12375, 'loss': 7.868762969970703}\n",
+      "{'epoch': 0, 'update in batch': 3369, '/': 12375, 'loss': 7.819532871246338}\n",
+      "{'epoch': 0, 'update in batch': 3370, '/': 12375, 'loss': 7.230889797210693}\n",
+      "{'epoch': 0, 'update in batch': 3371, '/': 12375, 'loss': 7.31570291519165}\n",
+      "{'epoch': 0, 'update in batch': 3372, '/': 12375, 'loss': 7.4874982833862305}\n",
+      "{'epoch': 0, 'update in batch': 3373, '/': 12375, 'loss': 7.071408748626709}\n",
+      "{'epoch': 0, 'update in batch': 3374, '/': 12375, 'loss': 7.07100772857666}\n",
+      "{'epoch': 0, 'update in batch': 3375, '/': 12375, 'loss': 7.681372165679932}\n",
+      "{'epoch': 0, 'update in batch': 3376, '/': 12375, 'loss': 7.48465633392334}\n",
+      "{'epoch': 0, 'update in batch': 3377, '/': 12375, 'loss': 7.503055572509766}\n",
+      "{'epoch': 0, 'update in batch': 3378, '/': 12375, 'loss': 7.160514831542969}\n",
+      "{'epoch': 0, 'update in batch': 3379, '/': 12375, 'loss': 6.646467685699463}\n",
+      "{'epoch': 0, 'update in batch': 3380, '/': 12375, 'loss': 7.128727912902832}\n",
+      "{'epoch': 0, 'update in batch': 3381, '/': 12375, 'loss': 6.518299102783203}\n",
+      "{'epoch': 0, 'update in batch': 3382, '/': 12375, 'loss': 6.774765968322754}\n",
+      "{'epoch': 0, 'update in batch': 3383, '/': 12375, 'loss': 7.307092189788818}\n",
+      "{'epoch': 0, 'update in batch': 3384, '/': 12375, 'loss': 7.291505336761475}\n",
+      "{'epoch': 0, 'update in batch': 3385, '/': 12375, 'loss': 7.033284664154053}\n",
+      "{'epoch': 0, 'update in batch': 3386, '/': 12375, 'loss': 7.233060359954834}\n",
+      "{'epoch': 0, 'update in batch': 3387, '/': 12375, 'loss': 6.617786407470703}\n",
+      "{'epoch': 0, 'update in batch': 3388, '/': 12375, 'loss': 6.566526889801025}\n",
+      "{'epoch': 0, 'update in batch': 3389, '/': 12375, 'loss': 7.398942470550537}\n",
+      "{'epoch': 0, 'update in batch': 3390, '/': 12375, 'loss': 7.153342247009277}\n",
+      "{'epoch': 0, 'update in batch': 3391, '/': 12375, 'loss': 6.489373207092285}\n",
+      "{'epoch': 0, 'update in batch': 3392, '/': 12375, 'loss': 7.619235992431641}\n",
+      "{'epoch': 0, 'update in batch': 3393, '/': 12375, 'loss': 7.83416748046875}\n",
+      "{'epoch': 0, 'update in batch': 3394, '/': 12375, 'loss': 7.108273983001709}\n",
+      "{'epoch': 0, 'update in batch': 3395, '/': 12375, 'loss': 7.504721164703369}\n",
+      "{'epoch': 0, 'update in batch': 3396, '/': 12375, 'loss': 6.680764198303223}\n",
+      "{'epoch': 0, 'update in batch': 3397, '/': 12375, 'loss': 6.542161464691162}\n",
+      "{'epoch': 0, 'update in batch': 3398, '/': 12375, 'loss': 7.450796604156494}\n",
+      "{'epoch': 0, 'update in batch': 3399, '/': 12375, 'loss': 7.126133918762207}\n",
+      "{'epoch': 0, 'update in batch': 3400, '/': 12375, 'loss': 7.212394714355469}\n",
+      "{'epoch': 0, 'update in batch': 3401, '/': 12375, 'loss': 7.5144758224487305}\n",
+      "{'epoch': 0, 'update in batch': 3402, '/': 12375, 'loss': 7.741865634918213}\n",
+      "{'epoch': 0, 'update in batch': 3403, '/': 12375, 'loss': 6.793835639953613}\n",
+      "{'epoch': 0, 'update in batch': 3404, '/': 12375, 'loss': 7.156632900238037}\n",
+      "{'epoch': 0, 'update in batch': 3405, '/': 12375, 'loss': 7.5370774269104}\n",
+      "{'epoch': 0, 'update in batch': 3406, '/': 12375, 'loss': 7.9432053565979}\n",
+      "{'epoch': 0, 'update in batch': 3407, '/': 12375, 'loss': 7.84069299697876}\n",
+      "{'epoch': 0, 'update in batch': 3408, '/': 12375, 'loss': 7.896052360534668}\n",
+      "{'epoch': 0, 'update in batch': 3409, '/': 12375, 'loss': 7.4674553871154785}\n",
+      "{'epoch': 0, 'update in batch': 3410, '/': 12375, 'loss': 7.32473087310791}\n",
+      "{'epoch': 0, 'update in batch': 3411, '/': 12375, 'loss': 7.7305121421813965}\n",
+      "{'epoch': 0, 'update in batch': 3412, '/': 12375, 'loss': 7.304769039154053}\n",
+      "{'epoch': 0, 'update in batch': 3413, '/': 12375, 'loss': 7.334822654724121}\n",
+      "{'epoch': 0, 'update in batch': 3414, '/': 12375, 'loss': 7.918962001800537}\n",
+      "{'epoch': 0, 'update in batch': 3415, '/': 12375, 'loss': 7.6947340965271}\n",
+      "{'epoch': 0, 'update in batch': 3416, '/': 12375, 'loss': 7.921165466308594}\n",
+      "{'epoch': 0, 'update in batch': 3417, '/': 12375, 'loss': 7.977654933929443}\n",
+      "{'epoch': 0, 'update in batch': 3418, '/': 12375, 'loss': 7.787397861480713}\n",
+      "{'epoch': 0, 'update in batch': 3419, '/': 12375, 'loss': 8.030508041381836}\n",
+      "{'epoch': 0, 'update in batch': 3420, '/': 12375, 'loss': 7.252577781677246}\n",
+      "{'epoch': 0, 'update in batch': 3421, '/': 12375, 'loss': 7.252226829528809}\n",
+      "{'epoch': 0, 'update in batch': 3422, '/': 12375, 'loss': 7.631161689758301}\n",
+      "{'epoch': 0, 'update in batch': 3423, '/': 12375, 'loss': 7.165284156799316}\n",
+      "{'epoch': 0, 'update in batch': 3424, '/': 12375, 'loss': 7.7479681968688965}\n",
+      "{'epoch': 0, 'update in batch': 3425, '/': 12375, 'loss': 6.773079872131348}\n",
+      "{'epoch': 0, 'update in batch': 3426, '/': 12375, 'loss': 7.4592485427856445}\n",
+      "{'epoch': 0, 'update in batch': 3427, '/': 12375, 'loss': 6.683504581451416}\n",
+      "{'epoch': 0, 'update in batch': 3428, '/': 12375, 'loss': 7.4737043380737305}\n",
+      "{'epoch': 0, 'update in batch': 3429, '/': 12375, 'loss': 7.264613151550293}\n",
+      "{'epoch': 0, 'update in batch': 3430, '/': 12375, 'loss': 7.253007411956787}\n",
+      "{'epoch': 0, 'update in batch': 3431, '/': 12375, 'loss': 6.800262451171875}\n",
+      "{'epoch': 0, 'update in batch': 3432, '/': 12375, 'loss': 7.21584415435791}\n",
+      "{'epoch': 0, 'update in batch': 3433, '/': 12375, 'loss': 7.586913108825684}\n",
+      "{'epoch': 0, 'update in batch': 3434, '/': 12375, 'loss': 7.1565842628479}\n",
+      "{'epoch': 0, 'update in batch': 3435, '/': 12375, 'loss': 7.038645267486572}\n",
+      "{'epoch': 0, 'update in batch': 3436, '/': 12375, 'loss': 7.110130310058594}\n",
+      "{'epoch': 0, 'update in batch': 3437, '/': 12375, 'loss': 7.445265769958496}\n",
+      "{'epoch': 0, 'update in batch': 3438, '/': 12375, 'loss': 6.7966461181640625}\n",
+      "{'epoch': 0, 'update in batch': 3439, '/': 12375, 'loss': 7.366489410400391}\n",
+      "{'epoch': 0, 'update in batch': 3440, '/': 12375, 'loss': 7.243669033050537}\n",
+      "{'epoch': 0, 'update in batch': 3441, '/': 12375, 'loss': 7.666172981262207}\n",
+      "{'epoch': 0, 'update in batch': 3442, '/': 12375, 'loss': 7.622140407562256}\n",
+      "{'epoch': 0, 'update in batch': 3443, '/': 12375, 'loss': 7.991959571838379}\n",
+      "{'epoch': 0, 'update in batch': 3444, '/': 12375, 'loss': 7.9606733322143555}\n",
+      "{'epoch': 0, 'update in batch': 3445, '/': 12375, 'loss': 7.617913722991943}\n",
+      "{'epoch': 0, 'update in batch': 3446, '/': 12375, 'loss': 7.655299186706543}\n",
+      "{'epoch': 0, 'update in batch': 3447, '/': 12375, 'loss': 7.788479804992676}\n",
+      "{'epoch': 0, 'update in batch': 3448, '/': 12375, 'loss': 7.834935665130615}\n",
+      "{'epoch': 0, 'update in batch': 3449, '/': 12375, 'loss': 7.953607082366943}\n",
+      "{'epoch': 0, 'update in batch': 3450, '/': 12375, 'loss': 7.9901299476623535}\n",
+      "{'epoch': 0, 'update in batch': 3451, '/': 12375, 'loss': 7.324563503265381}\n",
+      "{'epoch': 0, 'update in batch': 3452, '/': 12375, 'loss': 7.68551778793335}\n",
+      "{'epoch': 0, 'update in batch': 3453, '/': 12375, 'loss': 7.725823879241943}\n",
+      "{'epoch': 0, 'update in batch': 3454, '/': 12375, 'loss': 7.164575099945068}\n",
+      "{'epoch': 0, 'update in batch': 3455, '/': 12375, 'loss': 6.991201877593994}\n",
+      "{'epoch': 0, 'update in batch': 3456, '/': 12375, 'loss': 6.624053955078125}\n",
+      "{'epoch': 0, 'update in batch': 3457, '/': 12375, 'loss': 7.3003950119018555}\n",
+      "{'epoch': 0, 'update in batch': 3458, '/': 12375, 'loss': 7.292420387268066}\n",
+      "{'epoch': 0, 'update in batch': 3459, '/': 12375, 'loss': 7.685760498046875}\n",
+      "{'epoch': 0, 'update in batch': 3460, '/': 12375, 'loss': 8.352083206176758}\n",
+      "{'epoch': 0, 'update in batch': 3461, '/': 12375, 'loss': 7.7614312171936035}\n",
+      "{'epoch': 0, 'update in batch': 3462, '/': 12375, 'loss': 7.60547399520874}\n",
+      "{'epoch': 0, 'update in batch': 3463, '/': 12375, 'loss': 7.77175235748291}\n",
+      "{'epoch': 0, 'update in batch': 3464, '/': 12375, 'loss': 8.163270950317383}\n",
+      "{'epoch': 0, 'update in batch': 3465, '/': 12375, 'loss': 7.0322089195251465}\n",
+      "{'epoch': 0, 'update in batch': 3466, '/': 12375, 'loss': 7.848971366882324}\n",
+      "{'epoch': 0, 'update in batch': 3467, '/': 12375, 'loss': 7.901511192321777}\n",
+      "{'epoch': 0, 'update in batch': 3468, '/': 12375, 'loss': 7.5144171714782715}\n",
+      "{'epoch': 0, 'update in batch': 3469, '/': 12375, 'loss': 8.299783706665039}\n",
+      "{'epoch': 0, 'update in batch': 3470, '/': 12375, 'loss': 7.803095817565918}\n",
+      "{'epoch': 0, 'update in batch': 3471, '/': 12375, 'loss': 8.090737342834473}\n",
+      "{'epoch': 0, 'update in batch': 3472, '/': 12375, 'loss': 8.26602840423584}\n",
+      "{'epoch': 0, 'update in batch': 3473, '/': 12375, 'loss': 8.390642166137695}\n",
+      "{'epoch': 0, 'update in batch': 3474, '/': 12375, 'loss': 7.908360481262207}\n",
+      "{'epoch': 0, 'update in batch': 3475, '/': 12375, 'loss': 8.305585861206055}\n",
+      "{'epoch': 0, 'update in batch': 3476, '/': 12375, 'loss': 7.349305629730225}\n",
+      "{'epoch': 0, 'update in batch': 3477, '/': 12375, 'loss': 7.3470258712768555}\n",
+      "{'epoch': 0, 'update in batch': 3478, '/': 12375, 'loss': 7.395788669586182}\n",
+      "{'epoch': 0, 'update in batch': 3479, '/': 12375, 'loss': 7.388566493988037}\n",
+      "{'epoch': 0, 'update in batch': 3480, '/': 12375, 'loss': 7.753627777099609}\n",
+      "{'epoch': 0, 'update in batch': 3481, '/': 12375, 'loss': 8.324061393737793}\n",
+      "{'epoch': 0, 'update in batch': 3482, '/': 12375, 'loss': 7.880850315093994}\n",
+      "{'epoch': 0, 'update in batch': 3483, '/': 12375, 'loss': 7.63500452041626}\n",
+      "{'epoch': 0, 'update in batch': 3484, '/': 12375, 'loss': 7.910398960113525}\n",
+      "{'epoch': 0, 'update in batch': 3485, '/': 12375, 'loss': 7.815483093261719}\n",
+      "{'epoch': 0, 'update in batch': 3486, '/': 12375, 'loss': 8.013311386108398}\n",
+      "{'epoch': 0, 'update in batch': 3487, '/': 12375, 'loss': 7.848081111907959}\n",
+      "{'epoch': 0, 'update in batch': 3488, '/': 12375, 'loss': 7.788343906402588}\n",
+      "{'epoch': 0, 'update in batch': 3489, '/': 12375, 'loss': 7.917201995849609}\n",
+      "{'epoch': 0, 'update in batch': 3490, '/': 12375, 'loss': 7.735177040100098}\n",
+      "{'epoch': 0, 'update in batch': 3491, '/': 12375, 'loss': 8.198917388916016}\n",
+      "{'epoch': 0, 'update in batch': 3492, '/': 12375, 'loss': 8.138331413269043}\n",
+      "{'epoch': 0, 'update in batch': 3493, '/': 12375, 'loss': 8.259032249450684}\n",
+      "{'epoch': 0, 'update in batch': 3494, '/': 12375, 'loss': 8.274231910705566}\n",
+      "{'epoch': 0, 'update in batch': 3495, '/': 12375, 'loss': 7.974128723144531}\n",
+      "{'epoch': 0, 'update in batch': 3496, '/': 12375, 'loss': 7.782811641693115}\n",
+      "{'epoch': 0, 'update in batch': 3497, '/': 12375, 'loss': 7.898497581481934}\n",
+      "{'epoch': 0, 'update in batch': 3498, '/': 12375, 'loss': 7.4416327476501465}\n",
+      "{'epoch': 0, 'update in batch': 3499, '/': 12375, 'loss': 7.694573879241943}\n",
+      "{'epoch': 0, 'update in batch': 3500, '/': 12375, 'loss': 7.512418270111084}\n",
+      "{'epoch': 0, 'update in batch': 3501, '/': 12375, 'loss': 7.89013147354126}\n",
+      "{'epoch': 0, 'update in batch': 3502, '/': 12375, 'loss': 7.545772552490234}\n",
+      "{'epoch': 0, 'update in batch': 3503, '/': 12375, 'loss': 7.909228324890137}\n",
+      "{'epoch': 0, 'update in batch': 3504, '/': 12375, 'loss': 6.990796089172363}\n",
+      "{'epoch': 0, 'update in batch': 3505, '/': 12375, 'loss': 6.960345268249512}\n",
+      "{'epoch': 0, 'update in batch': 3506, '/': 12375, 'loss': 7.2024335861206055}\n",
+      "{'epoch': 0, 'update in batch': 3507, '/': 12375, 'loss': 7.3727898597717285}\n",
+      "{'epoch': 0, 'update in batch': 3508, '/': 12375, 'loss': 7.607862949371338}\n",
+      "{'epoch': 0, 'update in batch': 3509, '/': 12375, 'loss': 6.9701128005981445}\n",
+      "{'epoch': 0, 'update in batch': 3510, '/': 12375, 'loss': 7.7397780418396}\n",
+      "{'epoch': 0, 'update in batch': 3511, '/': 12375, 'loss': 7.6053032875061035}\n",
+      "{'epoch': 0, 'update in batch': 3512, '/': 12375, 'loss': 7.274838447570801}\n",
+      "{'epoch': 0, 'update in batch': 3513, '/': 12375, 'loss': 7.6670989990234375}\n",
+      "{'epoch': 0, 'update in batch': 3514, '/': 12375, 'loss': 7.288649559020996}\n",
+      "{'epoch': 0, 'update in batch': 3515, '/': 12375, 'loss': 7.435955047607422}\n",
+      "{'epoch': 0, 'update in batch': 3516, '/': 12375, 'loss': 7.938813209533691}\n",
+      "{'epoch': 0, 'update in batch': 3517, '/': 12375, 'loss': 8.295195579528809}\n",
+      "{'epoch': 0, 'update in batch': 3518, '/': 12375, 'loss': 8.311206817626953}\n",
+      "{'epoch': 0, 'update in batch': 3519, '/': 12375, 'loss': 8.098798751831055}\n",
+      "{'epoch': 0, 'update in batch': 3520, '/': 12375, 'loss': 7.782050132751465}\n",
+      "{'epoch': 0, 'update in batch': 3521, '/': 12375, 'loss': 7.355924129486084}\n",
+      "{'epoch': 0, 'update in batch': 3522, '/': 12375, 'loss': 7.978977203369141}\n",
+      "{'epoch': 0, 'update in batch': 3523, '/': 12375, 'loss': 7.871427059173584}\n",
+      "{'epoch': 0, 'update in batch': 3524, '/': 12375, 'loss': 7.604496955871582}\n",
+      "{'epoch': 0, 'update in batch': 3525, '/': 12375, 'loss': 7.5679931640625}\n",
+      "{'epoch': 0, 'update in batch': 3526, '/': 12375, 'loss': 7.770044803619385}\n",
+      "{'epoch': 0, 'update in batch': 3527, '/': 12375, 'loss': 7.138195037841797}\n",
+      "{'epoch': 0, 'update in batch': 3528, '/': 12375, 'loss': 7.169491767883301}\n",
+      "{'epoch': 0, 'update in batch': 3529, '/': 12375, 'loss': 7.252696990966797}\n",
+      "{'epoch': 0, 'update in batch': 3530, '/': 12375, 'loss': 6.796225070953369}\n",
+      "{'epoch': 0, 'update in batch': 3531, '/': 12375, 'loss': 7.782601833343506}\n",
+      "{'epoch': 0, 'update in batch': 3532, '/': 12375, 'loss': 7.360731601715088}\n",
+      "{'epoch': 0, 'update in batch': 3533, '/': 12375, 'loss': 7.212018013000488}\n",
+      "{'epoch': 0, 'update in batch': 3534, '/': 12375, 'loss': 7.164029121398926}\n",
+      "{'epoch': 0, 'update in batch': 3535, '/': 12375, 'loss': 7.409543037414551}\n",
+      "{'epoch': 0, 'update in batch': 3536, '/': 12375, 'loss': 6.9764723777771}\n",
+      "{'epoch': 0, 'update in batch': 3537, '/': 12375, 'loss': 7.325207710266113}\n",
+      "{'epoch': 0, 'update in batch': 3538, '/': 12375, 'loss': 7.506722927093506}\n",
+      "{'epoch': 0, 'update in batch': 3539, '/': 12375, 'loss': 7.264639377593994}\n",
+      "{'epoch': 0, 'update in batch': 3540, '/': 12375, 'loss': 6.8611860275268555}\n",
+      "{'epoch': 0, 'update in batch': 3541, '/': 12375, 'loss': 7.770247459411621}\n",
+      "{'epoch': 0, 'update in batch': 3542, '/': 12375, 'loss': 7.5161590576171875}\n",
+      "{'epoch': 0, 'update in batch': 3543, '/': 12375, 'loss': 7.270610809326172}\n",
+      "{'epoch': 0, 'update in batch': 3544, '/': 12375, 'loss': 7.1203508377075195}\n",
+      "{'epoch': 0, 'update in batch': 3545, '/': 12375, 'loss': 7.3226318359375}\n",
+      "{'epoch': 0, 'update in batch': 3546, '/': 12375, 'loss': 7.553206443786621}\n",
+      "{'epoch': 0, 'update in batch': 3547, '/': 12375, 'loss': 6.848227500915527}\n",
+      "{'epoch': 0, 'update in batch': 3548, '/': 12375, 'loss': 7.6721954345703125}\n",
+      "{'epoch': 0, 'update in batch': 3549, '/': 12375, 'loss': 7.001573085784912}\n",
+      "{'epoch': 0, 'update in batch': 3550, '/': 12375, 'loss': 6.448090553283691}\n",
+      "{'epoch': 0, 'update in batch': 3551, '/': 12375, 'loss': 6.9824957847595215}\n",
+      "{'epoch': 0, 'update in batch': 3552, '/': 12375, 'loss': 8.069150924682617}\n",
+      "{'epoch': 0, 'update in batch': 3553, '/': 12375, 'loss': 7.801331996917725}\n",
+      "{'epoch': 0, 'update in batch': 3554, '/': 12375, 'loss': 7.238347053527832}\n",
+      "{'epoch': 0, 'update in batch': 3555, '/': 12375, 'loss': 7.588435173034668}\n",
+      "{'epoch': 0, 'update in batch': 3556, '/': 12375, 'loss': 7.889557838439941}\n",
+      "{'epoch': 0, 'update in batch': 3557, '/': 12375, 'loss': 7.592700958251953}\n",
+      "{'epoch': 0, 'update in batch': 3558, '/': 12375, 'loss': 7.715437412261963}\n",
+      "{'epoch': 0, 'update in batch': 3559, '/': 12375, 'loss': 7.643648624420166}\n",
+      "{'epoch': 0, 'update in batch': 3560, '/': 12375, 'loss': 8.457907676696777}\n",
+      "{'epoch': 0, 'update in batch': 3561, '/': 12375, 'loss': 7.950319766998291}\n",
+      "{'epoch': 0, 'update in batch': 3562, '/': 12375, 'loss': 8.250519752502441}\n",
+      "{'epoch': 0, 'update in batch': 3563, '/': 12375, 'loss': 7.855457305908203}\n",
+      "{'epoch': 0, 'update in batch': 3564, '/': 12375, 'loss': 8.047307968139648}\n",
+      "{'epoch': 0, 'update in batch': 3565, '/': 12375, 'loss': 7.413621425628662}\n",
+      "{'epoch': 0, 'update in batch': 3566, '/': 12375, 'loss': 7.6126837730407715}\n",
+      "{'epoch': 0, 'update in batch': 3567, '/': 12375, 'loss': 7.820955753326416}\n",
+      "{'epoch': 0, 'update in batch': 3568, '/': 12375, 'loss': 7.332672119140625}\n",
+      "{'epoch': 0, 'update in batch': 3569, '/': 12375, 'loss': 7.3787994384765625}\n",
+      "{'epoch': 0, 'update in batch': 3570, '/': 12375, 'loss': 7.865579128265381}\n",
+      "{'epoch': 0, 'update in batch': 3571, '/': 12375, 'loss': 8.019292831420898}\n",
+      "{'epoch': 0, 'update in batch': 3572, '/': 12375, 'loss': 7.414463996887207}\n",
+      "{'epoch': 0, 'update in batch': 3573, '/': 12375, 'loss': 7.628294944763184}\n",
+      "{'epoch': 0, 'update in batch': 3574, '/': 12375, 'loss': 7.330622673034668}\n",
+      "{'epoch': 0, 'update in batch': 3575, '/': 12375, 'loss': 7.3532867431640625}\n",
+      "{'epoch': 0, 'update in batch': 3576, '/': 12375, 'loss': 8.12649917602539}\n",
+      "{'epoch': 0, 'update in batch': 3577, '/': 12375, 'loss': 7.892411231994629}\n",
+      "{'epoch': 0, 'update in batch': 3578, '/': 12375, 'loss': 7.8671674728393555}\n",
+      "{'epoch': 0, 'update in batch': 3579, '/': 12375, 'loss': 8.04111385345459}\n",
+      "{'epoch': 0, 'update in batch': 3580, '/': 12375, 'loss': 7.026043891906738}\n",
+      "{'epoch': 0, 'update in batch': 3581, '/': 12375, 'loss': 7.758036136627197}\n",
+      "{'epoch': 0, 'update in batch': 3582, '/': 12375, 'loss': 8.112350463867188}\n",
+      "{'epoch': 0, 'update in batch': 3583, '/': 12375, 'loss': 7.605167388916016}\n",
+      "{'epoch': 0, 'update in batch': 3584, '/': 12375, 'loss': 8.051969528198242}\n",
+      "{'epoch': 0, 'update in batch': 3585, '/': 12375, 'loss': 8.155628204345703}\n",
+      "{'epoch': 0, 'update in batch': 3586, '/': 12375, 'loss': 7.9575910568237305}\n",
+      "{'epoch': 0, 'update in batch': 3587, '/': 12375, 'loss': 8.132925033569336}\n",
+      "{'epoch': 0, 'update in batch': 3588, '/': 12375, 'loss': 7.958853244781494}\n",
+      "{'epoch': 0, 'update in batch': 3589, '/': 12375, 'loss': 8.156760215759277}\n",
+      "{'epoch': 0, 'update in batch': 3590, '/': 12375, 'loss': 7.788075923919678}\n",
+      "{'epoch': 0, 'update in batch': 3591, '/': 12375, 'loss': 8.145561218261719}\n",
+      "{'epoch': 0, 'update in batch': 3592, '/': 12375, 'loss': 7.728351593017578}\n",
+      "{'epoch': 0, 'update in batch': 3593, '/': 12375, 'loss': 7.7319016456604}\n",
+      "{'epoch': 0, 'update in batch': 3594, '/': 12375, 'loss': 8.151991844177246}\n",
+      "{'epoch': 0, 'update in batch': 3595, '/': 12375, 'loss': 8.004366874694824}\n",
+      "{'epoch': 0, 'update in batch': 3596, '/': 12375, 'loss': 8.907785415649414}\n",
+      "{'epoch': 0, 'update in batch': 3597, '/': 12375, 'loss': 7.777478218078613}\n",
+      "{'epoch': 0, 'update in batch': 3598, '/': 12375, 'loss': 8.263154029846191}\n",
+      "{'epoch': 0, 'update in batch': 3599, '/': 12375, 'loss': 8.023725509643555}\n",
+      "{'epoch': 0, 'update in batch': 3600, '/': 12375, 'loss': 8.596879959106445}\n",
+      "{'epoch': 0, 'update in batch': 3601, '/': 12375, 'loss': 7.523155212402344}\n",
+      "{'epoch': 0, 'update in batch': 3602, '/': 12375, 'loss': 7.864655494689941}\n",
+      "{'epoch': 0, 'update in batch': 3603, '/': 12375, 'loss': 7.746725559234619}\n",
+      "{'epoch': 0, 'update in batch': 3604, '/': 12375, 'loss': 8.070717811584473}\n",
+      "{'epoch': 0, 'update in batch': 3605, '/': 12375, 'loss': 7.989981651306152}\n",
+      "{'epoch': 0, 'update in batch': 3606, '/': 12375, 'loss': 7.888233184814453}\n",
+      "{'epoch': 0, 'update in batch': 3607, '/': 12375, 'loss': 7.905635833740234}\n",
+      "{'epoch': 0, 'update in batch': 3608, '/': 12375, 'loss': 7.905220031738281}\n",
+      "{'epoch': 0, 'update in batch': 3609, '/': 12375, 'loss': 8.287311553955078}\n",
+      "{'epoch': 0, 'update in batch': 3610, '/': 12375, 'loss': 7.758203983306885}\n",
+      "{'epoch': 0, 'update in batch': 3611, '/': 12375, 'loss': 7.261383056640625}\n",
+      "{'epoch': 0, 'update in batch': 3612, '/': 12375, 'loss': 7.435898780822754}\n",
+      "{'epoch': 0, 'update in batch': 3613, '/': 12375, 'loss': 7.442928314208984}\n",
+      "{'epoch': 0, 'update in batch': 3614, '/': 12375, 'loss': 7.002264976501465}\n",
+      "{'epoch': 0, 'update in batch': 3615, '/': 12375, 'loss': 7.676053047180176}\n",
+      "{'epoch': 0, 'update in batch': 3616, '/': 12375, 'loss': 7.167173862457275}\n",
+      "{'epoch': 0, 'update in batch': 3617, '/': 12375, 'loss': 7.591100215911865}\n",
+      "{'epoch': 0, 'update in batch': 3618, '/': 12375, 'loss': 6.544451713562012}\n",
+      "{'epoch': 0, 'update in batch': 3619, '/': 12375, 'loss': 7.333047389984131}\n",
+      "{'epoch': 0, 'update in batch': 3620, '/': 12375, 'loss': 7.143082618713379}\n",
+      "{'epoch': 0, 'update in batch': 3621, '/': 12375, 'loss': 6.864349365234375}\n",
+      "{'epoch': 0, 'update in batch': 3622, '/': 12375, 'loss': 7.640109062194824}\n",
+      "{'epoch': 0, 'update in batch': 3623, '/': 12375, 'loss': 8.245316505432129}\n",
+      "{'epoch': 0, 'update in batch': 3624, '/': 12375, 'loss': 7.206064701080322}\n",
+      "{'epoch': 0, 'update in batch': 3625, '/': 12375, 'loss': 7.141679286956787}\n",
+      "{'epoch': 0, 'update in batch': 3626, '/': 12375, 'loss': 7.385133266448975}\n",
+      "{'epoch': 0, 'update in batch': 3627, '/': 12375, 'loss': 7.709390163421631}\n",
+      "{'epoch': 0, 'update in batch': 3628, '/': 12375, 'loss': 7.5145769119262695}\n",
+      "{'epoch': 0, 'update in batch': 3629, '/': 12375, 'loss': 6.968080997467041}\n",
+      "{'epoch': 0, 'update in batch': 3630, '/': 12375, 'loss': 7.308017730712891}\n",
+      "{'epoch': 0, 'update in batch': 3631, '/': 12375, 'loss': 7.169394493103027}\n",
+      "{'epoch': 0, 'update in batch': 3632, '/': 12375, 'loss': 8.068411827087402}\n",
+      "{'epoch': 0, 'update in batch': 3633, '/': 12375, 'loss': 8.269430160522461}\n",
+      "{'epoch': 0, 'update in batch': 3634, '/': 12375, 'loss': 8.06273078918457}\n",
+      "{'epoch': 0, 'update in batch': 3635, '/': 12375, 'loss': 8.141912460327148}\n",
+      "{'epoch': 0, 'update in batch': 3636, '/': 12375, 'loss': 7.29227352142334}\n",
+      "{'epoch': 0, 'update in batch': 3637, '/': 12375, 'loss': 6.561767578125}\n",
+      "{'epoch': 0, 'update in batch': 3638, '/': 12375, 'loss': 7.765419960021973}\n",
+      "{'epoch': 0, 'update in batch': 3639, '/': 12375, 'loss': 7.353588104248047}\n",
+      "{'epoch': 0, 'update in batch': 3640, '/': 12375, 'loss': 6.722440242767334}\n",
+      "{'epoch': 0, 'update in batch': 3641, '/': 12375, 'loss': 7.1599321365356445}\n",
+      "{'epoch': 0, 'update in batch': 3642, '/': 12375, 'loss': 6.748190402984619}\n",
+      "{'epoch': 0, 'update in batch': 3643, '/': 12375, 'loss': 7.425180912017822}\n",
+      "{'epoch': 0, 'update in batch': 3644, '/': 12375, 'loss': 7.314518928527832}\n",
+      "{'epoch': 0, 'update in batch': 3645, '/': 12375, 'loss': 6.609219551086426}\n",
+      "{'epoch': 0, 'update in batch': 3646, '/': 12375, 'loss': 8.072138786315918}\n",
+      "{'epoch': 0, 'update in batch': 3647, '/': 12375, 'loss': 7.642051696777344}\n",
+      "{'epoch': 0, 'update in batch': 3648, '/': 12375, 'loss': 7.846604347229004}\n",
+      "{'epoch': 0, 'update in batch': 3649, '/': 12375, 'loss': 7.290295600891113}\n",
+      "{'epoch': 0, 'update in batch': 3650, '/': 12375, 'loss': 7.660280704498291}\n",
+      "{'epoch': 0, 'update in batch': 3651, '/': 12375, 'loss': 7.639077186584473}\n",
+      "{'epoch': 0, 'update in batch': 3652, '/': 12375, 'loss': 7.752329349517822}\n",
+      "{'epoch': 0, 'update in batch': 3653, '/': 12375, 'loss': 7.207692623138428}\n",
+      "{'epoch': 0, 'update in batch': 3654, '/': 12375, 'loss': 7.3146796226501465}\n",
+      "{'epoch': 0, 'update in batch': 3655, '/': 12375, 'loss': 7.248817443847656}\n",
+      "{'epoch': 0, 'update in batch': 3656, '/': 12375, 'loss': 7.498086452484131}\n",
+      "{'epoch': 0, 'update in batch': 3657, '/': 12375, 'loss': 7.56381368637085}\n",
+      "{'epoch': 0, 'update in batch': 3658, '/': 12375, 'loss': 8.267034530639648}\n",
+      "{'epoch': 0, 'update in batch': 3659, '/': 12375, 'loss': 7.782631874084473}\n",
+      "{'epoch': 0, 'update in batch': 3660, '/': 12375, 'loss': 7.636500358581543}\n",
+      "{'epoch': 0, 'update in batch': 3661, '/': 12375, 'loss': 7.262432098388672}\n",
+      "{'epoch': 0, 'update in batch': 3662, '/': 12375, 'loss': 7.287025451660156}\n",
+      "{'epoch': 0, 'update in batch': 3663, '/': 12375, 'loss': 7.865262508392334}\n",
+      "{'epoch': 0, 'update in batch': 3664, '/': 12375, 'loss': 7.791393280029297}\n",
+      "{'epoch': 0, 'update in batch': 3665, '/': 12375, 'loss': 7.516750335693359}\n",
+      "{'epoch': 0, 'update in batch': 3666, '/': 12375, 'loss': 8.408487319946289}\n",
+      "{'epoch': 0, 'update in batch': 3667, '/': 12375, 'loss': 7.4860029220581055}\n",
+      "{'epoch': 0, 'update in batch': 3668, '/': 12375, 'loss': 7.186929225921631}\n",
+      "{'epoch': 0, 'update in batch': 3669, '/': 12375, 'loss': 6.887760162353516}\n",
+      "{'epoch': 0, 'update in batch': 3670, '/': 12375, 'loss': 7.359483242034912}\n",
+      "{'epoch': 0, 'update in batch': 3671, '/': 12375, 'loss': 7.646742820739746}\n",
+      "{'epoch': 0, 'update in batch': 3672, '/': 12375, 'loss': 7.263251304626465}\n",
+      "{'epoch': 0, 'update in batch': 3673, '/': 12375, 'loss': 7.005956172943115}\n",
+      "{'epoch': 0, 'update in batch': 3674, '/': 12375, 'loss': 7.342989921569824}\n",
+      "{'epoch': 0, 'update in batch': 3675, '/': 12375, 'loss': 7.3762335777282715}\n",
+      "{'epoch': 0, 'update in batch': 3676, '/': 12375, 'loss': 7.543745517730713}\n",
+      "{'epoch': 0, 'update in batch': 3677, '/': 12375, 'loss': 7.510613441467285}\n",
+      "{'epoch': 0, 'update in batch': 3678, '/': 12375, 'loss': 7.07839298248291}\n",
+      "{'epoch': 0, 'update in batch': 3679, '/': 12375, 'loss': 7.145947456359863}\n",
+      "{'epoch': 0, 'update in batch': 3680, '/': 12375, 'loss': 6.97210693359375}\n",
+      "{'epoch': 0, 'update in batch': 3681, '/': 12375, 'loss': 7.430212497711182}\n",
+      "{'epoch': 0, 'update in batch': 3682, '/': 12375, 'loss': 6.747589111328125}\n",
+      "{'epoch': 0, 'update in batch': 3683, '/': 12375, 'loss': 7.325774192810059}\n",
+      "{'epoch': 0, 'update in batch': 3684, '/': 12375, 'loss': 6.989168643951416}\n",
+      "{'epoch': 0, 'update in batch': 3685, '/': 12375, 'loss': 7.3907670974731445}\n",
+      "{'epoch': 0, 'update in batch': 3686, '/': 12375, 'loss': 6.860929012298584}\n",
+      "{'epoch': 0, 'update in batch': 3687, '/': 12375, 'loss': 7.514451503753662}\n",
+      "{'epoch': 0, 'update in batch': 3688, '/': 12375, 'loss': 7.6997528076171875}\n",
+      "{'epoch': 0, 'update in batch': 3689, '/': 12375, 'loss': 7.366693019866943}\n",
+      "{'epoch': 0, 'update in batch': 3690, '/': 12375, 'loss': 7.326071262359619}\n",
+      "{'epoch': 0, 'update in batch': 3691, '/': 12375, 'loss': 6.8222198486328125}\n",
+      "{'epoch': 0, 'update in batch': 3692, '/': 12375, 'loss': 6.804862022399902}\n",
+      "{'epoch': 0, 'update in batch': 3693, '/': 12375, 'loss': 7.5040435791015625}\n",
+      "{'epoch': 0, 'update in batch': 3694, '/': 12375, 'loss': 8.428155899047852}\n",
+      "{'epoch': 0, 'update in batch': 3695, '/': 12375, 'loss': 7.5842790603637695}\n",
+      "{'epoch': 0, 'update in batch': 3696, '/': 12375, 'loss': 7.413224697113037}\n",
+      "{'epoch': 0, 'update in batch': 3697, '/': 12375, 'loss': 7.295224189758301}\n",
+      "{'epoch': 0, 'update in batch': 3698, '/': 12375, 'loss': 7.462927341461182}\n",
+      "{'epoch': 0, 'update in batch': 3699, '/': 12375, 'loss': 7.544864654541016}\n",
+      "{'epoch': 0, 'update in batch': 3700, '/': 12375, 'loss': 6.94451904296875}\n",
+      "{'epoch': 0, 'update in batch': 3701, '/': 12375, 'loss': 6.938995361328125}\n",
+      "{'epoch': 0, 'update in batch': 3702, '/': 12375, 'loss': 7.067530155181885}\n",
+      "{'epoch': 0, 'update in batch': 3703, '/': 12375, 'loss': 7.138227939605713}\n",
+      "{'epoch': 0, 'update in batch': 3704, '/': 12375, 'loss': 7.625384330749512}\n",
+      "{'epoch': 0, 'update in batch': 3705, '/': 12375, 'loss': 7.581339359283447}\n",
+      "{'epoch': 0, 'update in batch': 3706, '/': 12375, 'loss': 7.374724388122559}\n",
+      "{'epoch': 0, 'update in batch': 3707, '/': 12375, 'loss': 6.999154567718506}\n",
+      "{'epoch': 0, 'update in batch': 3708, '/': 12375, 'loss': 7.638319969177246}\n",
+      "{'epoch': 0, 'update in batch': 3709, '/': 12375, 'loss': 8.365819931030273}\n",
+      "{'epoch': 0, 'update in batch': 3710, '/': 12375, 'loss': 7.607991695404053}\n",
+      "{'epoch': 0, 'update in batch': 3711, '/': 12375, 'loss': 7.646612644195557}\n",
+      "{'epoch': 0, 'update in batch': 3712, '/': 12375, 'loss': 7.419223785400391}\n",
+      "{'epoch': 0, 'update in batch': 3713, '/': 12375, 'loss': 7.2556047439575195}\n",
+      "{'epoch': 0, 'update in batch': 3714, '/': 12375, 'loss': 7.867883205413818}\n",
+      "{'epoch': 0, 'update in batch': 3715, '/': 12375, 'loss': 7.136785984039307}\n",
+      "{'epoch': 0, 'update in batch': 3716, '/': 12375, 'loss': 7.201444149017334}\n",
+      "{'epoch': 0, 'update in batch': 3717, '/': 12375, 'loss': 6.92603063583374}\n",
+      "{'epoch': 0, 'update in batch': 3718, '/': 12375, 'loss': 7.4494524002075195}\n",
+      "{'epoch': 0, 'update in batch': 3719, '/': 12375, 'loss': 7.9341301918029785}\n",
+      "{'epoch': 0, 'update in batch': 3720, '/': 12375, 'loss': 8.333837509155273}\n",
+      "{'epoch': 0, 'update in batch': 3721, '/': 12375, 'loss': 7.883298397064209}\n",
+      "{'epoch': 0, 'update in batch': 3722, '/': 12375, 'loss': 8.061111450195312}\n",
+      "{'epoch': 0, 'update in batch': 3723, '/': 12375, 'loss': 7.64716100692749}\n",
+      "{'epoch': 0, 'update in batch': 3724, '/': 12375, 'loss': 7.627961158752441}\n",
+      "{'epoch': 0, 'update in batch': 3725, '/': 12375, 'loss': 7.240172386169434}\n",
+      "{'epoch': 0, 'update in batch': 3726, '/': 12375, 'loss': 7.31958532333374}\n",
+      "{'epoch': 0, 'update in batch': 3727, '/': 12375, 'loss': 6.962846279144287}\n",
+      "{'epoch': 0, 'update in batch': 3728, '/': 12375, 'loss': 7.698824405670166}\n",
+      "{'epoch': 0, 'update in batch': 3729, '/': 12375, 'loss': 7.16137170791626}\n",
+      "{'epoch': 0, 'update in batch': 3730, '/': 12375, 'loss': 7.584277153015137}\n",
+      "{'epoch': 0, 'update in batch': 3731, '/': 12375, 'loss': 7.572090148925781}\n",
+      "{'epoch': 0, 'update in batch': 3732, '/': 12375, 'loss': 8.025835037231445}\n",
+      "{'epoch': 0, 'update in batch': 3733, '/': 12375, 'loss': 7.780540466308594}\n",
+      "{'epoch': 0, 'update in batch': 3734, '/': 12375, 'loss': 7.873692512512207}\n",
+      "{'epoch': 0, 'update in batch': 3735, '/': 12375, 'loss': 7.118768215179443}\n",
+      "{'epoch': 0, 'update in batch': 3736, '/': 12375, 'loss': 7.108061790466309}\n",
+      "{'epoch': 0, 'update in batch': 3737, '/': 12375, 'loss': 7.104119300842285}\n",
+      "{'epoch': 0, 'update in batch': 3738, '/': 12375, 'loss': 7.839104652404785}\n",
+      "{'epoch': 0, 'update in batch': 3739, '/': 12375, 'loss': 7.559004306793213}\n",
+      "{'epoch': 0, 'update in batch': 3740, '/': 12375, 'loss': 7.315966606140137}\n",
+      "{'epoch': 0, 'update in batch': 3741, '/': 12375, 'loss': 7.32129430770874}\n",
+      "{'epoch': 0, 'update in batch': 3742, '/': 12375, 'loss': 7.743813514709473}\n",
+      "{'epoch': 0, 'update in batch': 3743, '/': 12375, 'loss': 7.386244773864746}\n",
+      "{'epoch': 0, 'update in batch': 3744, '/': 12375, 'loss': 7.283011436462402}\n",
+      "{'epoch': 0, 'update in batch': 3745, '/': 12375, 'loss': 7.456460475921631}\n",
+      "{'epoch': 0, 'update in batch': 3746, '/': 12375, 'loss': 7.631632328033447}\n",
+      "{'epoch': 0, 'update in batch': 3747, '/': 12375, 'loss': 7.457456111907959}\n",
+      "{'epoch': 0, 'update in batch': 3748, '/': 12375, 'loss': 6.875330924987793}\n",
+      "{'epoch': 0, 'update in batch': 3749, '/': 12375, 'loss': 6.6131792068481445}\n",
+      "{'epoch': 0, 'update in batch': 3750, '/': 12375, 'loss': 7.424797058105469}\n",
+      "{'epoch': 0, 'update in batch': 3751, '/': 12375, 'loss': 6.7060418128967285}\n",
+      "{'epoch': 0, 'update in batch': 3752, '/': 12375, 'loss': 6.885252475738525}\n",
+      "{'epoch': 0, 'update in batch': 3753, '/': 12375, 'loss': 7.6330084800720215}\n",
+      "{'epoch': 0, 'update in batch': 3754, '/': 12375, 'loss': 7.649745941162109}\n",
+      "{'epoch': 0, 'update in batch': 3755, '/': 12375, 'loss': 7.059042930603027}\n",
+      "{'epoch': 0, 'update in batch': 3756, '/': 12375, 'loss': 7.335539817810059}\n",
+      "{'epoch': 0, 'update in batch': 3757, '/': 12375, 'loss': 7.198863983154297}\n",
+      "{'epoch': 0, 'update in batch': 3758, '/': 12375, 'loss': 6.90512752532959}\n",
+      "{'epoch': 0, 'update in batch': 3759, '/': 12375, 'loss': 7.340051174163818}\n",
+      "{'epoch': 0, 'update in batch': 3760, '/': 12375, 'loss': 7.804443359375}\n",
+      "{'epoch': 0, 'update in batch': 3761, '/': 12375, 'loss': 7.931440830230713}\n",
+      "{'epoch': 0, 'update in batch': 3762, '/': 12375, 'loss': 6.859284400939941}\n",
+      "{'epoch': 0, 'update in batch': 3763, '/': 12375, 'loss': 7.105412483215332}\n",
+      "{'epoch': 0, 'update in batch': 3764, '/': 12375, 'loss': 6.541898250579834}\n",
+      "{'epoch': 0, 'update in batch': 3765, '/': 12375, 'loss': 6.85610818862915}\n",
+      "{'epoch': 0, 'update in batch': 3766, '/': 12375, 'loss': 7.366713523864746}\n",
+      "{'epoch': 0, 'update in batch': 3767, '/': 12375, 'loss': 7.0541582107543945}\n",
+      "{'epoch': 0, 'update in batch': 3768, '/': 12375, 'loss': 6.751590728759766}\n",
+      "{'epoch': 0, 'update in batch': 3769, '/': 12375, 'loss': 7.46630859375}\n",
+      "{'epoch': 0, 'update in batch': 3770, '/': 12375, 'loss': 7.846688747406006}\n",
+      "{'epoch': 0, 'update in batch': 3771, '/': 12375, 'loss': 7.770099639892578}\n",
+      "{'epoch': 0, 'update in batch': 3772, '/': 12375, 'loss': 6.5409088134765625}\n",
+      "{'epoch': 0, 'update in batch': 3773, '/': 12375, 'loss': 7.266878604888916}\n",
+      "{'epoch': 0, 'update in batch': 3774, '/': 12375, 'loss': 7.623342990875244}\n",
+      "{'epoch': 0, 'update in batch': 3775, '/': 12375, 'loss': 7.768628120422363}\n",
+      "{'epoch': 0, 'update in batch': 3776, '/': 12375, 'loss': 7.9066877365112305}\n",
+      "{'epoch': 0, 'update in batch': 3777, '/': 12375, 'loss': 7.255980014801025}\n",
+      "{'epoch': 0, 'update in batch': 3778, '/': 12375, 'loss': 7.85338830947876}\n",
+      "{'epoch': 0, 'update in batch': 3779, '/': 12375, 'loss': 7.895503997802734}\n",
+      "{'epoch': 0, 'update in batch': 3780, '/': 12375, 'loss': 7.356191158294678}\n",
+      "{'epoch': 0, 'update in batch': 3781, '/': 12375, 'loss': 7.6441450119018555}\n",
+      "{'epoch': 0, 'update in batch': 3782, '/': 12375, 'loss': 7.55554723739624}\n",
+      "{'epoch': 0, 'update in batch': 3783, '/': 12375, 'loss': 7.563249111175537}\n",
+      "{'epoch': 0, 'update in batch': 3784, '/': 12375, 'loss': 7.3306145668029785}\n",
+      "{'epoch': 0, 'update in batch': 3785, '/': 12375, 'loss': 7.741982460021973}\n",
+      "{'epoch': 0, 'update in batch': 3786, '/': 12375, 'loss': 7.6674065589904785}\n",
+      "{'epoch': 0, 'update in batch': 3787, '/': 12375, 'loss': 7.421010494232178}\n",
+      "{'epoch': 0, 'update in batch': 3788, '/': 12375, 'loss': 7.285704135894775}\n",
+      "{'epoch': 0, 'update in batch': 3789, '/': 12375, 'loss': 7.066688537597656}\n",
+      "{'epoch': 0, 'update in batch': 3790, '/': 12375, 'loss': 8.137528419494629}\n",
+      "{'epoch': 0, 'update in batch': 3791, '/': 12375, 'loss': 7.728383541107178}\n",
+      "{'epoch': 0, 'update in batch': 3792, '/': 12375, 'loss': 7.370810508728027}\n",
+      "{'epoch': 0, 'update in batch': 3793, '/': 12375, 'loss': 6.432528018951416}\n",
+      "{'epoch': 0, 'update in batch': 3794, '/': 12375, 'loss': 7.207129001617432}\n",
+      "{'epoch': 0, 'update in batch': 3795, '/': 12375, 'loss': 7.123908996582031}\n",
+      "{'epoch': 0, 'update in batch': 3796, '/': 12375, 'loss': 7.25994348526001}\n",
+      "{'epoch': 0, 'update in batch': 3797, '/': 12375, 'loss': 7.172793388366699}\n",
+      "{'epoch': 0, 'update in batch': 3798, '/': 12375, 'loss': 7.869281768798828}\n",
+      "{'epoch': 0, 'update in batch': 3799, '/': 12375, 'loss': 7.358953952789307}\n",
+      "{'epoch': 0, 'update in batch': 3800, '/': 12375, 'loss': 7.425230503082275}\n",
+      "{'epoch': 0, 'update in batch': 3801, '/': 12375, 'loss': 7.346549987792969}\n",
+      "{'epoch': 0, 'update in batch': 3802, '/': 12375, 'loss': 7.8717474937438965}\n",
+      "{'epoch': 0, 'update in batch': 3803, '/': 12375, 'loss': 7.818670749664307}\n",
+      "{'epoch': 0, 'update in batch': 3804, '/': 12375, 'loss': 7.8397650718688965}\n",
+      "{'epoch': 0, 'update in batch': 3805, '/': 12375, 'loss': 7.480119228363037}\n",
+      "{'epoch': 0, 'update in batch': 3806, '/': 12375, 'loss': 7.007791042327881}\n",
+      "{'epoch': 0, 'update in batch': 3807, '/': 12375, 'loss': 7.343791961669922}\n",
+      "{'epoch': 0, 'update in batch': 3808, '/': 12375, 'loss': 7.171743869781494}\n",
+      "{'epoch': 0, 'update in batch': 3809, '/': 12375, 'loss': 7.224478721618652}\n",
+      "{'epoch': 0, 'update in batch': 3810, '/': 12375, 'loss': 6.795496940612793}\n",
+      "{'epoch': 0, 'update in batch': 3811, '/': 12375, 'loss': 6.8210577964782715}\n",
+      "{'epoch': 0, 'update in batch': 3812, '/': 12375, 'loss': 6.60269832611084}\n",
+      "{'epoch': 0, 'update in batch': 3813, '/': 12375, 'loss': 7.522006034851074}\n",
+      "{'epoch': 0, 'update in batch': 3814, '/': 12375, 'loss': 7.753526210784912}\n",
+      "{'epoch': 0, 'update in batch': 3815, '/': 12375, 'loss': 7.885977268218994}\n",
+      "{'epoch': 0, 'update in batch': 3816, '/': 12375, 'loss': 7.624947547912598}\n",
+      "{'epoch': 0, 'update in batch': 3817, '/': 12375, 'loss': 7.5726470947265625}\n",
+      "{'epoch': 0, 'update in batch': 3818, '/': 12375, 'loss': 7.963265419006348}\n",
+      "{'epoch': 0, 'update in batch': 3819, '/': 12375, 'loss': 7.302426815032959}\n",
+      "{'epoch': 0, 'update in batch': 3820, '/': 12375, 'loss': 6.747344970703125}\n",
+      "{'epoch': 0, 'update in batch': 3821, '/': 12375, 'loss': 7.129358768463135}\n",
+      "{'epoch': 0, 'update in batch': 3822, '/': 12375, 'loss': 7.263978481292725}\n",
+      "{'epoch': 0, 'update in batch': 3823, '/': 12375, 'loss': 7.344242095947266}\n",
+      "{'epoch': 0, 'update in batch': 3824, '/': 12375, 'loss': 6.126723766326904}\n",
+      "{'epoch': 0, 'update in batch': 3825, '/': 12375, 'loss': 7.501245975494385}\n",
+      "{'epoch': 0, 'update in batch': 3826, '/': 12375, 'loss': 6.985215187072754}\n",
+      "{'epoch': 0, 'update in batch': 3827, '/': 12375, 'loss': 7.403064727783203}\n",
+      "{'epoch': 0, 'update in batch': 3828, '/': 12375, 'loss': 7.419724464416504}\n",
+      "{'epoch': 0, 'update in batch': 3829, '/': 12375, 'loss': 7.298449516296387}\n",
+      "{'epoch': 0, 'update in batch': 3830, '/': 12375, 'loss': 6.65756893157959}\n",
+      "{'epoch': 0, 'update in batch': 3831, '/': 12375, 'loss': 7.504326820373535}\n",
+      "{'epoch': 0, 'update in batch': 3832, '/': 12375, 'loss': 7.705105781555176}\n",
+      "{'epoch': 0, 'update in batch': 3833, '/': 12375, 'loss': 8.034053802490234}\n",
+      "{'epoch': 0, 'update in batch': 3834, '/': 12375, 'loss': 6.850712776184082}\n",
+      "{'epoch': 0, 'update in batch': 3835, '/': 12375, 'loss': 8.286467552185059}\n",
+      "{'epoch': 0, 'update in batch': 3836, '/': 12375, 'loss': 7.83786153793335}\n",
+      "{'epoch': 0, 'update in batch': 3837, '/': 12375, 'loss': 7.544015407562256}\n",
+      "{'epoch': 0, 'update in batch': 3838, '/': 12375, 'loss': 7.182421684265137}\n",
+      "{'epoch': 0, 'update in batch': 3839, '/': 12375, 'loss': 7.796326637268066}\n",
+      "{'epoch': 0, 'update in batch': 3840, '/': 12375, 'loss': 7.448037624359131}\n",
+      "{'epoch': 0, 'update in batch': 3841, '/': 12375, 'loss': 7.8268561363220215}\n",
+      "{'epoch': 0, 'update in batch': 3842, '/': 12375, 'loss': 7.640791893005371}\n",
+      "{'epoch': 0, 'update in batch': 3843, '/': 12375, 'loss': 7.855594635009766}\n",
+      "{'epoch': 0, 'update in batch': 3844, '/': 12375, 'loss': 7.851997375488281}\n",
+      "{'epoch': 0, 'update in batch': 3845, '/': 12375, 'loss': 7.508802890777588}\n",
+      "{'epoch': 0, 'update in batch': 3846, '/': 12375, 'loss': 7.569548606872559}\n",
+      "{'epoch': 0, 'update in batch': 3847, '/': 12375, 'loss': 7.455661773681641}\n",
+      "{'epoch': 0, 'update in batch': 3848, '/': 12375, 'loss': 7.812243461608887}\n",
+      "{'epoch': 0, 'update in batch': 3849, '/': 12375, 'loss': 6.906764984130859}\n",
+      "{'epoch': 0, 'update in batch': 3850, '/': 12375, 'loss': 6.72329568862915}\n",
+      "{'epoch': 0, 'update in batch': 3851, '/': 12375, 'loss': 7.2059149742126465}\n",
+      "{'epoch': 0, 'update in batch': 3852, '/': 12375, 'loss': 7.070154666900635}\n",
+      "{'epoch': 0, 'update in batch': 3853, '/': 12375, 'loss': 7.093462944030762}\n",
+      "{'epoch': 0, 'update in batch': 3854, '/': 12375, 'loss': 7.11792516708374}\n",
+      "{'epoch': 0, 'update in batch': 3855, '/': 12375, 'loss': 6.488929748535156}\n",
+      "{'epoch': 0, 'update in batch': 3856, '/': 12375, 'loss': 7.166369438171387}\n",
+      "{'epoch': 0, 'update in batch': 3857, '/': 12375, 'loss': 7.531813621520996}\n",
+      "{'epoch': 0, 'update in batch': 3858, '/': 12375, 'loss': 7.17575740814209}\n",
+      "{'epoch': 0, 'update in batch': 3859, '/': 12375, 'loss': 7.220203399658203}\n",
+      "{'epoch': 0, 'update in batch': 3860, '/': 12375, 'loss': 7.757607460021973}\n",
+      "{'epoch': 0, 'update in batch': 3861, '/': 12375, 'loss': 7.300771236419678}\n",
+      "{'epoch': 0, 'update in batch': 3862, '/': 12375, 'loss': 6.928073883056641}\n",
+      "{'epoch': 0, 'update in batch': 3863, '/': 12375, 'loss': 6.659649848937988}\n",
+      "{'epoch': 0, 'update in batch': 3864, '/': 12375, 'loss': 6.660765647888184}\n",
+      "{'epoch': 0, 'update in batch': 3865, '/': 12375, 'loss': 7.137162208557129}\n",
+      "{'epoch': 0, 'update in batch': 3866, '/': 12375, 'loss': 6.6937761306762695}\n",
+      "{'epoch': 0, 'update in batch': 3867, '/': 12375, 'loss': 7.396901607513428}\n",
+      "{'epoch': 0, 'update in batch': 3868, '/': 12375, 'loss': 7.759796142578125}\n",
+      "{'epoch': 0, 'update in batch': 3869, '/': 12375, 'loss': 7.3537139892578125}\n",
+      "{'epoch': 0, 'update in batch': 3870, '/': 12375, 'loss': 7.474801063537598}\n",
+      "{'epoch': 0, 'update in batch': 3871, '/': 12375, 'loss': 8.267305374145508}\n",
+      "{'epoch': 0, 'update in batch': 3872, '/': 12375, 'loss': 7.985167026519775}\n",
+      "{'epoch': 0, 'update in batch': 3873, '/': 12375, 'loss': 7.751091957092285}\n",
+      "{'epoch': 0, 'update in batch': 3874, '/': 12375, 'loss': 7.569116115570068}\n",
+      "{'epoch': 0, 'update in batch': 3875, '/': 12375, 'loss': 7.783400058746338}\n",
+      "{'epoch': 0, 'update in batch': 3876, '/': 12375, 'loss': 7.630892276763916}\n",
+      "{'epoch': 0, 'update in batch': 3877, '/': 12375, 'loss': 8.118407249450684}\n",
+      "{'epoch': 0, 'update in batch': 3878, '/': 12375, 'loss': 8.256937026977539}\n",
+      "{'epoch': 0, 'update in batch': 3879, '/': 12375, 'loss': 7.64823055267334}\n",
+      "{'epoch': 0, 'update in batch': 3880, '/': 12375, 'loss': 8.04105281829834}\n",
+      "{'epoch': 0, 'update in batch': 3881, '/': 12375, 'loss': 7.7615203857421875}\n",
+      "{'epoch': 0, 'update in batch': 3882, '/': 12375, 'loss': 7.933929443359375}\n",
+      "{'epoch': 0, 'update in batch': 3883, '/': 12375, 'loss': 8.235540390014648}\n",
+      "{'epoch': 0, 'update in batch': 3884, '/': 12375, 'loss': 8.221046447753906}\n",
+      "{'epoch': 0, 'update in batch': 3885, '/': 12375, 'loss': 7.831363677978516}\n",
+      "{'epoch': 0, 'update in batch': 3886, '/': 12375, 'loss': 8.01893424987793}\n",
+      "{'epoch': 0, 'update in batch': 3887, '/': 12375, 'loss': 8.448755264282227}\n",
+      "{'epoch': 0, 'update in batch': 3888, '/': 12375, 'loss': 8.307459831237793}\n",
+      "{'epoch': 0, 'update in batch': 3889, '/': 12375, 'loss': 8.432830810546875}\n",
+      "{'epoch': 0, 'update in batch': 3890, '/': 12375, 'loss': 8.190118789672852}\n",
+      "{'epoch': 0, 'update in batch': 3891, '/': 12375, 'loss': 7.586573600769043}\n",
+      "{'epoch': 0, 'update in batch': 3892, '/': 12375, 'loss': 7.760560512542725}\n",
+      "{'epoch': 0, 'update in batch': 3893, '/': 12375, 'loss': 7.901880741119385}\n",
+      "{'epoch': 0, 'update in batch': 3894, '/': 12375, 'loss': 7.872731685638428}\n",
+      "{'epoch': 0, 'update in batch': 3895, '/': 12375, 'loss': 7.427603244781494}\n",
+      "{'epoch': 0, 'update in batch': 3896, '/': 12375, 'loss': 7.923128604888916}\n",
+      "{'epoch': 0, 'update in batch': 3897, '/': 12375, 'loss': 8.320012092590332}\n",
+      "{'epoch': 0, 'update in batch': 3898, '/': 12375, 'loss': 7.971890926361084}\n",
+      "{'epoch': 0, 'update in batch': 3899, '/': 12375, 'loss': 6.896542549133301}\n",
+      "{'epoch': 0, 'update in batch': 3900, '/': 12375, 'loss': 7.578042030334473}\n",
+      "{'epoch': 0, 'update in batch': 3901, '/': 12375, 'loss': 7.899102687835693}\n",
+      "{'epoch': 0, 'update in batch': 3902, '/': 12375, 'loss': 8.052816390991211}\n",
+      "{'epoch': 0, 'update in batch': 3903, '/': 12375, 'loss': 7.296337127685547}\n",
+      "{'epoch': 0, 'update in batch': 3904, '/': 12375, 'loss': 7.610230922698975}\n",
+      "{'epoch': 0, 'update in batch': 3905, '/': 12375, 'loss': 6.778383731842041}\n",
+      "{'epoch': 0, 'update in batch': 3906, '/': 12375, 'loss': 7.099735260009766}\n",
+      "{'epoch': 0, 'update in batch': 3907, '/': 12375, 'loss': 6.966536045074463}\n",
+      "{'epoch': 0, 'update in batch': 3908, '/': 12375, 'loss': 7.544491767883301}\n",
+      "{'epoch': 0, 'update in batch': 3909, '/': 12375, 'loss': 7.207270622253418}\n",
+      "{'epoch': 0, 'update in batch': 3910, '/': 12375, 'loss': 6.662564754486084}\n",
+      "{'epoch': 0, 'update in batch': 3911, '/': 12375, 'loss': 7.141843318939209}\n",
+      "{'epoch': 0, 'update in batch': 3912, '/': 12375, 'loss': 7.7583327293396}\n",
+      "{'epoch': 0, 'update in batch': 3913, '/': 12375, 'loss': 7.817485809326172}\n",
+      "{'epoch': 0, 'update in batch': 3914, '/': 12375, 'loss': 7.291062355041504}\n",
+      "{'epoch': 0, 'update in batch': 3915, '/': 12375, 'loss': 7.735598087310791}\n",
+      "{'epoch': 0, 'update in batch': 3916, '/': 12375, 'loss': 8.325418472290039}\n",
+      "{'epoch': 0, 'update in batch': 3917, '/': 12375, 'loss': 7.403414249420166}\n",
+      "{'epoch': 0, 'update in batch': 3918, '/': 12375, 'loss': 7.797858238220215}\n",
+      "{'epoch': 0, 'update in batch': 3919, '/': 12375, 'loss': 7.53256368637085}\n",
+      "{'epoch': 0, 'update in batch': 3920, '/': 12375, 'loss': 7.326970100402832}\n",
+      "{'epoch': 0, 'update in batch': 3921, '/': 12375, 'loss': 7.119575500488281}\n",
+      "{'epoch': 0, 'update in batch': 3922, '/': 12375, 'loss': 6.941327095031738}\n",
+      "{'epoch': 0, 'update in batch': 3923, '/': 12375, 'loss': 7.2049102783203125}\n",
+      "{'epoch': 0, 'update in batch': 3924, '/': 12375, 'loss': 7.039852142333984}\n",
+      "{'epoch': 0, 'update in batch': 3925, '/': 12375, 'loss': 7.298348426818848}\n",
+      "{'epoch': 0, 'update in batch': 3926, '/': 12375, 'loss': 6.947033882141113}\n",
+      "{'epoch': 0, 'update in batch': 3927, '/': 12375, 'loss': 7.036695957183838}\n",
+      "{'epoch': 0, 'update in batch': 3928, '/': 12375, 'loss': 6.998232841491699}\n",
+      "{'epoch': 0, 'update in batch': 3929, '/': 12375, 'loss': 7.131854057312012}\n",
+      "{'epoch': 0, 'update in batch': 3930, '/': 12375, 'loss': 7.766222953796387}\n",
+      "{'epoch': 0, 'update in batch': 3931, '/': 12375, 'loss': 7.344784736633301}\n",
+      "{'epoch': 0, 'update in batch': 3932, '/': 12375, 'loss': 7.248972415924072}\n",
+      "{'epoch': 0, 'update in batch': 3933, '/': 12375, 'loss': 7.024583339691162}\n",
+      "{'epoch': 0, 'update in batch': 3934, '/': 12375, 'loss': 6.835811614990234}\n",
+      "{'epoch': 0, 'update in batch': 3935, '/': 12375, 'loss': 7.570700168609619}\n",
+      "{'epoch': 0, 'update in batch': 3936, '/': 12375, 'loss': 7.434018611907959}\n",
+      "{'epoch': 0, 'update in batch': 3937, '/': 12375, 'loss': 7.461864471435547}\n",
+      "{'epoch': 0, 'update in batch': 3938, '/': 12375, 'loss': 7.1095733642578125}\n",
+      "{'epoch': 0, 'update in batch': 3939, '/': 12375, 'loss': 7.004931449890137}\n",
+      "{'epoch': 0, 'update in batch': 3940, '/': 12375, 'loss': 7.083360195159912}\n",
+      "{'epoch': 0, 'update in batch': 3941, '/': 12375, 'loss': 7.541074275970459}\n",
+      "{'epoch': 0, 'update in batch': 3942, '/': 12375, 'loss': 7.433168888092041}\n",
+      "{'epoch': 0, 'update in batch': 3943, '/': 12375, 'loss': 6.92007303237915}\n",
+      "{'epoch': 0, 'update in batch': 3944, '/': 12375, 'loss': 6.893638610839844}\n",
+      "{'epoch': 0, 'update in batch': 3945, '/': 12375, 'loss': 7.635913848876953}\n",
+      "{'epoch': 0, 'update in batch': 3946, '/': 12375, 'loss': 6.945672035217285}\n",
+      "{'epoch': 0, 'update in batch': 3947, '/': 12375, 'loss': 6.972264289855957}\n",
+      "{'epoch': 0, 'update in batch': 3948, '/': 12375, 'loss': 7.764884948730469}\n",
+      "{'epoch': 0, 'update in batch': 3949, '/': 12375, 'loss': 8.28620719909668}\n",
+      "{'epoch': 0, 'update in batch': 3950, '/': 12375, 'loss': 7.452342987060547}\n",
+      "{'epoch': 0, 'update in batch': 3951, '/': 12375, 'loss': 6.9730987548828125}\n",
+      "{'epoch': 0, 'update in batch': 3952, '/': 12375, 'loss': 6.976044654846191}\n",
+      "{'epoch': 0, 'update in batch': 3953, '/': 12375, 'loss': 7.029336452484131}\n",
+      "{'epoch': 0, 'update in batch': 3954, '/': 12375, 'loss': 7.301283359527588}\n",
+      "{'epoch': 0, 'update in batch': 3955, '/': 12375, 'loss': 7.122122287750244}\n",
+      "{'epoch': 0, 'update in batch': 3956, '/': 12375, 'loss': 7.188924312591553}\n",
+      "{'epoch': 0, 'update in batch': 3957, '/': 12375, 'loss': 6.333471775054932}\n",
+      "{'epoch': 0, 'update in batch': 3958, '/': 12375, 'loss': 7.256157875061035}\n",
+      "{'epoch': 0, 'update in batch': 3959, '/': 12375, 'loss': 8.106746673583984}\n",
+      "{'epoch': 0, 'update in batch': 3960, '/': 12375, 'loss': 8.115992546081543}\n",
+      "{'epoch': 0, 'update in batch': 3961, '/': 12375, 'loss': 7.717498779296875}\n",
+      "{'epoch': 0, 'update in batch': 3962, '/': 12375, 'loss': 7.599339485168457}\n",
+      "{'epoch': 0, 'update in batch': 3963, '/': 12375, 'loss': 7.941033840179443}\n",
+      "{'epoch': 0, 'update in batch': 3964, '/': 12375, 'loss': 7.644148349761963}\n",
+      "{'epoch': 0, 'update in batch': 3965, '/': 12375, 'loss': 7.510887145996094}\n",
+      "{'epoch': 0, 'update in batch': 3966, '/': 12375, 'loss': 8.11456298828125}\n",
+      "{'epoch': 0, 'update in batch': 3967, '/': 12375, 'loss': 7.677572727203369}\n",
+      "{'epoch': 0, 'update in batch': 3968, '/': 12375, 'loss': 6.977931022644043}\n",
+      "{'epoch': 0, 'update in batch': 3969, '/': 12375, 'loss': 7.316196441650391}\n",
+      "{'epoch': 0, 'update in batch': 3970, '/': 12375, 'loss': 7.623673915863037}\n",
+      "{'epoch': 0, 'update in batch': 3971, '/': 12375, 'loss': 7.507607460021973}\n",
+      "{'epoch': 0, 'update in batch': 3972, '/': 12375, 'loss': 7.45004940032959}\n",
+      "{'epoch': 0, 'update in batch': 3973, '/': 12375, 'loss': 7.35967493057251}\n",
+      "{'epoch': 0, 'update in batch': 3974, '/': 12375, 'loss': 7.760146141052246}\n",
+      "{'epoch': 0, 'update in batch': 3975, '/': 12375, 'loss': 7.314240455627441}\n",
+      "{'epoch': 0, 'update in batch': 3976, '/': 12375, 'loss': 8.132638931274414}\n",
+      "{'epoch': 0, 'update in batch': 3977, '/': 12375, 'loss': 7.18065881729126}\n",
+      "{'epoch': 0, 'update in batch': 3978, '/': 12375, 'loss': 7.8345627784729}\n",
+      "{'epoch': 0, 'update in batch': 3979, '/': 12375, 'loss': 7.304190158843994}\n",
+      "{'epoch': 0, 'update in batch': 3980, '/': 12375, 'loss': 8.090513229370117}\n",
+      "{'epoch': 0, 'update in batch': 3981, '/': 12375, 'loss': 7.54110860824585}\n",
+      "{'epoch': 0, 'update in batch': 3982, '/': 12375, 'loss': 7.608365058898926}\n",
+      "{'epoch': 0, 'update in batch': 3983, '/': 12375, 'loss': 7.8290276527404785}\n",
+      "{'epoch': 0, 'update in batch': 3984, '/': 12375, 'loss': 7.891554832458496}\n",
+      "{'epoch': 0, 'update in batch': 3985, '/': 12375, 'loss': 8.20813274383545}\n",
+      "{'epoch': 0, 'update in batch': 3986, '/': 12375, 'loss': 8.446763038635254}\n",
+      "{'epoch': 0, 'update in batch': 3987, '/': 12375, 'loss': 8.72825813293457}\n",
+      "{'epoch': 0, 'update in batch': 3988, '/': 12375, 'loss': 7.990992546081543}\n",
+      "{'epoch': 0, 'update in batch': 3989, '/': 12375, 'loss': 8.194580078125}\n",
+      "{'epoch': 0, 'update in batch': 3990, '/': 12375, 'loss': 8.082876205444336}\n",
+      "{'epoch': 0, 'update in batch': 3991, '/': 12375, 'loss': 7.820279598236084}\n",
+      "{'epoch': 0, 'update in batch': 3992, '/': 12375, 'loss': 6.88547420501709}\n",
+      "{'epoch': 0, 'update in batch': 3993, '/': 12375, 'loss': 7.352017879486084}\n",
+      "{'epoch': 0, 'update in batch': 3994, '/': 12375, 'loss': 7.453482627868652}\n",
+      "{'epoch': 0, 'update in batch': 3995, '/': 12375, 'loss': 6.60833215713501}\n",
+      "{'epoch': 0, 'update in batch': 3996, '/': 12375, 'loss': 7.423637390136719}\n",
+      "{'epoch': 0, 'update in batch': 3997, '/': 12375, 'loss': 7.280909061431885}\n",
+      "{'epoch': 0, 'update in batch': 3998, '/': 12375, 'loss': 7.4373321533203125}\n",
+      "{'epoch': 0, 'update in batch': 3999, '/': 12375, 'loss': 7.055177211761475}\n",
+      "{'epoch': 0, 'update in batch': 4000, '/': 12375, 'loss': 6.929696083068848}\n",
+      "{'epoch': 0, 'update in batch': 4001, '/': 12375, 'loss': 7.222689628601074}\n",
+      "{'epoch': 0, 'update in batch': 4002, '/': 12375, 'loss': 7.234326362609863}\n",
+      "{'epoch': 0, 'update in batch': 4003, '/': 12375, 'loss': 6.948305606842041}\n",
+      "{'epoch': 0, 'update in batch': 4004, '/': 12375, 'loss': 7.163176536560059}\n",
+      "{'epoch': 0, 'update in batch': 4005, '/': 12375, 'loss': 7.407824516296387}\n",
+      "{'epoch': 0, 'update in batch': 4006, '/': 12375, 'loss': 7.722504615783691}\n",
+      "{'epoch': 0, 'update in batch': 4007, '/': 12375, 'loss': 7.7752485275268555}\n",
+      "{'epoch': 0, 'update in batch': 4008, '/': 12375, 'loss': 7.373773097991943}\n",
+      "{'epoch': 0, 'update in batch': 4009, '/': 12375, 'loss': 7.319056510925293}\n",
+      "{'epoch': 0, 'update in batch': 4010, '/': 12375, 'loss': 6.967690467834473}\n",
+      "{'epoch': 0, 'update in batch': 4011, '/': 12375, 'loss': 7.421393394470215}\n",
+      "{'epoch': 0, 'update in batch': 4012, '/': 12375, 'loss': 7.489814758300781}\n",
+      "{'epoch': 0, 'update in batch': 4013, '/': 12375, 'loss': 7.697702884674072}\n",
+      "{'epoch': 0, 'update in batch': 4014, '/': 12375, 'loss': 7.057417392730713}\n",
+      "{'epoch': 0, 'update in batch': 4015, '/': 12375, 'loss': 6.841052055358887}\n",
+      "{'epoch': 0, 'update in batch': 4016, '/': 12375, 'loss': 7.374739646911621}\n",
+      "{'epoch': 0, 'update in batch': 4017, '/': 12375, 'loss': 7.112585544586182}\n",
+      "{'epoch': 0, 'update in batch': 4018, '/': 12375, 'loss': 7.314105987548828}\n",
+      "{'epoch': 0, 'update in batch': 4019, '/': 12375, 'loss': 6.940229892730713}\n",
+      "{'epoch': 0, 'update in batch': 4020, '/': 12375, 'loss': 6.634456634521484}\n",
+      "{'epoch': 0, 'update in batch': 4021, '/': 12375, 'loss': 7.534714698791504}\n",
+      "{'epoch': 0, 'update in batch': 4022, '/': 12375, 'loss': 7.497279167175293}\n",
+      "{'epoch': 0, 'update in batch': 4023, '/': 12375, 'loss': 8.556872367858887}\n",
+      "{'epoch': 0, 'update in batch': 4024, '/': 12375, 'loss': 7.996800422668457}\n",
+      "{'epoch': 0, 'update in batch': 4025, '/': 12375, 'loss': 7.9759063720703125}\n",
+      "{'epoch': 0, 'update in batch': 4026, '/': 12375, 'loss': 7.7424211502075195}\n",
+      "{'epoch': 0, 'update in batch': 4027, '/': 12375, 'loss': 7.456704139709473}\n",
+      "{'epoch': 0, 'update in batch': 4028, '/': 12375, 'loss': 7.070163726806641}\n",
+      "{'epoch': 0, 'update in batch': 4029, '/': 12375, 'loss': 8.111299514770508}\n",
+      "{'epoch': 0, 'update in batch': 4030, '/': 12375, 'loss': 7.813076972961426}\n",
+      "{'epoch': 0, 'update in batch': 4031, '/': 12375, 'loss': 7.926966190338135}\n",
+      "{'epoch': 0, 'update in batch': 4032, '/': 12375, 'loss': 6.7047576904296875}\n",
+      "{'epoch': 0, 'update in batch': 4033, '/': 12375, 'loss': 6.877194404602051}\n",
+      "{'epoch': 0, 'update in batch': 4034, '/': 12375, 'loss': 7.561280250549316}\n",
+      "{'epoch': 0, 'update in batch': 4035, '/': 12375, 'loss': 7.159865379333496}\n",
+      "{'epoch': 0, 'update in batch': 4036, '/': 12375, 'loss': 7.1368842124938965}\n",
+      "{'epoch': 0, 'update in batch': 4037, '/': 12375, 'loss': 7.300146579742432}\n",
+      "{'epoch': 0, 'update in batch': 4038, '/': 12375, 'loss': 7.0770721435546875}\n",
+      "{'epoch': 0, 'update in batch': 4039, '/': 12375, 'loss': 7.171966552734375}\n",
+      "{'epoch': 0, 'update in batch': 4040, '/': 12375, 'loss': 6.990041255950928}\n",
+      "{'epoch': 0, 'update in batch': 4041, '/': 12375, 'loss': 6.6313276290893555}\n",
+      "{'epoch': 0, 'update in batch': 4042, '/': 12375, 'loss': 6.25661563873291}\n",
+      "{'epoch': 0, 'update in batch': 4043, '/': 12375, 'loss': 7.779079437255859}\n",
+      "{'epoch': 0, 'update in batch': 4044, '/': 12375, 'loss': 7.325057029724121}\n",
+      "{'epoch': 0, 'update in batch': 4045, '/': 12375, 'loss': 8.091708183288574}\n",
+      "{'epoch': 0, 'update in batch': 4046, '/': 12375, 'loss': 8.285229682922363}\n",
+      "{'epoch': 0, 'update in batch': 4047, '/': 12375, 'loss': 7.435188293457031}\n",
+      "{'epoch': 0, 'update in batch': 4048, '/': 12375, 'loss': 6.926012992858887}\n",
+      "{'epoch': 0, 'update in batch': 4049, '/': 12375, 'loss': 7.2175469398498535}\n",
+      "{'epoch': 0, 'update in batch': 4050, '/': 12375, 'loss': 6.989144802093506}\n",
+      "{'epoch': 0, 'update in batch': 4051, '/': 12375, 'loss': 7.613076686859131}\n",
+      "{'epoch': 0, 'update in batch': 4052, '/': 12375, 'loss': 7.6637749671936035}\n",
+      "{'epoch': 0, 'update in batch': 4053, '/': 12375, 'loss': 8.061484336853027}\n",
+      "{'epoch': 0, 'update in batch': 4054, '/': 12375, 'loss': 7.566693305969238}\n",
+      "{'epoch': 0, 'update in batch': 4055, '/': 12375, 'loss': 6.784238338470459}\n",
+      "{'epoch': 0, 'update in batch': 4056, '/': 12375, 'loss': 7.208154201507568}\n",
+      "{'epoch': 0, 'update in batch': 4057, '/': 12375, 'loss': 8.115228652954102}\n",
+      "{'epoch': 0, 'update in batch': 4058, '/': 12375, 'loss': 8.643536567687988}\n",
+      "{'epoch': 0, 'update in batch': 4059, '/': 12375, 'loss': 8.251392364501953}\n",
+      "{'epoch': 0, 'update in batch': 4060, '/': 12375, 'loss': 6.10279655456543}\n",
+      "{'epoch': 0, 'update in batch': 4061, '/': 12375, 'loss': 7.740202903747559}\n",
+      "{'epoch': 0, 'update in batch': 4062, '/': 12375, 'loss': 7.4921746253967285}\n",
+      "{'epoch': 0, 'update in batch': 4063, '/': 12375, 'loss': 6.843750953674316}\n",
+      "{'epoch': 0, 'update in batch': 4064, '/': 12375, 'loss': 7.060511589050293}\n",
+      "{'epoch': 0, 'update in batch': 4065, '/': 12375, 'loss': 7.393740177154541}\n",
+      "{'epoch': 0, 'update in batch': 4066, '/': 12375, 'loss': 7.158160209655762}\n",
+      "{'epoch': 0, 'update in batch': 4067, '/': 12375, 'loss': 7.279787540435791}\n",
+      "{'epoch': 0, 'update in batch': 4068, '/': 12375, 'loss': 7.375263214111328}\n",
+      "{'epoch': 0, 'update in batch': 4069, '/': 12375, 'loss': 7.378199100494385}\n",
+      "{'epoch': 0, 'update in batch': 4070, '/': 12375, 'loss': 7.190315246582031}\n",
+      "{'epoch': 0, 'update in batch': 4071, '/': 12375, 'loss': 7.22265625}\n",
+      "{'epoch': 0, 'update in batch': 4072, '/': 12375, 'loss': 7.5579681396484375}\n",
+      "{'epoch': 0, 'update in batch': 4073, '/': 12375, 'loss': 6.968419075012207}\n",
+      "{'epoch': 0, 'update in batch': 4074, '/': 12375, 'loss': 7.452673435211182}\n",
+      "{'epoch': 0, 'update in batch': 4075, '/': 12375, 'loss': 6.788496971130371}\n",
+      "{'epoch': 0, 'update in batch': 4076, '/': 12375, 'loss': 6.832362174987793}\n",
+      "{'epoch': 0, 'update in batch': 4077, '/': 12375, 'loss': 6.827303409576416}\n",
+      "{'epoch': 0, 'update in batch': 4078, '/': 12375, 'loss': 6.932981014251709}\n",
+      "{'epoch': 0, 'update in batch': 4079, '/': 12375, 'loss': 6.581765651702881}\n",
+      "{'epoch': 0, 'update in batch': 4080, '/': 12375, 'loss': 7.811667442321777}\n",
+      "{'epoch': 0, 'update in batch': 4081, '/': 12375, 'loss': 7.155536651611328}\n",
+      "{'epoch': 0, 'update in batch': 4082, '/': 12375, 'loss': 7.068434238433838}\n",
+      "{'epoch': 0, 'update in batch': 4083, '/': 12375, 'loss': 7.1317901611328125}\n",
+      "{'epoch': 0, 'update in batch': 4084, '/': 12375, 'loss': 6.288866996765137}\n",
+      "{'epoch': 0, 'update in batch': 4085, '/': 12375, 'loss': 6.488480567932129}\n",
+      "{'epoch': 0, 'update in batch': 4086, '/': 12375, 'loss': 7.037721157073975}\n",
+      "{'epoch': 0, 'update in batch': 4087, '/': 12375, 'loss': 6.855669975280762}\n",
+      "{'epoch': 0, 'update in batch': 4088, '/': 12375, 'loss': 6.873719692230225}\n",
+      "{'epoch': 0, 'update in batch': 4089, '/': 12375, 'loss': 7.196309566497803}\n",
+      "{'epoch': 0, 'update in batch': 4090, '/': 12375, 'loss': 7.2810797691345215}\n",
+      "{'epoch': 0, 'update in batch': 4091, '/': 12375, 'loss': 7.459343910217285}\n",
+      "{'epoch': 0, 'update in batch': 4092, '/': 12375, 'loss': 7.563270568847656}\n",
+      "{'epoch': 0, 'update in batch': 4093, '/': 12375, 'loss': 8.109683990478516}\n",
+      "{'epoch': 0, 'update in batch': 4094, '/': 12375, 'loss': 7.811992645263672}\n",
+      "{'epoch': 0, 'update in batch': 4095, '/': 12375, 'loss': 7.545998573303223}\n",
+      "{'epoch': 0, 'update in batch': 4096, '/': 12375, 'loss': 8.010260581970215}\n",
+      "{'epoch': 0, 'update in batch': 4097, '/': 12375, 'loss': 7.75954532623291}\n",
+      "{'epoch': 0, 'update in batch': 4098, '/': 12375, 'loss': 8.033446311950684}\n",
+      "{'epoch': 0, 'update in batch': 4099, '/': 12375, 'loss': 7.706583499908447}\n",
+      "{'epoch': 0, 'update in batch': 4100, '/': 12375, 'loss': 7.873860836029053}\n",
+      "{'epoch': 0, 'update in batch': 4101, '/': 12375, 'loss': 8.059244155883789}\n",
+      "{'epoch': 0, 'update in batch': 4102, '/': 12375, 'loss': 8.258428573608398}\n",
+      "{'epoch': 0, 'update in batch': 4103, '/': 12375, 'loss': 8.046195983886719}\n",
+      "{'epoch': 0, 'update in batch': 4104, '/': 12375, 'loss': 8.6414213180542}\n",
+      "{'epoch': 0, 'update in batch': 4105, '/': 12375, 'loss': 7.217452049255371}\n",
+      "{'epoch': 0, 'update in batch': 4106, '/': 12375, 'loss': 7.135247230529785}\n",
+      "{'epoch': 0, 'update in batch': 4107, '/': 12375, 'loss': 6.648793697357178}\n",
+      "{'epoch': 0, 'update in batch': 4108, '/': 12375, 'loss': 7.213191986083984}\n",
+      "{'epoch': 0, 'update in batch': 4109, '/': 12375, 'loss': 7.0670647621154785}\n",
+      "{'epoch': 0, 'update in batch': 4110, '/': 12375, 'loss': 7.626554012298584}\n",
+      "{'epoch': 0, 'update in batch': 4111, '/': 12375, 'loss': 7.689726829528809}\n",
+      "{'epoch': 0, 'update in batch': 4112, '/': 12375, 'loss': 7.886342525482178}\n",
+      "{'epoch': 0, 'update in batch': 4113, '/': 12375, 'loss': 8.368040084838867}\n",
+      "{'epoch': 0, 'update in batch': 4114, '/': 12375, 'loss': 8.347259521484375}\n",
+      "{'epoch': 0, 'update in batch': 4115, '/': 12375, 'loss': 7.102166175842285}\n",
+      "{'epoch': 0, 'update in batch': 4116, '/': 12375, 'loss': 6.923850059509277}\n",
+      "{'epoch': 0, 'update in batch': 4117, '/': 12375, 'loss': 7.562067985534668}\n",
+      "{'epoch': 0, 'update in batch': 4118, '/': 12375, 'loss': 7.871415615081787}\n",
+      "{'epoch': 0, 'update in batch': 4119, '/': 12375, 'loss': 7.814648628234863}\n",
+      "{'epoch': 0, 'update in batch': 4120, '/': 12375, 'loss': 7.7361249923706055}\n",
+      "{'epoch': 0, 'update in batch': 4121, '/': 12375, 'loss': 7.667323112487793}\n",
+      "{'epoch': 0, 'update in batch': 4122, '/': 12375, 'loss': 8.190342903137207}\n",
+      "{'epoch': 0, 'update in batch': 4123, '/': 12375, 'loss': 8.049409866333008}\n",
+      "{'epoch': 0, 'update in batch': 4124, '/': 12375, 'loss': 8.289407730102539}\n",
+      "{'epoch': 0, 'update in batch': 4125, '/': 12375, 'loss': 7.682246208190918}\n",
+      "{'epoch': 0, 'update in batch': 4126, '/': 12375, 'loss': 7.699063777923584}\n",
+      "{'epoch': 0, 'update in batch': 4127, '/': 12375, 'loss': 7.568644046783447}\n",
+      "{'epoch': 0, 'update in batch': 4128, '/': 12375, 'loss': 7.460241794586182}\n",
+      "{'epoch': 0, 'update in batch': 4129, '/': 12375, 'loss': 7.540276527404785}\n",
+      "{'epoch': 0, 'update in batch': 4130, '/': 12375, 'loss': 7.475271701812744}\n",
+      "{'epoch': 0, 'update in batch': 4131, '/': 12375, 'loss': 6.948859214782715}\n",
+      "{'epoch': 0, 'update in batch': 4132, '/': 12375, 'loss': 7.671669960021973}\n",
+      "{'epoch': 0, 'update in batch': 4133, '/': 12375, 'loss': 7.417859077453613}\n",
+      "{'epoch': 0, 'update in batch': 4134, '/': 12375, 'loss': 7.416362762451172}\n",
+      "{'epoch': 0, 'update in batch': 4135, '/': 12375, 'loss': 6.967803001403809}\n",
+      "{'epoch': 0, 'update in batch': 4136, '/': 12375, 'loss': 7.110377311706543}\n",
+      "{'epoch': 0, 'update in batch': 4137, '/': 12375, 'loss': 7.942295074462891}\n",
+      "{'epoch': 0, 'update in batch': 4138, '/': 12375, 'loss': 7.60418176651001}\n",
+      "{'epoch': 0, 'update in batch': 4139, '/': 12375, 'loss': 7.459131717681885}\n",
+      "{'epoch': 0, 'update in batch': 4140, '/': 12375, 'loss': 7.034327030181885}\n",
+      "{'epoch': 0, 'update in batch': 4141, '/': 12375, 'loss': 7.609465599060059}\n",
+      "{'epoch': 0, 'update in batch': 4142, '/': 12375, 'loss': 6.919948577880859}\n",
+      "{'epoch': 0, 'update in batch': 4143, '/': 12375, 'loss': 6.951943397521973}\n",
+      "{'epoch': 0, 'update in batch': 4144, '/': 12375, 'loss': 7.12103271484375}\n",
+      "{'epoch': 0, 'update in batch': 4145, '/': 12375, 'loss': 6.889910697937012}\n",
+      "{'epoch': 0, 'update in batch': 4146, '/': 12375, 'loss': 6.365143775939941}\n",
+      "{'epoch': 0, 'update in batch': 4147, '/': 12375, 'loss': 7.448721885681152}\n",
+      "{'epoch': 0, 'update in batch': 4148, '/': 12375, 'loss': 7.059914588928223}\n",
+      "{'epoch': 0, 'update in batch': 4149, '/': 12375, 'loss': 7.541403293609619}\n",
+      "{'epoch': 0, 'update in batch': 4150, '/': 12375, 'loss': 7.885488986968994}\n",
+      "{'epoch': 0, 'update in batch': 4151, '/': 12375, 'loss': 8.069236755371094}\n",
+      "{'epoch': 0, 'update in batch': 4152, '/': 12375, 'loss': 7.992995262145996}\n",
+      "{'epoch': 0, 'update in batch': 4153, '/': 12375, 'loss': 8.311044692993164}\n",
+      "{'epoch': 0, 'update in batch': 4154, '/': 12375, 'loss': 7.050446510314941}\n",
+      "{'epoch': 0, 'update in batch': 4155, '/': 12375, 'loss': 7.8262810707092285}\n",
+      "{'epoch': 0, 'update in batch': 4156, '/': 12375, 'loss': 8.199575424194336}\n",
+      "{'epoch': 0, 'update in batch': 4157, '/': 12375, 'loss': 8.422914505004883}\n",
+      "{'epoch': 0, 'update in batch': 4158, '/': 12375, 'loss': 7.5291242599487305}\n",
+      "{'epoch': 0, 'update in batch': 4159, '/': 12375, 'loss': 7.576747894287109}\n",
+      "{'epoch': 0, 'update in batch': 4160, '/': 12375, 'loss': 7.5840559005737305}\n",
+      "{'epoch': 0, 'update in batch': 4161, '/': 12375, 'loss': 8.083231925964355}\n",
+      "{'epoch': 0, 'update in batch': 4162, '/': 12375, 'loss': 7.336173057556152}\n",
+      "{'epoch': 0, 'update in batch': 4163, '/': 12375, 'loss': 7.6338210105896}\n",
+      "{'epoch': 0, 'update in batch': 4164, '/': 12375, 'loss': 7.687036991119385}\n",
+      "{'epoch': 0, 'update in batch': 4165, '/': 12375, 'loss': 7.32088565826416}\n",
+      "{'epoch': 0, 'update in batch': 4166, '/': 12375, 'loss': 7.405961513519287}\n",
+      "{'epoch': 0, 'update in batch': 4167, '/': 12375, 'loss': 8.073258399963379}\n",
+      "{'epoch': 0, 'update in batch': 4168, '/': 12375, 'loss': 8.15910530090332}\n",
+      "{'epoch': 0, 'update in batch': 4169, '/': 12375, 'loss': 8.452142715454102}\n",
+      "{'epoch': 0, 'update in batch': 4170, '/': 12375, 'loss': 8.298700332641602}\n",
+      "{'epoch': 0, 'update in batch': 4171, '/': 12375, 'loss': 7.319116115570068}\n",
+      "{'epoch': 0, 'update in batch': 4172, '/': 12375, 'loss': 7.898085117340088}\n",
+      "{'epoch': 0, 'update in batch': 4173, '/': 12375, 'loss': 8.08454704284668}\n",
+      "{'epoch': 0, 'update in batch': 4174, '/': 12375, 'loss': 6.867471218109131}\n",
+      "{'epoch': 0, 'update in batch': 4175, '/': 12375, 'loss': 6.611591339111328}\n",
+      "{'epoch': 0, 'update in batch': 4176, '/': 12375, 'loss': 6.722161769866943}\n",
+      "{'epoch': 0, 'update in batch': 4177, '/': 12375, 'loss': 7.270074367523193}\n",
+      "{'epoch': 0, 'update in batch': 4178, '/': 12375, 'loss': 7.5412421226501465}\n",
+      "{'epoch': 0, 'update in batch': 4179, '/': 12375, 'loss': 6.553203582763672}\n",
+      "{'epoch': 0, 'update in batch': 4180, '/': 12375, 'loss': 8.165409088134766}\n",
+      "{'epoch': 0, 'update in batch': 4181, '/': 12375, 'loss': 8.53215217590332}\n",
+      "{'epoch': 0, 'update in batch': 4182, '/': 12375, 'loss': 8.57170581817627}\n",
+      "{'epoch': 0, 'update in batch': 4183, '/': 12375, 'loss': 8.107576370239258}\n",
+      "{'epoch': 0, 'update in batch': 4184, '/': 12375, 'loss': 7.617790222167969}\n",
+      "{'epoch': 0, 'update in batch': 4185, '/': 12375, 'loss': 7.165594577789307}\n",
+      "{'epoch': 0, 'update in batch': 4186, '/': 12375, 'loss': 7.6961212158203125}\n",
+      "{'epoch': 0, 'update in batch': 4187, '/': 12375, 'loss': 6.774102210998535}\n",
+      "{'epoch': 0, 'update in batch': 4188, '/': 12375, 'loss': 8.310175895690918}\n",
+      "{'epoch': 0, 'update in batch': 4189, '/': 12375, 'loss': 7.846643924713135}\n",
+      "{'epoch': 0, 'update in batch': 4190, '/': 12375, 'loss': 7.443935394287109}\n",
+      "{'epoch': 0, 'update in batch': 4191, '/': 12375, 'loss': 6.807071685791016}\n",
+      "{'epoch': 0, 'update in batch': 4192, '/': 12375, 'loss': 7.279637336730957}\n",
+      "{'epoch': 0, 'update in batch': 4193, '/': 12375, 'loss': 7.308464050292969}\n",
+      "{'epoch': 0, 'update in batch': 4194, '/': 12375, 'loss': 7.407037258148193}\n",
+      "{'epoch': 0, 'update in batch': 4195, '/': 12375, 'loss': 7.40899658203125}\n",
+      "{'epoch': 0, 'update in batch': 4196, '/': 12375, 'loss': 7.432391166687012}\n",
+      "{'epoch': 0, 'update in batch': 4197, '/': 12375, 'loss': 7.665780067443848}\n",
+      "{'epoch': 0, 'update in batch': 4198, '/': 12375, 'loss': 7.494753360748291}\n",
+      "{'epoch': 0, 'update in batch': 4199, '/': 12375, 'loss': 6.805267333984375}\n",
+      "{'epoch': 0, 'update in batch': 4200, '/': 12375, 'loss': 7.3478193283081055}\n",
+      "{'epoch': 0, 'update in batch': 4201, '/': 12375, 'loss': 7.038419246673584}\n",
+      "{'epoch': 0, 'update in batch': 4202, '/': 12375, 'loss': 7.435969352722168}\n",
+      "{'epoch': 0, 'update in batch': 4203, '/': 12375, 'loss': 7.54831075668335}\n",
+      "{'epoch': 0, 'update in batch': 4204, '/': 12375, 'loss': 7.731443881988525}\n",
+      "{'epoch': 0, 'update in batch': 4205, '/': 12375, 'loss': 7.98574161529541}\n",
+      "{'epoch': 0, 'update in batch': 4206, '/': 12375, 'loss': 7.111353397369385}\n",
+      "{'epoch': 0, 'update in batch': 4207, '/': 12375, 'loss': 7.912661075592041}\n",
+      "{'epoch': 0, 'update in batch': 4208, '/': 12375, 'loss': 7.503664493560791}\n",
+      "{'epoch': 0, 'update in batch': 4209, '/': 12375, 'loss': 7.443238258361816}\n",
+      "{'epoch': 0, 'update in batch': 4210, '/': 12375, 'loss': 7.889582633972168}\n",
+      "{'epoch': 0, 'update in batch': 4211, '/': 12375, 'loss': 7.936012268066406}\n",
+      "{'epoch': 0, 'update in batch': 4212, '/': 12375, 'loss': 7.7282867431640625}\n",
+      "{'epoch': 0, 'update in batch': 4213, '/': 12375, 'loss': 6.927486419677734}\n",
+      "{'epoch': 0, 'update in batch': 4214, '/': 12375, 'loss': 7.698616027832031}\n",
+      "{'epoch': 0, 'update in batch': 4215, '/': 12375, 'loss': 6.870143890380859}\n",
+      "{'epoch': 0, 'update in batch': 4216, '/': 12375, 'loss': 7.171194553375244}\n",
+      "{'epoch': 0, 'update in batch': 4217, '/': 12375, 'loss': 7.452378273010254}\n",
+      "{'epoch': 0, 'update in batch': 4218, '/': 12375, 'loss': 6.861937522888184}\n",
+      "{'epoch': 0, 'update in batch': 4219, '/': 12375, 'loss': 7.420167446136475}\n",
+      "{'epoch': 0, 'update in batch': 4220, '/': 12375, 'loss': 6.8997368812561035}\n",
+      "{'epoch': 0, 'update in batch': 4221, '/': 12375, 'loss': 7.245596408843994}\n",
+      "{'epoch': 0, 'update in batch': 4222, '/': 12375, 'loss': 7.6581244468688965}\n",
+      "{'epoch': 0, 'update in batch': 4223, '/': 12375, 'loss': 7.085073947906494}\n",
+      "{'epoch': 0, 'update in batch': 4224, '/': 12375, 'loss': 7.593763828277588}\n",
+      "{'epoch': 0, 'update in batch': 4225, '/': 12375, 'loss': 6.817257881164551}\n",
+      "{'epoch': 0, 'update in batch': 4226, '/': 12375, 'loss': 7.2708306312561035}\n",
+      "{'epoch': 0, 'update in batch': 4227, '/': 12375, 'loss': 7.267864227294922}\n",
+      "{'epoch': 0, 'update in batch': 4228, '/': 12375, 'loss': 6.580624580383301}\n",
+      "{'epoch': 0, 'update in batch': 4229, '/': 12375, 'loss': 7.83007287979126}\n",
+      "{'epoch': 0, 'update in batch': 4230, '/': 12375, 'loss': 7.322080135345459}\n",
+      "{'epoch': 0, 'update in batch': 4231, '/': 12375, 'loss': 7.432121276855469}\n",
+      "{'epoch': 0, 'update in batch': 4232, '/': 12375, 'loss': 7.288479804992676}\n",
+      "{'epoch': 0, 'update in batch': 4233, '/': 12375, 'loss': 6.814356327056885}\n",
+      "{'epoch': 0, 'update in batch': 4234, '/': 12375, 'loss': 7.119724273681641}\n",
+      "{'epoch': 0, 'update in batch': 4235, '/': 12375, 'loss': 7.090897560119629}\n",
+      "{'epoch': 0, 'update in batch': 4236, '/': 12375, 'loss': 6.827250003814697}\n",
+      "{'epoch': 0, 'update in batch': 4237, '/': 12375, 'loss': 6.797454833984375}\n",
+      "{'epoch': 0, 'update in batch': 4238, '/': 12375, 'loss': 7.105499267578125}\n",
+      "{'epoch': 0, 'update in batch': 4239, '/': 12375, 'loss': 7.036454200744629}\n",
+      "{'epoch': 0, 'update in batch': 4240, '/': 12375, 'loss': 7.473751068115234}\n",
+      "{'epoch': 0, 'update in batch': 4241, '/': 12375, 'loss': 7.3443922996521}\n",
+      "{'epoch': 0, 'update in batch': 4242, '/': 12375, 'loss': 7.320589542388916}\n",
+      "{'epoch': 0, 'update in batch': 4243, '/': 12375, 'loss': 6.730796813964844}\n",
+      "{'epoch': 0, 'update in batch': 4244, '/': 12375, 'loss': 7.157949924468994}\n",
+      "{'epoch': 0, 'update in batch': 4245, '/': 12375, 'loss': 7.691854953765869}\n",
+      "{'epoch': 0, 'update in batch': 4246, '/': 12375, 'loss': 8.209768295288086}\n",
+      "{'epoch': 0, 'update in batch': 4247, '/': 12375, 'loss': 8.329059600830078}\n",
+      "{'epoch': 0, 'update in batch': 4248, '/': 12375, 'loss': 8.235374450683594}\n",
+      "{'epoch': 0, 'update in batch': 4249, '/': 12375, 'loss': 7.865200042724609}\n",
+      "{'epoch': 0, 'update in batch': 4250, '/': 12375, 'loss': 7.758364200592041}\n",
+      "{'epoch': 0, 'update in batch': 4251, '/': 12375, 'loss': 7.46911096572876}\n",
+      "{'epoch': 0, 'update in batch': 4252, '/': 12375, 'loss': 7.848662376403809}\n",
+      "{'epoch': 0, 'update in batch': 4253, '/': 12375, 'loss': 7.733777046203613}\n",
+      "{'epoch': 0, 'update in batch': 4254, '/': 12375, 'loss': 8.265820503234863}\n",
+      "{'epoch': 0, 'update in batch': 4255, '/': 12375, 'loss': 7.854101657867432}\n",
+      "{'epoch': 0, 'update in batch': 4256, '/': 12375, 'loss': 7.794488430023193}\n",
+      "{'epoch': 0, 'update in batch': 4257, '/': 12375, 'loss': 8.313593864440918}\n",
+      "{'epoch': 0, 'update in batch': 4258, '/': 12375, 'loss': 8.360326766967773}\n",
+      "{'epoch': 0, 'update in batch': 4259, '/': 12375, 'loss': 7.837482452392578}\n",
+      "{'epoch': 0, 'update in batch': 4260, '/': 12375, 'loss': 7.1844801902771}\n",
+      "{'epoch': 0, 'update in batch': 4261, '/': 12375, 'loss': 6.92953634262085}\n",
+      "{'epoch': 0, 'update in batch': 4262, '/': 12375, 'loss': 7.334911346435547}\n",
+      "{'epoch': 0, 'update in batch': 4263, '/': 12375, 'loss': 6.98380184173584}\n",
+      "{'epoch': 0, 'update in batch': 4264, '/': 12375, 'loss': 7.463220119476318}\n",
+      "{'epoch': 0, 'update in batch': 4265, '/': 12375, 'loss': 6.865822792053223}\n",
+      "{'epoch': 0, 'update in batch': 4266, '/': 12375, 'loss': 7.400266170501709}\n",
+      "{'epoch': 0, 'update in batch': 4267, '/': 12375, 'loss': 7.334928035736084}\n",
+      "{'epoch': 0, 'update in batch': 4268, '/': 12375, 'loss': 6.360572338104248}\n",
+      "{'epoch': 0, 'update in batch': 4269, '/': 12375, 'loss': 7.125903129577637}\n",
+      "{'epoch': 0, 'update in batch': 4270, '/': 12375, 'loss': 6.853754997253418}\n",
+      "{'epoch': 0, 'update in batch': 4271, '/': 12375, 'loss': 7.401139736175537}\n",
+      "{'epoch': 0, 'update in batch': 4272, '/': 12375, 'loss': 6.6793622970581055}\n",
+      "{'epoch': 0, 'update in batch': 4273, '/': 12375, 'loss': 7.27872371673584}\n",
+      "{'epoch': 0, 'update in batch': 4274, '/': 12375, 'loss': 7.284008026123047}\n",
+      "{'epoch': 0, 'update in batch': 4275, '/': 12375, 'loss': 7.319433689117432}\n",
+      "{'epoch': 0, 'update in batch': 4276, '/': 12375, 'loss': 6.855216979980469}\n",
+      "{'epoch': 0, 'update in batch': 4277, '/': 12375, 'loss': 7.201975345611572}\n",
+      "{'epoch': 0, 'update in batch': 4278, '/': 12375, 'loss': 7.471148490905762}\n",
+      "{'epoch': 0, 'update in batch': 4279, '/': 12375, 'loss': 6.961452484130859}\n",
+      "{'epoch': 0, 'update in batch': 4280, '/': 12375, 'loss': 6.834620475769043}\n",
+      "{'epoch': 0, 'update in batch': 4281, '/': 12375, 'loss': 7.83025598526001}\n",
+      "{'epoch': 0, 'update in batch': 4282, '/': 12375, 'loss': 7.25433874130249}\n",
+      "{'epoch': 0, 'update in batch': 4283, '/': 12375, 'loss': 8.119065284729004}\n",
+      "{'epoch': 0, 'update in batch': 4284, '/': 12375, 'loss': 7.806247711181641}\n",
+      "{'epoch': 0, 'update in batch': 4285, '/': 12375, 'loss': 7.537466526031494}\n",
+      "{'epoch': 0, 'update in batch': 4286, '/': 12375, 'loss': 7.404702186584473}\n",
+      "{'epoch': 0, 'update in batch': 4287, '/': 12375, 'loss': 6.898993492126465}\n",
+      "{'epoch': 0, 'update in batch': 4288, '/': 12375, 'loss': 6.986254692077637}\n",
+      "{'epoch': 0, 'update in batch': 4289, '/': 12375, 'loss': 6.8407111167907715}\n",
+      "{'epoch': 0, 'update in batch': 4290, '/': 12375, 'loss': 7.4140944480896}\n",
+      "{'epoch': 0, 'update in batch': 4291, '/': 12375, 'loss': 6.906620025634766}\n",
+      "{'epoch': 0, 'update in batch': 4292, '/': 12375, 'loss': 7.143731117248535}\n",
+      "{'epoch': 0, 'update in batch': 4293, '/': 12375, 'loss': 7.32021427154541}\n",
+      "{'epoch': 0, 'update in batch': 4294, '/': 12375, 'loss': 7.175327301025391}\n",
+      "{'epoch': 0, 'update in batch': 4295, '/': 12375, 'loss': 7.460606575012207}\n",
+      "{'epoch': 0, 'update in batch': 4296, '/': 12375, 'loss': 7.018096923828125}\n",
+      "{'epoch': 0, 'update in batch': 4297, '/': 12375, 'loss': 7.051953315734863}\n",
+      "{'epoch': 0, 'update in batch': 4298, '/': 12375, 'loss': 7.204930305480957}\n",
+      "{'epoch': 0, 'update in batch': 4299, '/': 12375, 'loss': 6.976649284362793}\n",
+      "{'epoch': 0, 'update in batch': 4300, '/': 12375, 'loss': 7.069418430328369}\n",
+      "{'epoch': 0, 'update in batch': 4301, '/': 12375, 'loss': 6.565326690673828}\n",
+      "{'epoch': 0, 'update in batch': 4302, '/': 12375, 'loss': 7.359841823577881}\n",
+      "{'epoch': 0, 'update in batch': 4303, '/': 12375, 'loss': 7.234982490539551}\n",
+      "{'epoch': 0, 'update in batch': 4304, '/': 12375, 'loss': 7.0162224769592285}\n",
+      "{'epoch': 0, 'update in batch': 4305, '/': 12375, 'loss': 7.030857086181641}\n",
+      "{'epoch': 0, 'update in batch': 4306, '/': 12375, 'loss': 6.773459434509277}\n",
+      "{'epoch': 0, 'update in batch': 4307, '/': 12375, 'loss': 6.77944278717041}\n",
+      "{'epoch': 0, 'update in batch': 4308, '/': 12375, 'loss': 7.327910423278809}\n",
+      "{'epoch': 0, 'update in batch': 4309, '/': 12375, 'loss': 6.755841255187988}\n",
+      "{'epoch': 0, 'update in batch': 4310, '/': 12375, 'loss': 7.395510196685791}\n",
+      "{'epoch': 0, 'update in batch': 4311, '/': 12375, 'loss': 7.211779594421387}\n",
+      "{'epoch': 0, 'update in batch': 4312, '/': 12375, 'loss': 7.375267028808594}\n",
+      "{'epoch': 0, 'update in batch': 4313, '/': 12375, 'loss': 7.6876540184021}\n",
+      "{'epoch': 0, 'update in batch': 4314, '/': 12375, 'loss': 7.440852165222168}\n",
+      "{'epoch': 0, 'update in batch': 4315, '/': 12375, 'loss': 6.9225053787231445}\n",
+      "{'epoch': 0, 'update in batch': 4316, '/': 12375, 'loss': 7.7772016525268555}\n",
+      "{'epoch': 0, 'update in batch': 4317, '/': 12375, 'loss': 7.561707973480225}\n",
+      "{'epoch': 0, 'update in batch': 4318, '/': 12375, 'loss': 6.581385612487793}\n",
+      "{'epoch': 0, 'update in batch': 4319, '/': 12375, 'loss': 7.357792854309082}\n",
+      "{'epoch': 0, 'update in batch': 4320, '/': 12375, 'loss': 7.122225284576416}\n",
+      "{'epoch': 0, 'update in batch': 4321, '/': 12375, 'loss': 7.3056960105896}\n",
+      "{'epoch': 0, 'update in batch': 4322, '/': 12375, 'loss': 7.411507606506348}\n",
+      "{'epoch': 0, 'update in batch': 4323, '/': 12375, 'loss': 7.0850019454956055}\n",
+      "{'epoch': 0, 'update in batch': 4324, '/': 12375, 'loss': 6.83257532119751}\n",
+      "{'epoch': 0, 'update in batch': 4325, '/': 12375, 'loss': 7.540700435638428}\n",
+      "{'epoch': 0, 'update in batch': 4326, '/': 12375, 'loss': 7.072679042816162}\n",
+      "{'epoch': 0, 'update in batch': 4327, '/': 12375, 'loss': 7.5220232009887695}\n",
+      "{'epoch': 0, 'update in batch': 4328, '/': 12375, 'loss': 7.245905876159668}\n",
+      "{'epoch': 0, 'update in batch': 4329, '/': 12375, 'loss': 7.134674072265625}\n",
+      "{'epoch': 0, 'update in batch': 4330, '/': 12375, 'loss': 6.688887596130371}\n",
+      "{'epoch': 0, 'update in batch': 4331, '/': 12375, 'loss': 6.853024482727051}\n",
+      "{'epoch': 0, 'update in batch': 4332, '/': 12375, 'loss': 6.480071067810059}\n",
+      "{'epoch': 0, 'update in batch': 4333, '/': 12375, 'loss': 6.551649570465088}\n",
+      "{'epoch': 0, 'update in batch': 4334, '/': 12375, 'loss': 7.2539262771606445}\n",
+      "{'epoch': 0, 'update in batch': 4335, '/': 12375, 'loss': 7.100844383239746}\n",
+      "{'epoch': 0, 'update in batch': 4336, '/': 12375, 'loss': 7.28418493270874}\n",
+      "{'epoch': 0, 'update in batch': 4337, '/': 12375, 'loss': 7.666484832763672}\n",
+      "{'epoch': 0, 'update in batch': 4338, '/': 12375, 'loss': 7.769254207611084}\n",
+      "{'epoch': 0, 'update in batch': 4339, '/': 12375, 'loss': 7.67648458480835}\n",
+      "{'epoch': 0, 'update in batch': 4340, '/': 12375, 'loss': 7.57694149017334}\n",
+      "{'epoch': 0, 'update in batch': 4341, '/': 12375, 'loss': 7.8675665855407715}\n",
+      "{'epoch': 0, 'update in batch': 4342, '/': 12375, 'loss': 7.995262145996094}\n",
+      "{'epoch': 0, 'update in batch': 4343, '/': 12375, 'loss': 7.931282997131348}\n",
+      "{'epoch': 0, 'update in batch': 4344, '/': 12375, 'loss': 7.980792999267578}\n",
+      "{'epoch': 0, 'update in batch': 4345, '/': 12375, 'loss': 7.393552303314209}\n",
+      "{'epoch': 0, 'update in batch': 4346, '/': 12375, 'loss': 8.11904525756836}\n",
+      "{'epoch': 0, 'update in batch': 4347, '/': 12375, 'loss': 7.268654823303223}\n",
+      "{'epoch': 0, 'update in batch': 4348, '/': 12375, 'loss': 7.203971862792969}\n",
+      "{'epoch': 0, 'update in batch': 4349, '/': 12375, 'loss': 7.673414707183838}\n",
+      "{'epoch': 0, 'update in batch': 4350, '/': 12375, 'loss': 7.347653388977051}\n",
+      "{'epoch': 0, 'update in batch': 4351, '/': 12375, 'loss': 7.442231178283691}\n",
+      "{'epoch': 0, 'update in batch': 4352, '/': 12375, 'loss': 7.359338283538818}\n",
+      "{'epoch': 0, 'update in batch': 4353, '/': 12375, 'loss': 6.961482048034668}\n",
+      "{'epoch': 0, 'update in batch': 4354, '/': 12375, 'loss': 7.31398868560791}\n",
+      "{'epoch': 0, 'update in batch': 4355, '/': 12375, 'loss': 7.7668328285217285}\n",
+      "{'epoch': 0, 'update in batch': 4356, '/': 12375, 'loss': 8.296971321105957}\n",
+      "{'epoch': 0, 'update in batch': 4357, '/': 12375, 'loss': 7.5409417152404785}\n",
+      "{'epoch': 0, 'update in batch': 4358, '/': 12375, 'loss': 7.485396385192871}\n",
+      "{'epoch': 0, 'update in batch': 4359, '/': 12375, 'loss': 7.70327091217041}\n",
+      "{'epoch': 0, 'update in batch': 4360, '/': 12375, 'loss': 7.5075860023498535}\n",
+      "{'epoch': 0, 'update in batch': 4361, '/': 12375, 'loss': 7.897847652435303}\n",
+      "{'epoch': 0, 'update in batch': 4362, '/': 12375, 'loss': 8.026609420776367}\n",
+      "{'epoch': 0, 'update in batch': 4363, '/': 12375, 'loss': 8.413447380065918}\n",
+      "{'epoch': 0, 'update in batch': 4364, '/': 12375, 'loss': 7.868138790130615}\n",
+      "{'epoch': 0, 'update in batch': 4365, '/': 12375, 'loss': 7.421136379241943}\n",
+      "{'epoch': 0, 'update in batch': 4366, '/': 12375, 'loss': 7.619290828704834}\n",
+      "{'epoch': 0, 'update in batch': 4367, '/': 12375, 'loss': 7.12539005279541}\n",
+      "{'epoch': 0, 'update in batch': 4368, '/': 12375, 'loss': 7.268577575683594}\n",
+      "{'epoch': 0, 'update in batch': 4369, '/': 12375, 'loss': 7.875784873962402}\n",
+      "{'epoch': 0, 'update in batch': 4370, '/': 12375, 'loss': 6.922949314117432}\n",
+      "{'epoch': 0, 'update in batch': 4371, '/': 12375, 'loss': 7.569357395172119}\n",
+      "{'epoch': 0, 'update in batch': 4372, '/': 12375, 'loss': 7.059643745422363}\n",
+      "{'epoch': 0, 'update in batch': 4373, '/': 12375, 'loss': 7.1793107986450195}\n",
+      "{'epoch': 0, 'update in batch': 4374, '/': 12375, 'loss': 7.667411804199219}\n",
+      "{'epoch': 0, 'update in batch': 4375, '/': 12375, 'loss': 7.763480186462402}\n",
+      "{'epoch': 0, 'update in batch': 4376, '/': 12375, 'loss': 7.8593339920043945}\n",
+      "{'epoch': 0, 'update in batch': 4377, '/': 12375, 'loss': 7.333426475524902}\n",
+      "{'epoch': 0, 'update in batch': 4378, '/': 12375, 'loss': 7.816448211669922}\n",
+      "{'epoch': 0, 'update in batch': 4379, '/': 12375, 'loss': 7.653707027435303}\n",
+      "{'epoch': 0, 'update in batch': 4380, '/': 12375, 'loss': 7.653709411621094}\n",
+      "{'epoch': 0, 'update in batch': 4381, '/': 12375, 'loss': 7.783689975738525}\n",
+      "{'epoch': 0, 'update in batch': 4382, '/': 12375, 'loss': 7.955317497253418}\n",
+      "{'epoch': 0, 'update in batch': 4383, '/': 12375, 'loss': 6.642983913421631}\n",
+      "{'epoch': 0, 'update in batch': 4384, '/': 12375, 'loss': 7.372562408447266}\n",
+      "{'epoch': 0, 'update in batch': 4385, '/': 12375, 'loss': 6.971890926361084}\n",
+      "{'epoch': 0, 'update in batch': 4386, '/': 12375, 'loss': 6.633090972900391}\n",
+      "{'epoch': 0, 'update in batch': 4387, '/': 12375, 'loss': 6.720767021179199}\n",
+      "{'epoch': 0, 'update in batch': 4388, '/': 12375, 'loss': 6.977007865905762}\n",
+      "{'epoch': 0, 'update in batch': 4389, '/': 12375, 'loss': 6.779763221740723}\n",
+      "{'epoch': 0, 'update in batch': 4390, '/': 12375, 'loss': 6.849409580230713}\n",
+      "{'epoch': 0, 'update in batch': 4391, '/': 12375, 'loss': 6.4600372314453125}\n",
+      "{'epoch': 0, 'update in batch': 4392, '/': 12375, 'loss': 6.925506591796875}\n",
+      "{'epoch': 0, 'update in batch': 4393, '/': 12375, 'loss': 7.726080894470215}\n",
+      "{'epoch': 0, 'update in batch': 4394, '/': 12375, 'loss': 8.284639358520508}\n",
+      "{'epoch': 0, 'update in batch': 4395, '/': 12375, 'loss': 8.306068420410156}\n",
+      "{'epoch': 0, 'update in batch': 4396, '/': 12375, 'loss': 7.874917030334473}\n",
+      "{'epoch': 0, 'update in batch': 4397, '/': 12375, 'loss': 8.392290115356445}\n",
+      "{'epoch': 0, 'update in batch': 4398, '/': 12375, 'loss': 7.914773464202881}\n",
+      "{'epoch': 0, 'update in batch': 4399, '/': 12375, 'loss': 7.857142448425293}\n",
+      "{'epoch': 0, 'update in batch': 4400, '/': 12375, 'loss': 8.54421329498291}\n",
+      "{'epoch': 0, 'update in batch': 4401, '/': 12375, 'loss': 8.131349563598633}\n",
+      "{'epoch': 0, 'update in batch': 4402, '/': 12375, 'loss': 8.827249526977539}\n",
+      "{'epoch': 0, 'update in batch': 4403, '/': 12375, 'loss': 8.22403335571289}\n",
+      "{'epoch': 0, 'update in batch': 4404, '/': 12375, 'loss': 7.883520603179932}\n",
+      "{'epoch': 0, 'update in batch': 4405, '/': 12375, 'loss': 8.277009963989258}\n",
+      "{'epoch': 0, 'update in batch': 4406, '/': 12375, 'loss': 8.162368774414062}\n",
+      "{'epoch': 0, 'update in batch': 4407, '/': 12375, 'loss': 7.730303764343262}\n",
+      "{'epoch': 0, 'update in batch': 4408, '/': 12375, 'loss': 8.27446174621582}\n",
+      "{'epoch': 0, 'update in batch': 4409, '/': 12375, 'loss': 8.145695686340332}\n",
+      "{'epoch': 0, 'update in batch': 4410, '/': 12375, 'loss': 8.162457466125488}\n",
+      "{'epoch': 0, 'update in batch': 4411, '/': 12375, 'loss': 8.424029350280762}\n",
+      "{'epoch': 0, 'update in batch': 4412, '/': 12375, 'loss': 8.444002151489258}\n",
+      "{'epoch': 0, 'update in batch': 4413, '/': 12375, 'loss': 8.61756706237793}\n",
+      "{'epoch': 0, 'update in batch': 4414, '/': 12375, 'loss': 8.38218879699707}\n",
+      "{'epoch': 0, 'update in batch': 4415, '/': 12375, 'loss': 7.722289085388184}\n",
+      "{'epoch': 0, 'update in batch': 4416, '/': 12375, 'loss': 7.5693039894104}\n",
+      "{'epoch': 0, 'update in batch': 4417, '/': 12375, 'loss': 8.198287963867188}\n",
+      "{'epoch': 0, 'update in batch': 4418, '/': 12375, 'loss': 8.023073196411133}\n",
+      "{'epoch': 0, 'update in batch': 4419, '/': 12375, 'loss': 8.588571548461914}\n",
+      "{'epoch': 0, 'update in batch': 4420, '/': 12375, 'loss': 7.798532009124756}\n",
+      "{'epoch': 0, 'update in batch': 4421, '/': 12375, 'loss': 8.121315002441406}\n",
+      "{'epoch': 0, 'update in batch': 4422, '/': 12375, 'loss': 7.391718864440918}\n",
+      "{'epoch': 0, 'update in batch': 4423, '/': 12375, 'loss': 7.835773468017578}\n",
+      "{'epoch': 0, 'update in batch': 4424, '/': 12375, 'loss': 8.021522521972656}\n",
+      "{'epoch': 0, 'update in batch': 4425, '/': 12375, 'loss': 8.131356239318848}\n",
+      "{'epoch': 0, 'update in batch': 4426, '/': 12375, 'loss': 6.284946441650391}\n",
+      "{'epoch': 0, 'update in batch': 4427, '/': 12375, 'loss': 7.340090274810791}\n",
+      "{'epoch': 0, 'update in batch': 4428, '/': 12375, 'loss': 7.309178352355957}\n",
+      "{'epoch': 0, 'update in batch': 4429, '/': 12375, 'loss': 7.78845739364624}\n",
+      "{'epoch': 0, 'update in batch': 4430, '/': 12375, 'loss': 6.830389499664307}\n",
+      "{'epoch': 0, 'update in batch': 4431, '/': 12375, 'loss': 6.957682132720947}\n",
+      "{'epoch': 0, 'update in batch': 4432, '/': 12375, 'loss': 6.803134918212891}\n",
+      "{'epoch': 0, 'update in batch': 4433, '/': 12375, 'loss': 7.7372331619262695}\n",
+      "{'epoch': 0, 'update in batch': 4434, '/': 12375, 'loss': 7.133243560791016}\n",
+      "{'epoch': 0, 'update in batch': 4435, '/': 12375, 'loss': 7.5795440673828125}\n",
+      "{'epoch': 0, 'update in batch': 4436, '/': 12375, 'loss': 7.030346870422363}\n",
+      "{'epoch': 0, 'update in batch': 4437, '/': 12375, 'loss': 7.335091590881348}\n",
+      "{'epoch': 0, 'update in batch': 4438, '/': 12375, 'loss': 6.890364170074463}\n",
+      "{'epoch': 0, 'update in batch': 4439, '/': 12375, 'loss': 6.2573933601379395}\n",
+      "{'epoch': 0, 'update in batch': 4440, '/': 12375, 'loss': 7.025627136230469}\n",
+      "{'epoch': 0, 'update in batch': 4441, '/': 12375, 'loss': 7.451531410217285}\n",
+      "{'epoch': 0, 'update in batch': 4442, '/': 12375, 'loss': 7.030247688293457}\n",
+      "{'epoch': 0, 'update in batch': 4443, '/': 12375, 'loss': 7.023756504058838}\n",
+      "{'epoch': 0, 'update in batch': 4444, '/': 12375, 'loss': 6.970465183258057}\n",
+      "{'epoch': 0, 'update in batch': 4445, '/': 12375, 'loss': 6.829001426696777}\n",
+      "{'epoch': 0, 'update in batch': 4446, '/': 12375, 'loss': 6.980581760406494}\n",
+      "{'epoch': 0, 'update in batch': 4447, '/': 12375, 'loss': 6.542106628417969}\n",
+      "{'epoch': 0, 'update in batch': 4448, '/': 12375, 'loss': 6.663013458251953}\n",
+      "{'epoch': 0, 'update in batch': 4449, '/': 12375, 'loss': 6.7381463050842285}\n",
+      "{'epoch': 0, 'update in batch': 4450, '/': 12375, 'loss': 6.757392883300781}\n",
+      "{'epoch': 0, 'update in batch': 4451, '/': 12375, 'loss': 7.581114768981934}\n",
+      "{'epoch': 0, 'update in batch': 4452, '/': 12375, 'loss': 6.393835544586182}\n",
+      "{'epoch': 0, 'update in batch': 4453, '/': 12375, 'loss': 7.045279502868652}\n",
+      "{'epoch': 0, 'update in batch': 4454, '/': 12375, 'loss': 6.959438323974609}\n",
+      "{'epoch': 0, 'update in batch': 4455, '/': 12375, 'loss': 6.661262512207031}\n",
+      "{'epoch': 0, 'update in batch': 4456, '/': 12375, 'loss': 7.46584415435791}\n",
+      "{'epoch': 0, 'update in batch': 4457, '/': 12375, 'loss': 7.3451972007751465}\n",
+      "{'epoch': 0, 'update in batch': 4458, '/': 12375, 'loss': 6.587033271789551}\n",
+      "{'epoch': 0, 'update in batch': 4459, '/': 12375, 'loss': 6.302707195281982}\n",
+      "{'epoch': 0, 'update in batch': 4460, '/': 12375, 'loss': 6.867847442626953}\n",
+      "{'epoch': 0, 'update in batch': 4461, '/': 12375, 'loss': 6.867077827453613}\n",
+      "{'epoch': 0, 'update in batch': 4462, '/': 12375, 'loss': 7.960169792175293}\n",
+      "{'epoch': 0, 'update in batch': 4463, '/': 12375, 'loss': 6.677817344665527}\n",
+      "{'epoch': 0, 'update in batch': 4464, '/': 12375, 'loss': 6.998571872711182}\n",
+      "{'epoch': 0, 'update in batch': 4465, '/': 12375, 'loss': 6.628785133361816}\n",
+      "{'epoch': 0, 'update in batch': 4466, '/': 12375, 'loss': 7.168982028961182}\n",
+      "{'epoch': 0, 'update in batch': 4467, '/': 12375, 'loss': 6.561654567718506}\n",
+      "{'epoch': 0, 'update in batch': 4468, '/': 12375, 'loss': 7.108750343322754}\n",
+      "{'epoch': 0, 'update in batch': 4469, '/': 12375, 'loss': 7.061229705810547}\n",
+      "{'epoch': 0, 'update in batch': 4470, '/': 12375, 'loss': 7.160223960876465}\n",
+      "{'epoch': 0, 'update in batch': 4471, '/': 12375, 'loss': 7.634419918060303}\n",
+      "{'epoch': 0, 'update in batch': 4472, '/': 12375, 'loss': 6.756455421447754}\n",
+      "{'epoch': 0, 'update in batch': 4473, '/': 12375, 'loss': 7.263006687164307}\n",
+      "{'epoch': 0, 'update in batch': 4474, '/': 12375, 'loss': 6.854531288146973}\n",
+      "{'epoch': 0, 'update in batch': 4475, '/': 12375, 'loss': 7.516388893127441}\n",
+      "{'epoch': 0, 'update in batch': 4476, '/': 12375, 'loss': 6.415167808532715}\n",
+      "{'epoch': 0, 'update in batch': 4477, '/': 12375, 'loss': 6.9774580001831055}\n",
+      "{'epoch': 0, 'update in batch': 4478, '/': 12375, 'loss': 6.596623420715332}\n",
+      "{'epoch': 0, 'update in batch': 4479, '/': 12375, 'loss': 7.154521942138672}\n",
+      "{'epoch': 0, 'update in batch': 4480, '/': 12375, 'loss': 6.481210231781006}\n",
+      "{'epoch': 0, 'update in batch': 4481, '/': 12375, 'loss': 7.131224632263184}\n",
+      "{'epoch': 0, 'update in batch': 4482, '/': 12375, 'loss': 6.484073638916016}\n",
+      "{'epoch': 0, 'update in batch': 4483, '/': 12375, 'loss': 6.859763145446777}\n",
+      "{'epoch': 0, 'update in batch': 4484, '/': 12375, 'loss': 7.333447456359863}\n",
+      "{'epoch': 0, 'update in batch': 4485, '/': 12375, 'loss': 8.18740463256836}\n",
+      "{'epoch': 0, 'update in batch': 4486, '/': 12375, 'loss': 7.669426918029785}\n",
+      "{'epoch': 0, 'update in batch': 4487, '/': 12375, 'loss': 7.108837127685547}\n",
+      "{'epoch': 0, 'update in batch': 4488, '/': 12375, 'loss': 7.885556221008301}\n",
+      "{'epoch': 0, 'update in batch': 4489, '/': 12375, 'loss': 7.246584892272949}\n",
+      "{'epoch': 0, 'update in batch': 4490, '/': 12375, 'loss': 7.896662712097168}\n",
+      "{'epoch': 0, 'update in batch': 4491, '/': 12375, 'loss': 7.726868629455566}\n",
+      "{'epoch': 0, 'update in batch': 4492, '/': 12375, 'loss': 8.266454696655273}\n",
+      "{'epoch': 0, 'update in batch': 4493, '/': 12375, 'loss': 7.808072090148926}\n",
+      "{'epoch': 0, 'update in batch': 4494, '/': 12375, 'loss': 8.339370727539062}\n",
+      "{'epoch': 0, 'update in batch': 4495, '/': 12375, 'loss': 7.791228294372559}\n",
+      "{'epoch': 0, 'update in batch': 4496, '/': 12375, 'loss': 7.410040378570557}\n",
+      "{'epoch': 0, 'update in batch': 4497, '/': 12375, 'loss': 7.585219383239746}\n",
+      "{'epoch': 0, 'update in batch': 4498, '/': 12375, 'loss': 7.429171562194824}\n",
+      "{'epoch': 0, 'update in batch': 4499, '/': 12375, 'loss': 8.223624229431152}\n",
+      "{'epoch': 0, 'update in batch': 4500, '/': 12375, 'loss': 7.573416233062744}\n",
+      "{'epoch': 0, 'update in batch': 4501, '/': 12375, 'loss': 7.1301398277282715}\n",
+      "{'epoch': 0, 'update in batch': 4502, '/': 12375, 'loss': 6.995912075042725}\n",
+      "{'epoch': 0, 'update in batch': 4503, '/': 12375, 'loss': 7.382615089416504}\n",
+      "{'epoch': 0, 'update in batch': 4504, '/': 12375, 'loss': 7.677351474761963}\n",
+      "{'epoch': 0, 'update in batch': 4505, '/': 12375, 'loss': 7.962153434753418}\n",
+      "{'epoch': 0, 'update in batch': 4506, '/': 12375, 'loss': 7.823586463928223}\n",
+      "{'epoch': 0, 'update in batch': 4507, '/': 12375, 'loss': 7.729820251464844}\n",
+      "{'epoch': 0, 'update in batch': 4508, '/': 12375, 'loss': 6.916158199310303}\n",
+      "{'epoch': 0, 'update in batch': 4509, '/': 12375, 'loss': 7.477452754974365}\n",
+      "{'epoch': 0, 'update in batch': 4510, '/': 12375, 'loss': 6.993730068206787}\n",
+      "{'epoch': 0, 'update in batch': 4511, '/': 12375, 'loss': 7.0417046546936035}\n",
+      "{'epoch': 0, 'update in batch': 4512, '/': 12375, 'loss': 7.681269645690918}\n",
+      "{'epoch': 0, 'update in batch': 4513, '/': 12375, 'loss': 7.340533256530762}\n",
+      "{'epoch': 0, 'update in batch': 4514, '/': 12375, 'loss': 7.302874565124512}\n",
+      "{'epoch': 0, 'update in batch': 4515, '/': 12375, 'loss': 7.274509429931641}\n",
+      "{'epoch': 0, 'update in batch': 4516, '/': 12375, 'loss': 6.914475917816162}\n",
+      "{'epoch': 0, 'update in batch': 4517, '/': 12375, 'loss': 6.702948093414307}\n",
+      "{'epoch': 0, 'update in batch': 4518, '/': 12375, 'loss': 7.267073631286621}\n",
+      "{'epoch': 0, 'update in batch': 4519, '/': 12375, 'loss': 6.984349250793457}\n",
+      "{'epoch': 0, 'update in batch': 4520, '/': 12375, 'loss': 7.055275917053223}\n",
+      "{'epoch': 0, 'update in batch': 4521, '/': 12375, 'loss': 7.190230369567871}\n",
+      "{'epoch': 0, 'update in batch': 4522, '/': 12375, 'loss': 7.00925350189209}\n",
+      "{'epoch': 0, 'update in batch': 4523, '/': 12375, 'loss': 7.228850364685059}\n",
+      "{'epoch': 0, 'update in batch': 4524, '/': 12375, 'loss': 7.364447593688965}\n",
+      "{'epoch': 0, 'update in batch': 4525, '/': 12375, 'loss': 6.988001346588135}\n",
+      "{'epoch': 0, 'update in batch': 4526, '/': 12375, 'loss': 6.987020969390869}\n",
+      "{'epoch': 0, 'update in batch': 4527, '/': 12375, 'loss': 6.772310733795166}\n",
+      "{'epoch': 0, 'update in batch': 4528, '/': 12375, 'loss': 7.291515350341797}\n",
+      "{'epoch': 0, 'update in batch': 4529, '/': 12375, 'loss': 7.349417686462402}\n",
+      "{'epoch': 0, 'update in batch': 4530, '/': 12375, 'loss': 7.144167900085449}\n",
+      "{'epoch': 0, 'update in batch': 4531, '/': 12375, 'loss': 7.483619689941406}\n",
+      "{'epoch': 0, 'update in batch': 4532, '/': 12375, 'loss': 8.033744812011719}\n",
+      "{'epoch': 0, 'update in batch': 4533, '/': 12375, 'loss': 7.5992913246154785}\n",
+      "{'epoch': 0, 'update in batch': 4534, '/': 12375, 'loss': 6.770668029785156}\n",
+      "{'epoch': 0, 'update in batch': 4535, '/': 12375, 'loss': 7.069915771484375}\n",
+      "{'epoch': 0, 'update in batch': 4536, '/': 12375, 'loss': 6.682007789611816}\n",
+      "{'epoch': 0, 'update in batch': 4537, '/': 12375, 'loss': 7.5294342041015625}\n",
+      "{'epoch': 0, 'update in batch': 4538, '/': 12375, 'loss': 7.448176383972168}\n",
+      "{'epoch': 0, 'update in batch': 4539, '/': 12375, 'loss': 7.502280235290527}\n",
+      "{'epoch': 0, 'update in batch': 4540, '/': 12375, 'loss': 7.241799354553223}\n",
+      "{'epoch': 0, 'update in batch': 4541, '/': 12375, 'loss': 6.744342803955078}\n",
+      "{'epoch': 0, 'update in batch': 4542, '/': 12375, 'loss': 6.650077819824219}\n",
+      "{'epoch': 0, 'update in batch': 4543, '/': 12375, 'loss': 7.261410713195801}\n",
+      "{'epoch': 0, 'update in batch': 4544, '/': 12375, 'loss': 7.822514533996582}\n",
+      "{'epoch': 0, 'update in batch': 4545, '/': 12375, 'loss': 7.969191074371338}\n",
+      "{'epoch': 0, 'update in batch': 4546, '/': 12375, 'loss': 7.348570346832275}\n",
+      "{'epoch': 0, 'update in batch': 4547, '/': 12375, 'loss': 7.821296691894531}\n",
+      "{'epoch': 0, 'update in batch': 4548, '/': 12375, 'loss': 7.759986877441406}\n",
+      "{'epoch': 0, 'update in batch': 4549, '/': 12375, 'loss': 7.556493282318115}\n",
+      "{'epoch': 0, 'update in batch': 4550, '/': 12375, 'loss': 7.428112030029297}\n",
+      "{'epoch': 0, 'update in batch': 4551, '/': 12375, 'loss': 7.665256500244141}\n",
+      "{'epoch': 0, 'update in batch': 4552, '/': 12375, 'loss': 7.415820121765137}\n",
+      "{'epoch': 0, 'update in batch': 4553, '/': 12375, 'loss': 6.70663595199585}\n",
+      "{'epoch': 0, 'update in batch': 4554, '/': 12375, 'loss': 7.404784202575684}\n",
+      "{'epoch': 0, 'update in batch': 4555, '/': 12375, 'loss': 7.584001064300537}\n",
+      "{'epoch': 0, 'update in batch': 4556, '/': 12375, 'loss': 6.728000640869141}\n",
+      "{'epoch': 0, 'update in batch': 4557, '/': 12375, 'loss': 7.352298736572266}\n",
+      "{'epoch': 0, 'update in batch': 4558, '/': 12375, 'loss': 7.051473140716553}\n",
+      "{'epoch': 0, 'update in batch': 4559, '/': 12375, 'loss': 6.721765041351318}\n",
+      "{'epoch': 0, 'update in batch': 4560, '/': 12375, 'loss': 7.061405181884766}\n",
+      "{'epoch': 0, 'update in batch': 4561, '/': 12375, 'loss': 7.085936546325684}\n",
+      "{'epoch': 0, 'update in batch': 4562, '/': 12375, 'loss': 7.129099369049072}\n",
+      "{'epoch': 0, 'update in batch': 4563, '/': 12375, 'loss': 7.879354953765869}\n",
+      "{'epoch': 0, 'update in batch': 4564, '/': 12375, 'loss': 8.269059181213379}\n",
+      "{'epoch': 0, 'update in batch': 4565, '/': 12375, 'loss': 7.408697605133057}\n",
+      "{'epoch': 0, 'update in batch': 4566, '/': 12375, 'loss': 7.547036647796631}\n",
+      "{'epoch': 0, 'update in batch': 4567, '/': 12375, 'loss': 7.990808963775635}\n",
+      "{'epoch': 0, 'update in batch': 4568, '/': 12375, 'loss': 7.239060878753662}\n",
+      "{'epoch': 0, 'update in batch': 4569, '/': 12375, 'loss': 7.724255561828613}\n",
+      "{'epoch': 0, 'update in batch': 4570, '/': 12375, 'loss': 7.689899444580078}\n",
+      "{'epoch': 0, 'update in batch': 4571, '/': 12375, 'loss': 8.011384963989258}\n",
+      "{'epoch': 0, 'update in batch': 4572, '/': 12375, 'loss': 8.468972206115723}\n",
+      "{'epoch': 0, 'update in batch': 4573, '/': 12375, 'loss': 7.921090602874756}\n",
+      "{'epoch': 0, 'update in batch': 4574, '/': 12375, 'loss': 7.749573707580566}\n",
+      "{'epoch': 0, 'update in batch': 4575, '/': 12375, 'loss': 7.517510414123535}\n",
+      "{'epoch': 0, 'update in batch': 4576, '/': 12375, 'loss': 7.705282688140869}\n",
+      "{'epoch': 0, 'update in batch': 4577, '/': 12375, 'loss': 7.823232173919678}\n",
+      "{'epoch': 0, 'update in batch': 4578, '/': 12375, 'loss': 7.469146728515625}\n",
+      "{'epoch': 0, 'update in batch': 4579, '/': 12375, 'loss': 7.762511253356934}\n",
+      "{'epoch': 0, 'update in batch': 4580, '/': 12375, 'loss': 8.15997314453125}\n",
+      "{'epoch': 0, 'update in batch': 4581, '/': 12375, 'loss': 7.445075988769531}\n",
+      "{'epoch': 0, 'update in batch': 4582, '/': 12375, 'loss': 7.859135627746582}\n",
+      "{'epoch': 0, 'update in batch': 4583, '/': 12375, 'loss': 7.402209281921387}\n",
+      "{'epoch': 0, 'update in batch': 4584, '/': 12375, 'loss': 7.971502780914307}\n",
+      "{'epoch': 0, 'update in batch': 4585, '/': 12375, 'loss': 7.440686225891113}\n",
+      "{'epoch': 0, 'update in batch': 4586, '/': 12375, 'loss': 7.059217929840088}\n",
+      "{'epoch': 0, 'update in batch': 4587, '/': 12375, 'loss': 7.315842628479004}\n",
+      "{'epoch': 0, 'update in batch': 4588, '/': 12375, 'loss': 6.834497928619385}\n",
+      "{'epoch': 0, 'update in batch': 4589, '/': 12375, 'loss': 7.2155351638793945}\n",
+      "{'epoch': 0, 'update in batch': 4590, '/': 12375, 'loss': 7.766583442687988}\n",
+      "{'epoch': 0, 'update in batch': 4591, '/': 12375, 'loss': 6.974579811096191}\n",
+      "{'epoch': 0, 'update in batch': 4592, '/': 12375, 'loss': 7.3974103927612305}\n",
+      "{'epoch': 0, 'update in batch': 4593, '/': 12375, 'loss': 7.547610282897949}\n",
+      "{'epoch': 0, 'update in batch': 4594, '/': 12375, 'loss': 7.253161430358887}\n",
+      "{'epoch': 0, 'update in batch': 4595, '/': 12375, 'loss': 8.003782272338867}\n",
+      "{'epoch': 0, 'update in batch': 4596, '/': 12375, 'loss': 7.378312587738037}\n",
+      "{'epoch': 0, 'update in batch': 4597, '/': 12375, 'loss': 6.942482948303223}\n",
+      "{'epoch': 0, 'update in batch': 4598, '/': 12375, 'loss': 6.742009162902832}\n",
+      "{'epoch': 0, 'update in batch': 4599, '/': 12375, 'loss': 6.948029518127441}\n",
+      "{'epoch': 0, 'update in batch': 4600, '/': 12375, 'loss': 6.965601444244385}\n",
+      "{'epoch': 0, 'update in batch': 4601, '/': 12375, 'loss': 6.694615840911865}\n",
+      "{'epoch': 0, 'update in batch': 4602, '/': 12375, 'loss': 7.229894161224365}\n",
+      "{'epoch': 0, 'update in batch': 4603, '/': 12375, 'loss': 7.29113245010376}\n",
+      "{'epoch': 0, 'update in batch': 4604, '/': 12375, 'loss': 7.273253440856934}\n",
+      "{'epoch': 0, 'update in batch': 4605, '/': 12375, 'loss': 8.359389305114746}\n",
+      "{'epoch': 0, 'update in batch': 4606, '/': 12375, 'loss': 7.13857364654541}\n",
+      "{'epoch': 0, 'update in batch': 4607, '/': 12375, 'loss': 7.2673020362854}\n",
+      "{'epoch': 0, 'update in batch': 4608, '/': 12375, 'loss': 7.5657243728637695}\n",
+      "{'epoch': 0, 'update in batch': 4609, '/': 12375, 'loss': 6.959423065185547}\n",
+      "{'epoch': 0, 'update in batch': 4610, '/': 12375, 'loss': 7.164743900299072}\n",
+      "{'epoch': 0, 'update in batch': 4611, '/': 12375, 'loss': 7.0193681716918945}\n",
+      "{'epoch': 0, 'update in batch': 4612, '/': 12375, 'loss': 7.197646141052246}\n",
+      "{'epoch': 0, 'update in batch': 4613, '/': 12375, 'loss': 6.712874412536621}\n",
+      "{'epoch': 0, 'update in batch': 4614, '/': 12375, 'loss': 7.04677677154541}\n",
+      "{'epoch': 0, 'update in batch': 4615, '/': 12375, 'loss': 7.46597957611084}\n",
+      "{'epoch': 0, 'update in batch': 4616, '/': 12375, 'loss': 6.997992038726807}\n",
+      "{'epoch': 0, 'update in batch': 4617, '/': 12375, 'loss': 6.8962082862854}\n",
+      "{'epoch': 0, 'update in batch': 4618, '/': 12375, 'loss': 7.285233974456787}\n",
+      "{'epoch': 0, 'update in batch': 4619, '/': 12375, 'loss': 7.503293037414551}\n",
+      "{'epoch': 0, 'update in batch': 4620, '/': 12375, 'loss': 7.505331993103027}\n",
+      "{'epoch': 0, 'update in batch': 4621, '/': 12375, 'loss': 8.07201099395752}\n",
+      "{'epoch': 0, 'update in batch': 4622, '/': 12375, 'loss': 7.427565097808838}\n",
+      "{'epoch': 0, 'update in batch': 4623, '/': 12375, 'loss': 7.9575300216674805}\n",
+      "{'epoch': 0, 'update in batch': 4624, '/': 12375, 'loss': 7.363455772399902}\n",
+      "{'epoch': 0, 'update in batch': 4625, '/': 12375, 'loss': 7.3418426513671875}\n",
+      "{'epoch': 0, 'update in batch': 4626, '/': 12375, 'loss': 7.05573034286499}\n",
+      "{'epoch': 0, 'update in batch': 4627, '/': 12375, 'loss': 6.805027961730957}\n",
+      "{'epoch': 0, 'update in batch': 4628, '/': 12375, 'loss': 7.372552394866943}\n",
+      "{'epoch': 0, 'update in batch': 4629, '/': 12375, 'loss': 7.301632881164551}\n",
+      "{'epoch': 0, 'update in batch': 4630, '/': 12375, 'loss': 7.330228328704834}\n",
+      "{'epoch': 0, 'update in batch': 4631, '/': 12375, 'loss': 7.286546230316162}\n",
+      "{'epoch': 0, 'update in batch': 4632, '/': 12375, 'loss': 6.9821882247924805}\n",
+      "{'epoch': 0, 'update in batch': 4633, '/': 12375, 'loss': 7.376698970794678}\n",
+      "{'epoch': 0, 'update in batch': 4634, '/': 12375, 'loss': 6.917592525482178}\n",
+      "{'epoch': 0, 'update in batch': 4635, '/': 12375, 'loss': 7.051661491394043}\n",
+      "{'epoch': 0, 'update in batch': 4636, '/': 12375, 'loss': 7.078973293304443}\n",
+      "{'epoch': 0, 'update in batch': 4637, '/': 12375, 'loss': 7.120023250579834}\n",
+      "{'epoch': 0, 'update in batch': 4638, '/': 12375, 'loss': 7.849503517150879}\n",
+      "{'epoch': 0, 'update in batch': 4639, '/': 12375, 'loss': 7.878401279449463}\n",
+      "{'epoch': 0, 'update in batch': 4640, '/': 12375, 'loss': 7.349651336669922}\n",
+      "{'epoch': 0, 'update in batch': 4641, '/': 12375, 'loss': 7.1128411293029785}\n",
+      "{'epoch': 0, 'update in batch': 4642, '/': 12375, 'loss': 7.680485725402832}\n",
+      "{'epoch': 0, 'update in batch': 4643, '/': 12375, 'loss': 7.730927467346191}\n",
+      "{'epoch': 0, 'update in batch': 4644, '/': 12375, 'loss': 7.518398284912109}\n",
+      "{'epoch': 0, 'update in batch': 4645, '/': 12375, 'loss': 7.720294952392578}\n",
+      "{'epoch': 0, 'update in batch': 4646, '/': 12375, 'loss': 7.665112495422363}\n",
+      "{'epoch': 0, 'update in batch': 4647, '/': 12375, 'loss': 6.7471923828125}\n",
+      "{'epoch': 0, 'update in batch': 4648, '/': 12375, 'loss': 6.323188781738281}\n",
+      "{'epoch': 0, 'update in batch': 4649, '/': 12375, 'loss': 6.745849609375}\n",
+      "{'epoch': 0, 'update in batch': 4650, '/': 12375, 'loss': 7.4560227394104}\n",
+      "{'epoch': 0, 'update in batch': 4651, '/': 12375, 'loss': 7.593953609466553}\n",
+      "{'epoch': 0, 'update in batch': 4652, '/': 12375, 'loss': 7.38594913482666}\n",
+      "{'epoch': 0, 'update in batch': 4653, '/': 12375, 'loss': 7.01422119140625}\n",
+      "{'epoch': 0, 'update in batch': 4654, '/': 12375, 'loss': 6.80850887298584}\n",
+      "{'epoch': 0, 'update in batch': 4655, '/': 12375, 'loss': 6.846667289733887}\n",
+      "{'epoch': 0, 'update in batch': 4656, '/': 12375, 'loss': 7.8166303634643555}\n",
+      "{'epoch': 0, 'update in batch': 4657, '/': 12375, 'loss': 7.44110107421875}\n",
+      "{'epoch': 0, 'update in batch': 4658, '/': 12375, 'loss': 6.961952209472656}\n",
+      "{'epoch': 0, 'update in batch': 4659, '/': 12375, 'loss': 6.8127312660217285}\n",
+      "{'epoch': 0, 'update in batch': 4660, '/': 12375, 'loss': 7.00736141204834}\n",
+      "{'epoch': 0, 'update in batch': 4661, '/': 12375, 'loss': 7.058657169342041}\n",
+      "{'epoch': 0, 'update in batch': 4662, '/': 12375, 'loss': 7.519957065582275}\n",
+      "{'epoch': 0, 'update in batch': 4663, '/': 12375, 'loss': 7.3178205490112305}\n",
+      "{'epoch': 0, 'update in batch': 4664, '/': 12375, 'loss': 7.252157688140869}\n",
+      "{'epoch': 0, 'update in batch': 4665, '/': 12375, 'loss': 7.782083034515381}\n",
+      "{'epoch': 0, 'update in batch': 4666, '/': 12375, 'loss': 7.8677496910095215}\n",
+      "{'epoch': 0, 'update in batch': 4667, '/': 12375, 'loss': 7.845330238342285}\n",
+      "{'epoch': 0, 'update in batch': 4668, '/': 12375, 'loss': 7.209150791168213}\n",
+      "{'epoch': 0, 'update in batch': 4669, '/': 12375, 'loss': 7.431065559387207}\n",
+      "{'epoch': 0, 'update in batch': 4670, '/': 12375, 'loss': 7.023277282714844}\n",
+      "{'epoch': 0, 'update in batch': 4671, '/': 12375, 'loss': 7.3916425704956055}\n",
+      "{'epoch': 0, 'update in batch': 4672, '/': 12375, 'loss': 7.859361171722412}\n",
+      "{'epoch': 0, 'update in batch': 4673, '/': 12375, 'loss': 7.7975873947143555}\n",
+      "{'epoch': 0, 'update in batch': 4674, '/': 12375, 'loss': 7.787139892578125}\n",
+      "{'epoch': 0, 'update in batch': 4675, '/': 12375, 'loss': 7.37848424911499}\n",
+      "{'epoch': 0, 'update in batch': 4676, '/': 12375, 'loss': 8.044061660766602}\n",
+      "{'epoch': 0, 'update in batch': 4677, '/': 12375, 'loss': 7.918398380279541}\n",
+      "{'epoch': 0, 'update in batch': 4678, '/': 12375, 'loss': 7.912158012390137}\n",
+      "{'epoch': 0, 'update in batch': 4679, '/': 12375, 'loss': 7.6294660568237305}\n",
+      "{'epoch': 0, 'update in batch': 4680, '/': 12375, 'loss': 7.36029052734375}\n",
+      "{'epoch': 0, 'update in batch': 4681, '/': 12375, 'loss': 8.01675033569336}\n",
+      "{'epoch': 0, 'update in batch': 4682, '/': 12375, 'loss': 7.1538567543029785}\n",
+      "{'epoch': 0, 'update in batch': 4683, '/': 12375, 'loss': 7.145410060882568}\n",
+      "{'epoch': 0, 'update in batch': 4684, '/': 12375, 'loss': 7.508877754211426}\n",
+      "{'epoch': 0, 'update in batch': 4685, '/': 12375, 'loss': 8.446016311645508}\n",
+      "{'epoch': 0, 'update in batch': 4686, '/': 12375, 'loss': 8.130785942077637}\n",
+      "{'epoch': 0, 'update in batch': 4687, '/': 12375, 'loss': 7.258214473724365}\n",
+      "{'epoch': 0, 'update in batch': 4688, '/': 12375, 'loss': 6.995920658111572}\n",
+      "{'epoch': 0, 'update in batch': 4689, '/': 12375, 'loss': 7.344328880310059}\n",
+      "{'epoch': 0, 'update in batch': 4690, '/': 12375, 'loss': 7.2428998947143555}\n",
+      "{'epoch': 0, 'update in batch': 4691, '/': 12375, 'loss': 7.743001461029053}\n",
+      "{'epoch': 0, 'update in batch': 4692, '/': 12375, 'loss': 7.598886013031006}\n",
+      "{'epoch': 0, 'update in batch': 4693, '/': 12375, 'loss': 7.178384304046631}\n",
+      "{'epoch': 0, 'update in batch': 4694, '/': 12375, 'loss': 6.8595147132873535}\n",
+      "{'epoch': 0, 'update in batch': 4695, '/': 12375, 'loss': 7.351991176605225}\n",
+      "{'epoch': 0, 'update in batch': 4696, '/': 12375, 'loss': 7.900746822357178}\n",
+      "{'epoch': 0, 'update in batch': 4697, '/': 12375, 'loss': 7.829530239105225}\n",
+      "{'epoch': 0, 'update in batch': 4698, '/': 12375, 'loss': 7.2027482986450195}\n",
+      "{'epoch': 0, 'update in batch': 4699, '/': 12375, 'loss': 6.9924116134643555}\n",
+      "{'epoch': 0, 'update in batch': 4700, '/': 12375, 'loss': 6.868174076080322}\n",
+      "{'epoch': 0, 'update in batch': 4701, '/': 12375, 'loss': 7.084877014160156}\n",
+      "{'epoch': 0, 'update in batch': 4702, '/': 12375, 'loss': 6.941598415374756}\n",
+      "{'epoch': 0, 'update in batch': 4703, '/': 12375, 'loss': 7.071460723876953}\n",
+      "{'epoch': 0, 'update in batch': 4704, '/': 12375, 'loss': 7.7253737449646}\n",
+      "{'epoch': 0, 'update in batch': 4705, '/': 12375, 'loss': 8.071756362915039}\n",
+      "{'epoch': 0, 'update in batch': 4706, '/': 12375, 'loss': 7.231396675109863}\n",
+      "{'epoch': 0, 'update in batch': 4707, '/': 12375, 'loss': 7.4694366455078125}\n",
+      "{'epoch': 0, 'update in batch': 4708, '/': 12375, 'loss': 7.979741096496582}\n",
+      "{'epoch': 0, 'update in batch': 4709, '/': 12375, 'loss': 7.821351051330566}\n",
+      "{'epoch': 0, 'update in batch': 4710, '/': 12375, 'loss': 7.3978753089904785}\n",
+      "{'epoch': 0, 'update in batch': 4711, '/': 12375, 'loss': 8.115640640258789}\n",
+      "{'epoch': 0, 'update in batch': 4712, '/': 12375, 'loss': 7.741374969482422}\n",
+      "{'epoch': 0, 'update in batch': 4713, '/': 12375, 'loss': 7.517451286315918}\n",
+      "{'epoch': 0, 'update in batch': 4714, '/': 12375, 'loss': 7.779301643371582}\n",
+      "{'epoch': 0, 'update in batch': 4715, '/': 12375, 'loss': 7.551358699798584}\n",
+      "{'epoch': 0, 'update in batch': 4716, '/': 12375, 'loss': 7.6761674880981445}\n",
+      "{'epoch': 0, 'update in batch': 4717, '/': 12375, 'loss': 7.791876316070557}\n",
+      "{'epoch': 0, 'update in batch': 4718, '/': 12375, 'loss': 7.690945625305176}\n",
+      "{'epoch': 0, 'update in batch': 4719, '/': 12375, 'loss': 6.9235124588012695}\n",
+      "{'epoch': 0, 'update in batch': 4720, '/': 12375, 'loss': 7.69228982925415}\n",
+      "{'epoch': 0, 'update in batch': 4721, '/': 12375, 'loss': 7.164498805999756}\n",
+      "{'epoch': 0, 'update in batch': 4722, '/': 12375, 'loss': 7.188314914703369}\n",
+      "{'epoch': 0, 'update in batch': 4723, '/': 12375, 'loss': 6.667897701263428}\n",
+      "{'epoch': 0, 'update in batch': 4724, '/': 12375, 'loss': 7.1393938064575195}\n",
+      "{'epoch': 0, 'update in batch': 4725, '/': 12375, 'loss': 7.575191497802734}\n",
+      "{'epoch': 0, 'update in batch': 4726, '/': 12375, 'loss': 7.517514228820801}\n",
+      "{'epoch': 0, 'update in batch': 4727, '/': 12375, 'loss': 7.7744035720825195}\n",
+      "{'epoch': 0, 'update in batch': 4728, '/': 12375, 'loss': 7.3571929931640625}\n",
+      "{'epoch': 0, 'update in batch': 4729, '/': 12375, 'loss': 7.498475551605225}\n",
+      "{'epoch': 0, 'update in batch': 4730, '/': 12375, 'loss': 7.8371171951293945}\n",
+      "{'epoch': 0, 'update in batch': 4731, '/': 12375, 'loss': 7.147251129150391}\n",
+      "{'epoch': 0, 'update in batch': 4732, '/': 12375, 'loss': 6.892462730407715}\n",
+      "{'epoch': 0, 'update in batch': 4733, '/': 12375, 'loss': 7.517258644104004}\n",
+      "{'epoch': 0, 'update in batch': 4734, '/': 12375, 'loss': 7.9482741355896}\n",
+      "{'epoch': 0, 'update in batch': 4735, '/': 12375, 'loss': 8.048766136169434}\n",
+      "{'epoch': 0, 'update in batch': 4736, '/': 12375, 'loss': 7.682853698730469}\n",
+      "{'epoch': 0, 'update in batch': 4737, '/': 12375, 'loss': 7.50311279296875}\n",
+      "{'epoch': 0, 'update in batch': 4738, '/': 12375, 'loss': 7.20525598526001}\n",
+      "{'epoch': 0, 'update in batch': 4739, '/': 12375, 'loss': 7.075736045837402}\n",
+      "{'epoch': 0, 'update in batch': 4740, '/': 12375, 'loss': 8.452592849731445}\n",
+      "{'epoch': 0, 'update in batch': 4741, '/': 12375, 'loss': 7.142626762390137}\n",
+      "{'epoch': 0, 'update in batch': 4742, '/': 12375, 'loss': 7.408792018890381}\n",
+      "{'epoch': 0, 'update in batch': 4743, '/': 12375, 'loss': 7.359835624694824}\n",
+      "{'epoch': 0, 'update in batch': 4744, '/': 12375, 'loss': 7.628489017486572}\n",
+      "{'epoch': 0, 'update in batch': 4745, '/': 12375, 'loss': 7.326043605804443}\n",
+      "{'epoch': 0, 'update in batch': 4746, '/': 12375, 'loss': 8.066411972045898}\n",
+      "{'epoch': 0, 'update in batch': 4747, '/': 12375, 'loss': 7.7493896484375}\n",
+      "{'epoch': 0, 'update in batch': 4748, '/': 12375, 'loss': 6.718288421630859}\n",
+      "{'epoch': 0, 'update in batch': 4749, '/': 12375, 'loss': 7.136903285980225}\n",
+      "{'epoch': 0, 'update in batch': 4750, '/': 12375, 'loss': 8.424962997436523}\n",
+      "{'epoch': 0, 'update in batch': 4751, '/': 12375, 'loss': 8.084604263305664}\n",
+      "{'epoch': 0, 'update in batch': 4752, '/': 12375, 'loss': 7.604550361633301}\n",
+      "{'epoch': 0, 'update in batch': 4753, '/': 12375, 'loss': 7.229050636291504}\n",
+      "{'epoch': 0, 'update in batch': 4754, '/': 12375, 'loss': 7.5111894607543945}\n",
+      "{'epoch': 0, 'update in batch': 4755, '/': 12375, 'loss': 7.592962741851807}\n",
+      "{'epoch': 0, 'update in batch': 4756, '/': 12375, 'loss': 7.911738395690918}\n",
+      "{'epoch': 0, 'update in batch': 4757, '/': 12375, 'loss': 7.832642555236816}\n",
+      "{'epoch': 0, 'update in batch': 4758, '/': 12375, 'loss': 7.647639274597168}\n",
+      "{'epoch': 0, 'update in batch': 4759, '/': 12375, 'loss': 7.874708652496338}\n",
+      "{'epoch': 0, 'update in batch': 4760, '/': 12375, 'loss': 7.954351902008057}\n",
+      "{'epoch': 0, 'update in batch': 4761, '/': 12375, 'loss': 8.012127876281738}\n",
+      "{'epoch': 0, 'update in batch': 4762, '/': 12375, 'loss': 7.605778694152832}\n",
+      "{'epoch': 0, 'update in batch': 4763, '/': 12375, 'loss': 7.8536696434021}\n",
+      "{'epoch': 0, 'update in batch': 4764, '/': 12375, 'loss': 7.724000453948975}\n",
+      "{'epoch': 0, 'update in batch': 4765, '/': 12375, 'loss': 7.805421352386475}\n",
+      "{'epoch': 0, 'update in batch': 4766, '/': 12375, 'loss': 7.800909519195557}\n",
+      "{'epoch': 0, 'update in batch': 4767, '/': 12375, 'loss': 7.2867431640625}\n",
+      "{'epoch': 0, 'update in batch': 4768, '/': 12375, 'loss': 7.56790018081665}\n",
+      "{'epoch': 0, 'update in batch': 4769, '/': 12375, 'loss': 7.397852420806885}\n",
+      "{'epoch': 0, 'update in batch': 4770, '/': 12375, 'loss': 8.171221733093262}\n",
+      "{'epoch': 0, 'update in batch': 4771, '/': 12375, 'loss': 7.569070339202881}\n",
+      "{'epoch': 0, 'update in batch': 4772, '/': 12375, 'loss': 7.645229339599609}\n",
+      "{'epoch': 0, 'update in batch': 4773, '/': 12375, 'loss': 7.301961421966553}\n",
+      "{'epoch': 0, 'update in batch': 4774, '/': 12375, 'loss': 7.736859321594238}\n",
+      "{'epoch': 0, 'update in batch': 4775, '/': 12375, 'loss': 7.306550025939941}\n",
+      "{'epoch': 0, 'update in batch': 4776, '/': 12375, 'loss': 7.580504417419434}\n",
+      "{'epoch': 0, 'update in batch': 4777, '/': 12375, 'loss': 7.811266899108887}\n",
+      "{'epoch': 0, 'update in batch': 4778, '/': 12375, 'loss': 8.13575267791748}\n",
+      "{'epoch': 0, 'update in batch': 4779, '/': 12375, 'loss': 7.2284135818481445}\n",
+      "{'epoch': 0, 'update in batch': 4780, '/': 12375, 'loss': 7.118563175201416}\n",
+      "{'epoch': 0, 'update in batch': 4781, '/': 12375, 'loss': 6.896151542663574}\n",
+      "{'epoch': 0, 'update in batch': 4782, '/': 12375, 'loss': 6.9668378829956055}\n",
+      "{'epoch': 0, 'update in batch': 4783, '/': 12375, 'loss': 6.646490573883057}\n",
+      "{'epoch': 0, 'update in batch': 4784, '/': 12375, 'loss': 6.487093448638916}\n",
+      "{'epoch': 0, 'update in batch': 4785, '/': 12375, 'loss': 6.873019218444824}\n",
+      "{'epoch': 0, 'update in batch': 4786, '/': 12375, 'loss': 6.526686191558838}\n",
+      "{'epoch': 0, 'update in batch': 4787, '/': 12375, 'loss': 7.66669225692749}\n",
+      "{'epoch': 0, 'update in batch': 4788, '/': 12375, 'loss': 8.032987594604492}\n",
+      "{'epoch': 0, 'update in batch': 4789, '/': 12375, 'loss': 7.94183349609375}\n",
+      "{'epoch': 0, 'update in batch': 4790, '/': 12375, 'loss': 7.8726806640625}\n",
+      "{'epoch': 0, 'update in batch': 4791, '/': 12375, 'loss': 8.038736343383789}\n",
+      "{'epoch': 0, 'update in batch': 4792, '/': 12375, 'loss': 7.449001312255859}\n",
+      "{'epoch': 0, 'update in batch': 4793, '/': 12375, 'loss': 6.349610328674316}\n",
+      "{'epoch': 0, 'update in batch': 4794, '/': 12375, 'loss': 6.863986968994141}\n",
+      "{'epoch': 0, 'update in batch': 4795, '/': 12375, 'loss': 7.333587646484375}\n",
+      "{'epoch': 0, 'update in batch': 4796, '/': 12375, 'loss': 7.911037445068359}\n",
+      "{'epoch': 0, 'update in batch': 4797, '/': 12375, 'loss': 7.8822126388549805}\n",
+      "{'epoch': 0, 'update in batch': 4798, '/': 12375, 'loss': 7.4305739402771}\n",
+      "{'epoch': 0, 'update in batch': 4799, '/': 12375, 'loss': 7.533506870269775}\n",
+      "{'epoch': 0, 'update in batch': 4800, '/': 12375, 'loss': 7.740355491638184}\n",
+      "{'epoch': 0, 'update in batch': 4801, '/': 12375, 'loss': 6.801762580871582}\n",
+      "{'epoch': 0, 'update in batch': 4802, '/': 12375, 'loss': 7.416895866394043}\n",
+      "{'epoch': 0, 'update in batch': 4803, '/': 12375, 'loss': 7.676303863525391}\n",
+      "{'epoch': 0, 'update in batch': 4804, '/': 12375, 'loss': 7.432478904724121}\n",
+      "{'epoch': 0, 'update in batch': 4805, '/': 12375, 'loss': 7.157448768615723}\n",
+      "{'epoch': 0, 'update in batch': 4806, '/': 12375, 'loss': 6.298345565795898}\n",
+      "{'epoch': 0, 'update in batch': 4807, '/': 12375, 'loss': 7.014340400695801}\n",
+      "{'epoch': 0, 'update in batch': 4808, '/': 12375, 'loss': 6.761572360992432}\n",
+      "{'epoch': 0, 'update in batch': 4809, '/': 12375, 'loss': 7.4447150230407715}\n",
+      "{'epoch': 0, 'update in batch': 4810, '/': 12375, 'loss': 7.414823055267334}\n",
+      "{'epoch': 0, 'update in batch': 4811, '/': 12375, 'loss': 7.366883277893066}\n",
+      "{'epoch': 0, 'update in batch': 4812, '/': 12375, 'loss': 7.106484889984131}\n",
+      "{'epoch': 0, 'update in batch': 4813, '/': 12375, 'loss': 7.248858451843262}\n",
+      "{'epoch': 0, 'update in batch': 4814, '/': 12375, 'loss': 7.688773155212402}\n",
+      "{'epoch': 0, 'update in batch': 4815, '/': 12375, 'loss': 7.496931552886963}\n",
+      "{'epoch': 0, 'update in batch': 4816, '/': 12375, 'loss': 7.166959285736084}\n",
+      "{'epoch': 0, 'update in batch': 4817, '/': 12375, 'loss': 7.438982963562012}\n",
+      "{'epoch': 0, 'update in batch': 4818, '/': 12375, 'loss': 7.812603950500488}\n",
+      "{'epoch': 0, 'update in batch': 4819, '/': 12375, 'loss': 6.769610404968262}\n",
+      "{'epoch': 0, 'update in batch': 4820, '/': 12375, 'loss': 7.531482696533203}\n",
+      "{'epoch': 0, 'update in batch': 4821, '/': 12375, 'loss': 7.278953552246094}\n",
+      "{'epoch': 0, 'update in batch': 4822, '/': 12375, 'loss': 7.2919487953186035}\n",
+      "{'epoch': 0, 'update in batch': 4823, '/': 12375, 'loss': 7.283416748046875}\n",
+      "{'epoch': 0, 'update in batch': 4824, '/': 12375, 'loss': 7.476860046386719}\n",
+      "{'epoch': 0, 'update in batch': 4825, '/': 12375, 'loss': 8.19428825378418}\n",
+      "{'epoch': 0, 'update in batch': 4826, '/': 12375, 'loss': 7.683078765869141}\n",
+      "{'epoch': 0, 'update in batch': 4827, '/': 12375, 'loss': 6.762724876403809}\n",
+      "{'epoch': 0, 'update in batch': 4828, '/': 12375, 'loss': 6.881112575531006}\n",
+      "{'epoch': 0, 'update in batch': 4829, '/': 12375, 'loss': 7.928402900695801}\n",
+      "{'epoch': 0, 'update in batch': 4830, '/': 12375, 'loss': 7.245532035827637}\n",
+      "{'epoch': 0, 'update in batch': 4831, '/': 12375, 'loss': 8.0540132522583}\n",
+      "{'epoch': 0, 'update in batch': 4832, '/': 12375, 'loss': 6.994193077087402}\n",
+      "{'epoch': 0, 'update in batch': 4833, '/': 12375, 'loss': 7.182928562164307}\n",
+      "{'epoch': 0, 'update in batch': 4834, '/': 12375, 'loss': 7.420022010803223}\n",
+      "{'epoch': 0, 'update in batch': 4835, '/': 12375, 'loss': 6.773313045501709}\n",
+      "{'epoch': 0, 'update in batch': 4836, '/': 12375, 'loss': 7.223101615905762}\n",
+      "{'epoch': 0, 'update in batch': 4837, '/': 12375, 'loss': 7.095816612243652}\n",
+      "{'epoch': 0, 'update in batch': 4838, '/': 12375, 'loss': 6.6692681312561035}\n",
+      "{'epoch': 0, 'update in batch': 4839, '/': 12375, 'loss': 6.806757926940918}\n",
+      "{'epoch': 0, 'update in batch': 4840, '/': 12375, 'loss': 7.250201225280762}\n",
+      "{'epoch': 0, 'update in batch': 4841, '/': 12375, 'loss': 7.219716548919678}\n",
+      "{'epoch': 0, 'update in batch': 4842, '/': 12375, 'loss': 6.686161041259766}\n",
+      "{'epoch': 0, 'update in batch': 4843, '/': 12375, 'loss': 7.265547752380371}\n",
+      "{'epoch': 0, 'update in batch': 4844, '/': 12375, 'loss': 7.359739780426025}\n",
+      "{'epoch': 0, 'update in batch': 4845, '/': 12375, 'loss': 7.400998115539551}\n",
+      "{'epoch': 0, 'update in batch': 4846, '/': 12375, 'loss': 6.683302402496338}\n",
+      "{'epoch': 0, 'update in batch': 4847, '/': 12375, 'loss': 7.312746524810791}\n",
+      "{'epoch': 0, 'update in batch': 4848, '/': 12375, 'loss': 7.113072395324707}\n",
+      "{'epoch': 0, 'update in batch': 4849, '/': 12375, 'loss': 7.405605316162109}\n",
+      "{'epoch': 0, 'update in batch': 4850, '/': 12375, 'loss': 7.73941707611084}\n",
+      "{'epoch': 0, 'update in batch': 4851, '/': 12375, 'loss': 7.7450714111328125}\n",
+      "{'epoch': 0, 'update in batch': 4852, '/': 12375, 'loss': 7.9304704666137695}\n",
+      "{'epoch': 0, 'update in batch': 4853, '/': 12375, 'loss': 7.317042350769043}\n",
+      "{'epoch': 0, 'update in batch': 4854, '/': 12375, 'loss': 7.764707088470459}\n",
+      "{'epoch': 0, 'update in batch': 4855, '/': 12375, 'loss': 7.752007484436035}\n",
+      "{'epoch': 0, 'update in batch': 4856, '/': 12375, 'loss': 7.664463043212891}\n",
+      "{'epoch': 0, 'update in batch': 4857, '/': 12375, 'loss': 8.118417739868164}\n",
+      "{'epoch': 0, 'update in batch': 4858, '/': 12375, 'loss': 8.142001152038574}\n",
+      "{'epoch': 0, 'update in batch': 4859, '/': 12375, 'loss': 7.666451930999756}\n",
+      "{'epoch': 0, 'update in batch': 4860, '/': 12375, 'loss': 7.90961217880249}\n",
+      "{'epoch': 0, 'update in batch': 4861, '/': 12375, 'loss': 7.496299743652344}\n",
+      "{'epoch': 0, 'update in batch': 4862, '/': 12375, 'loss': 8.358806610107422}\n",
+      "{'epoch': 0, 'update in batch': 4863, '/': 12375, 'loss': 8.189596176147461}\n",
+      "{'epoch': 0, 'update in batch': 4864, '/': 12375, 'loss': 7.326089382171631}\n",
+      "{'epoch': 0, 'update in batch': 4865, '/': 12375, 'loss': 6.999230861663818}\n",
+      "{'epoch': 0, 'update in batch': 4866, '/': 12375, 'loss': 7.1933794021606445}\n",
+      "{'epoch': 0, 'update in batch': 4867, '/': 12375, 'loss': 6.841681480407715}\n",
+      "{'epoch': 0, 'update in batch': 4868, '/': 12375, 'loss': 8.297657012939453}\n",
+      "{'epoch': 0, 'update in batch': 4869, '/': 12375, 'loss': 9.0006685256958}\n",
+      "{'epoch': 0, 'update in batch': 4870, '/': 12375, 'loss': 9.689416885375977}\n",
+      "{'epoch': 0, 'update in batch': 4871, '/': 12375, 'loss': 9.919598579406738}\n",
+      "{'epoch': 0, 'update in batch': 4872, '/': 12375, 'loss': 9.116559028625488}\n",
+      "{'epoch': 0, 'update in batch': 4873, '/': 12375, 'loss': 9.409188270568848}\n",
+      "{'epoch': 0, 'update in batch': 4874, '/': 12375, 'loss': 10.244881629943848}\n",
+      "{'epoch': 0, 'update in batch': 4875, '/': 12375, 'loss': 9.734228134155273}\n",
+      "{'epoch': 0, 'update in batch': 4876, '/': 12375, 'loss': 10.326889991760254}\n",
+      "{'epoch': 0, 'update in batch': 4877, '/': 12375, 'loss': 8.83967399597168}\n",
+      "{'epoch': 0, 'update in batch': 4878, '/': 12375, 'loss': 9.334113121032715}\n",
+      "{'epoch': 0, 'update in batch': 4879, '/': 12375, 'loss': 8.336645126342773}\n",
+      "{'epoch': 0, 'update in batch': 4880, '/': 12375, 'loss': 8.604464530944824}\n",
+      "{'epoch': 0, 'update in batch': 4881, '/': 12375, 'loss': 8.22809886932373}\n",
+      "{'epoch': 0, 'update in batch': 4882, '/': 12375, 'loss': 9.219686508178711}\n",
+      "{'epoch': 0, 'update in batch': 4883, '/': 12375, 'loss': 8.997591018676758}\n",
+      "{'epoch': 0, 'update in batch': 4884, '/': 12375, 'loss': 8.743680953979492}\n",
+      "{'epoch': 0, 'update in batch': 4885, '/': 12375, 'loss': 9.060195922851562}\n",
+      "{'epoch': 0, 'update in batch': 4886, '/': 12375, 'loss': 8.460389137268066}\n",
+      "{'epoch': 0, 'update in batch': 4887, '/': 12375, 'loss': 9.113828659057617}\n",
+      "{'epoch': 0, 'update in batch': 4888, '/': 12375, 'loss': 9.2335205078125}\n",
+      "{'epoch': 0, 'update in batch': 4889, '/': 12375, 'loss': 8.84045696258545}\n",
+      "{'epoch': 0, 'update in batch': 4890, '/': 12375, 'loss': 9.124923706054688}\n",
+      "{'epoch': 0, 'update in batch': 4891, '/': 12375, 'loss': 8.894867897033691}\n",
+      "{'epoch': 0, 'update in batch': 4892, '/': 12375, 'loss': 9.440652847290039}\n",
+      "{'epoch': 0, 'update in batch': 4893, '/': 12375, 'loss': 8.796527862548828}\n",
+      "{'epoch': 0, 'update in batch': 4894, '/': 12375, 'loss': 8.253552436828613}\n",
+      "{'epoch': 0, 'update in batch': 4895, '/': 12375, 'loss': 8.520365715026855}\n",
+      "{'epoch': 0, 'update in batch': 4896, '/': 12375, 'loss': 8.779191970825195}\n",
+      "{'epoch': 0, 'update in batch': 4897, '/': 12375, 'loss': 8.573246955871582}\n",
+      "{'epoch': 0, 'update in batch': 4898, '/': 12375, 'loss': 9.34645938873291}\n",
+      "{'epoch': 0, 'update in batch': 4899, '/': 12375, 'loss': 9.131302833557129}\n",
+      "{'epoch': 0, 'update in batch': 4900, '/': 12375, 'loss': 9.635251998901367}\n",
+      "{'epoch': 0, 'update in batch': 4901, '/': 12375, 'loss': 8.669309616088867}\n",
+      "{'epoch': 0, 'update in batch': 4902, '/': 12375, 'loss': 8.285714149475098}\n",
+      "{'epoch': 0, 'update in batch': 4903, '/': 12375, 'loss': 8.857261657714844}\n",
+      "{'epoch': 0, 'update in batch': 4904, '/': 12375, 'loss': 9.523534774780273}\n",
+      "{'epoch': 0, 'update in batch': 4905, '/': 12375, 'loss': 8.907800674438477}\n",
+      "{'epoch': 0, 'update in batch': 4906, '/': 12375, 'loss': 9.088189125061035}\n",
+      "{'epoch': 0, 'update in batch': 4907, '/': 12375, 'loss': 9.822066307067871}\n",
+      "{'epoch': 0, 'update in batch': 4908, '/': 12375, 'loss': 9.66203498840332}\n",
+      "{'epoch': 0, 'update in batch': 4909, '/': 12375, 'loss': 10.064990043640137}\n",
+      "{'epoch': 0, 'update in batch': 4910, '/': 12375, 'loss': 9.524205207824707}\n",
+      "{'epoch': 0, 'update in batch': 4911, '/': 12375, 'loss': 9.178361892700195}\n",
+      "{'epoch': 0, 'update in batch': 4912, '/': 12375, 'loss': 8.249799728393555}\n",
+      "{'epoch': 0, 'update in batch': 4913, '/': 12375, 'loss': 8.567254066467285}\n",
+      "{'epoch': 0, 'update in batch': 4914, '/': 12375, 'loss': 8.432821273803711}\n",
+      "{'epoch': 0, 'update in batch': 4915, '/': 12375, 'loss': 8.64045524597168}\n",
+      "{'epoch': 0, 'update in batch': 4916, '/': 12375, 'loss': 8.749979972839355}\n",
+      "{'epoch': 0, 'update in batch': 4917, '/': 12375, 'loss': 8.885613441467285}\n",
+      "{'epoch': 0, 'update in batch': 4918, '/': 12375, 'loss': 8.949690818786621}\n",
+      "{'epoch': 0, 'update in batch': 4919, '/': 12375, 'loss': 8.453353881835938}\n",
+      "{'epoch': 0, 'update in batch': 4920, '/': 12375, 'loss': 8.08961009979248}\n",
+      "{'epoch': 0, 'update in batch': 4921, '/': 12375, 'loss': 8.581916809082031}\n",
+      "{'epoch': 0, 'update in batch': 4922, '/': 12375, 'loss': 8.323266983032227}\n",
+      "{'epoch': 0, 'update in batch': 4923, '/': 12375, 'loss': 8.656871795654297}\n",
+      "{'epoch': 0, 'update in batch': 4924, '/': 12375, 'loss': 7.706635475158691}\n",
+      "{'epoch': 0, 'update in batch': 4925, '/': 12375, 'loss': 8.227437973022461}\n",
+      "{'epoch': 0, 'update in batch': 4926, '/': 12375, 'loss': 8.692886352539062}\n",
+      "{'epoch': 0, 'update in batch': 4927, '/': 12375, 'loss': 7.3371171951293945}\n",
+      "{'epoch': 0, 'update in batch': 4928, '/': 12375, 'loss': 7.722093105316162}\n",
+      "{'epoch': 0, 'update in batch': 4929, '/': 12375, 'loss': 7.320834159851074}\n",
+      "{'epoch': 0, 'update in batch': 4930, '/': 12375, 'loss': 8.198073387145996}\n",
+      "{'epoch': 0, 'update in batch': 4931, '/': 12375, 'loss': 7.288235664367676}\n",
+      "{'epoch': 0, 'update in batch': 4932, '/': 12375, 'loss': 7.685774803161621}\n",
+      "{'epoch': 0, 'update in batch': 4933, '/': 12375, 'loss': 7.130915641784668}\n",
+      "{'epoch': 0, 'update in batch': 4934, '/': 12375, 'loss': 8.242107391357422}\n",
+      "{'epoch': 0, 'update in batch': 4935, '/': 12375, 'loss': 8.171745300292969}\n",
+      "{'epoch': 0, 'update in batch': 4936, '/': 12375, 'loss': 7.554603576660156}\n",
+      "{'epoch': 0, 'update in batch': 4937, '/': 12375, 'loss': 7.833456993103027}\n",
+      "{'epoch': 0, 'update in batch': 4938, '/': 12375, 'loss': 8.220724105834961}\n",
+      "{'epoch': 0, 'update in batch': 4939, '/': 12375, 'loss': 7.304166316986084}\n",
+      "{'epoch': 0, 'update in batch': 4940, '/': 12375, 'loss': 8.370923042297363}\n",
+      "{'epoch': 0, 'update in batch': 4941, '/': 12375, 'loss': 8.071863174438477}\n",
+      "{'epoch': 0, 'update in batch': 4942, '/': 12375, 'loss': 8.188844680786133}\n",
+      "{'epoch': 0, 'update in batch': 4943, '/': 12375, 'loss': 7.841578483581543}\n",
+      "{'epoch': 0, 'update in batch': 4944, '/': 12375, 'loss': 8.295671463012695}\n",
+      "{'epoch': 0, 'update in batch': 4945, '/': 12375, 'loss': 7.755316257476807}\n",
+      "{'epoch': 0, 'update in batch': 4946, '/': 12375, 'loss': 7.869462490081787}\n",
+      "{'epoch': 0, 'update in batch': 4947, '/': 12375, 'loss': 8.429758071899414}\n",
+      "{'epoch': 0, 'update in batch': 4948, '/': 12375, 'loss': 7.936690330505371}\n",
+      "{'epoch': 0, 'update in batch': 4949, '/': 12375, 'loss': 8.147703170776367}\n",
+      "{'epoch': 0, 'update in batch': 4950, '/': 12375, 'loss': 7.8318681716918945}\n",
+      "{'epoch': 0, 'update in batch': 4951, '/': 12375, 'loss': 7.978775978088379}\n",
+      "{'epoch': 0, 'update in batch': 4952, '/': 12375, 'loss': 7.6911163330078125}\n",
+      "{'epoch': 0, 'update in batch': 4953, '/': 12375, 'loss': 7.498709678649902}\n",
+      "{'epoch': 0, 'update in batch': 4954, '/': 12375, 'loss': 7.747978210449219}\n",
+      "{'epoch': 0, 'update in batch': 4955, '/': 12375, 'loss': 7.702486515045166}\n",
+      "{'epoch': 0, 'update in batch': 4956, '/': 12375, 'loss': 7.680392265319824}\n",
+      "{'epoch': 0, 'update in batch': 4957, '/': 12375, 'loss': 7.9516448974609375}\n",
+      "{'epoch': 0, 'update in batch': 4958, '/': 12375, 'loss': 7.858288764953613}\n",
+      "{'epoch': 0, 'update in batch': 4959, '/': 12375, 'loss': 7.984354496002197}\n",
+      "{'epoch': 0, 'update in batch': 4960, '/': 12375, 'loss': 7.578574180603027}\n",
+      "{'epoch': 0, 'update in batch': 4961, '/': 12375, 'loss': 7.645195007324219}\n",
+      "{'epoch': 0, 'update in batch': 4962, '/': 12375, 'loss': 7.679037570953369}\n",
+      "{'epoch': 0, 'update in batch': 4963, '/': 12375, 'loss': 8.074335098266602}\n",
+      "{'epoch': 0, 'update in batch': 4964, '/': 12375, 'loss': 8.412675857543945}\n",
+      "{'epoch': 0, 'update in batch': 4965, '/': 12375, 'loss': 8.342550277709961}\n",
+      "{'epoch': 0, 'update in batch': 4966, '/': 12375, 'loss': 8.324570655822754}\n",
+      "{'epoch': 0, 'update in batch': 4967, '/': 12375, 'loss': 8.813318252563477}\n",
+      "{'epoch': 0, 'update in batch': 4968, '/': 12375, 'loss': 7.572279453277588}\n",
+      "{'epoch': 0, 'update in batch': 4969, '/': 12375, 'loss': 7.861695289611816}\n",
+      "{'epoch': 0, 'update in batch': 4970, '/': 12375, 'loss': 8.252850532531738}\n",
+      "{'epoch': 0, 'update in batch': 4971, '/': 12375, 'loss': 8.786725997924805}\n",
+      "{'epoch': 0, 'update in batch': 4972, '/': 12375, 'loss': 8.498677253723145}\n",
+      "{'epoch': 0, 'update in batch': 4973, '/': 12375, 'loss': 8.002596855163574}\n",
+      "{'epoch': 0, 'update in batch': 4974, '/': 12375, 'loss': 8.377172470092773}\n",
+      "{'epoch': 0, 'update in batch': 4975, '/': 12375, 'loss': 8.008990287780762}\n",
+      "{'epoch': 0, 'update in batch': 4976, '/': 12375, 'loss': 8.312807083129883}\n",
+      "{'epoch': 0, 'update in batch': 4977, '/': 12375, 'loss': 8.604778289794922}\n",
+      "{'epoch': 0, 'update in batch': 4978, '/': 12375, 'loss': 7.982763767242432}\n",
+      "{'epoch': 0, 'update in batch': 4979, '/': 12375, 'loss': 7.87926721572876}\n",
+      "{'epoch': 0, 'update in batch': 4980, '/': 12375, 'loss': 8.72596549987793}\n",
+      "{'epoch': 0, 'update in batch': 4981, '/': 12375, 'loss': 9.220966339111328}\n",
+      "{'epoch': 0, 'update in batch': 4982, '/': 12375, 'loss': 8.652695655822754}\n",
+      "{'epoch': 0, 'update in batch': 4983, '/': 12375, 'loss': 8.902731895446777}\n",
+      "{'epoch': 0, 'update in batch': 4984, '/': 12375, 'loss': 8.278776168823242}\n",
+      "{'epoch': 0, 'update in batch': 4985, '/': 12375, 'loss': 8.037215232849121}\n",
+      "{'epoch': 0, 'update in batch': 4986, '/': 12375, 'loss': 8.116752624511719}\n",
+      "{'epoch': 0, 'update in batch': 4987, '/': 12375, 'loss': 7.88788366317749}\n",
+      "{'epoch': 0, 'update in batch': 4988, '/': 12375, 'loss': 8.287202835083008}\n",
+      "{'epoch': 0, 'update in batch': 4989, '/': 12375, 'loss': 7.199763298034668}\n",
+      "{'epoch': 0, 'update in batch': 4990, '/': 12375, 'loss': 9.565179824829102}\n",
+      "{'epoch': 0, 'update in batch': 4991, '/': 12375, 'loss': 7.469085693359375}\n",
+      "{'epoch': 0, 'update in batch': 4992, '/': 12375, 'loss': 8.40759563446045}\n",
+      "{'epoch': 0, 'update in batch': 4993, '/': 12375, 'loss': 7.3070549964904785}\n",
+      "{'epoch': 0, 'update in batch': 4994, '/': 12375, 'loss': 8.720921516418457}\n",
+      "{'epoch': 0, 'update in batch': 4995, '/': 12375, 'loss': 7.6319098472595215}\n",
+      "{'epoch': 0, 'update in batch': 4996, '/': 12375, 'loss': 8.766441345214844}\n",
+      "{'epoch': 0, 'update in batch': 4997, '/': 12375, 'loss': 7.502585411071777}\n",
+      "{'epoch': 0, 'update in batch': 4998, '/': 12375, 'loss': 7.258729457855225}\n",
+      "{'epoch': 0, 'update in batch': 4999, '/': 12375, 'loss': 8.427374839782715}\n",
+      "{'epoch': 0, 'update in batch': 5000, '/': 12375, 'loss': 8.05717658996582}\n",
+      "{'epoch': 0, 'update in batch': 5001, '/': 12375, 'loss': 8.938093185424805}\n",
+      "{'epoch': 0, 'update in batch': 5002, '/': 12375, 'loss': 8.906011581420898}\n",
+      "{'epoch': 0, 'update in batch': 5003, '/': 12375, 'loss': 8.195775032043457}\n",
+      "{'epoch': 0, 'update in batch': 5004, '/': 12375, 'loss': 9.06190299987793}\n",
+      "{'epoch': 0, 'update in batch': 5005, '/': 12375, 'loss': 8.385848045349121}\n",
+      "{'epoch': 0, 'update in batch': 5006, '/': 12375, 'loss': 9.229872703552246}\n",
+      "{'epoch': 0, 'update in batch': 5007, '/': 12375, 'loss': 9.175371170043945}\n",
+      "{'epoch': 0, 'update in batch': 5008, '/': 12375, 'loss': 7.553376197814941}\n",
+      "{'epoch': 0, 'update in batch': 5009, '/': 12375, 'loss': 8.307446479797363}\n",
+      "{'epoch': 0, 'update in batch': 5010, '/': 12375, 'loss': 8.117391586303711}\n",
+      "{'epoch': 0, 'update in batch': 5011, '/': 12375, 'loss': 8.258456230163574}\n",
+      "{'epoch': 0, 'update in batch': 5012, '/': 12375, 'loss': 8.143787384033203}\n",
+      "{'epoch': 0, 'update in batch': 5013, '/': 12375, 'loss': 8.082974433898926}\n",
+      "{'epoch': 0, 'update in batch': 5014, '/': 12375, 'loss': 7.887255668640137}\n",
+      "{'epoch': 0, 'update in batch': 5015, '/': 12375, 'loss': 7.827479362487793}\n",
+      "{'epoch': 0, 'update in batch': 5016, '/': 12375, 'loss': 7.7266845703125}\n",
+      "{'epoch': 0, 'update in batch': 5017, '/': 12375, 'loss': 7.505202293395996}\n",
+      "{'epoch': 0, 'update in batch': 5018, '/': 12375, 'loss': 7.992862701416016}\n",
+      "{'epoch': 0, 'update in batch': 5019, '/': 12375, 'loss': 7.116974830627441}\n",
+      "{'epoch': 0, 'update in batch': 5020, '/': 12375, 'loss': 8.207892417907715}\n",
+      "{'epoch': 0, 'update in batch': 5021, '/': 12375, 'loss': 7.978858947753906}\n",
+      "{'epoch': 0, 'update in batch': 5022, '/': 12375, 'loss': 7.6564130783081055}\n",
+      "{'epoch': 0, 'update in batch': 5023, '/': 12375, 'loss': 8.337190628051758}\n",
+      "{'epoch': 0, 'update in batch': 5024, '/': 12375, 'loss': 8.986368179321289}\n",
+      "{'epoch': 0, 'update in batch': 5025, '/': 12375, 'loss': 8.360663414001465}\n",
+      "{'epoch': 0, 'update in batch': 5026, '/': 12375, 'loss': 8.5164155960083}\n",
+      "{'epoch': 0, 'update in batch': 5027, '/': 12375, 'loss': 9.286495208740234}\n",
+      "{'epoch': 0, 'update in batch': 5028, '/': 12375, 'loss': 8.06307601928711}\n",
+      "{'epoch': 0, 'update in batch': 5029, '/': 12375, 'loss': 8.408811569213867}\n",
+      "{'epoch': 0, 'update in batch': 5030, '/': 12375, 'loss': 8.55042552947998}\n",
+      "{'epoch': 0, 'update in batch': 5031, '/': 12375, 'loss': 7.414361476898193}\n",
+      "{'epoch': 0, 'update in batch': 5032, '/': 12375, 'loss': 7.505179405212402}\n",
+      "{'epoch': 0, 'update in batch': 5033, '/': 12375, 'loss': 8.322259902954102}\n",
+      "{'epoch': 0, 'update in batch': 5034, '/': 12375, 'loss': 8.001676559448242}\n",
+      "{'epoch': 0, 'update in batch': 5035, '/': 12375, 'loss': 8.622841835021973}\n",
+      "{'epoch': 0, 'update in batch': 5036, '/': 12375, 'loss': 8.160093307495117}\n",
+      "{'epoch': 0, 'update in batch': 5037, '/': 12375, 'loss': 9.708791732788086}\n",
+      "{'epoch': 0, 'update in batch': 5038, '/': 12375, 'loss': 8.507304191589355}\n",
+      "{'epoch': 0, 'update in batch': 5039, '/': 12375, 'loss': 8.407125473022461}\n",
+      "{'epoch': 0, 'update in batch': 5040, '/': 12375, 'loss': 8.159872055053711}\n",
+      "{'epoch': 0, 'update in batch': 5041, '/': 12375, 'loss': 7.652154445648193}\n",
+      "{'epoch': 0, 'update in batch': 5042, '/': 12375, 'loss': 7.864962100982666}\n",
+      "{'epoch': 0, 'update in batch': 5043, '/': 12375, 'loss': 7.243149757385254}\n",
+      "{'epoch': 0, 'update in batch': 5044, '/': 12375, 'loss': 7.481388092041016}\n",
+      "{'epoch': 0, 'update in batch': 5045, '/': 12375, 'loss': 7.312222957611084}\n",
+      "{'epoch': 0, 'update in batch': 5046, '/': 12375, 'loss': 8.512953758239746}\n",
+      "{'epoch': 0, 'update in batch': 5047, '/': 12375, 'loss': 8.051643371582031}\n",
+      "{'epoch': 0, 'update in batch': 5048, '/': 12375, 'loss': 7.528199672698975}\n",
+      "{'epoch': 0, 'update in batch': 5049, '/': 12375, 'loss': 7.224710941314697}\n",
+      "{'epoch': 0, 'update in batch': 5050, '/': 12375, 'loss': 7.935953617095947}\n",
+      "{'epoch': 0, 'update in batch': 5051, '/': 12375, 'loss': 9.175786972045898}\n",
+      "{'epoch': 0, 'update in batch': 5052, '/': 12375, 'loss': 8.587778091430664}\n",
+      "{'epoch': 0, 'update in batch': 5053, '/': 12375, 'loss': 7.488349914550781}\n",
+      "{'epoch': 0, 'update in batch': 5054, '/': 12375, 'loss': 7.208151340484619}\n",
+      "{'epoch': 0, 'update in batch': 5055, '/': 12375, 'loss': 7.821963310241699}\n",
+      "{'epoch': 0, 'update in batch': 5056, '/': 12375, 'loss': 7.265836238861084}\n",
+      "{'epoch': 0, 'update in batch': 5057, '/': 12375, 'loss': 7.8737993240356445}\n",
+      "{'epoch': 0, 'update in batch': 5058, '/': 12375, 'loss': 7.400240421295166}\n",
+      "{'epoch': 0, 'update in batch': 5059, '/': 12375, 'loss': 7.964205741882324}\n",
+      "{'epoch': 0, 'update in batch': 5060, '/': 12375, 'loss': 7.564201354980469}\n",
+      "{'epoch': 0, 'update in batch': 5061, '/': 12375, 'loss': 7.913031578063965}\n",
+      "{'epoch': 0, 'update in batch': 5062, '/': 12375, 'loss': 7.94803524017334}\n",
+      "{'epoch': 0, 'update in batch': 5063, '/': 12375, 'loss': 8.610883712768555}\n",
+      "{'epoch': 0, 'update in batch': 5064, '/': 12375, 'loss': 7.478670597076416}\n",
+      "{'epoch': 0, 'update in batch': 5065, '/': 12375, 'loss': 8.215330123901367}\n",
+      "{'epoch': 0, 'update in batch': 5066, '/': 12375, 'loss': 7.9994940757751465}\n",
+      "{'epoch': 0, 'update in batch': 5067, '/': 12375, 'loss': 7.388399600982666}\n",
+      "{'epoch': 0, 'update in batch': 5068, '/': 12375, 'loss': 7.145484924316406}\n",
+      "{'epoch': 0, 'update in batch': 5069, '/': 12375, 'loss': 7.613812446594238}\n",
+      "{'epoch': 0, 'update in batch': 5070, '/': 12375, 'loss': 7.538445949554443}\n",
+      "{'epoch': 0, 'update in batch': 5071, '/': 12375, 'loss': 7.484198093414307}\n",
+      "{'epoch': 0, 'update in batch': 5072, '/': 12375, 'loss': 8.102964401245117}\n",
+      "{'epoch': 0, 'update in batch': 5073, '/': 12375, 'loss': 7.690657138824463}\n",
+      "{'epoch': 0, 'update in batch': 5074, '/': 12375, 'loss': 7.927655220031738}\n",
+      "{'epoch': 0, 'update in batch': 5075, '/': 12375, 'loss': 7.550694942474365}\n",
+      "{'epoch': 0, 'update in batch': 5076, '/': 12375, 'loss': 8.636143684387207}\n",
+      "{'epoch': 0, 'update in batch': 5077, '/': 12375, 'loss': 8.452804565429688}\n",
+      "{'epoch': 0, 'update in batch': 5078, '/': 12375, 'loss': 7.980185031890869}\n",
+      "{'epoch': 0, 'update in batch': 5079, '/': 12375, 'loss': 8.18591594696045}\n",
+      "{'epoch': 0, 'update in batch': 5080, '/': 12375, 'loss': 7.8881964683532715}\n",
+      "{'epoch': 0, 'update in batch': 5081, '/': 12375, 'loss': 8.001385688781738}\n",
+      "{'epoch': 0, 'update in batch': 5082, '/': 12375, 'loss': 6.772670745849609}\n",
+      "{'epoch': 0, 'update in batch': 5083, '/': 12375, 'loss': 7.6961517333984375}\n",
+      "{'epoch': 0, 'update in batch': 5084, '/': 12375, 'loss': 7.769467830657959}\n",
+      "{'epoch': 0, 'update in batch': 5085, '/': 12375, 'loss': 8.2615385055542}\n",
+      "{'epoch': 0, 'update in batch': 5086, '/': 12375, 'loss': 7.283880710601807}\n",
+      "{'epoch': 0, 'update in batch': 5087, '/': 12375, 'loss': 7.837728977203369}\n",
+      "{'epoch': 0, 'update in batch': 5088, '/': 12375, 'loss': 7.940372467041016}\n",
+      "{'epoch': 0, 'update in batch': 5089, '/': 12375, 'loss': 8.103248596191406}\n",
+      "{'epoch': 0, 'update in batch': 5090, '/': 12375, 'loss': 7.804945945739746}\n",
+      "{'epoch': 0, 'update in batch': 5091, '/': 12375, 'loss': 7.925623416900635}\n",
+      "{'epoch': 0, 'update in batch': 5092, '/': 12375, 'loss': 7.584414482116699}\n",
+      "{'epoch': 0, 'update in batch': 5093, '/': 12375, 'loss': 7.700209617614746}\n",
+      "{'epoch': 0, 'update in batch': 5094, '/': 12375, 'loss': 7.598123073577881}\n",
+      "{'epoch': 0, 'update in batch': 5095, '/': 12375, 'loss': 7.898892402648926}\n",
+      "{'epoch': 0, 'update in batch': 5096, '/': 12375, 'loss': 7.682356834411621}\n",
+      "{'epoch': 0, 'update in batch': 5097, '/': 12375, 'loss': 7.06939172744751}\n",
+      "{'epoch': 0, 'update in batch': 5098, '/': 12375, 'loss': 7.793656349182129}\n",
+      "{'epoch': 0, 'update in batch': 5099, '/': 12375, 'loss': 7.389059543609619}\n",
+      "{'epoch': 0, 'update in batch': 5100, '/': 12375, 'loss': 7.4490766525268555}\n",
+      "{'epoch': 0, 'update in batch': 5101, '/': 12375, 'loss': 7.861590385437012}\n",
+      "{'epoch': 0, 'update in batch': 5102, '/': 12375, 'loss': 7.64639949798584}\n",
+      "{'epoch': 0, 'update in batch': 5103, '/': 12375, 'loss': 7.482035160064697}\n",
+      "{'epoch': 0, 'update in batch': 5104, '/': 12375, 'loss': 8.79781436920166}\n",
+      "{'epoch': 0, 'update in batch': 5105, '/': 12375, 'loss': 8.576986312866211}\n",
+      "{'epoch': 0, 'update in batch': 5106, '/': 12375, 'loss': 8.683809280395508}\n",
+      "{'epoch': 0, 'update in batch': 5107, '/': 12375, 'loss': 8.139660835266113}\n",
+      "{'epoch': 0, 'update in batch': 5108, '/': 12375, 'loss': 7.09088134765625}\n",
+      "{'epoch': 0, 'update in batch': 5109, '/': 12375, 'loss': 7.302180290222168}\n",
+      "{'epoch': 0, 'update in batch': 5110, '/': 12375, 'loss': 8.507295608520508}\n",
+      "{'epoch': 0, 'update in batch': 5111, '/': 12375, 'loss': 8.723228454589844}\n",
+      "{'epoch': 0, 'update in batch': 5112, '/': 12375, 'loss': 9.002565383911133}\n",
+      "{'epoch': 0, 'update in batch': 5113, '/': 12375, 'loss': 8.197343826293945}\n",
+      "{'epoch': 0, 'update in batch': 5114, '/': 12375, 'loss': 8.726302146911621}\n",
+      "{'epoch': 0, 'update in batch': 5115, '/': 12375, 'loss': 8.67810344696045}\n",
+      "{'epoch': 0, 'update in batch': 5116, '/': 12375, 'loss': 8.207124710083008}\n",
+      "{'epoch': 0, 'update in batch': 5117, '/': 12375, 'loss': 7.82379674911499}\n",
+      "{'epoch': 0, 'update in batch': 5118, '/': 12375, 'loss': 8.159798622131348}\n",
+      "{'epoch': 0, 'update in batch': 5119, '/': 12375, 'loss': 8.79218864440918}\n",
+      "{'epoch': 0, 'update in batch': 5120, '/': 12375, 'loss': 7.863501071929932}\n",
+      "{'epoch': 0, 'update in batch': 5121, '/': 12375, 'loss': 7.4886884689331055}\n",
+      "{'epoch': 0, 'update in batch': 5122, '/': 12375, 'loss': 7.743490695953369}\n",
+      "{'epoch': 0, 'update in batch': 5123, '/': 12375, 'loss': 8.560711860656738}\n",
+      "{'epoch': 0, 'update in batch': 5124, '/': 12375, 'loss': 8.116132736206055}\n",
+      "{'epoch': 0, 'update in batch': 5125, '/': 12375, 'loss': 8.206313133239746}\n",
+      "{'epoch': 0, 'update in batch': 5126, '/': 12375, 'loss': 8.969335556030273}\n",
+      "{'epoch': 0, 'update in batch': 5127, '/': 12375, 'loss': 8.066558837890625}\n",
+      "{'epoch': 0, 'update in batch': 5128, '/': 12375, 'loss': 8.748889923095703}\n",
+      "{'epoch': 0, 'update in batch': 5129, '/': 12375, 'loss': 8.265092849731445}\n",
+      "{'epoch': 0, 'update in batch': 5130, '/': 12375, 'loss': 8.115294456481934}\n",
+      "{'epoch': 0, 'update in batch': 5131, '/': 12375, 'loss': 7.918263912200928}\n",
+      "{'epoch': 0, 'update in batch': 5132, '/': 12375, 'loss': 8.34355640411377}\n",
+      "{'epoch': 0, 'update in batch': 5133, '/': 12375, 'loss': 8.62743091583252}\n",
+      "{'epoch': 0, 'update in batch': 5134, '/': 12375, 'loss': 8.345440864562988}\n",
+      "{'epoch': 0, 'update in batch': 5135, '/': 12375, 'loss': 7.5505876541137695}\n",
+      "{'epoch': 0, 'update in batch': 5136, '/': 12375, 'loss': 7.665531158447266}\n",
+      "{'epoch': 0, 'update in batch': 5137, '/': 12375, 'loss': 8.378839492797852}\n",
+      "{'epoch': 0, 'update in batch': 5138, '/': 12375, 'loss': 7.385800361633301}\n",
+      "{'epoch': 0, 'update in batch': 5139, '/': 12375, 'loss': 8.696022033691406}\n",
+      "{'epoch': 0, 'update in batch': 5140, '/': 12375, 'loss': 8.088847160339355}\n",
+      "{'epoch': 0, 'update in batch': 5141, '/': 12375, 'loss': 7.567707061767578}\n",
+      "{'epoch': 0, 'update in batch': 5142, '/': 12375, 'loss': 7.9214324951171875}\n",
+      "{'epoch': 0, 'update in batch': 5143, '/': 12375, 'loss': 8.557344436645508}\n",
+      "{'epoch': 0, 'update in batch': 5144, '/': 12375, 'loss': 7.651877403259277}\n",
+      "{'epoch': 0, 'update in batch': 5145, '/': 12375, 'loss': 7.785274505615234}\n",
+      "{'epoch': 0, 'update in batch': 5146, '/': 12375, 'loss': 7.531344413757324}\n",
+      "{'epoch': 0, 'update in batch': 5147, '/': 12375, 'loss': 7.405730247497559}\n",
+      "{'epoch': 0, 'update in batch': 5148, '/': 12375, 'loss': 7.967637538909912}\n",
+      "{'epoch': 0, 'update in batch': 5149, '/': 12375, 'loss': 7.773685455322266}\n",
+      "{'epoch': 0, 'update in batch': 5150, '/': 12375, 'loss': 7.390446662902832}\n",
+      "{'epoch': 0, 'update in batch': 5151, '/': 12375, 'loss': 7.484423637390137}\n",
+      "{'epoch': 0, 'update in batch': 5152, '/': 12375, 'loss': 8.873260498046875}\n",
+      "{'epoch': 0, 'update in batch': 5153, '/': 12375, 'loss': 6.972203254699707}\n",
+      "{'epoch': 0, 'update in batch': 5154, '/': 12375, 'loss': 7.946188449859619}\n",
+      "{'epoch': 0, 'update in batch': 5155, '/': 12375, 'loss': 7.344673156738281}\n",
+      "{'epoch': 0, 'update in batch': 5156, '/': 12375, 'loss': 7.492342948913574}\n",
+      "{'epoch': 0, 'update in batch': 5157, '/': 12375, 'loss': 7.897804260253906}\n",
+      "{'epoch': 0, 'update in batch': 5158, '/': 12375, 'loss': 7.897538185119629}\n",
+      "{'epoch': 0, 'update in batch': 5159, '/': 12375, 'loss': 8.454752922058105}\n",
+      "{'epoch': 0, 'update in batch': 5160, '/': 12375, 'loss': 7.419659614562988}\n",
+      "{'epoch': 0, 'update in batch': 5161, '/': 12375, 'loss': 7.73846435546875}\n",
+      "{'epoch': 0, 'update in batch': 5162, '/': 12375, 'loss': 7.568220615386963}\n",
+      "{'epoch': 0, 'update in batch': 5163, '/': 12375, 'loss': 8.447397232055664}\n",
+      "{'epoch': 0, 'update in batch': 5164, '/': 12375, 'loss': 7.5790605545043945}\n",
+      "{'epoch': 0, 'update in batch': 5165, '/': 12375, 'loss': 7.790851593017578}\n",
+      "{'epoch': 0, 'update in batch': 5166, '/': 12375, 'loss': 7.495754241943359}\n",
+      "{'epoch': 0, 'update in batch': 5167, '/': 12375, 'loss': 7.819462776184082}\n",
+      "{'epoch': 0, 'update in batch': 5168, '/': 12375, 'loss': 6.9346418380737305}\n",
+      "{'epoch': 0, 'update in batch': 5169, '/': 12375, 'loss': 8.19784164428711}\n",
+      "{'epoch': 0, 'update in batch': 5170, '/': 12375, 'loss': 8.21299934387207}\n",
+      "{'epoch': 0, 'update in batch': 5171, '/': 12375, 'loss': 7.541430473327637}\n",
+      "{'epoch': 0, 'update in batch': 5172, '/': 12375, 'loss': 7.766137599945068}\n",
+      "{'epoch': 0, 'update in batch': 5173, '/': 12375, 'loss': 7.718565464019775}\n",
+      "{'epoch': 0, 'update in batch': 5174, '/': 12375, 'loss': 8.568806648254395}\n",
+      "{'epoch': 0, 'update in batch': 5175, '/': 12375, 'loss': 8.622414588928223}\n",
+      "{'epoch': 0, 'update in batch': 5176, '/': 12375, 'loss': 8.201211929321289}\n",
+      "{'epoch': 0, 'update in batch': 5177, '/': 12375, 'loss': 9.366118431091309}\n",
+      "{'epoch': 0, 'update in batch': 5178, '/': 12375, 'loss': 7.782143592834473}\n",
+      "{'epoch': 0, 'update in batch': 5179, '/': 12375, 'loss': 7.68386697769165}\n",
+      "{'epoch': 0, 'update in batch': 5180, '/': 12375, 'loss': 7.969637393951416}\n",
+      "{'epoch': 0, 'update in batch': 5181, '/': 12375, 'loss': 8.257088661193848}\n",
+      "{'epoch': 0, 'update in batch': 5182, '/': 12375, 'loss': 8.85398006439209}\n",
+      "{'epoch': 0, 'update in batch': 5183, '/': 12375, 'loss': 7.979554653167725}\n",
+      "{'epoch': 0, 'update in batch': 5184, '/': 12375, 'loss': 8.546686172485352}\n",
+      "{'epoch': 0, 'update in batch': 5185, '/': 12375, 'loss': 6.677809715270996}\n",
+      "{'epoch': 0, 'update in batch': 5186, '/': 12375, 'loss': 7.5457940101623535}\n",
+      "{'epoch': 0, 'update in batch': 5187, '/': 12375, 'loss': 8.021592140197754}\n",
+      "{'epoch': 0, 'update in batch': 5188, '/': 12375, 'loss': 8.237390518188477}\n",
+      "{'epoch': 0, 'update in batch': 5189, '/': 12375, 'loss': 8.179920196533203}\n",
+      "{'epoch': 0, 'update in batch': 5190, '/': 12375, 'loss': 8.500185012817383}\n",
+      "{'epoch': 0, 'update in batch': 5191, '/': 12375, 'loss': 9.299229621887207}\n",
+      "{'epoch': 0, 'update in batch': 5192, '/': 12375, 'loss': 8.409076690673828}\n",
+      "{'epoch': 0, 'update in batch': 5193, '/': 12375, 'loss': 7.561728000640869}\n",
+      "{'epoch': 0, 'update in batch': 5194, '/': 12375, 'loss': 8.286050796508789}\n",
+      "{'epoch': 0, 'update in batch': 5195, '/': 12375, 'loss': 8.15250301361084}\n",
+      "{'epoch': 0, 'update in batch': 5196, '/': 12375, 'loss': 7.908961296081543}\n",
+      "{'epoch': 0, 'update in batch': 5197, '/': 12375, 'loss': 7.391060829162598}\n",
+      "{'epoch': 0, 'update in batch': 5198, '/': 12375, 'loss': 7.457862854003906}\n",
+      "{'epoch': 0, 'update in batch': 5199, '/': 12375, 'loss': 7.693523406982422}\n",
+      "{'epoch': 0, 'update in batch': 5200, '/': 12375, 'loss': 7.6527581214904785}\n",
+      "{'epoch': 0, 'update in batch': 5201, '/': 12375, 'loss': 7.673409461975098}\n",
+      "{'epoch': 0, 'update in batch': 5202, '/': 12375, 'loss': 8.011327743530273}\n",
+      "{'epoch': 0, 'update in batch': 5203, '/': 12375, 'loss': 8.246526718139648}\n",
+      "{'epoch': 0, 'update in batch': 5204, '/': 12375, 'loss': 9.304957389831543}\n",
+      "{'epoch': 0, 'update in batch': 5205, '/': 12375, 'loss': 8.082157135009766}\n",
+      "{'epoch': 0, 'update in batch': 5206, '/': 12375, 'loss': 8.32243824005127}\n",
+      "{'epoch': 0, 'update in batch': 5207, '/': 12375, 'loss': 8.219179153442383}\n",
+      "{'epoch': 0, 'update in batch': 5208, '/': 12375, 'loss': 8.735885620117188}\n",
+      "{'epoch': 0, 'update in batch': 5209, '/': 12375, 'loss': 8.1450834274292}\n",
+      "{'epoch': 0, 'update in batch': 5210, '/': 12375, 'loss': 8.510172843933105}\n",
+      "{'epoch': 0, 'update in batch': 5211, '/': 12375, 'loss': 9.094449996948242}\n",
+      "{'epoch': 0, 'update in batch': 5212, '/': 12375, 'loss': 8.727088928222656}\n",
+      "{'epoch': 0, 'update in batch': 5213, '/': 12375, 'loss': 9.035099029541016}\n",
+      "{'epoch': 0, 'update in batch': 5214, '/': 12375, 'loss': 8.397445678710938}\n",
+      "{'epoch': 0, 'update in batch': 5215, '/': 12375, 'loss': 8.547342300415039}\n",
+      "{'epoch': 0, 'update in batch': 5216, '/': 12375, 'loss': 8.538211822509766}\n",
+      "{'epoch': 0, 'update in batch': 5217, '/': 12375, 'loss': 8.372537612915039}\n",
+      "{'epoch': 0, 'update in batch': 5218, '/': 12375, 'loss': 8.086484909057617}\n",
+      "{'epoch': 0, 'update in batch': 5219, '/': 12375, 'loss': 7.736037254333496}\n",
+      "{'epoch': 0, 'update in batch': 5220, '/': 12375, 'loss': 8.283266067504883}\n",
+      "{'epoch': 0, 'update in batch': 5221, '/': 12375, 'loss': 8.075665473937988}\n",
+      "{'epoch': 0, 'update in batch': 5222, '/': 12375, 'loss': 9.401324272155762}\n",
+      "{'epoch': 0, 'update in batch': 5223, '/': 12375, 'loss': 8.063692092895508}\n",
+      "{'epoch': 0, 'update in batch': 5224, '/': 12375, 'loss': 8.616312026977539}\n",
+      "{'epoch': 0, 'update in batch': 5225, '/': 12375, 'loss': 8.434144973754883}\n",
+      "{'epoch': 0, 'update in batch': 5226, '/': 12375, 'loss': 8.224936485290527}\n",
+      "{'epoch': 0, 'update in batch': 5227, '/': 12375, 'loss': 8.169329643249512}\n",
+      "{'epoch': 0, 'update in batch': 5228, '/': 12375, 'loss': 8.117700576782227}\n",
+      "{'epoch': 0, 'update in batch': 5229, '/': 12375, 'loss': 8.29630184173584}\n",
+      "{'epoch': 0, 'update in batch': 5230, '/': 12375, 'loss': 7.727784156799316}\n",
+      "{'epoch': 0, 'update in batch': 5231, '/': 12375, 'loss': 7.866028785705566}\n",
+      "{'epoch': 0, 'update in batch': 5232, '/': 12375, 'loss': 9.393255233764648}\n",
+      "{'epoch': 0, 'update in batch': 5233, '/': 12375, 'loss': 9.48292350769043}\n",
+      "{'epoch': 0, 'update in batch': 5234, '/': 12375, 'loss': 8.629861831665039}\n",
+      "{'epoch': 0, 'update in batch': 5235, '/': 12375, 'loss': 8.547564506530762}\n",
+      "{'epoch': 0, 'update in batch': 5236, '/': 12375, 'loss': 9.091936111450195}\n",
+      "{'epoch': 0, 'update in batch': 5237, '/': 12375, 'loss': 9.343244552612305}\n",
+      "{'epoch': 0, 'update in batch': 5238, '/': 12375, 'loss': 8.699728012084961}\n",
+      "{'epoch': 0, 'update in batch': 5239, '/': 12375, 'loss': 9.21248722076416}\n",
+      "{'epoch': 0, 'update in batch': 5240, '/': 12375, 'loss': 8.881572723388672}\n",
+      "{'epoch': 0, 'update in batch': 5241, '/': 12375, 'loss': 7.797199249267578}\n",
+      "{'epoch': 0, 'update in batch': 5242, '/': 12375, 'loss': 9.254495620727539}\n",
+      "{'epoch': 0, 'update in batch': 5243, '/': 12375, 'loss': 7.949726104736328}\n",
+      "{'epoch': 0, 'update in batch': 5244, '/': 12375, 'loss': 9.290903091430664}\n",
+      "{'epoch': 0, 'update in batch': 5245, '/': 12375, 'loss': 8.766043663024902}\n",
+      "{'epoch': 0, 'update in batch': 5246, '/': 12375, 'loss': 8.064064979553223}\n",
+      "{'epoch': 0, 'update in batch': 5247, '/': 12375, 'loss': 9.125044822692871}\n",
+      "{'epoch': 0, 'update in batch': 5248, '/': 12375, 'loss': 9.094064712524414}\n",
+      "{'epoch': 0, 'update in batch': 5249, '/': 12375, 'loss': 8.354394912719727}\n",
+      "{'epoch': 0, 'update in batch': 5250, '/': 12375, 'loss': 7.981356143951416}\n",
+      "{'epoch': 0, 'update in batch': 5251, '/': 12375, 'loss': 8.19749927520752}\n",
+      "{'epoch': 0, 'update in batch': 5252, '/': 12375, 'loss': 7.941397190093994}\n",
+      "{'epoch': 0, 'update in batch': 5253, '/': 12375, 'loss': 7.9691572189331055}\n",
+      "{'epoch': 0, 'update in batch': 5254, '/': 12375, 'loss': 8.176289558410645}\n",
+      "{'epoch': 0, 'update in batch': 5255, '/': 12375, 'loss': 8.803837776184082}\n",
+      "{'epoch': 0, 'update in batch': 5256, '/': 12375, 'loss': 8.896610260009766}\n",
+      "{'epoch': 0, 'update in batch': 5257, '/': 12375, 'loss': 9.716782569885254}\n",
+      "{'epoch': 0, 'update in batch': 5258, '/': 12375, 'loss': 8.091203689575195}\n",
+      "{'epoch': 0, 'update in batch': 5259, '/': 12375, 'loss': 8.350919723510742}\n",
+      "{'epoch': 0, 'update in batch': 5260, '/': 12375, 'loss': 8.403465270996094}\n",
+      "{'epoch': 0, 'update in batch': 5261, '/': 12375, 'loss': 8.083711624145508}\n",
+      "{'epoch': 0, 'update in batch': 5262, '/': 12375, 'loss': 8.07441520690918}\n",
+      "{'epoch': 0, 'update in batch': 5263, '/': 12375, 'loss': 8.237619400024414}\n",
+      "{'epoch': 0, 'update in batch': 5264, '/': 12375, 'loss': 8.171771049499512}\n",
+      "{'epoch': 0, 'update in batch': 5265, '/': 12375, 'loss': 8.355664253234863}\n",
+      "{'epoch': 0, 'update in batch': 5266, '/': 12375, 'loss': 8.992170333862305}\n",
+      "{'epoch': 0, 'update in batch': 5267, '/': 12375, 'loss': 7.406254768371582}\n",
+      "{'epoch': 0, 'update in batch': 5268, '/': 12375, 'loss': 8.50977611541748}\n",
+      "{'epoch': 0, 'update in batch': 5269, '/': 12375, 'loss': 8.189339637756348}\n",
+      "{'epoch': 0, 'update in batch': 5270, '/': 12375, 'loss': 8.889386177062988}\n",
+      "{'epoch': 0, 'update in batch': 5271, '/': 12375, 'loss': 8.81583309173584}\n",
+      "{'epoch': 0, 'update in batch': 5272, '/': 12375, 'loss': 8.024964332580566}\n",
+      "{'epoch': 0, 'update in batch': 5273, '/': 12375, 'loss': 7.3541154861450195}\n",
+      "{'epoch': 0, 'update in batch': 5274, '/': 12375, 'loss': 8.53044605255127}\n",
+      "{'epoch': 0, 'update in batch': 5275, '/': 12375, 'loss': 8.096040725708008}\n",
+      "{'epoch': 0, 'update in batch': 5276, '/': 12375, 'loss': 7.939123630523682}\n",
+      "{'epoch': 0, 'update in batch': 5277, '/': 12375, 'loss': 7.820345878601074}\n",
+      "{'epoch': 0, 'update in batch': 5278, '/': 12375, 'loss': 7.866057395935059}\n",
+      "{'epoch': 0, 'update in batch': 5279, '/': 12375, 'loss': 7.682564735412598}\n",
+      "{'epoch': 0, 'update in batch': 5280, '/': 12375, 'loss': 6.573116302490234}\n",
+      "{'epoch': 0, 'update in batch': 5281, '/': 12375, 'loss': 7.075033664703369}\n",
+      "{'epoch': 0, 'update in batch': 5282, '/': 12375, 'loss': 7.355906009674072}\n",
+      "{'epoch': 0, 'update in batch': 5283, '/': 12375, 'loss': 7.294491767883301}\n",
+      "{'epoch': 0, 'update in batch': 5284, '/': 12375, 'loss': 7.400147914886475}\n",
+      "{'epoch': 0, 'update in batch': 5285, '/': 12375, 'loss': 6.741181373596191}\n",
+      "{'epoch': 0, 'update in batch': 5286, '/': 12375, 'loss': 7.232392311096191}\n",
+      "{'epoch': 0, 'update in batch': 5287, '/': 12375, 'loss': 7.646038055419922}\n",
+      "{'epoch': 0, 'update in batch': 5288, '/': 12375, 'loss': 8.059078216552734}\n",
+      "{'epoch': 0, 'update in batch': 5289, '/': 12375, 'loss': 8.15964412689209}\n",
+      "{'epoch': 0, 'update in batch': 5290, '/': 12375, 'loss': 8.424911499023438}\n",
+      "{'epoch': 0, 'update in batch': 5291, '/': 12375, 'loss': 6.88677978515625}\n",
+      "{'epoch': 0, 'update in batch': 5292, '/': 12375, 'loss': 7.380463600158691}\n",
+      "{'epoch': 0, 'update in batch': 5293, '/': 12375, 'loss': 7.9670820236206055}\n",
+      "{'epoch': 0, 'update in batch': 5294, '/': 12375, 'loss': 7.832963466644287}\n",
+      "{'epoch': 0, 'update in batch': 5295, '/': 12375, 'loss': 7.495762825012207}\n",
+      "{'epoch': 0, 'update in batch': 5296, '/': 12375, 'loss': 8.43852710723877}\n",
+      "{'epoch': 0, 'update in batch': 5297, '/': 12375, 'loss': 7.498879909515381}\n",
+      "{'epoch': 0, 'update in batch': 5298, '/': 12375, 'loss': 7.988030433654785}\n",
+      "{'epoch': 0, 'update in batch': 5299, '/': 12375, 'loss': 7.203342437744141}\n",
+      "{'epoch': 0, 'update in batch': 5300, '/': 12375, 'loss': 7.97739315032959}\n",
+      "{'epoch': 0, 'update in batch': 5301, '/': 12375, 'loss': 8.024425506591797}\n",
+      "{'epoch': 0, 'update in batch': 5302, '/': 12375, 'loss': 8.056520462036133}\n",
+      "{'epoch': 0, 'update in batch': 5303, '/': 12375, 'loss': 8.355873107910156}\n",
+      "{'epoch': 0, 'update in batch': 5304, '/': 12375, 'loss': 6.997193813323975}\n",
+      "{'epoch': 0, 'update in batch': 5305, '/': 12375, 'loss': 7.869107246398926}\n",
+      "{'epoch': 0, 'update in batch': 5306, '/': 12375, 'loss': 7.781825065612793}\n",
+      "{'epoch': 0, 'update in batch': 5307, '/': 12375, 'loss': 9.047837257385254}\n",
+      "{'epoch': 0, 'update in batch': 5308, '/': 12375, 'loss': 8.780470848083496}\n",
+      "{'epoch': 0, 'update in batch': 5309, '/': 12375, 'loss': 7.947453498840332}\n",
+      "{'epoch': 0, 'update in batch': 5310, '/': 12375, 'loss': 8.514918327331543}\n",
+      "{'epoch': 0, 'update in batch': 5311, '/': 12375, 'loss': 8.738651275634766}\n",
+      "{'epoch': 0, 'update in batch': 5312, '/': 12375, 'loss': 8.629522323608398}\n",
+      "{'epoch': 0, 'update in batch': 5313, '/': 12375, 'loss': 7.091406345367432}\n",
+      "{'epoch': 0, 'update in batch': 5314, '/': 12375, 'loss': 7.290066719055176}\n",
+      "{'epoch': 0, 'update in batch': 5315, '/': 12375, 'loss': 8.13033676147461}\n",
+      "{'epoch': 0, 'update in batch': 5316, '/': 12375, 'loss': 7.743537902832031}\n",
+      "{'epoch': 0, 'update in batch': 5317, '/': 12375, 'loss': 7.123558044433594}\n",
+      "{'epoch': 0, 'update in batch': 5318, '/': 12375, 'loss': 6.835371494293213}\n",
+      "{'epoch': 0, 'update in batch': 5319, '/': 12375, 'loss': 7.363886833190918}\n",
+      "{'epoch': 0, 'update in batch': 5320, '/': 12375, 'loss': 8.032547950744629}\n",
+      "{'epoch': 0, 'update in batch': 5321, '/': 12375, 'loss': 6.328275203704834}\n",
+      "{'epoch': 0, 'update in batch': 5322, '/': 12375, 'loss': 7.254082679748535}\n",
+      "{'epoch': 0, 'update in batch': 5323, '/': 12375, 'loss': 7.374149322509766}\n",
+      "{'epoch': 0, 'update in batch': 5324, '/': 12375, 'loss': 7.524848937988281}\n",
+      "{'epoch': 0, 'update in batch': 5325, '/': 12375, 'loss': 7.513566493988037}\n",
+      "{'epoch': 0, 'update in batch': 5326, '/': 12375, 'loss': 8.065869331359863}\n",
+      "{'epoch': 0, 'update in batch': 5327, '/': 12375, 'loss': 7.4588775634765625}\n",
+      "{'epoch': 0, 'update in batch': 5328, '/': 12375, 'loss': 8.262117385864258}\n",
+      "{'epoch': 0, 'update in batch': 5329, '/': 12375, 'loss': 7.719758033752441}\n",
+      "{'epoch': 0, 'update in batch': 5330, '/': 12375, 'loss': 8.079543113708496}\n",
+      "{'epoch': 0, 'update in batch': 5331, '/': 12375, 'loss': 8.336594581604004}\n",
+      "{'epoch': 0, 'update in batch': 5332, '/': 12375, 'loss': 8.02171516418457}\n",
+      "{'epoch': 0, 'update in batch': 5333, '/': 12375, 'loss': 8.382898330688477}\n",
+      "{'epoch': 0, 'update in batch': 5334, '/': 12375, 'loss': 8.601592063903809}\n",
+      "{'epoch': 0, 'update in batch': 5335, '/': 12375, 'loss': 8.074416160583496}\n",
+      "{'epoch': 0, 'update in batch': 5336, '/': 12375, 'loss': 7.565680503845215}\n",
+      "{'epoch': 0, 'update in batch': 5337, '/': 12375, 'loss': 8.26488208770752}\n",
+      "{'epoch': 0, 'update in batch': 5338, '/': 12375, 'loss': 8.269608497619629}\n",
+      "{'epoch': 0, 'update in batch': 5339, '/': 12375, 'loss': 8.165604591369629}\n",
+      "{'epoch': 0, 'update in batch': 5340, '/': 12375, 'loss': 7.7654242515563965}\n",
+      "{'epoch': 0, 'update in batch': 5341, '/': 12375, 'loss': 7.601729393005371}\n",
+      "{'epoch': 0, 'update in batch': 5342, '/': 12375, 'loss': 8.083341598510742}\n",
+      "{'epoch': 0, 'update in batch': 5343, '/': 12375, 'loss': 8.680103302001953}\n",
+      "{'epoch': 0, 'update in batch': 5344, '/': 12375, 'loss': 8.972590446472168}\n",
+      "{'epoch': 0, 'update in batch': 5345, '/': 12375, 'loss': 7.980673789978027}\n",
+      "{'epoch': 0, 'update in batch': 5346, '/': 12375, 'loss': 7.918578147888184}\n",
+      "{'epoch': 0, 'update in batch': 5347, '/': 12375, 'loss': 7.674489498138428}\n",
+      "{'epoch': 0, 'update in batch': 5348, '/': 12375, 'loss': 7.205539703369141}\n",
+      "{'epoch': 0, 'update in batch': 5349, '/': 12375, 'loss': 7.041441917419434}\n",
+      "{'epoch': 0, 'update in batch': 5350, '/': 12375, 'loss': 7.176358222961426}\n",
+      "{'epoch': 0, 'update in batch': 5351, '/': 12375, 'loss': 7.895236015319824}\n",
+      "{'epoch': 0, 'update in batch': 5352, '/': 12375, 'loss': 7.453255653381348}\n",
+      "{'epoch': 0, 'update in batch': 5353, '/': 12375, 'loss': 7.872763633728027}\n",
+      "{'epoch': 0, 'update in batch': 5354, '/': 12375, 'loss': 7.8797607421875}\n",
+      "{'epoch': 0, 'update in batch': 5355, '/': 12375, 'loss': 7.457080841064453}\n",
+      "{'epoch': 0, 'update in batch': 5356, '/': 12375, 'loss': 8.92107105255127}\n",
+      "{'epoch': 0, 'update in batch': 5357, '/': 12375, 'loss': 8.42066764831543}\n",
+      "{'epoch': 0, 'update in batch': 5358, '/': 12375, 'loss': 7.801386833190918}\n",
+      "{'epoch': 0, 'update in batch': 5359, '/': 12375, 'loss': 7.532412528991699}\n",
+      "{'epoch': 0, 'update in batch': 5360, '/': 12375, 'loss': 8.001501083374023}\n",
+      "{'epoch': 0, 'update in batch': 5361, '/': 12375, 'loss': 8.053064346313477}\n",
+      "{'epoch': 0, 'update in batch': 5362, '/': 12375, 'loss': 7.506880760192871}\n",
+      "{'epoch': 0, 'update in batch': 5363, '/': 12375, 'loss': 7.8259992599487305}\n",
+      "{'epoch': 0, 'update in batch': 5364, '/': 12375, 'loss': 7.5239973068237305}\n",
+      "{'epoch': 0, 'update in batch': 5365, '/': 12375, 'loss': 8.0438232421875}\n",
+      "{'epoch': 0, 'update in batch': 5366, '/': 12375, 'loss': 7.85706090927124}\n",
+      "{'epoch': 0, 'update in batch': 5367, '/': 12375, 'loss': 7.132453918457031}\n",
+      "{'epoch': 0, 'update in batch': 5368, '/': 12375, 'loss': 7.564782619476318}\n",
+      "{'epoch': 0, 'update in batch': 5369, '/': 12375, 'loss': 7.815468788146973}\n",
+      "{'epoch': 0, 'update in batch': 5370, '/': 12375, 'loss': 7.759466648101807}\n",
+      "{'epoch': 0, 'update in batch': 5371, '/': 12375, 'loss': 8.284546852111816}\n",
+      "{'epoch': 0, 'update in batch': 5372, '/': 12375, 'loss': 8.335756301879883}\n",
+      "{'epoch': 0, 'update in batch': 5373, '/': 12375, 'loss': 7.734345436096191}\n",
+      "{'epoch': 0, 'update in batch': 5374, '/': 12375, 'loss': 7.008130073547363}\n",
+      "{'epoch': 0, 'update in batch': 5375, '/': 12375, 'loss': 7.176033020019531}\n",
+      "{'epoch': 0, 'update in batch': 5376, '/': 12375, 'loss': 8.447790145874023}\n",
+      "{'epoch': 0, 'update in batch': 5377, '/': 12375, 'loss': 7.731203556060791}\n",
+      "{'epoch': 0, 'update in batch': 5378, '/': 12375, 'loss': 7.33413553237915}\n",
+      "{'epoch': 0, 'update in batch': 5379, '/': 12375, 'loss': 8.563462257385254}\n",
+      "{'epoch': 0, 'update in batch': 5380, '/': 12375, 'loss': 8.220075607299805}\n",
+      "{'epoch': 0, 'update in batch': 5381, '/': 12375, 'loss': 8.355786323547363}\n",
+      "{'epoch': 0, 'update in batch': 5382, '/': 12375, 'loss': 7.694326877593994}\n",
+      "{'epoch': 0, 'update in batch': 5383, '/': 12375, 'loss': 8.07315444946289}\n",
+      "{'epoch': 0, 'update in batch': 5384, '/': 12375, 'loss': 7.274771213531494}\n",
+      "{'epoch': 0, 'update in batch': 5385, '/': 12375, 'loss': 7.885776519775391}\n",
+      "{'epoch': 0, 'update in batch': 5386, '/': 12375, 'loss': 7.914668083190918}\n",
+      "{'epoch': 0, 'update in batch': 5387, '/': 12375, 'loss': 7.480988502502441}\n",
+      "{'epoch': 0, 'update in batch': 5388, '/': 12375, 'loss': 8.04366683959961}\n",
+      "{'epoch': 0, 'update in batch': 5389, '/': 12375, 'loss': 7.438153266906738}\n",
+      "{'epoch': 0, 'update in batch': 5390, '/': 12375, 'loss': 7.513121604919434}\n",
+      "{'epoch': 0, 'update in batch': 5391, '/': 12375, 'loss': 7.752589225769043}\n",
+      "{'epoch': 0, 'update in batch': 5392, '/': 12375, 'loss': 8.176347732543945}\n",
+      "{'epoch': 0, 'update in batch': 5393, '/': 12375, 'loss': 8.513978958129883}\n",
+      "{'epoch': 0, 'update in batch': 5394, '/': 12375, 'loss': 7.807118892669678}\n",
+      "{'epoch': 0, 'update in batch': 5395, '/': 12375, 'loss': 7.094776153564453}\n",
+      "{'epoch': 0, 'update in batch': 5396, '/': 12375, 'loss': 7.573899745941162}\n",
+      "{'epoch': 0, 'update in batch': 5397, '/': 12375, 'loss': 7.294281959533691}\n",
+      "{'epoch': 0, 'update in batch': 5398, '/': 12375, 'loss': 7.454218864440918}\n",
+      "{'epoch': 0, 'update in batch': 5399, '/': 12375, 'loss': 8.726058959960938}\n",
+      "{'epoch': 0, 'update in batch': 5400, '/': 12375, 'loss': 8.518026351928711}\n",
+      "{'epoch': 0, 'update in batch': 5401, '/': 12375, 'loss': 7.79370641708374}\n",
+      "{'epoch': 0, 'update in batch': 5402, '/': 12375, 'loss': 7.679029941558838}\n",
+      "{'epoch': 0, 'update in batch': 5403, '/': 12375, 'loss': 6.84935998916626}\n",
+      "{'epoch': 0, 'update in batch': 5404, '/': 12375, 'loss': 7.336050987243652}\n",
+      "{'epoch': 0, 'update in batch': 5405, '/': 12375, 'loss': 7.416918754577637}\n",
+      "{'epoch': 0, 'update in batch': 5406, '/': 12375, 'loss': 7.255474090576172}\n",
+      "{'epoch': 0, 'update in batch': 5407, '/': 12375, 'loss': 7.541522026062012}\n",
+      "{'epoch': 0, 'update in batch': 5408, '/': 12375, 'loss': 7.192895412445068}\n",
+      "{'epoch': 0, 'update in batch': 5409, '/': 12375, 'loss': 7.7474517822265625}\n",
+      "{'epoch': 0, 'update in batch': 5410, '/': 12375, 'loss': 7.397660255432129}\n",
+      "{'epoch': 0, 'update in batch': 5411, '/': 12375, 'loss': 8.09701156616211}\n",
+      "{'epoch': 0, 'update in batch': 5412, '/': 12375, 'loss': 7.1650848388671875}\n",
+      "{'epoch': 0, 'update in batch': 5413, '/': 12375, 'loss': 7.7247138023376465}\n",
+      "{'epoch': 0, 'update in batch': 5414, '/': 12375, 'loss': 8.058185577392578}\n",
+      "{'epoch': 0, 'update in batch': 5415, '/': 12375, 'loss': 7.2876739501953125}\n",
+      "{'epoch': 0, 'update in batch': 5416, '/': 12375, 'loss': 7.291651248931885}\n",
+      "{'epoch': 0, 'update in batch': 5417, '/': 12375, 'loss': 7.537052154541016}\n",
+      "{'epoch': 0, 'update in batch': 5418, '/': 12375, 'loss': 8.091246604919434}\n",
+      "{'epoch': 0, 'update in batch': 5419, '/': 12375, 'loss': 8.481759071350098}\n",
+      "{'epoch': 0, 'update in batch': 5420, '/': 12375, 'loss': 8.663061141967773}\n",
+      "{'epoch': 0, 'update in batch': 5421, '/': 12375, 'loss': 8.387290000915527}\n",
+      "{'epoch': 0, 'update in batch': 5422, '/': 12375, 'loss': 7.483062744140625}\n",
+      "{'epoch': 0, 'update in batch': 5423, '/': 12375, 'loss': 7.477263450622559}\n",
+      "{'epoch': 0, 'update in batch': 5424, '/': 12375, 'loss': 7.436234474182129}\n",
+      "{'epoch': 0, 'update in batch': 5425, '/': 12375, 'loss': 6.992739677429199}\n",
+      "{'epoch': 0, 'update in batch': 5426, '/': 12375, 'loss': 7.268193244934082}\n",
+      "{'epoch': 0, 'update in batch': 5427, '/': 12375, 'loss': 7.082030296325684}\n",
+      "{'epoch': 0, 'update in batch': 5428, '/': 12375, 'loss': 7.546713829040527}\n",
+      "{'epoch': 0, 'update in batch': 5429, '/': 12375, 'loss': 7.89935302734375}\n",
+      "{'epoch': 0, 'update in batch': 5430, '/': 12375, 'loss': 7.232931613922119}\n",
+      "{'epoch': 0, 'update in batch': 5431, '/': 12375, 'loss': 7.551979064941406}\n",
+      "{'epoch': 0, 'update in batch': 5432, '/': 12375, 'loss': 7.287097930908203}\n",
+      "{'epoch': 0, 'update in batch': 5433, '/': 12375, 'loss': 7.896639823913574}\n",
+      "{'epoch': 0, 'update in batch': 5434, '/': 12375, 'loss': 7.186013698577881}\n",
+      "{'epoch': 0, 'update in batch': 5435, '/': 12375, 'loss': 7.800808906555176}\n",
+      "{'epoch': 0, 'update in batch': 5436, '/': 12375, 'loss': 7.960253715515137}\n",
+      "{'epoch': 0, 'update in batch': 5437, '/': 12375, 'loss': 8.395294189453125}\n",
+      "{'epoch': 0, 'update in batch': 5438, '/': 12375, 'loss': 7.89014196395874}\n",
+      "{'epoch': 0, 'update in batch': 5439, '/': 12375, 'loss': 7.814122200012207}\n",
+      "{'epoch': 0, 'update in batch': 5440, '/': 12375, 'loss': 7.989406585693359}\n",
+      "{'epoch': 0, 'update in batch': 5441, '/': 12375, 'loss': 7.15817928314209}\n",
+      "{'epoch': 0, 'update in batch': 5442, '/': 12375, 'loss': 7.761608123779297}\n",
+      "{'epoch': 0, 'update in batch': 5443, '/': 12375, 'loss': 7.612438201904297}\n",
+      "{'epoch': 0, 'update in batch': 5444, '/': 12375, 'loss': 7.813304901123047}\n",
+      "{'epoch': 0, 'update in batch': 5445, '/': 12375, 'loss': 7.49810791015625}\n",
+      "{'epoch': 0, 'update in batch': 5446, '/': 12375, 'loss': 7.539221286773682}\n",
+      "{'epoch': 0, 'update in batch': 5447, '/': 12375, 'loss': 8.361776351928711}\n",
+      "{'epoch': 0, 'update in batch': 5448, '/': 12375, 'loss': 7.150206565856934}\n",
+      "{'epoch': 0, 'update in batch': 5449, '/': 12375, 'loss': 7.026503086090088}\n",
+      "{'epoch': 0, 'update in batch': 5450, '/': 12375, 'loss': 8.828531265258789}\n",
+      "{'epoch': 0, 'update in batch': 5451, '/': 12375, 'loss': 8.067825317382812}\n",
+      "{'epoch': 0, 'update in batch': 5452, '/': 12375, 'loss': 7.461907863616943}\n",
+      "{'epoch': 0, 'update in batch': 5453, '/': 12375, 'loss': 8.186142921447754}\n",
+      "{'epoch': 0, 'update in batch': 5454, '/': 12375, 'loss': 6.7551164627075195}\n",
+      "{'epoch': 0, 'update in batch': 5455, '/': 12375, 'loss': 7.451623439788818}\n",
+      "{'epoch': 0, 'update in batch': 5456, '/': 12375, 'loss': 8.885099411010742}\n",
+      "{'epoch': 0, 'update in batch': 5457, '/': 12375, 'loss': 8.157548904418945}\n",
+      "{'epoch': 0, 'update in batch': 5458, '/': 12375, 'loss': 7.999021053314209}\n",
+      "{'epoch': 0, 'update in batch': 5459, '/': 12375, 'loss': 6.794031620025635}\n",
+      "{'epoch': 0, 'update in batch': 5460, '/': 12375, 'loss': 6.709397792816162}\n",
+      "{'epoch': 0, 'update in batch': 5461, '/': 12375, 'loss': 7.432862281799316}\n",
+      "{'epoch': 0, 'update in batch': 5462, '/': 12375, 'loss': 7.038313865661621}\n",
+      "{'epoch': 0, 'update in batch': 5463, '/': 12375, 'loss': 7.845694541931152}\n",
+      "{'epoch': 0, 'update in batch': 5464, '/': 12375, 'loss': 7.544699668884277}\n",
+      "{'epoch': 0, 'update in batch': 5465, '/': 12375, 'loss': 7.581082820892334}\n",
+      "{'epoch': 0, 'update in batch': 5466, '/': 12375, 'loss': 8.420029640197754}\n",
+      "{'epoch': 0, 'update in batch': 5467, '/': 12375, 'loss': 7.663149356842041}\n",
+      "{'epoch': 0, 'update in batch': 5468, '/': 12375, 'loss': 6.930993556976318}\n",
+      "{'epoch': 0, 'update in batch': 5469, '/': 12375, 'loss': 7.842574119567871}\n",
+      "{'epoch': 0, 'update in batch': 5470, '/': 12375, 'loss': 6.737367153167725}\n",
+      "{'epoch': 0, 'update in batch': 5471, '/': 12375, 'loss': 7.973575592041016}\n",
+      "{'epoch': 0, 'update in batch': 5472, '/': 12375, 'loss': 7.083121299743652}\n",
+      "{'epoch': 0, 'update in batch': 5473, '/': 12375, 'loss': 7.223845481872559}\n",
+      "{'epoch': 0, 'update in batch': 5474, '/': 12375, 'loss': 7.425785064697266}\n",
+      "{'epoch': 0, 'update in batch': 5475, '/': 12375, 'loss': 7.211775302886963}\n",
+      "{'epoch': 0, 'update in batch': 5476, '/': 12375, 'loss': 7.151867866516113}\n",
+      "{'epoch': 0, 'update in batch': 5477, '/': 12375, 'loss': 7.1880083084106445}\n",
+      "{'epoch': 0, 'update in batch': 5478, '/': 12375, 'loss': 9.322016716003418}\n",
+      "{'epoch': 0, 'update in batch': 5479, '/': 12375, 'loss': 9.271626472473145}\n",
+      "{'epoch': 0, 'update in batch': 5480, '/': 12375, 'loss': 9.175565719604492}\n",
+      "{'epoch': 0, 'update in batch': 5481, '/': 12375, 'loss': 8.031328201293945}\n",
+      "{'epoch': 0, 'update in batch': 5482, '/': 12375, 'loss': 8.724624633789062}\n",
+      "{'epoch': 0, 'update in batch': 5483, '/': 12375, 'loss': 8.949837684631348}\n",
+      "{'epoch': 0, 'update in batch': 5484, '/': 12375, 'loss': 8.375070571899414}\n",
+      "{'epoch': 0, 'update in batch': 5485, '/': 12375, 'loss': 8.661779403686523}\n",
+      "{'epoch': 0, 'update in batch': 5486, '/': 12375, 'loss': 8.662643432617188}\n",
+      "{'epoch': 0, 'update in batch': 5487, '/': 12375, 'loss': 8.16417407989502}\n",
+      "{'epoch': 0, 'update in batch': 5488, '/': 12375, 'loss': 8.808000564575195}\n",
+      "{'epoch': 0, 'update in batch': 5489, '/': 12375, 'loss': 9.597085952758789}\n",
+      "{'epoch': 0, 'update in batch': 5490, '/': 12375, 'loss': 9.591485023498535}\n",
+      "{'epoch': 0, 'update in batch': 5491, '/': 12375, 'loss': 8.81334114074707}\n",
+      "{'epoch': 0, 'update in batch': 5492, '/': 12375, 'loss': 8.000266075134277}\n",
+      "{'epoch': 0, 'update in batch': 5493, '/': 12375, 'loss': 8.043737411499023}\n",
+      "{'epoch': 0, 'update in batch': 5494, '/': 12375, 'loss': 7.165862083435059}\n",
+      "{'epoch': 0, 'update in batch': 5495, '/': 12375, 'loss': 7.330094814300537}\n",
+      "{'epoch': 0, 'update in batch': 5496, '/': 12375, 'loss': 8.146775245666504}\n",
+      "{'epoch': 0, 'update in batch': 5497, '/': 12375, 'loss': 7.036893367767334}\n",
+      "{'epoch': 0, 'update in batch': 5498, '/': 12375, 'loss': 7.097068786621094}\n",
+      "{'epoch': 0, 'update in batch': 5499, '/': 12375, 'loss': 7.758241176605225}\n",
+      "{'epoch': 0, 'update in batch': 5500, '/': 12375, 'loss': 7.615698337554932}\n",
+      "{'epoch': 0, 'update in batch': 5501, '/': 12375, 'loss': 7.830747127532959}\n",
+      "{'epoch': 0, 'update in batch': 5502, '/': 12375, 'loss': 7.972379207611084}\n",
+      "{'epoch': 0, 'update in batch': 5503, '/': 12375, 'loss': 7.882472991943359}\n",
+      "{'epoch': 0, 'update in batch': 5504, '/': 12375, 'loss': 8.428823471069336}\n",
+      "{'epoch': 0, 'update in batch': 5505, '/': 12375, 'loss': 9.428897857666016}\n",
+      "{'epoch': 0, 'update in batch': 5506, '/': 12375, 'loss': 9.382412910461426}\n",
+      "{'epoch': 0, 'update in batch': 5507, '/': 12375, 'loss': 8.315409660339355}\n",
+      "{'epoch': 0, 'update in batch': 5508, '/': 12375, 'loss': 8.60862922668457}\n",
+      "{'epoch': 0, 'update in batch': 5509, '/': 12375, 'loss': 8.966349601745605}\n",
+      "{'epoch': 0, 'update in batch': 5510, '/': 12375, 'loss': 9.783280372619629}\n",
+      "{'epoch': 0, 'update in batch': 5511, '/': 12375, 'loss': 9.446377754211426}\n",
+      "{'epoch': 0, 'update in batch': 5512, '/': 12375, 'loss': 8.824542999267578}\n",
+      "{'epoch': 0, 'update in batch': 5513, '/': 12375, 'loss': 9.09908390045166}\n",
+      "{'epoch': 0, 'update in batch': 5514, '/': 12375, 'loss': 8.342924118041992}\n",
+      "{'epoch': 0, 'update in batch': 5515, '/': 12375, 'loss': 8.550834655761719}\n",
+      "{'epoch': 0, 'update in batch': 5516, '/': 12375, 'loss': 9.162788391113281}\n",
+      "{'epoch': 0, 'update in batch': 5517, '/': 12375, 'loss': 9.556180000305176}\n",
+      "{'epoch': 0, 'update in batch': 5518, '/': 12375, 'loss': 8.556187629699707}\n",
+      "{'epoch': 0, 'update in batch': 5519, '/': 12375, 'loss': 9.096573829650879}\n",
+      "{'epoch': 0, 'update in batch': 5520, '/': 12375, 'loss': 8.347734451293945}\n",
+      "{'epoch': 0, 'update in batch': 5521, '/': 12375, 'loss': 7.569296836853027}\n",
+      "{'epoch': 0, 'update in batch': 5522, '/': 12375, 'loss': 8.157273292541504}\n",
+      "{'epoch': 0, 'update in batch': 5523, '/': 12375, 'loss': 8.349992752075195}\n",
+      "{'epoch': 0, 'update in batch': 5524, '/': 12375, 'loss': 7.2613654136657715}\n",
+      "{'epoch': 0, 'update in batch': 5525, '/': 12375, 'loss': 8.241926193237305}\n",
+      "{'epoch': 0, 'update in batch': 5526, '/': 12375, 'loss': 8.905964851379395}\n",
+      "{'epoch': 0, 'update in batch': 5527, '/': 12375, 'loss': 8.223556518554688}\n",
+      "{'epoch': 0, 'update in batch': 5528, '/': 12375, 'loss': 8.133769035339355}\n",
+      "{'epoch': 0, 'update in batch': 5529, '/': 12375, 'loss': 8.70796012878418}\n",
+      "{'epoch': 0, 'update in batch': 5530, '/': 12375, 'loss': 9.0863037109375}\n",
+      "{'epoch': 0, 'update in batch': 5531, '/': 12375, 'loss': 7.347169399261475}\n",
+      "{'epoch': 0, 'update in batch': 5532, '/': 12375, 'loss': 7.848092555999756}\n",
+      "{'epoch': 0, 'update in batch': 5533, '/': 12375, 'loss': 8.271876335144043}\n",
+      "{'epoch': 0, 'update in batch': 5534, '/': 12375, 'loss': 8.319149017333984}\n",
+      "{'epoch': 0, 'update in batch': 5535, '/': 12375, 'loss': 9.196516036987305}\n",
+      "{'epoch': 0, 'update in batch': 5536, '/': 12375, 'loss': 8.456981658935547}\n",
+      "{'epoch': 0, 'update in batch': 5537, '/': 12375, 'loss': 8.708900451660156}\n",
+      "{'epoch': 0, 'update in batch': 5538, '/': 12375, 'loss': 9.548263549804688}\n",
+      "{'epoch': 0, 'update in batch': 5539, '/': 12375, 'loss': 8.490568161010742}\n",
+      "{'epoch': 0, 'update in batch': 5540, '/': 12375, 'loss': 8.871805191040039}\n",
+      "{'epoch': 0, 'update in batch': 5541, '/': 12375, 'loss': 8.42573070526123}\n",
+      "{'epoch': 0, 'update in batch': 5542, '/': 12375, 'loss': 8.159597396850586}\n",
+      "{'epoch': 0, 'update in batch': 5543, '/': 12375, 'loss': 8.77815055847168}\n",
+      "{'epoch': 0, 'update in batch': 5544, '/': 12375, 'loss': 8.502161026000977}\n",
+      "{'epoch': 0, 'update in batch': 5545, '/': 12375, 'loss': 8.20510196685791}\n",
+      "{'epoch': 0, 'update in batch': 5546, '/': 12375, 'loss': 8.779247283935547}\n",
+      "{'epoch': 0, 'update in batch': 5547, '/': 12375, 'loss': 8.736248970031738}\n",
+      "{'epoch': 0, 'update in batch': 5548, '/': 12375, 'loss': 8.321953773498535}\n",
+      "{'epoch': 0, 'update in batch': 5549, '/': 12375, 'loss': 8.053899765014648}\n",
+      "{'epoch': 0, 'update in batch': 5550, '/': 12375, 'loss': 8.378914833068848}\n",
+      "{'epoch': 0, 'update in batch': 5551, '/': 12375, 'loss': 8.006349563598633}\n",
+      "{'epoch': 0, 'update in batch': 5552, '/': 12375, 'loss': 8.950066566467285}\n",
+      "{'epoch': 0, 'update in batch': 5553, '/': 12375, 'loss': 8.785390853881836}\n",
+      "{'epoch': 0, 'update in batch': 5554, '/': 12375, 'loss': 8.050432205200195}\n",
+      "{'epoch': 0, 'update in batch': 5555, '/': 12375, 'loss': 8.396122932434082}\n",
+      "{'epoch': 0, 'update in batch': 5556, '/': 12375, 'loss': 7.539918422698975}\n",
+      "{'epoch': 0, 'update in batch': 5557, '/': 12375, 'loss': 8.051015853881836}\n",
+      "{'epoch': 0, 'update in batch': 5558, '/': 12375, 'loss': 7.8084516525268555}\n",
+      "{'epoch': 0, 'update in batch': 5559, '/': 12375, 'loss': 8.924001693725586}\n",
+      "{'epoch': 0, 'update in batch': 5560, '/': 12375, 'loss': 8.611227035522461}\n",
+      "{'epoch': 0, 'update in batch': 5561, '/': 12375, 'loss': 8.357881546020508}\n",
+      "{'epoch': 0, 'update in batch': 5562, '/': 12375, 'loss': 8.735129356384277}\n",
+      "{'epoch': 0, 'update in batch': 5563, '/': 12375, 'loss': 8.096476554870605}\n",
+      "{'epoch': 0, 'update in batch': 5564, '/': 12375, 'loss': 9.452502250671387}\n",
+      "{'epoch': 0, 'update in batch': 5565, '/': 12375, 'loss': 8.971384048461914}\n",
+      "{'epoch': 0, 'update in batch': 5566, '/': 12375, 'loss': 9.062650680541992}\n",
+      "{'epoch': 0, 'update in batch': 5567, '/': 12375, 'loss': 8.906278610229492}\n",
+      "{'epoch': 0, 'update in batch': 5568, '/': 12375, 'loss': 9.571113586425781}\n",
+      "{'epoch': 0, 'update in batch': 5569, '/': 12375, 'loss': 8.558308601379395}\n",
+      "{'epoch': 0, 'update in batch': 5570, '/': 12375, 'loss': 9.445450782775879}\n",
+      "{'epoch': 0, 'update in batch': 5571, '/': 12375, 'loss': 9.912714958190918}\n",
+      "{'epoch': 0, 'update in batch': 5572, '/': 12375, 'loss': 8.746734619140625}\n",
+      "{'epoch': 0, 'update in batch': 5573, '/': 12375, 'loss': 8.969292640686035}\n",
+      "{'epoch': 0, 'update in batch': 5574, '/': 12375, 'loss': 8.997483253479004}\n",
+      "{'epoch': 0, 'update in batch': 5575, '/': 12375, 'loss': 7.977781772613525}\n",
+      "{'epoch': 0, 'update in batch': 5576, '/': 12375, 'loss': 8.32430362701416}\n",
+      "{'epoch': 0, 'update in batch': 5577, '/': 12375, 'loss': 8.165813446044922}\n",
+      "{'epoch': 0, 'update in batch': 5578, '/': 12375, 'loss': 8.231576919555664}\n",
+      "{'epoch': 0, 'update in batch': 5579, '/': 12375, 'loss': 8.098370552062988}\n",
+      "{'epoch': 0, 'update in batch': 5580, '/': 12375, 'loss': 8.102282524108887}\n",
+      "{'epoch': 0, 'update in batch': 5581, '/': 12375, 'loss': 9.054924011230469}\n",
+      "{'epoch': 0, 'update in batch': 5582, '/': 12375, 'loss': 7.372786045074463}\n",
+      "{'epoch': 0, 'update in batch': 5583, '/': 12375, 'loss': 7.599677085876465}\n",
+      "{'epoch': 0, 'update in batch': 5584, '/': 12375, 'loss': 7.857572078704834}\n",
+      "{'epoch': 0, 'update in batch': 5585, '/': 12375, 'loss': 7.392975807189941}\n",
+      "{'epoch': 0, 'update in batch': 5586, '/': 12375, 'loss': 8.882746696472168}\n",
+      "{'epoch': 0, 'update in batch': 5587, '/': 12375, 'loss': 7.901877403259277}\n",
+      "{'epoch': 0, 'update in batch': 5588, '/': 12375, 'loss': 8.107412338256836}\n",
+      "{'epoch': 0, 'update in batch': 5589, '/': 12375, 'loss': 7.844326972961426}\n",
+      "{'epoch': 0, 'update in batch': 5590, '/': 12375, 'loss': 8.410735130310059}\n",
+      "{'epoch': 0, 'update in batch': 5591, '/': 12375, 'loss': 9.717672348022461}\n",
+      "{'epoch': 0, 'update in batch': 5592, '/': 12375, 'loss': 8.394086837768555}\n",
+      "{'epoch': 0, 'update in batch': 5593, '/': 12375, 'loss': 7.1071906089782715}\n",
+      "{'epoch': 0, 'update in batch': 5594, '/': 12375, 'loss': 8.662253379821777}\n",
+      "{'epoch': 0, 'update in batch': 5595, '/': 12375, 'loss': 8.522624015808105}\n",
+      "{'epoch': 0, 'update in batch': 5596, '/': 12375, 'loss': 8.929931640625}\n",
+      "{'epoch': 0, 'update in batch': 5597, '/': 12375, 'loss': 9.049442291259766}\n",
+      "{'epoch': 0, 'update in batch': 5598, '/': 12375, 'loss': 9.003987312316895}\n",
+      "{'epoch': 0, 'update in batch': 5599, '/': 12375, 'loss': 9.023467063903809}\n",
+      "{'epoch': 0, 'update in batch': 5600, '/': 12375, 'loss': 8.834023475646973}\n",
+      "{'epoch': 0, 'update in batch': 5601, '/': 12375, 'loss': 9.317996978759766}\n",
+      "{'epoch': 0, 'update in batch': 5602, '/': 12375, 'loss': 7.732771873474121}\n",
+      "{'epoch': 0, 'update in batch': 5603, '/': 12375, 'loss': 8.352766990661621}\n",
+      "{'epoch': 0, 'update in batch': 5604, '/': 12375, 'loss': 7.280547142028809}\n",
+      "{'epoch': 0, 'update in batch': 5605, '/': 12375, 'loss': 8.066499710083008}\n",
+      "{'epoch': 0, 'update in batch': 5606, '/': 12375, 'loss': 8.018136978149414}\n",
+      "{'epoch': 0, 'update in batch': 5607, '/': 12375, 'loss': 8.755538940429688}\n",
+      "{'epoch': 0, 'update in batch': 5608, '/': 12375, 'loss': 8.162236213684082}\n",
+      "{'epoch': 0, 'update in batch': 5609, '/': 12375, 'loss': 8.007171630859375}\n",
+      "{'epoch': 0, 'update in batch': 5610, '/': 12375, 'loss': 8.361387252807617}\n",
+      "{'epoch': 0, 'update in batch': 5611, '/': 12375, 'loss': 8.157546997070312}\n",
+      "{'epoch': 0, 'update in batch': 5612, '/': 12375, 'loss': 7.469645023345947}\n",
+      "{'epoch': 0, 'update in batch': 5613, '/': 12375, 'loss': 7.436593055725098}\n",
+      "{'epoch': 0, 'update in batch': 5614, '/': 12375, 'loss': 8.32641315460205}\n",
+      "{'epoch': 0, 'update in batch': 5615, '/': 12375, 'loss': 8.187302589416504}\n",
+      "{'epoch': 0, 'update in batch': 5616, '/': 12375, 'loss': 8.536666870117188}\n",
+      "{'epoch': 0, 'update in batch': 5617, '/': 12375, 'loss': 8.802464485168457}\n",
+      "{'epoch': 0, 'update in batch': 5618, '/': 12375, 'loss': 7.729564666748047}\n",
+      "{'epoch': 0, 'update in batch': 5619, '/': 12375, 'loss': 8.639606475830078}\n",
+      "{'epoch': 0, 'update in batch': 5620, '/': 12375, 'loss': 8.357465744018555}\n",
+      "{'epoch': 0, 'update in batch': 5621, '/': 12375, 'loss': 8.533966064453125}\n",
+      "{'epoch': 0, 'update in batch': 5622, '/': 12375, 'loss': 8.90672492980957}\n",
+      "{'epoch': 0, 'update in batch': 5623, '/': 12375, 'loss': 7.812553405761719}\n",
+      "{'epoch': 0, 'update in batch': 5624, '/': 12375, 'loss': 8.62379264831543}\n",
+      "{'epoch': 0, 'update in batch': 5625, '/': 12375, 'loss': 8.667177200317383}\n",
+      "{'epoch': 0, 'update in batch': 5626, '/': 12375, 'loss': 8.602296829223633}\n",
+      "{'epoch': 0, 'update in batch': 5627, '/': 12375, 'loss': 7.90332555770874}\n",
+      "{'epoch': 0, 'update in batch': 5628, '/': 12375, 'loss': 8.223991394042969}\n",
+      "{'epoch': 0, 'update in batch': 5629, '/': 12375, 'loss': 8.889986038208008}\n",
+      "{'epoch': 0, 'update in batch': 5630, '/': 12375, 'loss': 8.753442764282227}\n",
+      "{'epoch': 0, 'update in batch': 5631, '/': 12375, 'loss': 7.874902248382568}\n",
+      "{'epoch': 0, 'update in batch': 5632, '/': 12375, 'loss': 8.990632057189941}\n",
+      "{'epoch': 0, 'update in batch': 5633, '/': 12375, 'loss': 7.853219032287598}\n",
+      "{'epoch': 0, 'update in batch': 5634, '/': 12375, 'loss': 8.427630424499512}\n",
+      "{'epoch': 0, 'update in batch': 5635, '/': 12375, 'loss': 8.991209030151367}\n",
+      "{'epoch': 0, 'update in batch': 5636, '/': 12375, 'loss': 8.190824508666992}\n",
+      "{'epoch': 0, 'update in batch': 5637, '/': 12375, 'loss': 8.425580978393555}\n",
+      "{'epoch': 0, 'update in batch': 5638, '/': 12375, 'loss': 8.434854507446289}\n",
+      "{'epoch': 0, 'update in batch': 5639, '/': 12375, 'loss': 7.261993408203125}\n",
+      "{'epoch': 0, 'update in batch': 5640, '/': 12375, 'loss': 8.575043678283691}\n",
+      "{'epoch': 0, 'update in batch': 5641, '/': 12375, 'loss': 8.141122817993164}\n",
+      "{'epoch': 0, 'update in batch': 5642, '/': 12375, 'loss': 7.649317264556885}\n",
+      "{'epoch': 0, 'update in batch': 5643, '/': 12375, 'loss': 8.31442928314209}\n",
+      "{'epoch': 0, 'update in batch': 5644, '/': 12375, 'loss': 8.210126876831055}\n",
+      "{'epoch': 0, 'update in batch': 5645, '/': 12375, 'loss': 7.9103684425354}\n",
+      "{'epoch': 0, 'update in batch': 5646, '/': 12375, 'loss': 8.084979057312012}\n",
+      "{'epoch': 0, 'update in batch': 5647, '/': 12375, 'loss': 8.594743728637695}\n",
+      "{'epoch': 0, 'update in batch': 5648, '/': 12375, 'loss': 8.722740173339844}\n",
+      "{'epoch': 0, 'update in batch': 5649, '/': 12375, 'loss': 8.619027137756348}\n",
+      "{'epoch': 0, 'update in batch': 5650, '/': 12375, 'loss': 8.724481582641602}\n",
+      "{'epoch': 0, 'update in batch': 5651, '/': 12375, 'loss': 8.815232276916504}\n",
+      "{'epoch': 0, 'update in batch': 5652, '/': 12375, 'loss': 8.373922348022461}\n",
+      "{'epoch': 0, 'update in batch': 5653, '/': 12375, 'loss': 8.957014083862305}\n",
+      "{'epoch': 0, 'update in batch': 5654, '/': 12375, 'loss': 8.65102481842041}\n",
+      "{'epoch': 0, 'update in batch': 5655, '/': 12375, 'loss': 8.758503913879395}\n",
+      "{'epoch': 0, 'update in batch': 5656, '/': 12375, 'loss': 8.336282730102539}\n",
+      "{'epoch': 0, 'update in batch': 5657, '/': 12375, 'loss': 8.530760765075684}\n",
+      "{'epoch': 0, 'update in batch': 5658, '/': 12375, 'loss': 8.283769607543945}\n",
+      "{'epoch': 0, 'update in batch': 5659, '/': 12375, 'loss': 9.132905006408691}\n",
+      "{'epoch': 0, 'update in batch': 5660, '/': 12375, 'loss': 8.18628978729248}\n",
+      "{'epoch': 0, 'update in batch': 5661, '/': 12375, 'loss': 8.420455932617188}\n",
+      "{'epoch': 0, 'update in batch': 5662, '/': 12375, 'loss': 7.251943111419678}\n",
+      "{'epoch': 0, 'update in batch': 5663, '/': 12375, 'loss': 8.001337051391602}\n",
+      "{'epoch': 0, 'update in batch': 5664, '/': 12375, 'loss': 9.286514282226562}\n",
+      "{'epoch': 0, 'update in batch': 5665, '/': 12375, 'loss': 8.697632789611816}\n",
+      "{'epoch': 0, 'update in batch': 5666, '/': 12375, 'loss': 7.948431968688965}\n",
+      "{'epoch': 0, 'update in batch': 5667, '/': 12375, 'loss': 8.099525451660156}\n",
+      "{'epoch': 0, 'update in batch': 5668, '/': 12375, 'loss': 7.9477996826171875}\n",
+      "{'epoch': 0, 'update in batch': 5669, '/': 12375, 'loss': 7.705192565917969}\n",
+      "{'epoch': 0, 'update in batch': 5670, '/': 12375, 'loss': 7.27316951751709}\n",
+      "{'epoch': 0, 'update in batch': 5671, '/': 12375, 'loss': 7.15308141708374}\n",
+      "{'epoch': 0, 'update in batch': 5672, '/': 12375, 'loss': 7.291607856750488}\n",
+      "{'epoch': 0, 'update in batch': 5673, '/': 12375, 'loss': 7.960423469543457}\n",
+      "{'epoch': 0, 'update in batch': 5674, '/': 12375, 'loss': 8.035894393920898}\n",
+      "{'epoch': 0, 'update in batch': 5675, '/': 12375, 'loss': 7.600185394287109}\n",
+      "{'epoch': 0, 'update in batch': 5676, '/': 12375, 'loss': 7.903993129730225}\n",
+      "{'epoch': 0, 'update in batch': 5677, '/': 12375, 'loss': 7.609879493713379}\n",
+      "{'epoch': 0, 'update in batch': 5678, '/': 12375, 'loss': 7.169869422912598}\n",
+      "{'epoch': 0, 'update in batch': 5679, '/': 12375, 'loss': 7.0650634765625}\n",
+      "{'epoch': 0, 'update in batch': 5680, '/': 12375, 'loss': 7.788780212402344}\n",
+      "{'epoch': 0, 'update in batch': 5681, '/': 12375, 'loss': 6.890527248382568}\n",
+      "{'epoch': 0, 'update in batch': 5682, '/': 12375, 'loss': 8.483988761901855}\n",
+      "{'epoch': 0, 'update in batch': 5683, '/': 12375, 'loss': 7.587893009185791}\n",
+      "{'epoch': 0, 'update in batch': 5684, '/': 12375, 'loss': 8.187936782836914}\n",
+      "{'epoch': 0, 'update in batch': 5685, '/': 12375, 'loss': 8.395157814025879}\n",
+      "{'epoch': 0, 'update in batch': 5686, '/': 12375, 'loss': 6.780580997467041}\n",
+      "{'epoch': 0, 'update in batch': 5687, '/': 12375, 'loss': 7.928137302398682}\n",
+      "{'epoch': 0, 'update in batch': 5688, '/': 12375, 'loss': 7.232518196105957}\n",
+      "{'epoch': 0, 'update in batch': 5689, '/': 12375, 'loss': 7.5933685302734375}\n",
+      "{'epoch': 0, 'update in batch': 5690, '/': 12375, 'loss': 7.165163993835449}\n",
+      "{'epoch': 0, 'update in batch': 5691, '/': 12375, 'loss': 7.797310829162598}\n",
+      "{'epoch': 0, 'update in batch': 5692, '/': 12375, 'loss': 7.077032566070557}\n",
+      "{'epoch': 0, 'update in batch': 5693, '/': 12375, 'loss': 6.753334999084473}\n",
+      "{'epoch': 0, 'update in batch': 5694, '/': 12375, 'loss': 7.101255893707275}\n",
+      "{'epoch': 0, 'update in batch': 5695, '/': 12375, 'loss': 7.928514003753662}\n",
+      "{'epoch': 0, 'update in batch': 5696, '/': 12375, 'loss': 7.747535705566406}\n",
+      "{'epoch': 0, 'update in batch': 5697, '/': 12375, 'loss': 8.043166160583496}\n",
+      "{'epoch': 0, 'update in batch': 5698, '/': 12375, 'loss': 9.122422218322754}\n",
+      "{'epoch': 0, 'update in batch': 5699, '/': 12375, 'loss': 9.754712104797363}\n",
+      "{'epoch': 0, 'update in batch': 5700, '/': 12375, 'loss': 9.087549209594727}\n",
+      "{'epoch': 0, 'update in batch': 5701, '/': 12375, 'loss': 8.27476692199707}\n",
+      "{'epoch': 0, 'update in batch': 5702, '/': 12375, 'loss': 7.548819541931152}\n",
+      "{'epoch': 0, 'update in batch': 5703, '/': 12375, 'loss': 7.989772796630859}\n",
+      "{'epoch': 0, 'update in batch': 5704, '/': 12375, 'loss': 8.572574615478516}\n",
+      "{'epoch': 0, 'update in batch': 5705, '/': 12375, 'loss': 7.389532566070557}\n",
+      "{'epoch': 0, 'update in batch': 5706, '/': 12375, 'loss': 7.079049587249756}\n",
+      "{'epoch': 0, 'update in batch': 5707, '/': 12375, 'loss': 7.3395256996154785}\n",
+      "{'epoch': 0, 'update in batch': 5708, '/': 12375, 'loss': 6.8638410568237305}\n",
+      "{'epoch': 0, 'update in batch': 5709, '/': 12375, 'loss': 7.416482448577881}\n",
+      "{'epoch': 0, 'update in batch': 5710, '/': 12375, 'loss': 7.880740165710449}\n",
+      "{'epoch': 0, 'update in batch': 5711, '/': 12375, 'loss': 7.2967376708984375}\n",
+      "{'epoch': 0, 'update in batch': 5712, '/': 12375, 'loss': 7.088099002838135}\n",
+      "{'epoch': 0, 'update in batch': 5713, '/': 12375, 'loss': 7.1326727867126465}\n",
+      "{'epoch': 0, 'update in batch': 5714, '/': 12375, 'loss': 6.852622032165527}\n",
+      "{'epoch': 0, 'update in batch': 5715, '/': 12375, 'loss': 7.992590427398682}\n",
+      "{'epoch': 0, 'update in batch': 5716, '/': 12375, 'loss': 8.316279411315918}\n",
+      "{'epoch': 0, 'update in batch': 5717, '/': 12375, 'loss': 8.078734397888184}\n",
+      "{'epoch': 0, 'update in batch': 5718, '/': 12375, 'loss': 6.735357761383057}\n",
+      "{'epoch': 0, 'update in batch': 5719, '/': 12375, 'loss': 7.4933271408081055}\n",
+      "{'epoch': 0, 'update in batch': 5720, '/': 12375, 'loss': 7.595785617828369}\n",
+      "{'epoch': 0, 'update in batch': 5721, '/': 12375, 'loss': 7.009339809417725}\n",
+      "{'epoch': 0, 'update in batch': 5722, '/': 12375, 'loss': 7.771648406982422}\n",
+      "{'epoch': 0, 'update in batch': 5723, '/': 12375, 'loss': 7.5850958824157715}\n",
+      "{'epoch': 0, 'update in batch': 5724, '/': 12375, 'loss': 7.571833610534668}\n",
+      "{'epoch': 0, 'update in batch': 5725, '/': 12375, 'loss': 8.237112998962402}\n",
+      "{'epoch': 0, 'update in batch': 5726, '/': 12375, 'loss': 8.267322540283203}\n",
+      "{'epoch': 0, 'update in batch': 5727, '/': 12375, 'loss': 6.417964935302734}\n",
+      "{'epoch': 0, 'update in batch': 5728, '/': 12375, 'loss': 6.886211395263672}\n",
+      "{'epoch': 0, 'update in batch': 5729, '/': 12375, 'loss': 7.042524814605713}\n",
+      "{'epoch': 0, 'update in batch': 5730, '/': 12375, 'loss': 7.382789611816406}\n",
+      "{'epoch': 0, 'update in batch': 5731, '/': 12375, 'loss': 8.237042427062988}\n",
+      "{'epoch': 0, 'update in batch': 5732, '/': 12375, 'loss': 7.7015838623046875}\n",
+      "{'epoch': 0, 'update in batch': 5733, '/': 12375, 'loss': 7.6349687576293945}\n",
+      "{'epoch': 0, 'update in batch': 5734, '/': 12375, 'loss': 8.046346664428711}\n",
+      "{'epoch': 0, 'update in batch': 5735, '/': 12375, 'loss': 7.163977146148682}\n",
+      "{'epoch': 0, 'update in batch': 5736, '/': 12375, 'loss': 7.083085536956787}\n",
+      "{'epoch': 0, 'update in batch': 5737, '/': 12375, 'loss': 6.29946231842041}\n",
+      "{'epoch': 0, 'update in batch': 5738, '/': 12375, 'loss': 7.103397369384766}\n",
+      "{'epoch': 0, 'update in batch': 5739, '/': 12375, 'loss': 6.856899261474609}\n",
+      "{'epoch': 0, 'update in batch': 5740, '/': 12375, 'loss': 7.0439581871032715}\n",
+      "{'epoch': 0, 'update in batch': 5741, '/': 12375, 'loss': 7.725602626800537}\n",
+      "{'epoch': 0, 'update in batch': 5742, '/': 12375, 'loss': 7.614497184753418}\n",
+      "{'epoch': 0, 'update in batch': 5743, '/': 12375, 'loss': 7.946707725524902}\n",
+      "{'epoch': 0, 'update in batch': 5744, '/': 12375, 'loss': 7.4601593017578125}\n",
+      "{'epoch': 0, 'update in batch': 5745, '/': 12375, 'loss': 7.514954566955566}\n",
+      "{'epoch': 0, 'update in batch': 5746, '/': 12375, 'loss': 7.119691371917725}\n",
+      "{'epoch': 0, 'update in batch': 5747, '/': 12375, 'loss': 7.15392541885376}\n",
+      "{'epoch': 0, 'update in batch': 5748, '/': 12375, 'loss': 6.980967044830322}\n",
+      "{'epoch': 0, 'update in batch': 5749, '/': 12375, 'loss': 7.8866777420043945}\n",
+      "{'epoch': 0, 'update in batch': 5750, '/': 12375, 'loss': 7.2049970626831055}\n",
+      "{'epoch': 0, 'update in batch': 5751, '/': 12375, 'loss': 7.652287483215332}\n",
+      "{'epoch': 0, 'update in batch': 5752, '/': 12375, 'loss': 8.090749740600586}\n",
+      "{'epoch': 0, 'update in batch': 5753, '/': 12375, 'loss': 8.335256576538086}\n",
+      "{'epoch': 0, 'update in batch': 5754, '/': 12375, 'loss': 7.9618120193481445}\n",
+      "{'epoch': 0, 'update in batch': 5755, '/': 12375, 'loss': 8.684635162353516}\n",
+      "{'epoch': 0, 'update in batch': 5756, '/': 12375, 'loss': 8.249472618103027}\n",
+      "{'epoch': 0, 'update in batch': 5757, '/': 12375, 'loss': 7.6360955238342285}\n",
+      "{'epoch': 0, 'update in batch': 5758, '/': 12375, 'loss': 8.434709548950195}\n",
+      "{'epoch': 0, 'update in batch': 5759, '/': 12375, 'loss': 7.4487409591674805}\n",
+      "{'epoch': 0, 'update in batch': 5760, '/': 12375, 'loss': 9.253787994384766}\n",
+      "{'epoch': 0, 'update in batch': 5761, '/': 12375, 'loss': 9.713480949401855}\n",
+      "{'epoch': 0, 'update in batch': 5762, '/': 12375, 'loss': 8.262348175048828}\n",
+      "{'epoch': 0, 'update in batch': 5763, '/': 12375, 'loss': 6.617354393005371}\n",
+      "{'epoch': 0, 'update in batch': 5764, '/': 12375, 'loss': 7.548213005065918}\n",
+      "{'epoch': 0, 'update in batch': 5765, '/': 12375, 'loss': 6.788453578948975}\n",
+      "{'epoch': 0, 'update in batch': 5766, '/': 12375, 'loss': 7.817244529724121}\n",
+      "{'epoch': 0, 'update in batch': 5767, '/': 12375, 'loss': 8.236753463745117}\n",
+      "{'epoch': 0, 'update in batch': 5768, '/': 12375, 'loss': 6.338232517242432}\n",
+      "{'epoch': 0, 'update in batch': 5769, '/': 12375, 'loss': 7.707298278808594}\n",
+      "{'epoch': 0, 'update in batch': 5770, '/': 12375, 'loss': 7.261472225189209}\n",
+      "{'epoch': 0, 'update in batch': 5771, '/': 12375, 'loss': 7.7610907554626465}\n",
+      "{'epoch': 0, 'update in batch': 5772, '/': 12375, 'loss': 8.08188533782959}\n",
+      "{'epoch': 0, 'update in batch': 5773, '/': 12375, 'loss': 7.6668596267700195}\n",
+      "{'epoch': 0, 'update in batch': 5774, '/': 12375, 'loss': 7.718243598937988}\n",
+      "{'epoch': 0, 'update in batch': 5775, '/': 12375, 'loss': 7.116429805755615}\n",
+      "{'epoch': 0, 'update in batch': 5776, '/': 12375, 'loss': 7.217006683349609}\n",
+      "{'epoch': 0, 'update in batch': 5777, '/': 12375, 'loss': 7.948700904846191}\n",
+      "{'epoch': 0, 'update in batch': 5778, '/': 12375, 'loss': 7.064637660980225}\n",
+      "{'epoch': 0, 'update in batch': 5779, '/': 12375, 'loss': 6.991448879241943}\n",
+      "{'epoch': 0, 'update in batch': 5780, '/': 12375, 'loss': 6.82705545425415}\n",
+      "{'epoch': 0, 'update in batch': 5781, '/': 12375, 'loss': 7.328052520751953}\n",
+      "{'epoch': 0, 'update in batch': 5782, '/': 12375, 'loss': 7.618514060974121}\n",
+      "{'epoch': 0, 'update in batch': 5783, '/': 12375, 'loss': 6.808743476867676}\n",
+      "{'epoch': 0, 'update in batch': 5784, '/': 12375, 'loss': 7.366171836853027}\n",
+      "{'epoch': 0, 'update in batch': 5785, '/': 12375, 'loss': 6.983433723449707}\n",
+      "{'epoch': 0, 'update in batch': 5786, '/': 12375, 'loss': 7.697471618652344}\n",
+      "{'epoch': 0, 'update in batch': 5787, '/': 12375, 'loss': 7.691889762878418}\n",
+      "{'epoch': 0, 'update in batch': 5788, '/': 12375, 'loss': 7.064137935638428}\n",
+      "{'epoch': 0, 'update in batch': 5789, '/': 12375, 'loss': 6.839113712310791}\n",
+      "{'epoch': 0, 'update in batch': 5790, '/': 12375, 'loss': 7.93060827255249}\n",
+      "{'epoch': 0, 'update in batch': 5791, '/': 12375, 'loss': 6.687906742095947}\n",
+      "{'epoch': 0, 'update in batch': 5792, '/': 12375, 'loss': 7.041590690612793}\n",
+      "{'epoch': 0, 'update in batch': 5793, '/': 12375, 'loss': 9.260212898254395}\n",
+      "{'epoch': 0, 'update in batch': 5794, '/': 12375, 'loss': 8.554327964782715}\n",
+      "{'epoch': 0, 'update in batch': 5795, '/': 12375, 'loss': 7.568997859954834}\n",
+      "{'epoch': 0, 'update in batch': 5796, '/': 12375, 'loss': 7.698349952697754}\n",
+      "{'epoch': 0, 'update in batch': 5797, '/': 12375, 'loss': 6.332035064697266}\n",
+      "{'epoch': 0, 'update in batch': 5798, '/': 12375, 'loss': 8.022661209106445}\n",
+      "{'epoch': 0, 'update in batch': 5799, '/': 12375, 'loss': 6.975027561187744}\n",
+      "{'epoch': 0, 'update in batch': 5800, '/': 12375, 'loss': 8.125905990600586}\n",
+      "{'epoch': 0, 'update in batch': 5801, '/': 12375, 'loss': 8.220979690551758}\n",
+      "{'epoch': 0, 'update in batch': 5802, '/': 12375, 'loss': 7.976565361022949}\n",
+      "{'epoch': 0, 'update in batch': 5803, '/': 12375, 'loss': 7.481931209564209}\n",
+      "{'epoch': 0, 'update in batch': 5804, '/': 12375, 'loss': 6.922120094299316}\n",
+      "{'epoch': 0, 'update in batch': 5805, '/': 12375, 'loss': 7.654284477233887}\n",
+      "{'epoch': 0, 'update in batch': 5806, '/': 12375, 'loss': 9.546412467956543}\n",
+      "{'epoch': 0, 'update in batch': 5807, '/': 12375, 'loss': 8.221083641052246}\n",
+      "{'epoch': 0, 'update in batch': 5808, '/': 12375, 'loss': 8.365287780761719}\n",
+      "{'epoch': 0, 'update in batch': 5809, '/': 12375, 'loss': 8.847786903381348}\n",
+      "{'epoch': 0, 'update in batch': 5810, '/': 12375, 'loss': 8.528545379638672}\n",
+      "{'epoch': 0, 'update in batch': 5811, '/': 12375, 'loss': 8.888725280761719}\n",
+      "{'epoch': 0, 'update in batch': 5812, '/': 12375, 'loss': 8.622001647949219}\n",
+      "{'epoch': 0, 'update in batch': 5813, '/': 12375, 'loss': 8.841512680053711}\n",
+      "{'epoch': 0, 'update in batch': 5814, '/': 12375, 'loss': 8.635172843933105}\n",
+      "{'epoch': 0, 'update in batch': 5815, '/': 12375, 'loss': 7.459933280944824}\n",
+      "{'epoch': 0, 'update in batch': 5816, '/': 12375, 'loss': 7.592006683349609}\n",
+      "{'epoch': 0, 'update in batch': 5817, '/': 12375, 'loss': 8.087244033813477}\n",
+      "{'epoch': 0, 'update in batch': 5818, '/': 12375, 'loss': 7.224168300628662}\n",
+      "{'epoch': 0, 'update in batch': 5819, '/': 12375, 'loss': 7.2349348068237305}\n",
+      "{'epoch': 0, 'update in batch': 5820, '/': 12375, 'loss': 7.720733642578125}\n",
+      "{'epoch': 0, 'update in batch': 5821, '/': 12375, 'loss': 8.171079635620117}\n",
+      "{'epoch': 0, 'update in batch': 5822, '/': 12375, 'loss': 6.95999813079834}\n",
+      "{'epoch': 0, 'update in batch': 5823, '/': 12375, 'loss': 8.206725120544434}\n",
+      "{'epoch': 0, 'update in batch': 5824, '/': 12375, 'loss': 6.8052978515625}\n",
+      "{'epoch': 0, 'update in batch': 5825, '/': 12375, 'loss': 8.213315963745117}\n",
+      "{'epoch': 0, 'update in batch': 5826, '/': 12375, 'loss': 6.856866359710693}\n",
+      "{'epoch': 0, 'update in batch': 5827, '/': 12375, 'loss': 6.977331638336182}\n",
+      "{'epoch': 0, 'update in batch': 5828, '/': 12375, 'loss': 7.569754600524902}\n",
+      "{'epoch': 0, 'update in batch': 5829, '/': 12375, 'loss': 7.71435022354126}\n",
+      "{'epoch': 0, 'update in batch': 5830, '/': 12375, 'loss': 8.209692001342773}\n",
+      "{'epoch': 0, 'update in batch': 5831, '/': 12375, 'loss': 7.983376979827881}\n",
+      "{'epoch': 0, 'update in batch': 5832, '/': 12375, 'loss': 7.787251949310303}\n",
+      "{'epoch': 0, 'update in batch': 5833, '/': 12375, 'loss': 7.609752655029297}\n",
+      "{'epoch': 0, 'update in batch': 5834, '/': 12375, 'loss': 8.17856216430664}\n",
+      "{'epoch': 0, 'update in batch': 5835, '/': 12375, 'loss': 8.118599891662598}\n",
+      "{'epoch': 0, 'update in batch': 5836, '/': 12375, 'loss': 7.749068260192871}\n",
+      "{'epoch': 0, 'update in batch': 5837, '/': 12375, 'loss': 7.059039115905762}\n",
+      "{'epoch': 0, 'update in batch': 5838, '/': 12375, 'loss': 7.96834659576416}\n",
+      "{'epoch': 0, 'update in batch': 5839, '/': 12375, 'loss': 6.7782487869262695}\n",
+      "{'epoch': 0, 'update in batch': 5840, '/': 12375, 'loss': 8.077942848205566}\n",
+      "{'epoch': 0, 'update in batch': 5841, '/': 12375, 'loss': 8.069442749023438}\n",
+      "{'epoch': 0, 'update in batch': 5842, '/': 12375, 'loss': 7.870659828186035}\n",
+      "{'epoch': 0, 'update in batch': 5843, '/': 12375, 'loss': 7.045731544494629}\n",
+      "{'epoch': 0, 'update in batch': 5844, '/': 12375, 'loss': 9.03162670135498}\n",
+      "{'epoch': 0, 'update in batch': 5845, '/': 12375, 'loss': 7.838221073150635}\n",
+      "{'epoch': 0, 'update in batch': 5846, '/': 12375, 'loss': 8.113240242004395}\n",
+      "{'epoch': 0, 'update in batch': 5847, '/': 12375, 'loss': 7.075346946716309}\n",
+      "{'epoch': 0, 'update in batch': 5848, '/': 12375, 'loss': 8.273152351379395}\n",
+      "{'epoch': 0, 'update in batch': 5849, '/': 12375, 'loss': 8.437586784362793}\n",
+      "{'epoch': 0, 'update in batch': 5850, '/': 12375, 'loss': 8.449590682983398}\n",
+      "{'epoch': 0, 'update in batch': 5851, '/': 12375, 'loss': 7.514211177825928}\n",
+      "{'epoch': 0, 'update in batch': 5852, '/': 12375, 'loss': 8.074185371398926}\n",
+      "{'epoch': 0, 'update in batch': 5853, '/': 12375, 'loss': 7.7899322509765625}\n",
+      "{'epoch': 0, 'update in batch': 5854, '/': 12375, 'loss': 7.604628086090088}\n",
+      "{'epoch': 0, 'update in batch': 5855, '/': 12375, 'loss': 7.789792537689209}\n",
+      "{'epoch': 0, 'update in batch': 5856, '/': 12375, 'loss': 7.5889716148376465}\n",
+      "{'epoch': 0, 'update in batch': 5857, '/': 12375, 'loss': 7.58249568939209}\n",
+      "{'epoch': 0, 'update in batch': 5858, '/': 12375, 'loss': 8.011201858520508}\n",
+      "{'epoch': 0, 'update in batch': 5859, '/': 12375, 'loss': 7.504809379577637}\n",
+      "{'epoch': 0, 'update in batch': 5860, '/': 12375, 'loss': 8.414365768432617}\n",
+      "{'epoch': 0, 'update in batch': 5861, '/': 12375, 'loss': 6.940138339996338}\n",
+      "{'epoch': 0, 'update in batch': 5862, '/': 12375, 'loss': 7.755892276763916}\n",
+      "{'epoch': 0, 'update in batch': 5863, '/': 12375, 'loss': 7.127772331237793}\n",
+      "{'epoch': 0, 'update in batch': 5864, '/': 12375, 'loss': 7.694005012512207}\n",
+      "{'epoch': 0, 'update in batch': 5865, '/': 12375, 'loss': 7.124045372009277}\n",
+      "{'epoch': 0, 'update in batch': 5866, '/': 12375, 'loss': 9.252469062805176}\n",
+      "{'epoch': 0, 'update in batch': 5867, '/': 12375, 'loss': 8.678007125854492}\n",
+      "{'epoch': 0, 'update in batch': 5868, '/': 12375, 'loss': 9.428255081176758}\n",
+      "{'epoch': 0, 'update in batch': 5869, '/': 12375, 'loss': 9.030192375183105}\n",
+      "{'epoch': 0, 'update in batch': 5870, '/': 12375, 'loss': 7.861248016357422}\n",
+      "{'epoch': 0, 'update in batch': 5871, '/': 12375, 'loss': 7.460206508636475}\n",
+      "{'epoch': 0, 'update in batch': 5872, '/': 12375, 'loss': 7.897217750549316}\n",
+      "{'epoch': 0, 'update in batch': 5873, '/': 12375, 'loss': 8.283528327941895}\n",
+      "{'epoch': 0, 'update in batch': 5874, '/': 12375, 'loss': 8.785914421081543}\n",
+      "{'epoch': 0, 'update in batch': 5875, '/': 12375, 'loss': 7.688802242279053}\n",
+      "{'epoch': 0, 'update in batch': 5876, '/': 12375, 'loss': 6.90197229385376}\n",
+      "{'epoch': 0, 'update in batch': 5877, '/': 12375, 'loss': 7.760658264160156}\n",
+      "{'epoch': 0, 'update in batch': 5878, '/': 12375, 'loss': 7.703429222106934}\n",
+      "{'epoch': 0, 'update in batch': 5879, '/': 12375, 'loss': 8.250476837158203}\n",
+      "{'epoch': 0, 'update in batch': 5880, '/': 12375, 'loss': 8.494146347045898}\n",
+      "{'epoch': 0, 'update in batch': 5881, '/': 12375, 'loss': 8.602045059204102}\n",
+      "{'epoch': 0, 'update in batch': 5882, '/': 12375, 'loss': 7.752743721008301}\n",
+      "{'epoch': 0, 'update in batch': 5883, '/': 12375, 'loss': 7.7385759353637695}\n",
+      "{'epoch': 0, 'update in batch': 5884, '/': 12375, 'loss': 8.043858528137207}\n",
+      "{'epoch': 0, 'update in batch': 5885, '/': 12375, 'loss': 7.374602317810059}\n",
+      "{'epoch': 0, 'update in batch': 5886, '/': 12375, 'loss': 6.015590667724609}\n",
+      "{'epoch': 0, 'update in batch': 5887, '/': 12375, 'loss': 7.387423038482666}\n",
+      "{'epoch': 0, 'update in batch': 5888, '/': 12375, 'loss': 7.117417812347412}\n",
+      "{'epoch': 0, 'update in batch': 5889, '/': 12375, 'loss': 6.889252662658691}\n",
+      "{'epoch': 0, 'update in batch': 5890, '/': 12375, 'loss': 8.732101440429688}\n",
+      "{'epoch': 0, 'update in batch': 5891, '/': 12375, 'loss': 9.061777114868164}\n",
+      "{'epoch': 0, 'update in batch': 5892, '/': 12375, 'loss': 6.950120449066162}\n",
+      "{'epoch': 0, 'update in batch': 5893, '/': 12375, 'loss': 6.607659339904785}\n",
+      "{'epoch': 0, 'update in batch': 5894, '/': 12375, 'loss': 7.218071937561035}\n",
+      "{'epoch': 0, 'update in batch': 5895, '/': 12375, 'loss': 7.800858497619629}\n",
+      "{'epoch': 0, 'update in batch': 5896, '/': 12375, 'loss': 7.613043785095215}\n",
+      "{'epoch': 0, 'update in batch': 5897, '/': 12375, 'loss': 7.987550258636475}\n",
+      "{'epoch': 0, 'update in batch': 5898, '/': 12375, 'loss': 8.236800193786621}\n",
+      "{'epoch': 0, 'update in batch': 5899, '/': 12375, 'loss': 7.953226566314697}\n",
+      "{'epoch': 0, 'update in batch': 5900, '/': 12375, 'loss': 7.960488796234131}\n",
+      "{'epoch': 0, 'update in batch': 5901, '/': 12375, 'loss': 8.076141357421875}\n",
+      "{'epoch': 0, 'update in batch': 5902, '/': 12375, 'loss': 7.926638126373291}\n",
+      "{'epoch': 0, 'update in batch': 5903, '/': 12375, 'loss': 7.85537576675415}\n",
+      "{'epoch': 0, 'update in batch': 5904, '/': 12375, 'loss': 7.895491123199463}\n",
+      "{'epoch': 0, 'update in batch': 5905, '/': 12375, 'loss': 8.040099143981934}\n",
+      "{'epoch': 0, 'update in batch': 5906, '/': 12375, 'loss': 7.433799743652344}\n",
+      "{'epoch': 0, 'update in batch': 5907, '/': 12375, 'loss': 8.519462585449219}\n",
+      "{'epoch': 0, 'update in batch': 5908, '/': 12375, 'loss': 6.570006370544434}\n",
+      "{'epoch': 0, 'update in batch': 5909, '/': 12375, 'loss': 8.052316665649414}\n",
+      "{'epoch': 0, 'update in batch': 5910, '/': 12375, 'loss': 7.601139068603516}\n",
+      "{'epoch': 0, 'update in batch': 5911, '/': 12375, 'loss': 9.5911226272583}\n",
+      "{'epoch': 0, 'update in batch': 5912, '/': 12375, 'loss': 8.13428783416748}\n",
+      "{'epoch': 0, 'update in batch': 5913, '/': 12375, 'loss': 8.128005981445312}\n",
+      "{'epoch': 0, 'update in batch': 5914, '/': 12375, 'loss': 8.07551097869873}\n",
+      "{'epoch': 0, 'update in batch': 5915, '/': 12375, 'loss': 8.087141036987305}\n",
+      "{'epoch': 0, 'update in batch': 5916, '/': 12375, 'loss': 8.603796005249023}\n",
+      "{'epoch': 0, 'update in batch': 5917, '/': 12375, 'loss': 7.418374538421631}\n",
+      "{'epoch': 0, 'update in batch': 5918, '/': 12375, 'loss': 7.692518711090088}\n",
+      "{'epoch': 0, 'update in batch': 5919, '/': 12375, 'loss': 8.157471656799316}\n",
+      "{'epoch': 0, 'update in batch': 5920, '/': 12375, 'loss': 8.121688842773438}\n",
+      "{'epoch': 0, 'update in batch': 5921, '/': 12375, 'loss': 8.133520126342773}\n",
+      "{'epoch': 0, 'update in batch': 5922, '/': 12375, 'loss': 7.2349348068237305}\n",
+      "{'epoch': 0, 'update in batch': 5923, '/': 12375, 'loss': 8.026049613952637}\n",
+      "{'epoch': 0, 'update in batch': 5924, '/': 12375, 'loss': 7.8140764236450195}\n",
+      "{'epoch': 0, 'update in batch': 5925, '/': 12375, 'loss': 7.436141014099121}\n",
+      "{'epoch': 0, 'update in batch': 5926, '/': 12375, 'loss': 7.585954189300537}\n",
+      "{'epoch': 0, 'update in batch': 5927, '/': 12375, 'loss': 7.856359958648682}\n",
+      "{'epoch': 0, 'update in batch': 5928, '/': 12375, 'loss': 8.339004516601562}\n",
+      "{'epoch': 0, 'update in batch': 5929, '/': 12375, 'loss': 8.2337007522583}\n",
+      "{'epoch': 0, 'update in batch': 5930, '/': 12375, 'loss': 8.109769821166992}\n",
+      "{'epoch': 0, 'update in batch': 5931, '/': 12375, 'loss': 8.363134384155273}\n",
+      "{'epoch': 0, 'update in batch': 5932, '/': 12375, 'loss': 7.86423397064209}\n",
+      "{'epoch': 0, 'update in batch': 5933, '/': 12375, 'loss': 7.992873191833496}\n",
+      "{'epoch': 0, 'update in batch': 5934, '/': 12375, 'loss': 8.214654922485352}\n",
+      "{'epoch': 0, 'update in batch': 5935, '/': 12375, 'loss': 8.120271682739258}\n",
+      "{'epoch': 0, 'update in batch': 5936, '/': 12375, 'loss': 7.95583438873291}\n",
+      "{'epoch': 0, 'update in batch': 5937, '/': 12375, 'loss': 7.686192989349365}\n",
+      "{'epoch': 0, 'update in batch': 5938, '/': 12375, 'loss': 8.355493545532227}\n",
+      "{'epoch': 0, 'update in batch': 5939, '/': 12375, 'loss': 8.07197380065918}\n",
+      "{'epoch': 0, 'update in batch': 5940, '/': 12375, 'loss': 6.840189456939697}\n",
+      "{'epoch': 0, 'update in batch': 5941, '/': 12375, 'loss': 7.765732765197754}\n",
+      "{'epoch': 0, 'update in batch': 5942, '/': 12375, 'loss': 7.966933250427246}\n",
+      "{'epoch': 0, 'update in batch': 5943, '/': 12375, 'loss': 7.256674289703369}\n",
+      "{'epoch': 0, 'update in batch': 5944, '/': 12375, 'loss': 7.772061824798584}\n",
+      "{'epoch': 0, 'update in batch': 5945, '/': 12375, 'loss': 8.215559005737305}\n",
+      "{'epoch': 0, 'update in batch': 5946, '/': 12375, 'loss': 7.786569118499756}\n",
+      "{'epoch': 0, 'update in batch': 5947, '/': 12375, 'loss': 7.93511438369751}\n",
+      "{'epoch': 0, 'update in batch': 5948, '/': 12375, 'loss': 7.302004814147949}\n",
+      "{'epoch': 0, 'update in batch': 5949, '/': 12375, 'loss': 7.140577793121338}\n",
+      "{'epoch': 0, 'update in batch': 5950, '/': 12375, 'loss': 8.349736213684082}\n",
+      "{'epoch': 0, 'update in batch': 5951, '/': 12375, 'loss': 8.411703109741211}\n",
+      "{'epoch': 0, 'update in batch': 5952, '/': 12375, 'loss': 7.848228454589844}\n",
+      "{'epoch': 0, 'update in batch': 5953, '/': 12375, 'loss': 9.871736526489258}\n",
+      "{'epoch': 0, 'update in batch': 5954, '/': 12375, 'loss': 9.419753074645996}\n",
+      "{'epoch': 0, 'update in batch': 5955, '/': 12375, 'loss': 8.142861366271973}\n",
+      "{'epoch': 0, 'update in batch': 5956, '/': 12375, 'loss': 8.711956977844238}\n",
+      "{'epoch': 0, 'update in batch': 5957, '/': 12375, 'loss': 8.748729705810547}\n",
+      "{'epoch': 0, 'update in batch': 5958, '/': 12375, 'loss': 8.147246360778809}\n",
+      "{'epoch': 0, 'update in batch': 5959, '/': 12375, 'loss': 7.63003396987915}\n",
+      "{'epoch': 0, 'update in batch': 5960, '/': 12375, 'loss': 8.751765251159668}\n",
+      "{'epoch': 0, 'update in batch': 5961, '/': 12375, 'loss': 8.176676750183105}\n",
+      "{'epoch': 0, 'update in batch': 5962, '/': 12375, 'loss': 8.114869117736816}\n",
+      "{'epoch': 0, 'update in batch': 5963, '/': 12375, 'loss': 7.993508338928223}\n",
+      "{'epoch': 0, 'update in batch': 5964, '/': 12375, 'loss': 8.001128196716309}\n",
+      "{'epoch': 0, 'update in batch': 5965, '/': 12375, 'loss': 8.11763858795166}\n",
+      "{'epoch': 0, 'update in batch': 5966, '/': 12375, 'loss': 8.259577751159668}\n",
+      "{'epoch': 0, 'update in batch': 5967, '/': 12375, 'loss': 7.515921592712402}\n",
+      "{'epoch': 0, 'update in batch': 5968, '/': 12375, 'loss': 7.087759971618652}\n",
+      "{'epoch': 0, 'update in batch': 5969, '/': 12375, 'loss': 8.436029434204102}\n",
+      "{'epoch': 0, 'update in batch': 5970, '/': 12375, 'loss': 7.327457427978516}\n",
+      "{'epoch': 0, 'update in batch': 5971, '/': 12375, 'loss': 7.236301422119141}\n",
+      "{'epoch': 0, 'update in batch': 5972, '/': 12375, 'loss': 8.715014457702637}\n",
+      "{'epoch': 0, 'update in batch': 5973, '/': 12375, 'loss': 8.470670700073242}\n",
+      "{'epoch': 0, 'update in batch': 5974, '/': 12375, 'loss': 9.01476764678955}\n",
+      "{'epoch': 0, 'update in batch': 5975, '/': 12375, 'loss': 7.799083709716797}\n",
+      "{'epoch': 0, 'update in batch': 5976, '/': 12375, 'loss': 8.47290325164795}\n",
+      "{'epoch': 0, 'update in batch': 5977, '/': 12375, 'loss': 8.593171119689941}\n",
+      "{'epoch': 0, 'update in batch': 5978, '/': 12375, 'loss': 7.612120628356934}\n",
+      "{'epoch': 0, 'update in batch': 5979, '/': 12375, 'loss': 8.539549827575684}\n",
+      "{'epoch': 0, 'update in batch': 5980, '/': 12375, 'loss': 8.782007217407227}\n",
+      "{'epoch': 0, 'update in batch': 5981, '/': 12375, 'loss': 8.443427085876465}\n",
+      "{'epoch': 0, 'update in batch': 5982, '/': 12375, 'loss': 8.896147727966309}\n",
+      "{'epoch': 0, 'update in batch': 5983, '/': 12375, 'loss': 7.916989803314209}\n",
+      "{'epoch': 0, 'update in batch': 5984, '/': 12375, 'loss': 7.755056858062744}\n",
+      "{'epoch': 0, 'update in batch': 5985, '/': 12375, 'loss': 8.000406265258789}\n",
+      "{'epoch': 0, 'update in batch': 5986, '/': 12375, 'loss': 7.278985500335693}\n",
+      "{'epoch': 0, 'update in batch': 5987, '/': 12375, 'loss': 8.164302825927734}\n",
+      "{'epoch': 0, 'update in batch': 5988, '/': 12375, 'loss': 8.940485954284668}\n",
+      "{'epoch': 0, 'update in batch': 5989, '/': 12375, 'loss': 8.436957359313965}\n",
+      "{'epoch': 0, 'update in batch': 5990, '/': 12375, 'loss': 6.987860679626465}\n",
+      "{'epoch': 0, 'update in batch': 5991, '/': 12375, 'loss': 8.204456329345703}\n",
+      "{'epoch': 0, 'update in batch': 5992, '/': 12375, 'loss': 7.707730293273926}\n",
+      "{'epoch': 0, 'update in batch': 5993, '/': 12375, 'loss': 7.623434543609619}\n",
+      "{'epoch': 0, 'update in batch': 5994, '/': 12375, 'loss': 7.6138200759887695}\n",
+      "{'epoch': 0, 'update in batch': 5995, '/': 12375, 'loss': 8.730228424072266}\n",
+      "{'epoch': 0, 'update in batch': 5996, '/': 12375, 'loss': 8.478011131286621}\n",
+      "{'epoch': 0, 'update in batch': 5997, '/': 12375, 'loss': 8.758204460144043}\n",
+      "{'epoch': 0, 'update in batch': 5998, '/': 12375, 'loss': 7.750041961669922}\n",
+      "{'epoch': 0, 'update in batch': 5999, '/': 12375, 'loss': 8.24752426147461}\n",
+      "{'epoch': 0, 'update in batch': 6000, '/': 12375, 'loss': 8.567933082580566}\n",
+      "{'epoch': 0, 'update in batch': 6001, '/': 12375, 'loss': 7.669722080230713}\n",
+      "{'epoch': 0, 'update in batch': 6002, '/': 12375, 'loss': 7.821415901184082}\n",
+      "{'epoch': 0, 'update in batch': 6003, '/': 12375, 'loss': 8.92678165435791}\n",
+      "{'epoch': 0, 'update in batch': 6004, '/': 12375, 'loss': 8.898717880249023}\n",
+      "{'epoch': 0, 'update in batch': 6005, '/': 12375, 'loss': 8.052490234375}\n",
+      "{'epoch': 0, 'update in batch': 6006, '/': 12375, 'loss': 8.391115188598633}\n",
+      "{'epoch': 0, 'update in batch': 6007, '/': 12375, 'loss': 8.415140151977539}\n",
+      "{'epoch': 0, 'update in batch': 6008, '/': 12375, 'loss': 8.02806568145752}\n",
+      "{'epoch': 0, 'update in batch': 6009, '/': 12375, 'loss': 8.121541976928711}\n",
+      "{'epoch': 0, 'update in batch': 6010, '/': 12375, 'loss': 8.5706148147583}\n",
+      "{'epoch': 0, 'update in batch': 6011, '/': 12375, 'loss': 8.197357177734375}\n",
+      "{'epoch': 0, 'update in batch': 6012, '/': 12375, 'loss': 7.508139133453369}\n",
+      "{'epoch': 0, 'update in batch': 6013, '/': 12375, 'loss': 8.136674880981445}\n",
+      "{'epoch': 0, 'update in batch': 6014, '/': 12375, 'loss': 7.687013149261475}\n",
+      "{'epoch': 0, 'update in batch': 6015, '/': 12375, 'loss': 7.16420841217041}\n",
+      "{'epoch': 0, 'update in batch': 6016, '/': 12375, 'loss': 7.620453834533691}\n",
+      "{'epoch': 0, 'update in batch': 6017, '/': 12375, 'loss': 8.542394638061523}\n",
+      "{'epoch': 0, 'update in batch': 6018, '/': 12375, 'loss': 8.11922550201416}\n",
+      "{'epoch': 0, 'update in batch': 6019, '/': 12375, 'loss': 8.179673194885254}\n",
+      "{'epoch': 0, 'update in batch': 6020, '/': 12375, 'loss': 8.335741996765137}\n",
+      "{'epoch': 0, 'update in batch': 6021, '/': 12375, 'loss': 7.39135217666626}\n",
+      "{'epoch': 0, 'update in batch': 6022, '/': 12375, 'loss': 7.607705116271973}\n",
+      "{'epoch': 0, 'update in batch': 6023, '/': 12375, 'loss': 7.891462802886963}\n",
+      "{'epoch': 0, 'update in batch': 6024, '/': 12375, 'loss': 7.724005699157715}\n",
+      "{'epoch': 0, 'update in batch': 6025, '/': 12375, 'loss': 7.665883541107178}\n",
+      "{'epoch': 0, 'update in batch': 6026, '/': 12375, 'loss': 7.952885627746582}\n",
+      "{'epoch': 0, 'update in batch': 6027, '/': 12375, 'loss': 7.920543670654297}\n",
+      "{'epoch': 0, 'update in batch': 6028, '/': 12375, 'loss': 8.187336921691895}\n",
+      "{'epoch': 0, 'update in batch': 6029, '/': 12375, 'loss': 8.741534233093262}\n",
+      "{'epoch': 0, 'update in batch': 6030, '/': 12375, 'loss': 8.169228553771973}\n",
+      "{'epoch': 0, 'update in batch': 6031, '/': 12375, 'loss': 6.829329490661621}\n",
+      "{'epoch': 0, 'update in batch': 6032, '/': 12375, 'loss': 7.546353340148926}\n",
+      "{'epoch': 0, 'update in batch': 6033, '/': 12375, 'loss': 8.318765640258789}\n",
+      "{'epoch': 0, 'update in batch': 6034, '/': 12375, 'loss': 8.101755142211914}\n",
+      "{'epoch': 0, 'update in batch': 6035, '/': 12375, 'loss': 7.933282375335693}\n",
+      "{'epoch': 0, 'update in batch': 6036, '/': 12375, 'loss': 7.482276916503906}\n",
+      "{'epoch': 0, 'update in batch': 6037, '/': 12375, 'loss': 7.943539619445801}\n",
+      "{'epoch': 0, 'update in batch': 6038, '/': 12375, 'loss': 7.385303497314453}\n",
+      "{'epoch': 0, 'update in batch': 6039, '/': 12375, 'loss': 6.880748748779297}\n",
+      "{'epoch': 0, 'update in batch': 6040, '/': 12375, 'loss': 8.01698112487793}\n",
+      "{'epoch': 0, 'update in batch': 6041, '/': 12375, 'loss': 8.5877103805542}\n",
+      "{'epoch': 0, 'update in batch': 6042, '/': 12375, 'loss': 8.216419219970703}\n",
+      "{'epoch': 0, 'update in batch': 6043, '/': 12375, 'loss': 7.894564628601074}\n",
+      "{'epoch': 0, 'update in batch': 6044, '/': 12375, 'loss': 8.412328720092773}\n",
+      "{'epoch': 0, 'update in batch': 6045, '/': 12375, 'loss': 7.403134822845459}\n",
+      "{'epoch': 0, 'update in batch': 6046, '/': 12375, 'loss': 7.388585090637207}\n",
+      "{'epoch': 0, 'update in batch': 6047, '/': 12375, 'loss': 8.847208023071289}\n",
+      "{'epoch': 0, 'update in batch': 6048, '/': 12375, 'loss': 7.5971879959106445}\n",
+      "{'epoch': 0, 'update in batch': 6049, '/': 12375, 'loss': 9.189291954040527}\n",
+      "{'epoch': 0, 'update in batch': 6050, '/': 12375, 'loss': 7.719376564025879}\n",
+      "{'epoch': 0, 'update in batch': 6051, '/': 12375, 'loss': 7.985670566558838}\n",
+      "{'epoch': 0, 'update in batch': 6052, '/': 12375, 'loss': 7.6030120849609375}\n",
+      "{'epoch': 0, 'update in batch': 6053, '/': 12375, 'loss': 8.071940422058105}\n",
+      "{'epoch': 0, 'update in batch': 6054, '/': 12375, 'loss': 7.150464057922363}\n",
+      "{'epoch': 0, 'update in batch': 6055, '/': 12375, 'loss': 8.013866424560547}\n",
+      "{'epoch': 0, 'update in batch': 6056, '/': 12375, 'loss': 6.912751197814941}\n",
+      "{'epoch': 0, 'update in batch': 6057, '/': 12375, 'loss': 7.510279655456543}\n",
+      "{'epoch': 0, 'update in batch': 6058, '/': 12375, 'loss': 7.407145023345947}\n",
+      "{'epoch': 0, 'update in batch': 6059, '/': 12375, 'loss': 7.5192975997924805}\n",
+      "{'epoch': 0, 'update in batch': 6060, '/': 12375, 'loss': 7.212061882019043}\n",
+      "{'epoch': 0, 'update in batch': 6061, '/': 12375, 'loss': 7.593228816986084}\n",
+      "{'epoch': 0, 'update in batch': 6062, '/': 12375, 'loss': 6.934147834777832}\n",
+      "{'epoch': 0, 'update in batch': 6063, '/': 12375, 'loss': 7.500605583190918}\n",
+      "{'epoch': 0, 'update in batch': 6064, '/': 12375, 'loss': 7.207705497741699}\n",
+      "{'epoch': 0, 'update in batch': 6065, '/': 12375, 'loss': 6.931790351867676}\n",
+      "{'epoch': 0, 'update in batch': 6066, '/': 12375, 'loss': 8.343015670776367}\n",
+      "{'epoch': 0, 'update in batch': 6067, '/': 12375, 'loss': 7.1707444190979}\n",
+      "{'epoch': 0, 'update in batch': 6068, '/': 12375, 'loss': 8.27293872833252}\n",
+      "{'epoch': 0, 'update in batch': 6069, '/': 12375, 'loss': 8.090963363647461}\n",
+      "{'epoch': 0, 'update in batch': 6070, '/': 12375, 'loss': 7.797249794006348}\n",
+      "{'epoch': 0, 'update in batch': 6071, '/': 12375, 'loss': 8.03306770324707}\n",
+      "{'epoch': 0, 'update in batch': 6072, '/': 12375, 'loss': 8.036599159240723}\n",
+      "{'epoch': 0, 'update in batch': 6073, '/': 12375, 'loss': 8.12781047821045}\n",
+      "{'epoch': 0, 'update in batch': 6074, '/': 12375, 'loss': 8.341377258300781}\n",
+      "{'epoch': 0, 'update in batch': 6075, '/': 12375, 'loss': 7.537168025970459}\n",
+      "{'epoch': 0, 'update in batch': 6076, '/': 12375, 'loss': 7.206233024597168}\n",
+      "{'epoch': 0, 'update in batch': 6077, '/': 12375, 'loss': 7.451712131500244}\n",
+      "{'epoch': 0, 'update in batch': 6078, '/': 12375, 'loss': 7.3587822914123535}\n",
+      "{'epoch': 0, 'update in batch': 6079, '/': 12375, 'loss': 8.103540420532227}\n",
+      "{'epoch': 0, 'update in batch': 6080, '/': 12375, 'loss': 7.588620662689209}\n",
+      "{'epoch': 0, 'update in batch': 6081, '/': 12375, 'loss': 7.958582878112793}\n",
+      "{'epoch': 0, 'update in batch': 6082, '/': 12375, 'loss': 7.35784387588501}\n",
+      "{'epoch': 0, 'update in batch': 6083, '/': 12375, 'loss': 7.476810455322266}\n",
+      "{'epoch': 0, 'update in batch': 6084, '/': 12375, 'loss': 7.844012260437012}\n",
+      "{'epoch': 0, 'update in batch': 6085, '/': 12375, 'loss': 7.400038719177246}\n",
+      "{'epoch': 0, 'update in batch': 6086, '/': 12375, 'loss': 7.78720235824585}\n",
+      "{'epoch': 0, 'update in batch': 6087, '/': 12375, 'loss': 7.942132472991943}\n",
+      "{'epoch': 0, 'update in batch': 6088, '/': 12375, 'loss': 7.901625633239746}\n",
+      "{'epoch': 0, 'update in batch': 6089, '/': 12375, 'loss': 6.868691444396973}\n",
+      "{'epoch': 0, 'update in batch': 6090, '/': 12375, 'loss': 8.205902099609375}\n",
+      "{'epoch': 0, 'update in batch': 6091, '/': 12375, 'loss': 7.7672834396362305}\n",
+      "{'epoch': 0, 'update in batch': 6092, '/': 12375, 'loss': 7.9697065353393555}\n",
+      "{'epoch': 0, 'update in batch': 6093, '/': 12375, 'loss': 8.351333618164062}\n",
+      "{'epoch': 0, 'update in batch': 6094, '/': 12375, 'loss': 7.542238712310791}\n",
+      "{'epoch': 0, 'update in batch': 6095, '/': 12375, 'loss': 8.97277545928955}\n",
+      "{'epoch': 0, 'update in batch': 6096, '/': 12375, 'loss': 8.089424133300781}\n",
+      "{'epoch': 0, 'update in batch': 6097, '/': 12375, 'loss': 7.065471649169922}\n",
+      "{'epoch': 0, 'update in batch': 6098, '/': 12375, 'loss': 7.419033050537109}\n",
+      "{'epoch': 0, 'update in batch': 6099, '/': 12375, 'loss': 7.9646806716918945}\n",
+      "{'epoch': 0, 'update in batch': 6100, '/': 12375, 'loss': 7.5951948165893555}\n",
+      "{'epoch': 0, 'update in batch': 6101, '/': 12375, 'loss': 7.914170265197754}\n",
+      "{'epoch': 0, 'update in batch': 6102, '/': 12375, 'loss': 7.5481858253479}\n",
+      "{'epoch': 0, 'update in batch': 6103, '/': 12375, 'loss': 8.010858535766602}\n",
+      "{'epoch': 0, 'update in batch': 6104, '/': 12375, 'loss': 6.580374717712402}\n",
+      "{'epoch': 0, 'update in batch': 6105, '/': 12375, 'loss': 7.411206245422363}\n",
+      "{'epoch': 0, 'update in batch': 6106, '/': 12375, 'loss': 8.123766899108887}\n",
+      "{'epoch': 0, 'update in batch': 6107, '/': 12375, 'loss': 8.179851531982422}\n",
+      "{'epoch': 0, 'update in batch': 6108, '/': 12375, 'loss': 8.261229515075684}\n",
+      "{'epoch': 0, 'update in batch': 6109, '/': 12375, 'loss': 6.605471611022949}\n",
+      "{'epoch': 0, 'update in batch': 6110, '/': 12375, 'loss': 7.225699424743652}\n",
+      "{'epoch': 0, 'update in batch': 6111, '/': 12375, 'loss': 6.833548069000244}\n",
+      "{'epoch': 0, 'update in batch': 6112, '/': 12375, 'loss': 7.529795169830322}\n",
+      "{'epoch': 0, 'update in batch': 6113, '/': 12375, 'loss': 7.976099967956543}\n",
+      "{'epoch': 0, 'update in batch': 6114, '/': 12375, 'loss': 7.279069423675537}\n",
+      "{'epoch': 0, 'update in batch': 6115, '/': 12375, 'loss': 7.820276737213135}\n",
+      "{'epoch': 0, 'update in batch': 6116, '/': 12375, 'loss': 7.22722864151001}\n",
+      "{'epoch': 0, 'update in batch': 6117, '/': 12375, 'loss': 7.387182712554932}\n",
+      "{'epoch': 0, 'update in batch': 6118, '/': 12375, 'loss': 7.91585636138916}\n",
+      "{'epoch': 0, 'update in batch': 6119, '/': 12375, 'loss': 8.028373718261719}\n",
+      "{'epoch': 0, 'update in batch': 6120, '/': 12375, 'loss': 6.944814205169678}\n",
+      "{'epoch': 0, 'update in batch': 6121, '/': 12375, 'loss': 7.481349945068359}\n",
+      "{'epoch': 0, 'update in batch': 6122, '/': 12375, 'loss': 7.627621650695801}\n",
+      "{'epoch': 0, 'update in batch': 6123, '/': 12375, 'loss': 7.630312442779541}\n",
+      "{'epoch': 0, 'update in batch': 6124, '/': 12375, 'loss': 7.765176296234131}\n",
+      "{'epoch': 0, 'update in batch': 6125, '/': 12375, 'loss': 8.033827781677246}\n",
+      "{'epoch': 0, 'update in batch': 6126, '/': 12375, 'loss': 7.956029415130615}\n",
+      "{'epoch': 0, 'update in batch': 6127, '/': 12375, 'loss': 7.879300117492676}\n",
+      "{'epoch': 0, 'update in batch': 6128, '/': 12375, 'loss': 7.159590721130371}\n",
+      "{'epoch': 0, 'update in batch': 6129, '/': 12375, 'loss': 7.31576681137085}\n",
+      "{'epoch': 0, 'update in batch': 6130, '/': 12375, 'loss': 7.62087345123291}\n",
+      "{'epoch': 0, 'update in batch': 6131, '/': 12375, 'loss': 7.910167694091797}\n",
+      "{'epoch': 0, 'update in batch': 6132, '/': 12375, 'loss': 7.126593589782715}\n",
+      "{'epoch': 0, 'update in batch': 6133, '/': 12375, 'loss': 7.846059322357178}\n",
+      "{'epoch': 0, 'update in batch': 6134, '/': 12375, 'loss': 7.782965183258057}\n",
+      "{'epoch': 0, 'update in batch': 6135, '/': 12375, 'loss': 8.118487358093262}\n",
+      "{'epoch': 0, 'update in batch': 6136, '/': 12375, 'loss': 8.488507270812988}\n",
+      "{'epoch': 0, 'update in batch': 6137, '/': 12375, 'loss': 9.077329635620117}\n",
+      "{'epoch': 0, 'update in batch': 6138, '/': 12375, 'loss': 7.678953647613525}\n",
+      "{'epoch': 0, 'update in batch': 6139, '/': 12375, 'loss': 7.284951686859131}\n",
+      "{'epoch': 0, 'update in batch': 6140, '/': 12375, 'loss': 7.981264591217041}\n",
+      "{'epoch': 0, 'update in batch': 6141, '/': 12375, 'loss': 7.467913627624512}\n",
+      "{'epoch': 0, 'update in batch': 6142, '/': 12375, 'loss': 8.67992877960205}\n",
+      "{'epoch': 0, 'update in batch': 6143, '/': 12375, 'loss': 8.027274131774902}\n",
+      "{'epoch': 0, 'update in batch': 6144, '/': 12375, 'loss': 7.527866363525391}\n",
+      "{'epoch': 0, 'update in batch': 6145, '/': 12375, 'loss': 6.970358848571777}\n",
+      "{'epoch': 0, 'update in batch': 6146, '/': 12375, 'loss': 7.043660640716553}\n",
+      "{'epoch': 0, 'update in batch': 6147, '/': 12375, 'loss': 7.105930328369141}\n",
+      "{'epoch': 0, 'update in batch': 6148, '/': 12375, 'loss': 7.242717742919922}\n",
+      "{'epoch': 0, 'update in batch': 6149, '/': 12375, 'loss': 7.603877067565918}\n",
+      "{'epoch': 0, 'update in batch': 6150, '/': 12375, 'loss': 7.579545497894287}\n",
+      "{'epoch': 0, 'update in batch': 6151, '/': 12375, 'loss': 7.543186187744141}\n",
+      "{'epoch': 0, 'update in batch': 6152, '/': 12375, 'loss': 8.026607513427734}\n",
+      "{'epoch': 0, 'update in batch': 6153, '/': 12375, 'loss': 7.508296012878418}\n",
+      "{'epoch': 0, 'update in batch': 6154, '/': 12375, 'loss': 6.181868553161621}\n",
+      "{'epoch': 0, 'update in batch': 6155, '/': 12375, 'loss': 7.276798248291016}\n",
+      "{'epoch': 0, 'update in batch': 6156, '/': 12375, 'loss': 8.462874412536621}\n",
+      "{'epoch': 0, 'update in batch': 6157, '/': 12375, 'loss': 6.813762664794922}\n",
+      "{'epoch': 0, 'update in batch': 6158, '/': 12375, 'loss': 6.6531171798706055}\n",
+      "{'epoch': 0, 'update in batch': 6159, '/': 12375, 'loss': 7.454436302185059}\n",
+      "{'epoch': 0, 'update in batch': 6160, '/': 12375, 'loss': 8.246586799621582}\n",
+      "{'epoch': 0, 'update in batch': 6161, '/': 12375, 'loss': 7.068686485290527}\n",
+      "{'epoch': 0, 'update in batch': 6162, '/': 12375, 'loss': 7.107245445251465}\n",
+      "{'epoch': 0, 'update in batch': 6163, '/': 12375, 'loss': 7.012688636779785}\n",
+      "{'epoch': 0, 'update in batch': 6164, '/': 12375, 'loss': 7.031968593597412}\n",
+      "{'epoch': 0, 'update in batch': 6165, '/': 12375, 'loss': 7.408058166503906}\n",
+      "{'epoch': 0, 'update in batch': 6166, '/': 12375, 'loss': 7.589631080627441}\n",
+      "{'epoch': 0, 'update in batch': 6167, '/': 12375, 'loss': 6.983730316162109}\n",
+      "{'epoch': 0, 'update in batch': 6168, '/': 12375, 'loss': 8.030797004699707}\n",
+      "{'epoch': 0, 'update in batch': 6169, '/': 12375, 'loss': 8.285177230834961}\n",
+      "{'epoch': 0, 'update in batch': 6170, '/': 12375, 'loss': 7.976738929748535}\n",
+      "{'epoch': 0, 'update in batch': 6171, '/': 12375, 'loss': 6.950444221496582}\n",
+      "{'epoch': 0, 'update in batch': 6172, '/': 12375, 'loss': 8.163934707641602}\n",
+      "{'epoch': 0, 'update in batch': 6173, '/': 12375, 'loss': 8.052576065063477}\n",
+      "{'epoch': 0, 'update in batch': 6174, '/': 12375, 'loss': 7.645305633544922}\n",
+      "{'epoch': 0, 'update in batch': 6175, '/': 12375, 'loss': 7.784366607666016}\n",
+      "{'epoch': 0, 'update in batch': 6176, '/': 12375, 'loss': 7.3710198402404785}\n",
+      "{'epoch': 0, 'update in batch': 6177, '/': 12375, 'loss': 8.256172180175781}\n",
+      "{'epoch': 0, 'update in batch': 6178, '/': 12375, 'loss': 6.867074489593506}\n",
+      "{'epoch': 0, 'update in batch': 6179, '/': 12375, 'loss': 7.165982246398926}\n",
+      "{'epoch': 0, 'update in batch': 6180, '/': 12375, 'loss': 6.9881439208984375}\n",
+      "{'epoch': 0, 'update in batch': 6181, '/': 12375, 'loss': 6.825409889221191}\n",
+      "{'epoch': 0, 'update in batch': 6182, '/': 12375, 'loss': 6.820970058441162}\n",
+      "{'epoch': 0, 'update in batch': 6183, '/': 12375, 'loss': 7.410737037658691}\n",
+      "{'epoch': 0, 'update in batch': 6184, '/': 12375, 'loss': 8.58399486541748}\n",
+      "{'epoch': 0, 'update in batch': 6185, '/': 12375, 'loss': 7.4687371253967285}\n",
+      "{'epoch': 0, 'update in batch': 6186, '/': 12375, 'loss': 7.672595977783203}\n",
+      "{'epoch': 0, 'update in batch': 6187, '/': 12375, 'loss': 6.920673370361328}\n",
+      "{'epoch': 0, 'update in batch': 6188, '/': 12375, 'loss': 7.580288887023926}\n",
+      "{'epoch': 0, 'update in batch': 6189, '/': 12375, 'loss': 7.14966344833374}\n",
+      "{'epoch': 0, 'update in batch': 6190, '/': 12375, 'loss': 6.958787441253662}\n",
+      "{'epoch': 0, 'update in batch': 6191, '/': 12375, 'loss': 6.872199058532715}\n",
+      "{'epoch': 0, 'update in batch': 6192, '/': 12375, 'loss': 7.4293365478515625}\n",
+      "{'epoch': 0, 'update in batch': 6193, '/': 12375, 'loss': 7.674039363861084}\n",
+      "{'epoch': 0, 'update in batch': 6194, '/': 12375, 'loss': 7.891942501068115}\n",
+      "{'epoch': 0, 'update in batch': 6195, '/': 12375, 'loss': 7.130948543548584}\n",
+      "{'epoch': 0, 'update in batch': 6196, '/': 12375, 'loss': 6.808357238769531}\n",
+      "{'epoch': 0, 'update in batch': 6197, '/': 12375, 'loss': 7.7766008377075195}\n",
+      "{'epoch': 0, 'update in batch': 6198, '/': 12375, 'loss': 6.392704486846924}\n",
+      "{'epoch': 0, 'update in batch': 6199, '/': 12375, 'loss': 7.785552024841309}\n",
+      "{'epoch': 0, 'update in batch': 6200, '/': 12375, 'loss': 7.80002498626709}\n",
+      "{'epoch': 0, 'update in batch': 6201, '/': 12375, 'loss': 7.408905029296875}\n",
+      "{'epoch': 0, 'update in batch': 6202, '/': 12375, 'loss': 8.572099685668945}\n",
+      "{'epoch': 0, 'update in batch': 6203, '/': 12375, 'loss': 6.810901641845703}\n",
+      "{'epoch': 0, 'update in batch': 6204, '/': 12375, 'loss': 7.06033992767334}\n",
+      "{'epoch': 0, 'update in batch': 6205, '/': 12375, 'loss': 6.477547645568848}\n",
+      "{'epoch': 0, 'update in batch': 6206, '/': 12375, 'loss': 6.693455696105957}\n",
+      "{'epoch': 0, 'update in batch': 6207, '/': 12375, 'loss': 7.333996772766113}\n",
+      "{'epoch': 0, 'update in batch': 6208, '/': 12375, 'loss': 7.430589199066162}\n",
+      "{'epoch': 0, 'update in batch': 6209, '/': 12375, 'loss': 7.417916774749756}\n",
+      "{'epoch': 0, 'update in batch': 6210, '/': 12375, 'loss': 6.885744571685791}\n",
+      "{'epoch': 0, 'update in batch': 6211, '/': 12375, 'loss': 6.694314479827881}\n",
+      "{'epoch': 0, 'update in batch': 6212, '/': 12375, 'loss': 7.067328453063965}\n",
+      "{'epoch': 0, 'update in batch': 6213, '/': 12375, 'loss': 6.677947044372559}\n",
+      "{'epoch': 0, 'update in batch': 6214, '/': 12375, 'loss': 7.033998012542725}\n",
+      "{'epoch': 0, 'update in batch': 6215, '/': 12375, 'loss': 6.821965217590332}\n",
+      "{'epoch': 0, 'update in batch': 6216, '/': 12375, 'loss': 7.200802803039551}\n",
+      "{'epoch': 0, 'update in batch': 6217, '/': 12375, 'loss': 7.036356449127197}\n",
+      "{'epoch': 0, 'update in batch': 6218, '/': 12375, 'loss': 6.795395851135254}\n",
+      "{'epoch': 0, 'update in batch': 6219, '/': 12375, 'loss': 7.3263840675354}\n",
+      "{'epoch': 0, 'update in batch': 6220, '/': 12375, 'loss': 7.502423286437988}\n",
+      "{'epoch': 0, 'update in batch': 6221, '/': 12375, 'loss': 6.461316108703613}\n",
+      "{'epoch': 0, 'update in batch': 6222, '/': 12375, 'loss': 7.543784141540527}\n",
+      "{'epoch': 0, 'update in batch': 6223, '/': 12375, 'loss': 6.631796836853027}\n",
+      "{'epoch': 0, 'update in batch': 6224, '/': 12375, 'loss': 7.6358208656311035}\n",
+      "{'epoch': 0, 'update in batch': 6225, '/': 12375, 'loss': 7.128129482269287}\n",
+      "{'epoch': 0, 'update in batch': 6226, '/': 12375, 'loss': 7.435324668884277}\n",
+      "{'epoch': 0, 'update in batch': 6227, '/': 12375, 'loss': 8.514836311340332}\n",
+      "{'epoch': 0, 'update in batch': 6228, '/': 12375, 'loss': 8.795135498046875}\n",
+      "{'epoch': 0, 'update in batch': 6229, '/': 12375, 'loss': 8.197243690490723}\n",
+      "{'epoch': 0, 'update in batch': 6230, '/': 12375, 'loss': 7.819798946380615}\n",
+      "{'epoch': 0, 'update in batch': 6231, '/': 12375, 'loss': 8.371742248535156}\n",
+      "{'epoch': 0, 'update in batch': 6232, '/': 12375, 'loss': 6.6637701988220215}\n",
+      "{'epoch': 0, 'update in batch': 6233, '/': 12375, 'loss': 7.163199424743652}\n",
+      "{'epoch': 0, 'update in batch': 6234, '/': 12375, 'loss': 7.691175937652588}\n",
+      "{'epoch': 0, 'update in batch': 6235, '/': 12375, 'loss': 8.051185607910156}\n",
+      "{'epoch': 0, 'update in batch': 6236, '/': 12375, 'loss': 8.011717796325684}\n",
+      "{'epoch': 0, 'update in batch': 6237, '/': 12375, 'loss': 7.705789089202881}\n",
+      "{'epoch': 0, 'update in batch': 6238, '/': 12375, 'loss': 7.160377502441406}\n",
+      "{'epoch': 0, 'update in batch': 6239, '/': 12375, 'loss': 7.45302677154541}\n",
+      "{'epoch': 0, 'update in batch': 6240, '/': 12375, 'loss': 8.800238609313965}\n",
+      "{'epoch': 0, 'update in batch': 6241, '/': 12375, 'loss': 6.997227668762207}\n",
+      "{'epoch': 0, 'update in batch': 6242, '/': 12375, 'loss': 7.8066864013671875}\n",
+      "{'epoch': 0, 'update in batch': 6243, '/': 12375, 'loss': 6.665963649749756}\n",
+      "{'epoch': 0, 'update in batch': 6244, '/': 12375, 'loss': 7.173069000244141}\n",
+      "{'epoch': 0, 'update in batch': 6245, '/': 12375, 'loss': 7.678474426269531}\n",
+      "{'epoch': 0, 'update in batch': 6246, '/': 12375, 'loss': 8.167428970336914}\n",
+      "{'epoch': 0, 'update in batch': 6247, '/': 12375, 'loss': 7.847086429595947}\n",
+      "{'epoch': 0, 'update in batch': 6248, '/': 12375, 'loss': 8.080842971801758}\n",
+      "{'epoch': 0, 'update in batch': 6249, '/': 12375, 'loss': 7.926555633544922}\n",
+      "{'epoch': 0, 'update in batch': 6250, '/': 12375, 'loss': 7.88767147064209}\n",
+      "{'epoch': 0, 'update in batch': 6251, '/': 12375, 'loss': 8.213048934936523}\n",
+      "{'epoch': 0, 'update in batch': 6252, '/': 12375, 'loss': 7.8265380859375}\n",
+      "{'epoch': 0, 'update in batch': 6253, '/': 12375, 'loss': 6.882730007171631}\n",
+      "{'epoch': 0, 'update in batch': 6254, '/': 12375, 'loss': 7.634799957275391}\n",
+      "{'epoch': 0, 'update in batch': 6255, '/': 12375, 'loss': 6.352212429046631}\n",
+      "{'epoch': 0, 'update in batch': 6256, '/': 12375, 'loss': 8.088494300842285}\n",
+      "{'epoch': 0, 'update in batch': 6257, '/': 12375, 'loss': 7.157095432281494}\n",
+      "{'epoch': 0, 'update in batch': 6258, '/': 12375, 'loss': 7.0333075523376465}\n",
+      "{'epoch': 0, 'update in batch': 6259, '/': 12375, 'loss': 6.807964324951172}\n",
+      "{'epoch': 0, 'update in batch': 6260, '/': 12375, 'loss': 7.7470526695251465}\n",
+      "{'epoch': 0, 'update in batch': 6261, '/': 12375, 'loss': 7.293513298034668}\n",
+      "{'epoch': 0, 'update in batch': 6262, '/': 12375, 'loss': 7.11112117767334}\n",
+      "{'epoch': 0, 'update in batch': 6263, '/': 12375, 'loss': 7.484920501708984}\n",
+      "{'epoch': 0, 'update in batch': 6264, '/': 12375, 'loss': 7.833399295806885}\n",
+      "{'epoch': 0, 'update in batch': 6265, '/': 12375, 'loss': 7.560774803161621}\n",
+      "{'epoch': 0, 'update in batch': 6266, '/': 12375, 'loss': 8.283430099487305}\n",
+      "{'epoch': 0, 'update in batch': 6267, '/': 12375, 'loss': 6.720749855041504}\n",
+      "{'epoch': 0, 'update in batch': 6268, '/': 12375, 'loss': 6.463953971862793}\n",
+      "{'epoch': 0, 'update in batch': 6269, '/': 12375, 'loss': 8.09511947631836}\n",
+      "{'epoch': 0, 'update in batch': 6270, '/': 12375, 'loss': 6.347991943359375}\n",
+      "{'epoch': 0, 'update in batch': 6271, '/': 12375, 'loss': 6.510674953460693}\n",
+      "{'epoch': 0, 'update in batch': 6272, '/': 12375, 'loss': 7.088779449462891}\n",
+      "{'epoch': 0, 'update in batch': 6273, '/': 12375, 'loss': 7.376290798187256}\n",
+      "{'epoch': 0, 'update in batch': 6274, '/': 12375, 'loss': 7.731474876403809}\n",
+      "{'epoch': 0, 'update in batch': 6275, '/': 12375, 'loss': 8.475313186645508}\n",
+      "{'epoch': 0, 'update in batch': 6276, '/': 12375, 'loss': 7.398237705230713}\n",
+      "{'epoch': 0, 'update in batch': 6277, '/': 12375, 'loss': 6.916264533996582}\n",
+      "{'epoch': 0, 'update in batch': 6278, '/': 12375, 'loss': 7.945492744445801}\n",
+      "{'epoch': 0, 'update in batch': 6279, '/': 12375, 'loss': 6.707424163818359}\n",
+      "{'epoch': 0, 'update in batch': 6280, '/': 12375, 'loss': 7.104642391204834}\n",
+      "{'epoch': 0, 'update in batch': 6281, '/': 12375, 'loss': 7.077986240386963}\n",
+      "{'epoch': 0, 'update in batch': 6282, '/': 12375, 'loss': 7.12646484375}\n",
+      "{'epoch': 0, 'update in batch': 6283, '/': 12375, 'loss': 8.259157180786133}\n",
+      "{'epoch': 0, 'update in batch': 6284, '/': 12375, 'loss': 9.161767959594727}\n",
+      "{'epoch': 0, 'update in batch': 6285, '/': 12375, 'loss': 9.232885360717773}\n",
+      "{'epoch': 0, 'update in batch': 6286, '/': 12375, 'loss': 9.065661430358887}\n",
+      "{'epoch': 0, 'update in batch': 6287, '/': 12375, 'loss': 8.793210983276367}\n",
+      "{'epoch': 0, 'update in batch': 6288, '/': 12375, 'loss': 7.657108306884766}\n",
+      "{'epoch': 0, 'update in batch': 6289, '/': 12375, 'loss': 8.718076705932617}\n",
+      "{'epoch': 0, 'update in batch': 6290, '/': 12375, 'loss': 8.149811744689941}\n",
+      "{'epoch': 0, 'update in batch': 6291, '/': 12375, 'loss': 7.656330108642578}\n",
+      "{'epoch': 0, 'update in batch': 6292, '/': 12375, 'loss': 7.9175920486450195}\n",
+      "{'epoch': 0, 'update in batch': 6293, '/': 12375, 'loss': 8.08918571472168}\n",
+      "{'epoch': 0, 'update in batch': 6294, '/': 12375, 'loss': 8.61028003692627}\n",
+      "{'epoch': 0, 'update in batch': 6295, '/': 12375, 'loss': 8.521656036376953}\n",
+      "{'epoch': 0, 'update in batch': 6296, '/': 12375, 'loss': 8.726373672485352}\n",
+      "{'epoch': 0, 'update in batch': 6297, '/': 12375, 'loss': 8.425668716430664}\n",
+      "{'epoch': 0, 'update in batch': 6298, '/': 12375, 'loss': 7.841689109802246}\n",
+      "{'epoch': 0, 'update in batch': 6299, '/': 12375, 'loss': 8.792448043823242}\n",
+      "{'epoch': 0, 'update in batch': 6300, '/': 12375, 'loss': 8.225687026977539}\n",
+      "{'epoch': 0, 'update in batch': 6301, '/': 12375, 'loss': 8.584468841552734}\n",
+      "{'epoch': 0, 'update in batch': 6302, '/': 12375, 'loss': 8.407098770141602}\n",
+      "{'epoch': 0, 'update in batch': 6303, '/': 12375, 'loss': 8.749258041381836}\n",
+      "{'epoch': 0, 'update in batch': 6304, '/': 12375, 'loss': 9.232683181762695}\n",
+      "{'epoch': 0, 'update in batch': 6305, '/': 12375, 'loss': 8.083837509155273}\n",
+      "{'epoch': 0, 'update in batch': 6306, '/': 12375, 'loss': 8.604904174804688}\n",
+      "{'epoch': 0, 'update in batch': 6307, '/': 12375, 'loss': 8.30955696105957}\n",
+      "{'epoch': 0, 'update in batch': 6308, '/': 12375, 'loss': 8.678967475891113}\n",
+      "{'epoch': 0, 'update in batch': 6309, '/': 12375, 'loss': 7.285891056060791}\n",
+      "{'epoch': 0, 'update in batch': 6310, '/': 12375, 'loss': 8.22160816192627}\n",
+      "{'epoch': 0, 'update in batch': 6311, '/': 12375, 'loss': 7.712743282318115}\n",
+      "{'epoch': 0, 'update in batch': 6312, '/': 12375, 'loss': 7.660052299499512}\n",
+      "{'epoch': 0, 'update in batch': 6313, '/': 12375, 'loss': 8.312400817871094}\n",
+      "{'epoch': 0, 'update in batch': 6314, '/': 12375, 'loss': 6.963103294372559}\n",
+      "{'epoch': 0, 'update in batch': 6315, '/': 12375, 'loss': 5.646994590759277}\n",
+      "{'epoch': 0, 'update in batch': 6316, '/': 12375, 'loss': 7.433625221252441}\n",
+      "{'epoch': 0, 'update in batch': 6317, '/': 12375, 'loss': 7.572972774505615}\n",
+      "{'epoch': 0, 'update in batch': 6318, '/': 12375, 'loss': 7.503329277038574}\n",
+      "{'epoch': 0, 'update in batch': 6319, '/': 12375, 'loss': 7.456559181213379}\n",
+      "{'epoch': 0, 'update in batch': 6320, '/': 12375, 'loss': 7.3579511642456055}\n",
+      "{'epoch': 0, 'update in batch': 6321, '/': 12375, 'loss': 7.935835838317871}\n",
+      "{'epoch': 0, 'update in batch': 6322, '/': 12375, 'loss': 7.777400970458984}\n",
+      "{'epoch': 0, 'update in batch': 6323, '/': 12375, 'loss': 6.502758026123047}\n",
+      "{'epoch': 0, 'update in batch': 6324, '/': 12375, 'loss': 6.856602668762207}\n",
+      "{'epoch': 0, 'update in batch': 6325, '/': 12375, 'loss': 7.366055488586426}\n",
+      "{'epoch': 0, 'update in batch': 6326, '/': 12375, 'loss': 7.468945503234863}\n",
+      "{'epoch': 0, 'update in batch': 6327, '/': 12375, 'loss': 8.725966453552246}\n",
+      "{'epoch': 0, 'update in batch': 6328, '/': 12375, 'loss': 8.488646507263184}\n",
+      "{'epoch': 0, 'update in batch': 6329, '/': 12375, 'loss': 8.466772079467773}\n",
+      "{'epoch': 0, 'update in batch': 6330, '/': 12375, 'loss': 8.823015213012695}\n",
+      "{'epoch': 0, 'update in batch': 6331, '/': 12375, 'loss': 8.788667678833008}\n",
+      "{'epoch': 0, 'update in batch': 6332, '/': 12375, 'loss': 7.874904632568359}\n",
+      "{'epoch': 0, 'update in batch': 6333, '/': 12375, 'loss': 7.281725883483887}\n",
+      "{'epoch': 0, 'update in batch': 6334, '/': 12375, 'loss': 7.010922908782959}\n",
+      "{'epoch': 0, 'update in batch': 6335, '/': 12375, 'loss': 6.989575386047363}\n",
+      "{'epoch': 0, 'update in batch': 6336, '/': 12375, 'loss': 6.772406101226807}\n",
+      "{'epoch': 0, 'update in batch': 6337, '/': 12375, 'loss': 7.243655204772949}\n",
+      "{'epoch': 0, 'update in batch': 6338, '/': 12375, 'loss': 8.137030601501465}\n",
+      "{'epoch': 0, 'update in batch': 6339, '/': 12375, 'loss': 7.802706241607666}\n",
+      "{'epoch': 0, 'update in batch': 6340, '/': 12375, 'loss': 7.924907684326172}\n",
+      "{'epoch': 0, 'update in batch': 6341, '/': 12375, 'loss': 8.401634216308594}\n",
+      "{'epoch': 0, 'update in batch': 6342, '/': 12375, 'loss': 8.563955307006836}\n",
+      "{'epoch': 0, 'update in batch': 6343, '/': 12375, 'loss': 8.634856224060059}\n",
+      "{'epoch': 0, 'update in batch': 6344, '/': 12375, 'loss': 7.564356803894043}\n",
+      "{'epoch': 0, 'update in batch': 6345, '/': 12375, 'loss': 8.413695335388184}\n",
+      "{'epoch': 0, 'update in batch': 6346, '/': 12375, 'loss': 7.662644863128662}\n",
+      "{'epoch': 0, 'update in batch': 6347, '/': 12375, 'loss': 8.084634780883789}\n",
+      "{'epoch': 0, 'update in batch': 6348, '/': 12375, 'loss': 8.09372615814209}\n",
+      "{'epoch': 0, 'update in batch': 6349, '/': 12375, 'loss': 7.175637722015381}\n",
+      "{'epoch': 0, 'update in batch': 6350, '/': 12375, 'loss': 8.183022499084473}\n",
+      "{'epoch': 0, 'update in batch': 6351, '/': 12375, 'loss': 6.8509345054626465}\n",
+      "{'epoch': 0, 'update in batch': 6352, '/': 12375, 'loss': 7.2910332679748535}\n",
+      "{'epoch': 0, 'update in batch': 6353, '/': 12375, 'loss': 7.6688690185546875}\n",
+      "{'epoch': 0, 'update in batch': 6354, '/': 12375, 'loss': 9.131292343139648}\n",
+      "{'epoch': 0, 'update in batch': 6355, '/': 12375, 'loss': 8.726851463317871}\n",
+      "{'epoch': 0, 'update in batch': 6356, '/': 12375, 'loss': 8.6873779296875}\n",
+      "{'epoch': 0, 'update in batch': 6357, '/': 12375, 'loss': 8.897784233093262}\n",
+      "{'epoch': 0, 'update in batch': 6358, '/': 12375, 'loss': 8.758845329284668}\n",
+      "{'epoch': 0, 'update in batch': 6359, '/': 12375, 'loss': 8.981107711791992}\n",
+      "{'epoch': 0, 'update in batch': 6360, '/': 12375, 'loss': 7.998842716217041}\n",
+      "{'epoch': 0, 'update in batch': 6361, '/': 12375, 'loss': 7.90582799911499}\n",
+      "{'epoch': 0, 'update in batch': 6362, '/': 12375, 'loss': 7.90172815322876}\n",
+      "{'epoch': 0, 'update in batch': 6363, '/': 12375, 'loss': 7.352691650390625}\n",
+      "{'epoch': 0, 'update in batch': 6364, '/': 12375, 'loss': 7.327829837799072}\n",
+      "{'epoch': 0, 'update in batch': 6365, '/': 12375, 'loss': 7.515786170959473}\n",
+      "{'epoch': 0, 'update in batch': 6366, '/': 12375, 'loss': 7.806115627288818}\n",
+      "{'epoch': 0, 'update in batch': 6367, '/': 12375, 'loss': 7.28235387802124}\n",
+      "{'epoch': 0, 'update in batch': 6368, '/': 12375, 'loss': 7.7023444175720215}\n",
+      "{'epoch': 0, 'update in batch': 6369, '/': 12375, 'loss': 7.348685264587402}\n",
+      "{'epoch': 0, 'update in batch': 6370, '/': 12375, 'loss': 8.509465217590332}\n",
+      "{'epoch': 0, 'update in batch': 6371, '/': 12375, 'loss': 8.561046600341797}\n",
+      "{'epoch': 0, 'update in batch': 6372, '/': 12375, 'loss': 7.351212501525879}\n",
+      "{'epoch': 0, 'update in batch': 6373, '/': 12375, 'loss': 7.534918785095215}\n",
+      "{'epoch': 0, 'update in batch': 6374, '/': 12375, 'loss': 8.580074310302734}\n",
+      "{'epoch': 0, 'update in batch': 6375, '/': 12375, 'loss': 8.48416519165039}\n",
+      "{'epoch': 0, 'update in batch': 6376, '/': 12375, 'loss': 9.010931015014648}\n",
+      "{'epoch': 0, 'update in batch': 6377, '/': 12375, 'loss': 8.612998008728027}\n",
+      "{'epoch': 0, 'update in batch': 6378, '/': 12375, 'loss': 9.563664436340332}\n",
+      "{'epoch': 0, 'update in batch': 6379, '/': 12375, 'loss': 8.158994674682617}\n",
+      "{'epoch': 0, 'update in batch': 6380, '/': 12375, 'loss': 10.119959831237793}\n",
+      "{'epoch': 0, 'update in batch': 6381, '/': 12375, 'loss': 9.427145004272461}\n",
+      "{'epoch': 0, 'update in batch': 6382, '/': 12375, 'loss': 8.164495468139648}\n",
+      "{'epoch': 0, 'update in batch': 6383, '/': 12375, 'loss': 8.34499454498291}\n",
+      "{'epoch': 0, 'update in batch': 6384, '/': 12375, 'loss': 7.894248962402344}\n",
+      "{'epoch': 0, 'update in batch': 6385, '/': 12375, 'loss': 7.771264553070068}\n",
+      "{'epoch': 0, 'update in batch': 6386, '/': 12375, 'loss': 8.0972900390625}\n",
+      "{'epoch': 0, 'update in batch': 6387, '/': 12375, 'loss': 7.970111846923828}\n",
+      "{'epoch': 0, 'update in batch': 6388, '/': 12375, 'loss': 7.688063144683838}\n",
+      "{'epoch': 0, 'update in batch': 6389, '/': 12375, 'loss': 6.797991752624512}\n",
+      "{'epoch': 0, 'update in batch': 6390, '/': 12375, 'loss': 7.85250186920166}\n",
+      "{'epoch': 0, 'update in batch': 6391, '/': 12375, 'loss': 7.870519161224365}\n",
+      "{'epoch': 0, 'update in batch': 6392, '/': 12375, 'loss': 7.273123741149902}\n",
+      "{'epoch': 0, 'update in batch': 6393, '/': 12375, 'loss': 7.360325813293457}\n",
+      "{'epoch': 0, 'update in batch': 6394, '/': 12375, 'loss': 6.835123538970947}\n",
+      "{'epoch': 0, 'update in batch': 6395, '/': 12375, 'loss': 7.315027713775635}\n",
+      "{'epoch': 0, 'update in batch': 6396, '/': 12375, 'loss': 7.2954559326171875}\n",
+      "{'epoch': 0, 'update in batch': 6397, '/': 12375, 'loss': 7.245787620544434}\n",
+      "{'epoch': 0, 'update in batch': 6398, '/': 12375, 'loss': 7.284792423248291}\n",
+      "{'epoch': 0, 'update in batch': 6399, '/': 12375, 'loss': 7.171961307525635}\n",
+      "{'epoch': 0, 'update in batch': 6400, '/': 12375, 'loss': 7.369357109069824}\n",
+      "{'epoch': 0, 'update in batch': 6401, '/': 12375, 'loss': 7.621468544006348}\n",
+      "{'epoch': 0, 'update in batch': 6402, '/': 12375, 'loss': 7.327097415924072}\n",
+      "{'epoch': 0, 'update in batch': 6403, '/': 12375, 'loss': 7.847666263580322}\n",
+      "{'epoch': 0, 'update in batch': 6404, '/': 12375, 'loss': 7.931445121765137}\n",
+      "{'epoch': 0, 'update in batch': 6405, '/': 12375, 'loss': 8.432955741882324}\n",
+      "{'epoch': 0, 'update in batch': 6406, '/': 12375, 'loss': 7.72519588470459}\n",
+      "{'epoch': 0, 'update in batch': 6407, '/': 12375, 'loss': 7.8241119384765625}\n",
+      "{'epoch': 0, 'update in batch': 6408, '/': 12375, 'loss': 6.442048072814941}\n",
+      "{'epoch': 0, 'update in batch': 6409, '/': 12375, 'loss': 6.691222190856934}\n",
+      "{'epoch': 0, 'update in batch': 6410, '/': 12375, 'loss': 7.96340799331665}\n",
+      "{'epoch': 0, 'update in batch': 6411, '/': 12375, 'loss': 7.7135910987854}\n",
+      "{'epoch': 0, 'update in batch': 6412, '/': 12375, 'loss': 8.127662658691406}\n",
+      "{'epoch': 0, 'update in batch': 6413, '/': 12375, 'loss': 7.5300116539001465}\n",
+      "{'epoch': 0, 'update in batch': 6414, '/': 12375, 'loss': 7.6762824058532715}\n",
+      "{'epoch': 0, 'update in batch': 6415, '/': 12375, 'loss': 7.287858486175537}\n",
+      "{'epoch': 0, 'update in batch': 6416, '/': 12375, 'loss': 7.374058723449707}\n",
+      "{'epoch': 0, 'update in batch': 6417, '/': 12375, 'loss': 6.74398136138916}\n",
+      "{'epoch': 0, 'update in batch': 6418, '/': 12375, 'loss': 7.753664493560791}\n",
+      "{'epoch': 0, 'update in batch': 6419, '/': 12375, 'loss': 6.401895046234131}\n",
+      "{'epoch': 0, 'update in batch': 6420, '/': 12375, 'loss': 7.126182556152344}\n",
+      "{'epoch': 0, 'update in batch': 6421, '/': 12375, 'loss': 7.427788734436035}\n",
+      "{'epoch': 0, 'update in batch': 6422, '/': 12375, 'loss': 7.178292274475098}\n",
+      "{'epoch': 0, 'update in batch': 6423, '/': 12375, 'loss': 7.9930830001831055}\n",
+      "{'epoch': 0, 'update in batch': 6424, '/': 12375, 'loss': 7.15609073638916}\n",
+      "{'epoch': 0, 'update in batch': 6425, '/': 12375, 'loss': 8.067951202392578}\n",
+      "{'epoch': 0, 'update in batch': 6426, '/': 12375, 'loss': 6.711208343505859}\n",
+      "{'epoch': 0, 'update in batch': 6427, '/': 12375, 'loss': 7.193270206451416}\n",
+      "{'epoch': 0, 'update in batch': 6428, '/': 12375, 'loss': 7.5551300048828125}\n",
+      "{'epoch': 0, 'update in batch': 6429, '/': 12375, 'loss': 6.912353515625}\n",
+      "{'epoch': 0, 'update in batch': 6430, '/': 12375, 'loss': 6.2538838386535645}\n",
+      "{'epoch': 0, 'update in batch': 6431, '/': 12375, 'loss': 6.969959259033203}\n",
+      "{'epoch': 0, 'update in batch': 6432, '/': 12375, 'loss': 7.186530113220215}\n",
+      "{'epoch': 0, 'update in batch': 6433, '/': 12375, 'loss': 8.283910751342773}\n",
+      "{'epoch': 0, 'update in batch': 6434, '/': 12375, 'loss': 7.0276923179626465}\n",
+      "{'epoch': 0, 'update in batch': 6435, '/': 12375, 'loss': 6.828482627868652}\n",
+      "{'epoch': 0, 'update in batch': 6436, '/': 12375, 'loss': 7.682466983795166}\n",
+      "{'epoch': 0, 'update in batch': 6437, '/': 12375, 'loss': 7.453583717346191}\n",
+      "{'epoch': 0, 'update in batch': 6438, '/': 12375, 'loss': 7.620774269104004}\n",
+      "{'epoch': 0, 'update in batch': 6439, '/': 12375, 'loss': 7.402317047119141}\n",
+      "{'epoch': 0, 'update in batch': 6440, '/': 12375, 'loss': 7.516802787780762}\n",
+      "{'epoch': 0, 'update in batch': 6441, '/': 12375, 'loss': 6.2718610763549805}\n",
+      "{'epoch': 0, 'update in batch': 6442, '/': 12375, 'loss': 7.6013689041137695}\n",
+      "{'epoch': 0, 'update in batch': 6443, '/': 12375, 'loss': 7.323523044586182}\n",
+      "{'epoch': 0, 'update in batch': 6444, '/': 12375, 'loss': 7.391881465911865}\n",
+      "{'epoch': 0, 'update in batch': 6445, '/': 12375, 'loss': 6.810586452484131}\n",
+      "{'epoch': 0, 'update in batch': 6446, '/': 12375, 'loss': 6.988602638244629}\n",
+      "{'epoch': 0, 'update in batch': 6447, '/': 12375, 'loss': 7.17847204208374}\n",
+      "{'epoch': 0, 'update in batch': 6448, '/': 12375, 'loss': 8.10820484161377}\n",
+      "{'epoch': 0, 'update in batch': 6449, '/': 12375, 'loss': 7.9105634689331055}\n",
+      "{'epoch': 0, 'update in batch': 6450, '/': 12375, 'loss': 6.656964302062988}\n",
+      "{'epoch': 0, 'update in batch': 6451, '/': 12375, 'loss': 8.042518615722656}\n",
+      "{'epoch': 0, 'update in batch': 6452, '/': 12375, 'loss': 6.435736656188965}\n",
+      "{'epoch': 0, 'update in batch': 6453, '/': 12375, 'loss': 7.572653770446777}\n",
+      "{'epoch': 0, 'update in batch': 6454, '/': 12375, 'loss': 5.831282615661621}\n",
+      "{'epoch': 0, 'update in batch': 6455, '/': 12375, 'loss': 7.024655818939209}\n",
+      "{'epoch': 0, 'update in batch': 6456, '/': 12375, 'loss': 7.564084053039551}\n",
+      "{'epoch': 0, 'update in batch': 6457, '/': 12375, 'loss': 7.292102813720703}\n",
+      "{'epoch': 0, 'update in batch': 6458, '/': 12375, 'loss': 7.06726598739624}\n",
+      "{'epoch': 0, 'update in batch': 6459, '/': 12375, 'loss': 8.102668762207031}\n",
+      "{'epoch': 0, 'update in batch': 6460, '/': 12375, 'loss': 7.689279079437256}\n",
+      "{'epoch': 0, 'update in batch': 6461, '/': 12375, 'loss': 7.931053161621094}\n",
+      "{'epoch': 0, 'update in batch': 6462, '/': 12375, 'loss': 8.19283676147461}\n",
+      "{'epoch': 0, 'update in batch': 6463, '/': 12375, 'loss': 7.751036643981934}\n",
+      "{'epoch': 0, 'update in batch': 6464, '/': 12375, 'loss': 9.194449424743652}\n",
+      "{'epoch': 0, 'update in batch': 6465, '/': 12375, 'loss': 8.061598777770996}\n",
+      "{'epoch': 0, 'update in batch': 6466, '/': 12375, 'loss': 8.105447769165039}\n",
+      "{'epoch': 0, 'update in batch': 6467, '/': 12375, 'loss': 8.508798599243164}\n",
+      "{'epoch': 0, 'update in batch': 6468, '/': 12375, 'loss': 7.30102014541626}\n",
+      "{'epoch': 0, 'update in batch': 6469, '/': 12375, 'loss': 6.641122341156006}\n",
+      "{'epoch': 0, 'update in batch': 6470, '/': 12375, 'loss': 7.1266188621521}\n",
+      "{'epoch': 0, 'update in batch': 6471, '/': 12375, 'loss': 7.295829772949219}\n",
+      "{'epoch': 0, 'update in batch': 6472, '/': 12375, 'loss': 8.57859992980957}\n",
+      "{'epoch': 0, 'update in batch': 6473, '/': 12375, 'loss': 7.988781929016113}\n",
+      "{'epoch': 0, 'update in batch': 6474, '/': 12375, 'loss': 7.371551513671875}\n",
+      "{'epoch': 0, 'update in batch': 6475, '/': 12375, 'loss': 7.348893642425537}\n",
+      "{'epoch': 0, 'update in batch': 6476, '/': 12375, 'loss': 7.555973052978516}\n",
+      "{'epoch': 0, 'update in batch': 6477, '/': 12375, 'loss': 7.798463344573975}\n",
+      "{'epoch': 0, 'update in batch': 6478, '/': 12375, 'loss': 8.859942436218262}\n",
+      "{'epoch': 0, 'update in batch': 6479, '/': 12375, 'loss': 7.469979286193848}\n",
+      "{'epoch': 0, 'update in batch': 6480, '/': 12375, 'loss': 8.02362060546875}\n",
+      "{'epoch': 0, 'update in batch': 6481, '/': 12375, 'loss': 7.14932918548584}\n",
+      "{'epoch': 0, 'update in batch': 6482, '/': 12375, 'loss': 6.950751304626465}\n",
+      "{'epoch': 0, 'update in batch': 6483, '/': 12375, 'loss': 7.701969146728516}\n",
+      "{'epoch': 0, 'update in batch': 6484, '/': 12375, 'loss': 7.633447170257568}\n",
+      "{'epoch': 0, 'update in batch': 6485, '/': 12375, 'loss': 7.624161720275879}\n",
+      "{'epoch': 0, 'update in batch': 6486, '/': 12375, 'loss': 8.452091217041016}\n",
+      "{'epoch': 0, 'update in batch': 6487, '/': 12375, 'loss': 7.516656398773193}\n",
+      "{'epoch': 0, 'update in batch': 6488, '/': 12375, 'loss': 7.693369388580322}\n",
+      "{'epoch': 0, 'update in batch': 6489, '/': 12375, 'loss': 7.679965972900391}\n",
+      "{'epoch': 0, 'update in batch': 6490, '/': 12375, 'loss': 7.308408260345459}\n",
+      "{'epoch': 0, 'update in batch': 6491, '/': 12375, 'loss': 8.226219177246094}\n",
+      "{'epoch': 0, 'update in batch': 6492, '/': 12375, 'loss': 7.426137447357178}\n",
+      "{'epoch': 0, 'update in batch': 6493, '/': 12375, 'loss': 8.253157615661621}\n",
+      "{'epoch': 0, 'update in batch': 6494, '/': 12375, 'loss': 8.450756072998047}\n",
+      "{'epoch': 0, 'update in batch': 6495, '/': 12375, 'loss': 8.331954002380371}\n",
+      "{'epoch': 0, 'update in batch': 6496, '/': 12375, 'loss': 6.687914848327637}\n",
+      "{'epoch': 0, 'update in batch': 6497, '/': 12375, 'loss': 7.002582550048828}\n",
+      "{'epoch': 0, 'update in batch': 6498, '/': 12375, 'loss': 8.064892768859863}\n",
+      "{'epoch': 0, 'update in batch': 6499, '/': 12375, 'loss': 7.991355895996094}\n",
+      "{'epoch': 0, 'update in batch': 6500, '/': 12375, 'loss': 8.719072341918945}\n",
+      "{'epoch': 0, 'update in batch': 6501, '/': 12375, 'loss': 8.376008987426758}\n",
+      "{'epoch': 0, 'update in batch': 6502, '/': 12375, 'loss': 9.053165435791016}\n",
+      "{'epoch': 0, 'update in batch': 6503, '/': 12375, 'loss': 8.822320938110352}\n",
+      "{'epoch': 0, 'update in batch': 6504, '/': 12375, 'loss': 7.979657173156738}\n",
+      "{'epoch': 0, 'update in batch': 6505, '/': 12375, 'loss': 8.182068824768066}\n",
+      "{'epoch': 0, 'update in batch': 6506, '/': 12375, 'loss': 7.881003379821777}\n",
+      "{'epoch': 0, 'update in batch': 6507, '/': 12375, 'loss': 7.953789710998535}\n",
+      "{'epoch': 0, 'update in batch': 6508, '/': 12375, 'loss': 8.501544952392578}\n",
+      "{'epoch': 0, 'update in batch': 6509, '/': 12375, 'loss': 8.699670791625977}\n",
+      "{'epoch': 0, 'update in batch': 6510, '/': 12375, 'loss': 8.03559398651123}\n",
+      "{'epoch': 0, 'update in batch': 6511, '/': 12375, 'loss': 6.960489749908447}\n",
+      "{'epoch': 0, 'update in batch': 6512, '/': 12375, 'loss': 8.338655471801758}\n",
+      "{'epoch': 0, 'update in batch': 6513, '/': 12375, 'loss': 7.783511161804199}\n",
+      "{'epoch': 0, 'update in batch': 6514, '/': 12375, 'loss': 7.7043137550354}\n",
+      "{'epoch': 0, 'update in batch': 6515, '/': 12375, 'loss': 8.1190185546875}\n",
+      "{'epoch': 0, 'update in batch': 6516, '/': 12375, 'loss': 8.778280258178711}\n",
+      "{'epoch': 0, 'update in batch': 6517, '/': 12375, 'loss': 8.232372283935547}\n",
+      "{'epoch': 0, 'update in batch': 6518, '/': 12375, 'loss': 7.1247758865356445}\n",
+      "{'epoch': 0, 'update in batch': 6519, '/': 12375, 'loss': 7.805067539215088}\n",
+      "{'epoch': 0, 'update in batch': 6520, '/': 12375, 'loss': 7.837771415710449}\n",
+      "{'epoch': 0, 'update in batch': 6521, '/': 12375, 'loss': 8.362707138061523}\n",
+      "{'epoch': 0, 'update in batch': 6522, '/': 12375, 'loss': 8.111148834228516}\n",
+      "{'epoch': 0, 'update in batch': 6523, '/': 12375, 'loss': 7.40447998046875}\n",
+      "{'epoch': 0, 'update in batch': 6524, '/': 12375, 'loss': 7.847733974456787}\n",
+      "{'epoch': 0, 'update in batch': 6525, '/': 12375, 'loss': 8.044137001037598}\n",
+      "{'epoch': 0, 'update in batch': 6526, '/': 12375, 'loss': 7.945761203765869}\n",
+      "{'epoch': 0, 'update in batch': 6527, '/': 12375, 'loss': 7.682094573974609}\n",
+      "{'epoch': 0, 'update in batch': 6528, '/': 12375, 'loss': 8.789344787597656}\n",
+      "{'epoch': 0, 'update in batch': 6529, '/': 12375, 'loss': 8.378923416137695}\n",
+      "{'epoch': 0, 'update in batch': 6530, '/': 12375, 'loss': 8.112969398498535}\n",
+      "{'epoch': 0, 'update in batch': 6531, '/': 12375, 'loss': 7.969618320465088}\n",
+      "{'epoch': 0, 'update in batch': 6532, '/': 12375, 'loss': 7.676279544830322}\n",
+      "{'epoch': 0, 'update in batch': 6533, '/': 12375, 'loss': 7.878486633300781}\n",
+      "{'epoch': 0, 'update in batch': 6534, '/': 12375, 'loss': 8.75156021118164}\n",
+      "{'epoch': 0, 'update in batch': 6535, '/': 12375, 'loss': 8.151500701904297}\n",
+      "{'epoch': 0, 'update in batch': 6536, '/': 12375, 'loss': 8.684623718261719}\n",
+      "{'epoch': 0, 'update in batch': 6537, '/': 12375, 'loss': 8.06236457824707}\n",
+      "{'epoch': 0, 'update in batch': 6538, '/': 12375, 'loss': 8.133644104003906}\n",
+      "{'epoch': 0, 'update in batch': 6539, '/': 12375, 'loss': 8.29588508605957}\n",
+      "{'epoch': 0, 'update in batch': 6540, '/': 12375, 'loss': 8.044160842895508}\n",
+      "{'epoch': 0, 'update in batch': 6541, '/': 12375, 'loss': 7.867794990539551}\n",
+      "{'epoch': 0, 'update in batch': 6542, '/': 12375, 'loss': 8.029921531677246}\n",
+      "{'epoch': 0, 'update in batch': 6543, '/': 12375, 'loss': 8.035039901733398}\n",
+      "{'epoch': 0, 'update in batch': 6544, '/': 12375, 'loss': 8.185297012329102}\n",
+      "{'epoch': 0, 'update in batch': 6545, '/': 12375, 'loss': 8.777037620544434}\n",
+      "{'epoch': 0, 'update in batch': 6546, '/': 12375, 'loss': 7.801973819732666}\n",
+      "{'epoch': 0, 'update in batch': 6547, '/': 12375, 'loss': 8.181809425354004}\n",
+      "{'epoch': 0, 'update in batch': 6548, '/': 12375, 'loss': 7.853424072265625}\n",
+      "{'epoch': 0, 'update in batch': 6549, '/': 12375, 'loss': 7.827442169189453}\n",
+      "{'epoch': 0, 'update in batch': 6550, '/': 12375, 'loss': 7.7343621253967285}\n",
+      "{'epoch': 0, 'update in batch': 6551, '/': 12375, 'loss': 7.230807304382324}\n",
+      "{'epoch': 0, 'update in batch': 6552, '/': 12375, 'loss': 8.427910804748535}\n",
+      "{'epoch': 0, 'update in batch': 6553, '/': 12375, 'loss': 7.315344333648682}\n",
+      "{'epoch': 0, 'update in batch': 6554, '/': 12375, 'loss': 7.283992767333984}\n",
+      "{'epoch': 0, 'update in batch': 6555, '/': 12375, 'loss': 6.899427890777588}\n",
+      "{'epoch': 0, 'update in batch': 6556, '/': 12375, 'loss': 7.5679779052734375}\n",
+      "{'epoch': 0, 'update in batch': 6557, '/': 12375, 'loss': 6.295417308807373}\n",
+      "{'epoch': 0, 'update in batch': 6558, '/': 12375, 'loss': 7.192315101623535}\n",
+      "{'epoch': 0, 'update in batch': 6559, '/': 12375, 'loss': 7.498205661773682}\n",
+      "{'epoch': 0, 'update in batch': 6560, '/': 12375, 'loss': 7.006349086761475}\n",
+      "{'epoch': 0, 'update in batch': 6561, '/': 12375, 'loss': 7.4063591957092285}\n",
+      "{'epoch': 0, 'update in batch': 6562, '/': 12375, 'loss': 7.5291571617126465}\n",
+      "{'epoch': 0, 'update in batch': 6563, '/': 12375, 'loss': 7.677252769470215}\n",
+      "{'epoch': 0, 'update in batch': 6564, '/': 12375, 'loss': 7.8858513832092285}\n",
+      "{'epoch': 0, 'update in batch': 6565, '/': 12375, 'loss': 8.091662406921387}\n",
+      "{'epoch': 0, 'update in batch': 6566, '/': 12375, 'loss': 7.191622734069824}\n",
+      "{'epoch': 0, 'update in batch': 6567, '/': 12375, 'loss': 7.503350734710693}\n",
+      "{'epoch': 0, 'update in batch': 6568, '/': 12375, 'loss': 7.442639350891113}\n",
+      "{'epoch': 0, 'update in batch': 6569, '/': 12375, 'loss': 7.908382415771484}\n",
+      "{'epoch': 0, 'update in batch': 6570, '/': 12375, 'loss': 6.924648284912109}\n",
+      "{'epoch': 0, 'update in batch': 6571, '/': 12375, 'loss': 7.2766828536987305}\n",
+      "{'epoch': 0, 'update in batch': 6572, '/': 12375, 'loss': 7.945291996002197}\n",
+      "{'epoch': 0, 'update in batch': 6573, '/': 12375, 'loss': 7.368712425231934}\n",
+      "{'epoch': 0, 'update in batch': 6574, '/': 12375, 'loss': 8.182344436645508}\n",
+      "{'epoch': 0, 'update in batch': 6575, '/': 12375, 'loss': 8.704172134399414}\n",
+      "{'epoch': 0, 'update in batch': 6576, '/': 12375, 'loss': 8.728511810302734}\n",
+      "{'epoch': 0, 'update in batch': 6577, '/': 12375, 'loss': 7.6510329246521}\n",
+      "{'epoch': 0, 'update in batch': 6578, '/': 12375, 'loss': 7.051409721374512}\n",
+      "{'epoch': 0, 'update in batch': 6579, '/': 12375, 'loss': 7.91977071762085}\n",
+      "{'epoch': 0, 'update in batch': 6580, '/': 12375, 'loss': 7.85775089263916}\n",
+      "{'epoch': 0, 'update in batch': 6581, '/': 12375, 'loss': 6.82888650894165}\n",
+      "{'epoch': 0, 'update in batch': 6582, '/': 12375, 'loss': 6.611053466796875}\n",
+      "{'epoch': 0, 'update in batch': 6583, '/': 12375, 'loss': 6.793866157531738}\n",
+      "{'epoch': 0, 'update in batch': 6584, '/': 12375, 'loss': 7.185702323913574}\n",
+      "{'epoch': 0, 'update in batch': 6585, '/': 12375, 'loss': 7.696014404296875}\n",
+      "{'epoch': 0, 'update in batch': 6586, '/': 12375, 'loss': 7.255648612976074}\n",
+      "{'epoch': 0, 'update in batch': 6587, '/': 12375, 'loss': 7.251558780670166}\n",
+      "{'epoch': 0, 'update in batch': 6588, '/': 12375, 'loss': 7.513718605041504}\n",
+      "{'epoch': 0, 'update in batch': 6589, '/': 12375, 'loss': 6.864020347595215}\n",
+      "{'epoch': 0, 'update in batch': 6590, '/': 12375, 'loss': 8.032767295837402}\n",
+      "{'epoch': 0, 'update in batch': 6591, '/': 12375, 'loss': 7.535347938537598}\n",
+      "{'epoch': 0, 'update in batch': 6592, '/': 12375, 'loss': 7.6796722412109375}\n",
+      "{'epoch': 0, 'update in batch': 6593, '/': 12375, 'loss': 7.891204833984375}\n",
+      "{'epoch': 0, 'update in batch': 6594, '/': 12375, 'loss': 8.116960525512695}\n",
+      "{'epoch': 0, 'update in batch': 6595, '/': 12375, 'loss': 8.297486305236816}\n",
+      "{'epoch': 0, 'update in batch': 6596, '/': 12375, 'loss': 8.373170852661133}\n",
+      "{'epoch': 0, 'update in batch': 6597, '/': 12375, 'loss': 6.921225547790527}\n",
+      "{'epoch': 0, 'update in batch': 6598, '/': 12375, 'loss': 7.1868696212768555}\n",
+      "{'epoch': 0, 'update in batch': 6599, '/': 12375, 'loss': 7.613506317138672}\n",
+      "{'epoch': 0, 'update in batch': 6600, '/': 12375, 'loss': 7.8180999755859375}\n",
+      "{'epoch': 0, 'update in batch': 6601, '/': 12375, 'loss': 7.2472686767578125}\n",
+      "{'epoch': 0, 'update in batch': 6602, '/': 12375, 'loss': 7.087928771972656}\n",
+      "{'epoch': 0, 'update in batch': 6603, '/': 12375, 'loss': 7.905887603759766}\n",
+      "{'epoch': 0, 'update in batch': 6604, '/': 12375, 'loss': 8.519387245178223}\n",
+      "{'epoch': 0, 'update in batch': 6605, '/': 12375, 'loss': 7.983152866363525}\n",
+      "{'epoch': 0, 'update in batch': 6606, '/': 12375, 'loss': 7.758256435394287}\n",
+      "{'epoch': 0, 'update in batch': 6607, '/': 12375, 'loss': 6.9346442222595215}\n",
+      "{'epoch': 0, 'update in batch': 6608, '/': 12375, 'loss': 6.526242256164551}\n",
+      "{'epoch': 0, 'update in batch': 6609, '/': 12375, 'loss': 6.67815637588501}\n",
+      "{'epoch': 0, 'update in batch': 6610, '/': 12375, 'loss': 7.887350559234619}\n",
+      "{'epoch': 0, 'update in batch': 6611, '/': 12375, 'loss': 8.472806930541992}\n",
+      "{'epoch': 0, 'update in batch': 6612, '/': 12375, 'loss': 8.271183013916016}\n",
+      "{'epoch': 0, 'update in batch': 6613, '/': 12375, 'loss': 6.504918098449707}\n",
+      "{'epoch': 0, 'update in batch': 6614, '/': 12375, 'loss': 8.371901512145996}\n",
+      "{'epoch': 0, 'update in batch': 6615, '/': 12375, 'loss': 8.458904266357422}\n",
+      "{'epoch': 0, 'update in batch': 6616, '/': 12375, 'loss': 8.603999137878418}\n",
+      "{'epoch': 0, 'update in batch': 6617, '/': 12375, 'loss': 7.64490270614624}\n",
+      "{'epoch': 0, 'update in batch': 6618, '/': 12375, 'loss': 7.592312812805176}\n",
+      "{'epoch': 0, 'update in batch': 6619, '/': 12375, 'loss': 8.247560501098633}\n",
+      "{'epoch': 0, 'update in batch': 6620, '/': 12375, 'loss': 8.708158493041992}\n",
+      "{'epoch': 0, 'update in batch': 6621, '/': 12375, 'loss': 7.672367095947266}\n",
+      "{'epoch': 0, 'update in batch': 6622, '/': 12375, 'loss': 6.717562675476074}\n",
+      "{'epoch': 0, 'update in batch': 6623, '/': 12375, 'loss': 6.46893310546875}\n",
+      "{'epoch': 0, 'update in batch': 6624, '/': 12375, 'loss': 7.114452362060547}\n",
+      "{'epoch': 0, 'update in batch': 6625, '/': 12375, 'loss': 8.146791458129883}\n",
+      "{'epoch': 0, 'update in batch': 6626, '/': 12375, 'loss': 8.194637298583984}\n",
+      "{'epoch': 0, 'update in batch': 6627, '/': 12375, 'loss': 7.207705497741699}\n",
+      "{'epoch': 0, 'update in batch': 6628, '/': 12375, 'loss': 7.61697244644165}\n",
+      "{'epoch': 0, 'update in batch': 6629, '/': 12375, 'loss': 7.248233795166016}\n",
+      "{'epoch': 0, 'update in batch': 6630, '/': 12375, 'loss': 7.806456089019775}\n",
+      "{'epoch': 0, 'update in batch': 6631, '/': 12375, 'loss': 7.02632999420166}\n",
+      "{'epoch': 0, 'update in batch': 6632, '/': 12375, 'loss': 7.011231899261475}\n",
+      "{'epoch': 0, 'update in batch': 6633, '/': 12375, 'loss': 7.147335052490234}\n",
+      "{'epoch': 0, 'update in batch': 6634, '/': 12375, 'loss': 6.911373138427734}\n",
+      "{'epoch': 0, 'update in batch': 6635, '/': 12375, 'loss': 7.5844926834106445}\n",
+      "{'epoch': 0, 'update in batch': 6636, '/': 12375, 'loss': 7.413872718811035}\n",
+      "{'epoch': 0, 'update in batch': 6637, '/': 12375, 'loss': 6.937400817871094}\n",
+      "{'epoch': 0, 'update in batch': 6638, '/': 12375, 'loss': 7.339917182922363}\n",
+      "{'epoch': 0, 'update in batch': 6639, '/': 12375, 'loss': 7.310507774353027}\n",
+      "{'epoch': 0, 'update in batch': 6640, '/': 12375, 'loss': 7.3645501136779785}\n",
+      "{'epoch': 0, 'update in batch': 6641, '/': 12375, 'loss': 7.920355796813965}\n",
+      "{'epoch': 0, 'update in batch': 6642, '/': 12375, 'loss': 7.403149604797363}\n",
+      "{'epoch': 0, 'update in batch': 6643, '/': 12375, 'loss': 7.571563720703125}\n",
+      "{'epoch': 0, 'update in batch': 6644, '/': 12375, 'loss': 6.912062168121338}\n",
+      "{'epoch': 0, 'update in batch': 6645, '/': 12375, 'loss': 7.886071681976318}\n",
+      "{'epoch': 0, 'update in batch': 6646, '/': 12375, 'loss': 7.573469638824463}\n",
+      "{'epoch': 0, 'update in batch': 6647, '/': 12375, 'loss': 7.780182838439941}\n",
+      "{'epoch': 0, 'update in batch': 6648, '/': 12375, 'loss': 7.586977481842041}\n",
+      "{'epoch': 0, 'update in batch': 6649, '/': 12375, 'loss': 7.502871036529541}\n",
+      "{'epoch': 0, 'update in batch': 6650, '/': 12375, 'loss': 7.298970699310303}\n",
+      "{'epoch': 0, 'update in batch': 6651, '/': 12375, 'loss': 7.64331579208374}\n",
+      "{'epoch': 0, 'update in batch': 6652, '/': 12375, 'loss': 8.441829681396484}\n",
+      "{'epoch': 0, 'update in batch': 6653, '/': 12375, 'loss': 8.414288520812988}\n",
+      "{'epoch': 0, 'update in batch': 6654, '/': 12375, 'loss': 8.16557788848877}\n",
+      "{'epoch': 0, 'update in batch': 6655, '/': 12375, 'loss': 7.722107887268066}\n",
+      "{'epoch': 0, 'update in batch': 6656, '/': 12375, 'loss': 8.765081405639648}\n",
+      "{'epoch': 0, 'update in batch': 6657, '/': 12375, 'loss': 8.731470108032227}\n",
+      "{'epoch': 0, 'update in batch': 6658, '/': 12375, 'loss': 9.223733901977539}\n",
+      "{'epoch': 0, 'update in batch': 6659, '/': 12375, 'loss': 8.59801959991455}\n",
+      "{'epoch': 0, 'update in batch': 6660, '/': 12375, 'loss': 9.043999671936035}\n",
+      "{'epoch': 0, 'update in batch': 6661, '/': 12375, 'loss': 8.594669342041016}\n",
+      "{'epoch': 0, 'update in batch': 6662, '/': 12375, 'loss': 8.143945693969727}\n",
+      "{'epoch': 0, 'update in batch': 6663, '/': 12375, 'loss': 8.522147178649902}\n",
+      "{'epoch': 0, 'update in batch': 6664, '/': 12375, 'loss': 7.929047584533691}\n",
+      "{'epoch': 0, 'update in batch': 6665, '/': 12375, 'loss': 7.538104057312012}\n",
+      "{'epoch': 0, 'update in batch': 6666, '/': 12375, 'loss': 7.998251438140869}\n",
+      "{'epoch': 0, 'update in batch': 6667, '/': 12375, 'loss': 7.869858741760254}\n",
+      "{'epoch': 0, 'update in batch': 6668, '/': 12375, 'loss': 8.130792617797852}\n",
+      "{'epoch': 0, 'update in batch': 6669, '/': 12375, 'loss': 7.8483171463012695}\n",
+      "{'epoch': 0, 'update in batch': 6670, '/': 12375, 'loss': 8.397390365600586}\n",
+      "{'epoch': 0, 'update in batch': 6671, '/': 12375, 'loss': 8.872995376586914}\n",
+      "{'epoch': 0, 'update in batch': 6672, '/': 12375, 'loss': 8.080352783203125}\n",
+      "{'epoch': 0, 'update in batch': 6673, '/': 12375, 'loss': 8.150270462036133}\n",
+      "{'epoch': 0, 'update in batch': 6674, '/': 12375, 'loss': 6.8406243324279785}\n",
+      "{'epoch': 0, 'update in batch': 6675, '/': 12375, 'loss': 8.000345230102539}\n",
+      "{'epoch': 0, 'update in batch': 6676, '/': 12375, 'loss': 7.37326192855835}\n",
+      "{'epoch': 0, 'update in batch': 6677, '/': 12375, 'loss': 7.660327911376953}\n",
+      "{'epoch': 0, 'update in batch': 6678, '/': 12375, 'loss': 7.933897495269775}\n",
+      "{'epoch': 0, 'update in batch': 6679, '/': 12375, 'loss': 7.397578239440918}\n",
+      "{'epoch': 0, 'update in batch': 6680, '/': 12375, 'loss': 7.226080417633057}\n",
+      "{'epoch': 0, 'update in batch': 6681, '/': 12375, 'loss': 8.109556198120117}\n",
+      "{'epoch': 0, 'update in batch': 6682, '/': 12375, 'loss': 8.069880485534668}\n",
+      "{'epoch': 0, 'update in batch': 6683, '/': 12375, 'loss': 8.812992095947266}\n",
+      "{'epoch': 0, 'update in batch': 6684, '/': 12375, 'loss': 8.409502029418945}\n",
+      "{'epoch': 0, 'update in batch': 6685, '/': 12375, 'loss': 7.902499198913574}\n",
+      "{'epoch': 0, 'update in batch': 6686, '/': 12375, 'loss': 9.198984146118164}\n",
+      "{'epoch': 0, 'update in batch': 6687, '/': 12375, 'loss': 8.735841751098633}\n",
+      "{'epoch': 0, 'update in batch': 6688, '/': 12375, 'loss': 9.565801620483398}\n",
+      "{'epoch': 0, 'update in batch': 6689, '/': 12375, 'loss': 8.645198822021484}\n",
+      "{'epoch': 0, 'update in batch': 6690, '/': 12375, 'loss': 9.271215438842773}\n",
+      "{'epoch': 0, 'update in batch': 6691, '/': 12375, 'loss': 9.679479598999023}\n",
+      "{'epoch': 0, 'update in batch': 6692, '/': 12375, 'loss': 9.2051362991333}\n",
+      "{'epoch': 0, 'update in batch': 6693, '/': 12375, 'loss': 9.243258476257324}\n",
+      "{'epoch': 0, 'update in batch': 6694, '/': 12375, 'loss': 8.48073673248291}\n",
+      "{'epoch': 0, 'update in batch': 6695, '/': 12375, 'loss': 7.266666412353516}\n",
+      "{'epoch': 0, 'update in batch': 6696, '/': 12375, 'loss': 7.204320430755615}\n",
+      "{'epoch': 0, 'update in batch': 6697, '/': 12375, 'loss': 7.279091835021973}\n",
+      "{'epoch': 0, 'update in batch': 6698, '/': 12375, 'loss': 7.213220119476318}\n",
+      "{'epoch': 0, 'update in batch': 6699, '/': 12375, 'loss': 7.561623573303223}\n",
+      "{'epoch': 0, 'update in batch': 6700, '/': 12375, 'loss': 8.349611282348633}\n",
+      "{'epoch': 0, 'update in batch': 6701, '/': 12375, 'loss': 7.649178504943848}\n",
+      "{'epoch': 0, 'update in batch': 6702, '/': 12375, 'loss': 7.368381500244141}\n",
+      "{'epoch': 0, 'update in batch': 6703, '/': 12375, 'loss': 6.416750431060791}\n",
+      "{'epoch': 0, 'update in batch': 6704, '/': 12375, 'loss': 6.911990165710449}\n",
+      "{'epoch': 0, 'update in batch': 6705, '/': 12375, 'loss': 7.716282844543457}\n",
+      "{'epoch': 0, 'update in batch': 6706, '/': 12375, 'loss': 8.015244483947754}\n",
+      "{'epoch': 0, 'update in batch': 6707, '/': 12375, 'loss': 6.603478908538818}\n",
+      "{'epoch': 0, 'update in batch': 6708, '/': 12375, 'loss': 7.562788486480713}\n",
+      "{'epoch': 0, 'update in batch': 6709, '/': 12375, 'loss': 7.495216369628906}\n",
+      "{'epoch': 0, 'update in batch': 6710, '/': 12375, 'loss': 7.8684186935424805}\n",
+      "{'epoch': 0, 'update in batch': 6711, '/': 12375, 'loss': 7.9210052490234375}\n",
+      "{'epoch': 0, 'update in batch': 6712, '/': 12375, 'loss': 7.632493019104004}\n",
+      "{'epoch': 0, 'update in batch': 6713, '/': 12375, 'loss': 7.726108551025391}\n",
+      "{'epoch': 0, 'update in batch': 6714, '/': 12375, 'loss': 7.9596848487854}\n",
+      "{'epoch': 0, 'update in batch': 6715, '/': 12375, 'loss': 8.151599884033203}\n",
+      "{'epoch': 0, 'update in batch': 6716, '/': 12375, 'loss': 8.203130722045898}\n",
+      "{'epoch': 0, 'update in batch': 6717, '/': 12375, 'loss': 6.532685279846191}\n",
+      "{'epoch': 0, 'update in batch': 6718, '/': 12375, 'loss': 6.810090065002441}\n",
+      "{'epoch': 0, 'update in batch': 6719, '/': 12375, 'loss': 7.239092826843262}\n",
+      "{'epoch': 0, 'update in batch': 6720, '/': 12375, 'loss': 7.283355712890625}\n",
+      "{'epoch': 0, 'update in batch': 6721, '/': 12375, 'loss': 6.871623992919922}\n",
+      "{'epoch': 0, 'update in batch': 6722, '/': 12375, 'loss': 7.247653007507324}\n",
+      "{'epoch': 0, 'update in batch': 6723, '/': 12375, 'loss': 7.376208305358887}\n",
+      "{'epoch': 0, 'update in batch': 6724, '/': 12375, 'loss': 8.34538459777832}\n",
+      "{'epoch': 0, 'update in batch': 6725, '/': 12375, 'loss': 7.007854461669922}\n",
+      "{'epoch': 0, 'update in batch': 6726, '/': 12375, 'loss': 8.12744426727295}\n",
+      "{'epoch': 0, 'update in batch': 6727, '/': 12375, 'loss': 8.524819374084473}\n",
+      "{'epoch': 0, 'update in batch': 6728, '/': 12375, 'loss': 8.001935958862305}\n",
+      "{'epoch': 0, 'update in batch': 6729, '/': 12375, 'loss': 8.346759796142578}\n",
+      "{'epoch': 0, 'update in batch': 6730, '/': 12375, 'loss': 6.691018104553223}\n",
+      "{'epoch': 0, 'update in batch': 6731, '/': 12375, 'loss': 7.539340019226074}\n",
+      "{'epoch': 0, 'update in batch': 6732, '/': 12375, 'loss': 7.080331325531006}\n",
+      "{'epoch': 0, 'update in batch': 6733, '/': 12375, 'loss': 8.00561809539795}\n",
+      "{'epoch': 0, 'update in batch': 6734, '/': 12375, 'loss': 7.876490592956543}\n",
+      "{'epoch': 0, 'update in batch': 6735, '/': 12375, 'loss': 7.922630310058594}\n",
+      "{'epoch': 0, 'update in batch': 6736, '/': 12375, 'loss': 7.805307865142822}\n",
+      "{'epoch': 0, 'update in batch': 6737, '/': 12375, 'loss': 6.915308475494385}\n",
+      "{'epoch': 0, 'update in batch': 6738, '/': 12375, 'loss': 7.407029628753662}\n",
+      "{'epoch': 0, 'update in batch': 6739, '/': 12375, 'loss': 7.457869052886963}\n",
+      "{'epoch': 0, 'update in batch': 6740, '/': 12375, 'loss': 8.07878303527832}\n",
+      "{'epoch': 0, 'update in batch': 6741, '/': 12375, 'loss': 7.139392852783203}\n",
+      "{'epoch': 0, 'update in batch': 6742, '/': 12375, 'loss': 7.165910243988037}\n",
+      "{'epoch': 0, 'update in batch': 6743, '/': 12375, 'loss': 8.29141902923584}\n",
+      "{'epoch': 0, 'update in batch': 6744, '/': 12375, 'loss': 8.70268440246582}\n",
+      "{'epoch': 0, 'update in batch': 6745, '/': 12375, 'loss': 8.56077766418457}\n",
+      "{'epoch': 0, 'update in batch': 6746, '/': 12375, 'loss': 7.675240516662598}\n",
+      "{'epoch': 0, 'update in batch': 6747, '/': 12375, 'loss': 8.421091079711914}\n",
+      "{'epoch': 0, 'update in batch': 6748, '/': 12375, 'loss': 7.6618218421936035}\n",
+      "{'epoch': 0, 'update in batch': 6749, '/': 12375, 'loss': 8.366793632507324}\n",
+      "{'epoch': 0, 'update in batch': 6750, '/': 12375, 'loss': 7.563593864440918}\n",
+      "{'epoch': 0, 'update in batch': 6751, '/': 12375, 'loss': 7.941626071929932}\n",
+      "{'epoch': 0, 'update in batch': 6752, '/': 12375, 'loss': 7.9542646408081055}\n",
+      "{'epoch': 0, 'update in batch': 6753, '/': 12375, 'loss': 7.756646156311035}\n",
+      "{'epoch': 0, 'update in batch': 6754, '/': 12375, 'loss': 6.669557094573975}\n",
+      "{'epoch': 0, 'update in batch': 6755, '/': 12375, 'loss': 7.130021095275879}\n",
+      "{'epoch': 0, 'update in batch': 6756, '/': 12375, 'loss': 7.797956943511963}\n",
+      "{'epoch': 0, 'update in batch': 6757, '/': 12375, 'loss': 8.559863090515137}\n",
+      "{'epoch': 0, 'update in batch': 6758, '/': 12375, 'loss': 7.316868782043457}\n",
+      "{'epoch': 0, 'update in batch': 6759, '/': 12375, 'loss': 7.809540748596191}\n",
+      "{'epoch': 0, 'update in batch': 6760, '/': 12375, 'loss': 8.154436111450195}\n",
+      "{'epoch': 0, 'update in batch': 6761, '/': 12375, 'loss': 7.128309726715088}\n",
+      "{'epoch': 0, 'update in batch': 6762, '/': 12375, 'loss': 8.03824520111084}\n",
+      "{'epoch': 0, 'update in batch': 6763, '/': 12375, 'loss': 7.591030120849609}\n",
+      "{'epoch': 0, 'update in batch': 6764, '/': 12375, 'loss': 8.760339736938477}\n",
+      "{'epoch': 0, 'update in batch': 6765, '/': 12375, 'loss': 8.550809860229492}\n",
+      "{'epoch': 0, 'update in batch': 6766, '/': 12375, 'loss': 6.798748016357422}\n",
+      "{'epoch': 0, 'update in batch': 6767, '/': 12375, 'loss': 7.588399410247803}\n",
+      "{'epoch': 0, 'update in batch': 6768, '/': 12375, 'loss': 7.419020175933838}\n",
+      "{'epoch': 0, 'update in batch': 6769, '/': 12375, 'loss': 6.9918317794799805}\n",
+      "{'epoch': 0, 'update in batch': 6770, '/': 12375, 'loss': 6.493166446685791}\n",
+      "{'epoch': 0, 'update in batch': 6771, '/': 12375, 'loss': 6.994589805603027}\n",
+      "{'epoch': 0, 'update in batch': 6772, '/': 12375, 'loss': 7.879029750823975}\n",
+      "{'epoch': 0, 'update in batch': 6773, '/': 12375, 'loss': 7.995021820068359}\n",
+      "{'epoch': 0, 'update in batch': 6774, '/': 12375, 'loss': 6.965537071228027}\n",
+      "{'epoch': 0, 'update in batch': 6775, '/': 12375, 'loss': 6.985857963562012}\n",
+      "{'epoch': 0, 'update in batch': 6776, '/': 12375, 'loss': 7.008021354675293}\n",
+      "{'epoch': 0, 'update in batch': 6777, '/': 12375, 'loss': 6.9222211837768555}\n",
+      "{'epoch': 0, 'update in batch': 6778, '/': 12375, 'loss': 7.197499752044678}\n",
+      "{'epoch': 0, 'update in batch': 6779, '/': 12375, 'loss': 6.673825740814209}\n",
+      "{'epoch': 0, 'update in batch': 6780, '/': 12375, 'loss': 7.5857834815979}\n",
+      "{'epoch': 0, 'update in batch': 6781, '/': 12375, 'loss': 7.6409912109375}\n",
+      "{'epoch': 0, 'update in batch': 6782, '/': 12375, 'loss': 7.215250492095947}\n",
+      "{'epoch': 0, 'update in batch': 6783, '/': 12375, 'loss': 7.909250736236572}\n",
+      "{'epoch': 0, 'update in batch': 6784, '/': 12375, 'loss': 7.373656272888184}\n",
+      "{'epoch': 0, 'update in batch': 6785, '/': 12375, 'loss': 8.654653549194336}\n",
+      "{'epoch': 0, 'update in batch': 6786, '/': 12375, 'loss': 7.306520938873291}\n",
+      "{'epoch': 0, 'update in batch': 6787, '/': 12375, 'loss': 7.017873287200928}\n",
+      "{'epoch': 0, 'update in batch': 6788, '/': 12375, 'loss': 7.653002738952637}\n",
+      "{'epoch': 0, 'update in batch': 6789, '/': 12375, 'loss': 7.255116939544678}\n",
+      "{'epoch': 0, 'update in batch': 6790, '/': 12375, 'loss': 7.623217582702637}\n",
+      "{'epoch': 0, 'update in batch': 6791, '/': 12375, 'loss': 7.032347202301025}\n",
+      "{'epoch': 0, 'update in batch': 6792, '/': 12375, 'loss': 8.403538703918457}\n",
+      "{'epoch': 0, 'update in batch': 6793, '/': 12375, 'loss': 7.874655246734619}\n",
+      "{'epoch': 0, 'update in batch': 6794, '/': 12375, 'loss': 7.275660514831543}\n",
+      "{'epoch': 0, 'update in batch': 6795, '/': 12375, 'loss': 8.160966873168945}\n",
+      "{'epoch': 0, 'update in batch': 6796, '/': 12375, 'loss': 8.721192359924316}\n",
+      "{'epoch': 0, 'update in batch': 6797, '/': 12375, 'loss': 7.322190284729004}\n",
+      "{'epoch': 0, 'update in batch': 6798, '/': 12375, 'loss': 6.7349395751953125}\n",
+      "{'epoch': 0, 'update in batch': 6799, '/': 12375, 'loss': 6.8509626388549805}\n",
+      "{'epoch': 0, 'update in batch': 6800, '/': 12375, 'loss': 7.52752161026001}\n",
+      "{'epoch': 0, 'update in batch': 6801, '/': 12375, 'loss': 7.398862361907959}\n",
+      "{'epoch': 0, 'update in batch': 6802, '/': 12375, 'loss': 7.2857184410095215}\n",
+      "{'epoch': 0, 'update in batch': 6803, '/': 12375, 'loss': 7.193117618560791}\n",
+      "{'epoch': 0, 'update in batch': 6804, '/': 12375, 'loss': 6.5934343338012695}\n",
+      "{'epoch': 0, 'update in batch': 6805, '/': 12375, 'loss': 7.450505256652832}\n",
+      "{'epoch': 0, 'update in batch': 6806, '/': 12375, 'loss': 7.282450199127197}\n",
+      "{'epoch': 0, 'update in batch': 6807, '/': 12375, 'loss': 6.363450050354004}\n",
+      "{'epoch': 0, 'update in batch': 6808, '/': 12375, 'loss': 6.908074378967285}\n",
+      "{'epoch': 0, 'update in batch': 6809, '/': 12375, 'loss': 6.833856105804443}\n",
+      "{'epoch': 0, 'update in batch': 6810, '/': 12375, 'loss': 7.647556304931641}\n",
+      "{'epoch': 0, 'update in batch': 6811, '/': 12375, 'loss': 8.069683074951172}\n",
+      "{'epoch': 0, 'update in batch': 6812, '/': 12375, 'loss': 7.804385185241699}\n",
+      "{'epoch': 0, 'update in batch': 6813, '/': 12375, 'loss': 7.507105827331543}\n",
+      "{'epoch': 0, 'update in batch': 6814, '/': 12375, 'loss': 7.440957069396973}\n",
+      "{'epoch': 0, 'update in batch': 6815, '/': 12375, 'loss': 6.730166435241699}\n",
+      "{'epoch': 0, 'update in batch': 6816, '/': 12375, 'loss': 6.992918968200684}\n",
+      "{'epoch': 0, 'update in batch': 6817, '/': 12375, 'loss': 5.9113874435424805}\n",
+      "{'epoch': 0, 'update in batch': 6818, '/': 12375, 'loss': 6.962841987609863}\n",
+      "{'epoch': 0, 'update in batch': 6819, '/': 12375, 'loss': 6.930885314941406}\n",
+      "{'epoch': 0, 'update in batch': 6820, '/': 12375, 'loss': 8.173474311828613}\n",
+      "{'epoch': 0, 'update in batch': 6821, '/': 12375, 'loss': 7.4116010665893555}\n",
+      "{'epoch': 0, 'update in batch': 6822, '/': 12375, 'loss': 7.920760154724121}\n",
+      "{'epoch': 0, 'update in batch': 6823, '/': 12375, 'loss': 7.267494201660156}\n",
+      "{'epoch': 0, 'update in batch': 6824, '/': 12375, 'loss': 7.5450639724731445}\n",
+      "{'epoch': 0, 'update in batch': 6825, '/': 12375, 'loss': 7.503450870513916}\n",
+      "{'epoch': 0, 'update in batch': 6826, '/': 12375, 'loss': 6.970317840576172}\n",
+      "{'epoch': 0, 'update in batch': 6827, '/': 12375, 'loss': 7.638620853424072}\n",
+      "{'epoch': 0, 'update in batch': 6828, '/': 12375, 'loss': 8.094388961791992}\n",
+      "{'epoch': 0, 'update in batch': 6829, '/': 12375, 'loss': 7.750777244567871}\n",
+      "{'epoch': 0, 'update in batch': 6830, '/': 12375, 'loss': 7.667377471923828}\n",
+      "{'epoch': 0, 'update in batch': 6831, '/': 12375, 'loss': 7.575296878814697}\n",
+      "{'epoch': 0, 'update in batch': 6832, '/': 12375, 'loss': 8.066434860229492}\n",
+      "{'epoch': 0, 'update in batch': 6833, '/': 12375, 'loss': 8.50529670715332}\n",
+      "{'epoch': 0, 'update in batch': 6834, '/': 12375, 'loss': 7.093571662902832}\n",
+      "{'epoch': 0, 'update in batch': 6835, '/': 12375, 'loss': 8.57947063446045}\n",
+      "{'epoch': 0, 'update in batch': 6836, '/': 12375, 'loss': 7.23093318939209}\n",
+      "{'epoch': 0, 'update in batch': 6837, '/': 12375, 'loss': 5.955167770385742}\n",
+      "{'epoch': 0, 'update in batch': 6838, '/': 12375, 'loss': 7.6272993087768555}\n",
+      "{'epoch': 0, 'update in batch': 6839, '/': 12375, 'loss': 7.37262487411499}\n",
+      "{'epoch': 0, 'update in batch': 6840, '/': 12375, 'loss': 6.671502590179443}\n",
+      "{'epoch': 0, 'update in batch': 6841, '/': 12375, 'loss': 7.265841484069824}\n",
+      "{'epoch': 0, 'update in batch': 6842, '/': 12375, 'loss': 7.599481105804443}\n",
+      "{'epoch': 0, 'update in batch': 6843, '/': 12375, 'loss': 7.744078159332275}\n",
+      "{'epoch': 0, 'update in batch': 6844, '/': 12375, 'loss': 9.144343376159668}\n",
+      "{'epoch': 0, 'update in batch': 6845, '/': 12375, 'loss': 7.415771484375}\n",
+      "{'epoch': 0, 'update in batch': 6846, '/': 12375, 'loss': 6.033382415771484}\n",
+      "{'epoch': 0, 'update in batch': 6847, '/': 12375, 'loss': 7.789395332336426}\n",
+      "{'epoch': 0, 'update in batch': 6848, '/': 12375, 'loss': 8.072896003723145}\n",
+      "{'epoch': 0, 'update in batch': 6849, '/': 12375, 'loss': 8.032979011535645}\n",
+      "{'epoch': 0, 'update in batch': 6850, '/': 12375, 'loss': 8.539287567138672}\n",
+      "{'epoch': 0, 'update in batch': 6851, '/': 12375, 'loss': 8.694459915161133}\n",
+      "{'epoch': 0, 'update in batch': 6852, '/': 12375, 'loss': 7.719119071960449}\n",
+      "{'epoch': 0, 'update in batch': 6853, '/': 12375, 'loss': 7.659820556640625}\n",
+      "{'epoch': 0, 'update in batch': 6854, '/': 12375, 'loss': 7.209140777587891}\n",
+      "{'epoch': 0, 'update in batch': 6855, '/': 12375, 'loss': 7.183419227600098}\n",
+      "{'epoch': 0, 'update in batch': 6856, '/': 12375, 'loss': 9.305917739868164}\n",
+      "{'epoch': 0, 'update in batch': 6857, '/': 12375, 'loss': 9.942049026489258}\n",
+      "{'epoch': 0, 'update in batch': 6858, '/': 12375, 'loss': 10.441691398620605}\n",
+      "{'epoch': 0, 'update in batch': 6859, '/': 12375, 'loss': 9.955262184143066}\n",
+      "{'epoch': 0, 'update in batch': 6860, '/': 12375, 'loss': 8.413578033447266}\n",
+      "{'epoch': 0, 'update in batch': 6861, '/': 12375, 'loss': 8.472871780395508}\n",
+      "{'epoch': 0, 'update in batch': 6862, '/': 12375, 'loss': 9.079995155334473}\n",
+      "{'epoch': 0, 'update in batch': 6863, '/': 12375, 'loss': 8.76565170288086}\n",
+      "{'epoch': 0, 'update in batch': 6864, '/': 12375, 'loss': 8.910262107849121}\n",
+      "{'epoch': 0, 'update in batch': 6865, '/': 12375, 'loss': 7.9143218994140625}\n",
+      "{'epoch': 0, 'update in batch': 6866, '/': 12375, 'loss': 8.324109077453613}\n",
+      "{'epoch': 0, 'update in batch': 6867, '/': 12375, 'loss': 7.532206058502197}\n",
+      "{'epoch': 0, 'update in batch': 6868, '/': 12375, 'loss': 7.6099677085876465}\n",
+      "{'epoch': 0, 'update in batch': 6869, '/': 12375, 'loss': 7.3561859130859375}\n",
+      "{'epoch': 0, 'update in batch': 6870, '/': 12375, 'loss': 8.213861465454102}\n",
+      "{'epoch': 0, 'update in batch': 6871, '/': 12375, 'loss': 8.138701438903809}\n",
+      "{'epoch': 0, 'update in batch': 6872, '/': 12375, 'loss': 7.900173187255859}\n",
+      "{'epoch': 0, 'update in batch': 6873, '/': 12375, 'loss': 7.687905311584473}\n",
+      "{'epoch': 0, 'update in batch': 6874, '/': 12375, 'loss': 8.052505493164062}\n",
+      "{'epoch': 0, 'update in batch': 6875, '/': 12375, 'loss': 7.937577247619629}\n",
+      "{'epoch': 0, 'update in batch': 6876, '/': 12375, 'loss': 8.571680068969727}\n",
+      "{'epoch': 0, 'update in batch': 6877, '/': 12375, 'loss': 7.747445106506348}\n",
+      "{'epoch': 0, 'update in batch': 6878, '/': 12375, 'loss': 8.065160751342773}\n",
+      "{'epoch': 0, 'update in batch': 6879, '/': 12375, 'loss': 8.049337387084961}\n",
+      "{'epoch': 0, 'update in batch': 6880, '/': 12375, 'loss': 8.354307174682617}\n",
+      "{'epoch': 0, 'update in batch': 6881, '/': 12375, 'loss': 8.032634735107422}\n",
+      "{'epoch': 0, 'update in batch': 6882, '/': 12375, 'loss': 7.674962043762207}\n",
+      "{'epoch': 0, 'update in batch': 6883, '/': 12375, 'loss': 7.707764625549316}\n",
+      "{'epoch': 0, 'update in batch': 6884, '/': 12375, 'loss': 7.882289886474609}\n",
+      "{'epoch': 0, 'update in batch': 6885, '/': 12375, 'loss': 7.656411170959473}\n",
+      "{'epoch': 0, 'update in batch': 6886, '/': 12375, 'loss': 7.936587333679199}\n",
+      "{'epoch': 0, 'update in batch': 6887, '/': 12375, 'loss': 8.254571914672852}\n",
+      "{'epoch': 0, 'update in batch': 6888, '/': 12375, 'loss': 8.17226505279541}\n",
+      "{'epoch': 0, 'update in batch': 6889, '/': 12375, 'loss': 7.88889217376709}\n",
+      "{'epoch': 0, 'update in batch': 6890, '/': 12375, 'loss': 7.654402732849121}\n",
+      "{'epoch': 0, 'update in batch': 6891, '/': 12375, 'loss': 7.6442131996154785}\n",
+      "{'epoch': 0, 'update in batch': 6892, '/': 12375, 'loss': 8.632533073425293}\n",
+      "{'epoch': 0, 'update in batch': 6893, '/': 12375, 'loss': 7.900204658508301}\n",
+      "{'epoch': 0, 'update in batch': 6894, '/': 12375, 'loss': 7.833101749420166}\n",
+      "{'epoch': 0, 'update in batch': 6895, '/': 12375, 'loss': 8.635881423950195}\n",
+      "{'epoch': 0, 'update in batch': 6896, '/': 12375, 'loss': 8.55312728881836}\n",
+      "{'epoch': 0, 'update in batch': 6897, '/': 12375, 'loss': 8.551413536071777}\n",
+      "{'epoch': 0, 'update in batch': 6898, '/': 12375, 'loss': 8.123297691345215}\n",
+      "{'epoch': 0, 'update in batch': 6899, '/': 12375, 'loss': 8.409421920776367}\n",
+      "{'epoch': 0, 'update in batch': 6900, '/': 12375, 'loss': 7.567837715148926}\n",
+      "{'epoch': 0, 'update in batch': 6901, '/': 12375, 'loss': 7.873167514801025}\n",
+      "{'epoch': 0, 'update in batch': 6902, '/': 12375, 'loss': 7.695919990539551}\n",
+      "{'epoch': 0, 'update in batch': 6903, '/': 12375, 'loss': 7.81698751449585}\n",
+      "{'epoch': 0, 'update in batch': 6904, '/': 12375, 'loss': 7.97139835357666}\n",
+      "{'epoch': 0, 'update in batch': 6905, '/': 12375, 'loss': 8.0247220993042}\n",
+      "{'epoch': 0, 'update in batch': 6906, '/': 12375, 'loss': 7.77227258682251}\n",
+      "{'epoch': 0, 'update in batch': 6907, '/': 12375, 'loss': 7.210727691650391}\n",
+      "{'epoch': 0, 'update in batch': 6908, '/': 12375, 'loss': 7.209977626800537}\n",
+      "{'epoch': 0, 'update in batch': 6909, '/': 12375, 'loss': 7.564364433288574}\n",
+      "{'epoch': 0, 'update in batch': 6910, '/': 12375, 'loss': 7.36954402923584}\n",
+      "{'epoch': 0, 'update in batch': 6911, '/': 12375, 'loss': 7.8798041343688965}\n",
+      "{'epoch': 0, 'update in batch': 6912, '/': 12375, 'loss': 6.90649938583374}\n",
+      "{'epoch': 0, 'update in batch': 6913, '/': 12375, 'loss': 7.377089500427246}\n",
+      "{'epoch': 0, 'update in batch': 6914, '/': 12375, 'loss': 7.630256652832031}\n",
+      "{'epoch': 0, 'update in batch': 6915, '/': 12375, 'loss': 6.6273193359375}\n",
+      "{'epoch': 0, 'update in batch': 6916, '/': 12375, 'loss': 6.377138614654541}\n",
+      "{'epoch': 0, 'update in batch': 6917, '/': 12375, 'loss': 6.473740577697754}\n",
+      "{'epoch': 0, 'update in batch': 6918, '/': 12375, 'loss': 7.109034538269043}\n",
+      "{'epoch': 0, 'update in batch': 6919, '/': 12375, 'loss': 6.464255332946777}\n",
+      "{'epoch': 0, 'update in batch': 6920, '/': 12375, 'loss': 6.4876885414123535}\n",
+      "{'epoch': 0, 'update in batch': 6921, '/': 12375, 'loss': 6.52960205078125}\n",
+      "{'epoch': 0, 'update in batch': 6922, '/': 12375, 'loss': 7.140417575836182}\n",
+      "{'epoch': 0, 'update in batch': 6923, '/': 12375, 'loss': 7.168139457702637}\n",
+      "{'epoch': 0, 'update in batch': 6924, '/': 12375, 'loss': 6.894327640533447}\n",
+      "{'epoch': 0, 'update in batch': 6925, '/': 12375, 'loss': 6.862740993499756}\n",
+      "{'epoch': 0, 'update in batch': 6926, '/': 12375, 'loss': 7.098445892333984}\n",
+      "{'epoch': 0, 'update in batch': 6927, '/': 12375, 'loss': 6.563327789306641}\n",
+      "{'epoch': 0, 'update in batch': 6928, '/': 12375, 'loss': 7.28262186050415}\n",
+      "{'epoch': 0, 'update in batch': 6929, '/': 12375, 'loss': 7.257100582122803}\n",
+      "{'epoch': 0, 'update in batch': 6930, '/': 12375, 'loss': 7.279416084289551}\n",
+      "{'epoch': 0, 'update in batch': 6931, '/': 12375, 'loss': 6.815560340881348}\n",
+      "{'epoch': 0, 'update in batch': 6932, '/': 12375, 'loss': 7.508734703063965}\n",
+      "{'epoch': 0, 'update in batch': 6933, '/': 12375, 'loss': 7.147809028625488}\n",
+      "{'epoch': 0, 'update in batch': 6934, '/': 12375, 'loss': 7.069466590881348}\n",
+      "{'epoch': 0, 'update in batch': 6935, '/': 12375, 'loss': 7.3581037521362305}\n",
+      "{'epoch': 0, 'update in batch': 6936, '/': 12375, 'loss': 7.312711238861084}\n",
+      "{'epoch': 0, 'update in batch': 6937, '/': 12375, 'loss': 7.007330417633057}\n",
+      "{'epoch': 0, 'update in batch': 6938, '/': 12375, 'loss': 7.000082492828369}\n",
+      "{'epoch': 0, 'update in batch': 6939, '/': 12375, 'loss': 6.876668453216553}\n",
+      "{'epoch': 0, 'update in batch': 6940, '/': 12375, 'loss': 6.686589241027832}\n",
+      "{'epoch': 0, 'update in batch': 6941, '/': 12375, 'loss': 6.728224754333496}\n",
+      "{'epoch': 0, 'update in batch': 6942, '/': 12375, 'loss': 7.218130588531494}\n",
+      "{'epoch': 0, 'update in batch': 6943, '/': 12375, 'loss': 6.76315975189209}\n",
+      "{'epoch': 0, 'update in batch': 6944, '/': 12375, 'loss': 6.86948299407959}\n",
+      "{'epoch': 0, 'update in batch': 6945, '/': 12375, 'loss': 6.852880954742432}\n",
+      "{'epoch': 0, 'update in batch': 6946, '/': 12375, 'loss': 7.28429651260376}\n",
+      "{'epoch': 0, 'update in batch': 6947, '/': 12375, 'loss': 7.2290802001953125}\n",
+      "{'epoch': 0, 'update in batch': 6948, '/': 12375, 'loss': 6.859784126281738}\n",
+      "{'epoch': 0, 'update in batch': 6949, '/': 12375, 'loss': 6.596311092376709}\n",
+      "{'epoch': 0, 'update in batch': 6950, '/': 12375, 'loss': 6.918663024902344}\n",
+      "{'epoch': 0, 'update in batch': 6951, '/': 12375, 'loss': 7.152667045593262}\n",
+      "{'epoch': 0, 'update in batch': 6952, '/': 12375, 'loss': 7.521531105041504}\n",
+      "{'epoch': 0, 'update in batch': 6953, '/': 12375, 'loss': 7.25189733505249}\n",
+      "{'epoch': 0, 'update in batch': 6954, '/': 12375, 'loss': 6.916017055511475}\n",
+      "{'epoch': 0, 'update in batch': 6955, '/': 12375, 'loss': 7.4545793533325195}\n",
+      "{'epoch': 0, 'update in batch': 6956, '/': 12375, 'loss': 6.83142614364624}\n",
+      "{'epoch': 0, 'update in batch': 6957, '/': 12375, 'loss': 6.876730918884277}\n",
+      "{'epoch': 0, 'update in batch': 6958, '/': 12375, 'loss': 7.3868560791015625}\n",
+      "{'epoch': 0, 'update in batch': 6959, '/': 12375, 'loss': 7.707230567932129}\n",
+      "{'epoch': 0, 'update in batch': 6960, '/': 12375, 'loss': 7.378663539886475}\n",
+      "{'epoch': 0, 'update in batch': 6961, '/': 12375, 'loss': 7.084465026855469}\n",
+      "{'epoch': 0, 'update in batch': 6962, '/': 12375, 'loss': 7.775847434997559}\n",
+      "{'epoch': 0, 'update in batch': 6963, '/': 12375, 'loss': 6.741164207458496}\n",
+      "{'epoch': 0, 'update in batch': 6964, '/': 12375, 'loss': 7.269341468811035}\n",
+      "{'epoch': 0, 'update in batch': 6965, '/': 12375, 'loss': 7.654764652252197}\n",
+      "{'epoch': 0, 'update in batch': 6966, '/': 12375, 'loss': 7.118498802185059}\n",
+      "{'epoch': 0, 'update in batch': 6967, '/': 12375, 'loss': 6.987221717834473}\n",
+      "{'epoch': 0, 'update in batch': 6968, '/': 12375, 'loss': 7.600083827972412}\n",
+      "{'epoch': 0, 'update in batch': 6969, '/': 12375, 'loss': 7.939658164978027}\n",
+      "{'epoch': 0, 'update in batch': 6970, '/': 12375, 'loss': 7.421699523925781}\n",
+      "{'epoch': 0, 'update in batch': 6971, '/': 12375, 'loss': 7.868192195892334}\n",
+      "{'epoch': 0, 'update in batch': 6972, '/': 12375, 'loss': 7.1214189529418945}\n",
+      "{'epoch': 0, 'update in batch': 6973, '/': 12375, 'loss': 7.191490173339844}\n",
+      "{'epoch': 0, 'update in batch': 6974, '/': 12375, 'loss': 6.642725944519043}\n",
+      "{'epoch': 0, 'update in batch': 6975, '/': 12375, 'loss': 6.873292446136475}\n",
+      "{'epoch': 0, 'update in batch': 6976, '/': 12375, 'loss': 6.75506067276001}\n",
+      "{'epoch': 0, 'update in batch': 6977, '/': 12375, 'loss': 6.578974723815918}\n",
+      "{'epoch': 0, 'update in batch': 6978, '/': 12375, 'loss': 8.146675109863281}\n",
+      "{'epoch': 0, 'update in batch': 6979, '/': 12375, 'loss': 6.725571632385254}\n",
+      "{'epoch': 0, 'update in batch': 6980, '/': 12375, 'loss': 6.802945613861084}\n",
+      "{'epoch': 0, 'update in batch': 6981, '/': 12375, 'loss': 6.626364707946777}\n",
+      "{'epoch': 0, 'update in batch': 6982, '/': 12375, 'loss': 7.022007942199707}\n",
+      "{'epoch': 0, 'update in batch': 6983, '/': 12375, 'loss': 6.57641077041626}\n",
+      "{'epoch': 0, 'update in batch': 6984, '/': 12375, 'loss': 7.419161796569824}\n",
+      "{'epoch': 0, 'update in batch': 6985, '/': 12375, 'loss': 6.6071367263793945}\n",
+      "{'epoch': 0, 'update in batch': 6986, '/': 12375, 'loss': 6.414782524108887}\n",
+      "{'epoch': 0, 'update in batch': 6987, '/': 12375, 'loss': 6.931265830993652}\n",
+      "{'epoch': 0, 'update in batch': 6988, '/': 12375, 'loss': 7.178274631500244}\n",
+      "{'epoch': 0, 'update in batch': 6989, '/': 12375, 'loss': 7.646080017089844}\n",
+      "{'epoch': 0, 'update in batch': 6990, '/': 12375, 'loss': 7.992369174957275}\n",
+      "{'epoch': 0, 'update in batch': 6991, '/': 12375, 'loss': 7.338644504547119}\n",
+      "{'epoch': 0, 'update in batch': 6992, '/': 12375, 'loss': 7.786680698394775}\n",
+      "{'epoch': 0, 'update in batch': 6993, '/': 12375, 'loss': 7.35772705078125}\n",
+      "{'epoch': 0, 'update in batch': 6994, '/': 12375, 'loss': 7.861802577972412}\n",
+      "{'epoch': 0, 'update in batch': 6995, '/': 12375, 'loss': 7.875679016113281}\n",
+      "{'epoch': 0, 'update in batch': 6996, '/': 12375, 'loss': 6.8967180252075195}\n",
+      "{'epoch': 0, 'update in batch': 6997, '/': 12375, 'loss': 7.319211006164551}\n",
+      "{'epoch': 0, 'update in batch': 6998, '/': 12375, 'loss': 7.191596984863281}\n",
+      "{'epoch': 0, 'update in batch': 6999, '/': 12375, 'loss': 7.271035671234131}\n",
+      "{'epoch': 0, 'update in batch': 7000, '/': 12375, 'loss': 7.225176811218262}\n",
+      "{'epoch': 0, 'update in batch': 7001, '/': 12375, 'loss': 7.264157772064209}\n",
+      "{'epoch': 0, 'update in batch': 7002, '/': 12375, 'loss': 7.020796775817871}\n",
+      "{'epoch': 0, 'update in batch': 7003, '/': 12375, 'loss': 7.178128719329834}\n",
+      "{'epoch': 0, 'update in batch': 7004, '/': 12375, 'loss': 6.78521203994751}\n",
+      "{'epoch': 0, 'update in batch': 7005, '/': 12375, 'loss': 6.8553571701049805}\n",
+      "{'epoch': 0, 'update in batch': 7006, '/': 12375, 'loss': 7.174031734466553}\n",
+      "{'epoch': 0, 'update in batch': 7007, '/': 12375, 'loss': 6.539587497711182}\n",
+      "{'epoch': 0, 'update in batch': 7008, '/': 12375, 'loss': 6.794896125793457}\n",
+      "{'epoch': 0, 'update in batch': 7009, '/': 12375, 'loss': 7.170266628265381}\n",
+      "{'epoch': 0, 'update in batch': 7010, '/': 12375, 'loss': 6.40204381942749}\n",
+      "{'epoch': 0, 'update in batch': 7011, '/': 12375, 'loss': 7.394604682922363}\n",
+      "{'epoch': 0, 'update in batch': 7012, '/': 12375, 'loss': 7.560263156890869}\n",
+      "{'epoch': 0, 'update in batch': 7013, '/': 12375, 'loss': 7.212785243988037}\n",
+      "{'epoch': 0, 'update in batch': 7014, '/': 12375, 'loss': 7.196953773498535}\n",
+      "{'epoch': 0, 'update in batch': 7015, '/': 12375, 'loss': 7.510956764221191}\n",
+      "{'epoch': 0, 'update in batch': 7016, '/': 12375, 'loss': 6.885011196136475}\n",
+      "{'epoch': 0, 'update in batch': 7017, '/': 12375, 'loss': 7.282764434814453}\n",
+      "{'epoch': 0, 'update in batch': 7018, '/': 12375, 'loss': 7.3144850730896}\n",
+      "{'epoch': 0, 'update in batch': 7019, '/': 12375, 'loss': 6.3910932540893555}\n",
+      "{'epoch': 0, 'update in batch': 7020, '/': 12375, 'loss': 6.585064888000488}\n",
+      "{'epoch': 0, 'update in batch': 7021, '/': 12375, 'loss': 6.741734504699707}\n",
+      "{'epoch': 0, 'update in batch': 7022, '/': 12375, 'loss': 6.944840431213379}\n",
+      "{'epoch': 0, 'update in batch': 7023, '/': 12375, 'loss': 7.382631778717041}\n",
+      "{'epoch': 0, 'update in batch': 7024, '/': 12375, 'loss': 7.594257354736328}\n",
+      "{'epoch': 0, 'update in batch': 7025, '/': 12375, 'loss': 8.221768379211426}\n",
+      "{'epoch': 0, 'update in batch': 7026, '/': 12375, 'loss': 7.5547895431518555}\n",
+      "{'epoch': 0, 'update in batch': 7027, '/': 12375, 'loss': 7.4085259437561035}\n",
+      "{'epoch': 0, 'update in batch': 7028, '/': 12375, 'loss': 7.4051995277404785}\n",
+      "{'epoch': 0, 'update in batch': 7029, '/': 12375, 'loss': 6.3745012283325195}\n",
+      "{'epoch': 0, 'update in batch': 7030, '/': 12375, 'loss': 6.810144901275635}\n",
+      "{'epoch': 0, 'update in batch': 7031, '/': 12375, 'loss': 6.615762233734131}\n",
+      "{'epoch': 0, 'update in batch': 7032, '/': 12375, 'loss': 6.9774065017700195}\n",
+      "{'epoch': 0, 'update in batch': 7033, '/': 12375, 'loss': 6.225619792938232}\n",
+      "{'epoch': 0, 'update in batch': 7034, '/': 12375, 'loss': 7.299639701843262}\n",
+      "{'epoch': 0, 'update in batch': 7035, '/': 12375, 'loss': 6.902606964111328}\n",
+      "{'epoch': 0, 'update in batch': 7036, '/': 12375, 'loss': 6.687198638916016}\n",
+      "{'epoch': 0, 'update in batch': 7037, '/': 12375, 'loss': 6.358948707580566}\n",
+      "{'epoch': 0, 'update in batch': 7038, '/': 12375, 'loss': 6.924468040466309}\n",
+      "{'epoch': 0, 'update in batch': 7039, '/': 12375, 'loss': 7.815789699554443}\n",
+      "{'epoch': 0, 'update in batch': 7040, '/': 12375, 'loss': 7.620697021484375}\n",
+      "{'epoch': 0, 'update in batch': 7041, '/': 12375, 'loss': 6.870209693908691}\n",
+      "{'epoch': 0, 'update in batch': 7042, '/': 12375, 'loss': 6.4942731857299805}\n",
+      "{'epoch': 0, 'update in batch': 7043, '/': 12375, 'loss': 6.958030700683594}\n",
+      "{'epoch': 0, 'update in batch': 7044, '/': 12375, 'loss': 6.585435390472412}\n",
+      "{'epoch': 0, 'update in batch': 7045, '/': 12375, 'loss': 6.769146919250488}\n",
+      "{'epoch': 0, 'update in batch': 7046, '/': 12375, 'loss': 6.200315475463867}\n",
+      "{'epoch': 0, 'update in batch': 7047, '/': 12375, 'loss': 7.030798435211182}\n",
+      "{'epoch': 0, 'update in batch': 7048, '/': 12375, 'loss': 6.981433868408203}\n",
+      "{'epoch': 0, 'update in batch': 7049, '/': 12375, 'loss': 6.896462440490723}\n",
+      "{'epoch': 0, 'update in batch': 7050, '/': 12375, 'loss': 6.862383842468262}\n",
+      "{'epoch': 0, 'update in batch': 7051, '/': 12375, 'loss': 7.59685754776001}\n",
+      "{'epoch': 0, 'update in batch': 7052, '/': 12375, 'loss': 6.5991692543029785}\n",
+      "{'epoch': 0, 'update in batch': 7053, '/': 12375, 'loss': 7.200972557067871}\n",
+      "{'epoch': 0, 'update in batch': 7054, '/': 12375, 'loss': 7.411948204040527}\n",
+      "{'epoch': 0, 'update in batch': 7055, '/': 12375, 'loss': 6.24981689453125}\n",
+      "{'epoch': 0, 'update in batch': 7056, '/': 12375, 'loss': 6.450460910797119}\n",
+      "{'epoch': 0, 'update in batch': 7057, '/': 12375, 'loss': 6.649603366851807}\n",
+      "{'epoch': 0, 'update in batch': 7058, '/': 12375, 'loss': 6.544763088226318}\n",
+      "{'epoch': 0, 'update in batch': 7059, '/': 12375, 'loss': 6.4544997215271}\n",
+      "{'epoch': 0, 'update in batch': 7060, '/': 12375, 'loss': 7.079554557800293}\n",
+      "{'epoch': 0, 'update in batch': 7061, '/': 12375, 'loss': 6.848721504211426}\n",
+      "{'epoch': 0, 'update in batch': 7062, '/': 12375, 'loss': 6.933121681213379}\n",
+      "{'epoch': 0, 'update in batch': 7063, '/': 12375, 'loss': 6.781058311462402}\n",
+      "{'epoch': 0, 'update in batch': 7064, '/': 12375, 'loss': 7.111460208892822}\n",
+      "{'epoch': 0, 'update in batch': 7065, '/': 12375, 'loss': 7.302051544189453}\n",
+      "{'epoch': 0, 'update in batch': 7066, '/': 12375, 'loss': 6.962959289550781}\n",
+      "{'epoch': 0, 'update in batch': 7067, '/': 12375, 'loss': 7.045129299163818}\n",
+      "{'epoch': 0, 'update in batch': 7068, '/': 12375, 'loss': 6.849185943603516}\n",
+      "{'epoch': 0, 'update in batch': 7069, '/': 12375, 'loss': 6.8955397605896}\n",
+      "{'epoch': 0, 'update in batch': 7070, '/': 12375, 'loss': 6.210839748382568}\n",
+      "{'epoch': 0, 'update in batch': 7071, '/': 12375, 'loss': 6.470389366149902}\n",
+      "{'epoch': 0, 'update in batch': 7072, '/': 12375, 'loss': 6.940120697021484}\n",
+      "{'epoch': 0, 'update in batch': 7073, '/': 12375, 'loss': 7.226679801940918}\n",
+      "{'epoch': 0, 'update in batch': 7074, '/': 12375, 'loss': 6.648165702819824}\n",
+      "{'epoch': 0, 'update in batch': 7075, '/': 12375, 'loss': 7.125894069671631}\n",
+      "{'epoch': 0, 'update in batch': 7076, '/': 12375, 'loss': 6.896605491638184}\n",
+      "{'epoch': 0, 'update in batch': 7077, '/': 12375, 'loss': 7.091053009033203}\n",
+      "{'epoch': 0, 'update in batch': 7078, '/': 12375, 'loss': 6.883890628814697}\n",
+      "{'epoch': 0, 'update in batch': 7079, '/': 12375, 'loss': 7.0262908935546875}\n",
+      "{'epoch': 0, 'update in batch': 7080, '/': 12375, 'loss': 6.7314958572387695}\n",
+      "{'epoch': 0, 'update in batch': 7081, '/': 12375, 'loss': 6.951024055480957}\n",
+      "{'epoch': 0, 'update in batch': 7082, '/': 12375, 'loss': 6.666490077972412}\n",
+      "{'epoch': 0, 'update in batch': 7083, '/': 12375, 'loss': 7.260048866271973}\n",
+      "{'epoch': 0, 'update in batch': 7084, '/': 12375, 'loss': 7.160626411437988}\n",
+      "{'epoch': 0, 'update in batch': 7085, '/': 12375, 'loss': 6.351651191711426}\n",
+      "{'epoch': 0, 'update in batch': 7086, '/': 12375, 'loss': 6.652348518371582}\n",
+      "{'epoch': 0, 'update in batch': 7087, '/': 12375, 'loss': 6.5844573974609375}\n",
+      "{'epoch': 0, 'update in batch': 7088, '/': 12375, 'loss': 6.706517219543457}\n",
+      "{'epoch': 0, 'update in batch': 7089, '/': 12375, 'loss': 6.5839104652404785}\n",
+      "{'epoch': 0, 'update in batch': 7090, '/': 12375, 'loss': 6.634086608886719}\n",
+      "{'epoch': 0, 'update in batch': 7091, '/': 12375, 'loss': 6.554823398590088}\n",
+      "{'epoch': 0, 'update in batch': 7092, '/': 12375, 'loss': 7.528463840484619}\n",
+      "{'epoch': 0, 'update in batch': 7093, '/': 12375, 'loss': 7.415594577789307}\n",
+      "{'epoch': 0, 'update in batch': 7094, '/': 12375, 'loss': 7.501692771911621}\n",
+      "{'epoch': 0, 'update in batch': 7095, '/': 12375, 'loss': 7.102971076965332}\n",
+      "{'epoch': 0, 'update in batch': 7096, '/': 12375, 'loss': 6.3972063064575195}\n",
+      "{'epoch': 0, 'update in batch': 7097, '/': 12375, 'loss': 6.252041339874268}\n",
+      "{'epoch': 0, 'update in batch': 7098, '/': 12375, 'loss': 7.441981315612793}\n",
+      "{'epoch': 0, 'update in batch': 7099, '/': 12375, 'loss': 7.538122653961182}\n",
+      "{'epoch': 0, 'update in batch': 7100, '/': 12375, 'loss': 7.872629642486572}\n",
+      "{'epoch': 0, 'update in batch': 7101, '/': 12375, 'loss': 7.276051998138428}\n",
+      "{'epoch': 0, 'update in batch': 7102, '/': 12375, 'loss': 7.933345794677734}\n",
+      "{'epoch': 0, 'update in batch': 7103, '/': 12375, 'loss': 7.423017978668213}\n",
+      "{'epoch': 0, 'update in batch': 7104, '/': 12375, 'loss': 7.402876377105713}\n",
+      "{'epoch': 0, 'update in batch': 7105, '/': 12375, 'loss': 6.5906171798706055}\n",
+      "{'epoch': 0, 'update in batch': 7106, '/': 12375, 'loss': 6.957665920257568}\n",
+      "{'epoch': 0, 'update in batch': 7107, '/': 12375, 'loss': 7.08751916885376}\n",
+      "{'epoch': 0, 'update in batch': 7108, '/': 12375, 'loss': 7.149651527404785}\n",
+      "{'epoch': 0, 'update in batch': 7109, '/': 12375, 'loss': 6.722935676574707}\n",
+      "{'epoch': 0, 'update in batch': 7110, '/': 12375, 'loss': 6.781913757324219}\n",
+      "{'epoch': 0, 'update in batch': 7111, '/': 12375, 'loss': 7.283881187438965}\n",
+      "{'epoch': 0, 'update in batch': 7112, '/': 12375, 'loss': 7.34588623046875}\n",
+      "{'epoch': 0, 'update in batch': 7113, '/': 12375, 'loss': 7.694130897521973}\n",
+      "{'epoch': 0, 'update in batch': 7114, '/': 12375, 'loss': 7.797289848327637}\n",
+      "{'epoch': 0, 'update in batch': 7115, '/': 12375, 'loss': 7.430558681488037}\n",
+      "{'epoch': 0, 'update in batch': 7116, '/': 12375, 'loss': 7.725586891174316}\n",
+      "{'epoch': 0, 'update in batch': 7117, '/': 12375, 'loss': 7.669732570648193}\n",
+      "{'epoch': 0, 'update in batch': 7118, '/': 12375, 'loss': 7.331529140472412}\n",
+      "{'epoch': 0, 'update in batch': 7119, '/': 12375, 'loss': 7.430352210998535}\n",
+      "{'epoch': 0, 'update in batch': 7120, '/': 12375, 'loss': 7.379772186279297}\n",
+      "{'epoch': 0, 'update in batch': 7121, '/': 12375, 'loss': 7.5919952392578125}\n",
+      "{'epoch': 0, 'update in batch': 7122, '/': 12375, 'loss': 7.464224815368652}\n",
+      "{'epoch': 0, 'update in batch': 7123, '/': 12375, 'loss': 7.135286808013916}\n",
+      "{'epoch': 0, 'update in batch': 7124, '/': 12375, 'loss': 6.989439487457275}\n",
+      "{'epoch': 0, 'update in batch': 7125, '/': 12375, 'loss': 7.298431396484375}\n",
+      "{'epoch': 0, 'update in batch': 7126, '/': 12375, 'loss': 6.716275691986084}\n",
+      "{'epoch': 0, 'update in batch': 7127, '/': 12375, 'loss': 7.692089080810547}\n",
+      "{'epoch': 0, 'update in batch': 7128, '/': 12375, 'loss': 6.8664727210998535}\n",
+      "{'epoch': 0, 'update in batch': 7129, '/': 12375, 'loss': 6.8935394287109375}\n",
+      "{'epoch': 0, 'update in batch': 7130, '/': 12375, 'loss': 7.314477443695068}\n",
+      "{'epoch': 0, 'update in batch': 7131, '/': 12375, 'loss': 7.46914005279541}\n",
+      "{'epoch': 0, 'update in batch': 7132, '/': 12375, 'loss': 6.753159999847412}\n",
+      "{'epoch': 0, 'update in batch': 7133, '/': 12375, 'loss': 7.20846700668335}\n",
+      "{'epoch': 0, 'update in batch': 7134, '/': 12375, 'loss': 6.568021297454834}\n",
+      "{'epoch': 0, 'update in batch': 7135, '/': 12375, 'loss': 6.284383773803711}\n",
+      "{'epoch': 0, 'update in batch': 7136, '/': 12375, 'loss': 7.344560146331787}\n",
+      "{'epoch': 0, 'update in batch': 7137, '/': 12375, 'loss': 7.0067620277404785}\n",
+      "{'epoch': 0, 'update in batch': 7138, '/': 12375, 'loss': 6.71041202545166}\n",
+      "{'epoch': 0, 'update in batch': 7139, '/': 12375, 'loss': 6.766768455505371}\n",
+      "{'epoch': 0, 'update in batch': 7140, '/': 12375, 'loss': 7.637564182281494}\n",
+      "{'epoch': 0, 'update in batch': 7141, '/': 12375, 'loss': 6.431798458099365}\n",
+      "{'epoch': 0, 'update in batch': 7142, '/': 12375, 'loss': 7.198700904846191}\n",
+      "{'epoch': 0, 'update in batch': 7143, '/': 12375, 'loss': 6.389118194580078}\n",
+      "{'epoch': 0, 'update in batch': 7144, '/': 12375, 'loss': 6.976263523101807}\n",
+      "{'epoch': 0, 'update in batch': 7145, '/': 12375, 'loss': 7.221733093261719}\n",
+      "{'epoch': 0, 'update in batch': 7146, '/': 12375, 'loss': 7.004124641418457}\n",
+      "{'epoch': 0, 'update in batch': 7147, '/': 12375, 'loss': 7.429205417633057}\n",
+      "{'epoch': 0, 'update in batch': 7148, '/': 12375, 'loss': 6.193624973297119}\n",
+      "{'epoch': 0, 'update in batch': 7149, '/': 12375, 'loss': 7.322409629821777}\n",
+      "{'epoch': 0, 'update in batch': 7150, '/': 12375, 'loss': 6.63178014755249}\n",
+      "{'epoch': 0, 'update in batch': 7151, '/': 12375, 'loss': 7.465582847595215}\n",
+      "{'epoch': 0, 'update in batch': 7152, '/': 12375, 'loss': 6.86000919342041}\n",
+      "{'epoch': 0, 'update in batch': 7153, '/': 12375, 'loss': 6.889898777008057}\n",
+      "{'epoch': 0, 'update in batch': 7154, '/': 12375, 'loss': 6.885962009429932}\n",
+      "{'epoch': 0, 'update in batch': 7155, '/': 12375, 'loss': 6.887207984924316}\n",
+      "{'epoch': 0, 'update in batch': 7156, '/': 12375, 'loss': 6.291376113891602}\n",
+      "{'epoch': 0, 'update in batch': 7157, '/': 12375, 'loss': 7.3025994300842285}\n",
+      "{'epoch': 0, 'update in batch': 7158, '/': 12375, 'loss': 7.411922454833984}\n",
+      "{'epoch': 0, 'update in batch': 7159, '/': 12375, 'loss': 7.002545356750488}\n",
+      "{'epoch': 0, 'update in batch': 7160, '/': 12375, 'loss': 7.136197566986084}\n",
+      "{'epoch': 0, 'update in batch': 7161, '/': 12375, 'loss': 6.721866607666016}\n",
+      "{'epoch': 0, 'update in batch': 7162, '/': 12375, 'loss': 7.4107770919799805}\n",
+      "{'epoch': 0, 'update in batch': 7163, '/': 12375, 'loss': 7.8760199546813965}\n",
+      "{'epoch': 0, 'update in batch': 7164, '/': 12375, 'loss': 7.108233451843262}\n",
+      "{'epoch': 0, 'update in batch': 7165, '/': 12375, 'loss': 8.169622421264648}\n",
+      "{'epoch': 0, 'update in batch': 7166, '/': 12375, 'loss': 7.015009880065918}\n",
+      "{'epoch': 0, 'update in batch': 7167, '/': 12375, 'loss': 6.419835567474365}\n",
+      "{'epoch': 0, 'update in batch': 7168, '/': 12375, 'loss': 7.510750770568848}\n",
+      "{'epoch': 0, 'update in batch': 7169, '/': 12375, 'loss': 7.1033453941345215}\n",
+      "{'epoch': 0, 'update in batch': 7170, '/': 12375, 'loss': 7.802533149719238}\n",
+      "{'epoch': 0, 'update in batch': 7171, '/': 12375, 'loss': 7.338043212890625}\n",
+      "{'epoch': 0, 'update in batch': 7172, '/': 12375, 'loss': 7.531327247619629}\n",
+      "{'epoch': 0, 'update in batch': 7173, '/': 12375, 'loss': 6.249143123626709}\n",
+      "{'epoch': 0, 'update in batch': 7174, '/': 12375, 'loss': 6.732306003570557}\n",
+      "{'epoch': 0, 'update in batch': 7175, '/': 12375, 'loss': 7.286384582519531}\n",
+      "{'epoch': 0, 'update in batch': 7176, '/': 12375, 'loss': 7.392648220062256}\n",
+      "{'epoch': 0, 'update in batch': 7177, '/': 12375, 'loss': 7.146613121032715}\n",
+      "{'epoch': 0, 'update in batch': 7178, '/': 12375, 'loss': 7.675662040710449}\n",
+      "{'epoch': 0, 'update in batch': 7179, '/': 12375, 'loss': 8.357922554016113}\n",
+      "{'epoch': 0, 'update in batch': 7180, '/': 12375, 'loss': 7.291316032409668}\n",
+      "{'epoch': 0, 'update in batch': 7181, '/': 12375, 'loss': 6.763909816741943}\n",
+      "{'epoch': 0, 'update in batch': 7182, '/': 12375, 'loss': 7.420027732849121}\n",
+      "{'epoch': 0, 'update in batch': 7183, '/': 12375, 'loss': 7.401185512542725}\n",
+      "{'epoch': 0, 'update in batch': 7184, '/': 12375, 'loss': 7.2327070236206055}\n",
+      "{'epoch': 0, 'update in batch': 7185, '/': 12375, 'loss': 6.789180755615234}\n",
+      "{'epoch': 0, 'update in batch': 7186, '/': 12375, 'loss': 6.713995456695557}\n",
+      "{'epoch': 0, 'update in batch': 7187, '/': 12375, 'loss': 6.91158390045166}\n",
+      "{'epoch': 0, 'update in batch': 7188, '/': 12375, 'loss': 6.748277187347412}\n",
+      "{'epoch': 0, 'update in batch': 7189, '/': 12375, 'loss': 6.472967624664307}\n",
+      "{'epoch': 0, 'update in batch': 7190, '/': 12375, 'loss': 6.694034576416016}\n",
+      "{'epoch': 0, 'update in batch': 7191, '/': 12375, 'loss': 7.734822750091553}\n",
+      "{'epoch': 0, 'update in batch': 7192, '/': 12375, 'loss': 8.229691505432129}\n",
+      "{'epoch': 0, 'update in batch': 7193, '/': 12375, 'loss': 7.493086338043213}\n",
+      "{'epoch': 0, 'update in batch': 7194, '/': 12375, 'loss': 7.4839372634887695}\n",
+      "{'epoch': 0, 'update in batch': 7195, '/': 12375, 'loss': 7.128743648529053}\n",
+      "{'epoch': 0, 'update in batch': 7196, '/': 12375, 'loss': 7.93969202041626}\n",
+      "{'epoch': 0, 'update in batch': 7197, '/': 12375, 'loss': 7.672008514404297}\n",
+      "{'epoch': 0, 'update in batch': 7198, '/': 12375, 'loss': 7.950692176818848}\n",
+      "{'epoch': 0, 'update in batch': 7199, '/': 12375, 'loss': 8.067670822143555}\n",
+      "{'epoch': 0, 'update in batch': 7200, '/': 12375, 'loss': 7.9402289390563965}\n",
+      "{'epoch': 0, 'update in batch': 7201, '/': 12375, 'loss': 7.985227108001709}\n",
+      "{'epoch': 0, 'update in batch': 7202, '/': 12375, 'loss': 7.55413293838501}\n",
+      "{'epoch': 0, 'update in batch': 7203, '/': 12375, 'loss': 7.816355228424072}\n",
+      "{'epoch': 0, 'update in batch': 7204, '/': 12375, 'loss': 7.649092197418213}\n",
+      "{'epoch': 0, 'update in batch': 7205, '/': 12375, 'loss': 7.663915157318115}\n",
+      "{'epoch': 0, 'update in batch': 7206, '/': 12375, 'loss': 7.21966028213501}\n",
+      "{'epoch': 0, 'update in batch': 7207, '/': 12375, 'loss': 7.309676170349121}\n",
+      "{'epoch': 0, 'update in batch': 7208, '/': 12375, 'loss': 7.506570339202881}\n",
+      "{'epoch': 0, 'update in batch': 7209, '/': 12375, 'loss': 7.512413024902344}\n",
+      "{'epoch': 0, 'update in batch': 7210, '/': 12375, 'loss': 7.93411922454834}\n",
+      "{'epoch': 0, 'update in batch': 7211, '/': 12375, 'loss': 7.315569877624512}\n",
+      "{'epoch': 0, 'update in batch': 7212, '/': 12375, 'loss': 7.663214683532715}\n",
+      "{'epoch': 0, 'update in batch': 7213, '/': 12375, 'loss': 7.843313694000244}\n",
+      "{'epoch': 0, 'update in batch': 7214, '/': 12375, 'loss': 7.593436241149902}\n",
+      "{'epoch': 0, 'update in batch': 7215, '/': 12375, 'loss': 7.49246883392334}\n",
+      "{'epoch': 0, 'update in batch': 7216, '/': 12375, 'loss': 7.576760768890381}\n",
+      "{'epoch': 0, 'update in batch': 7217, '/': 12375, 'loss': 7.335214138031006}\n",
+      "{'epoch': 0, 'update in batch': 7218, '/': 12375, 'loss': 7.434543609619141}\n",
+      "{'epoch': 0, 'update in batch': 7219, '/': 12375, 'loss': 6.759934425354004}\n",
+      "{'epoch': 0, 'update in batch': 7220, '/': 12375, 'loss': 8.364395141601562}\n",
+      "{'epoch': 0, 'update in batch': 7221, '/': 12375, 'loss': 7.912720680236816}\n",
+      "{'epoch': 0, 'update in batch': 7222, '/': 12375, 'loss': 7.986041069030762}\n",
+      "{'epoch': 0, 'update in batch': 7223, '/': 12375, 'loss': 7.680258274078369}\n",
+      "{'epoch': 0, 'update in batch': 7224, '/': 12375, 'loss': 8.017366409301758}\n",
+      "{'epoch': 0, 'update in batch': 7225, '/': 12375, 'loss': 8.191251754760742}\n",
+      "{'epoch': 0, 'update in batch': 7226, '/': 12375, 'loss': 7.766183376312256}\n",
+      "{'epoch': 0, 'update in batch': 7227, '/': 12375, 'loss': 8.257155418395996}\n",
+      "{'epoch': 0, 'update in batch': 7228, '/': 12375, 'loss': 7.841444969177246}\n",
+      "{'epoch': 0, 'update in batch': 7229, '/': 12375, 'loss': 7.2594428062438965}\n",
+      "{'epoch': 0, 'update in batch': 7230, '/': 12375, 'loss': 8.211535453796387}\n",
+      "{'epoch': 0, 'update in batch': 7231, '/': 12375, 'loss': 7.237105369567871}\n",
+      "{'epoch': 0, 'update in batch': 7232, '/': 12375, 'loss': 7.911831855773926}\n",
+      "{'epoch': 0, 'update in batch': 7233, '/': 12375, 'loss': 7.601816654205322}\n",
+      "{'epoch': 0, 'update in batch': 7234, '/': 12375, 'loss': 7.398812294006348}\n",
+      "{'epoch': 0, 'update in batch': 7235, '/': 12375, 'loss': 8.1546630859375}\n",
+      "{'epoch': 0, 'update in batch': 7236, '/': 12375, 'loss': 8.135071754455566}\n",
+      "{'epoch': 0, 'update in batch': 7237, '/': 12375, 'loss': 7.4319024085998535}\n",
+      "{'epoch': 0, 'update in batch': 7238, '/': 12375, 'loss': 6.9616594314575195}\n",
+      "{'epoch': 0, 'update in batch': 7239, '/': 12375, 'loss': 7.31780481338501}\n",
+      "{'epoch': 0, 'update in batch': 7240, '/': 12375, 'loss': 7.169464111328125}\n",
+      "{'epoch': 0, 'update in batch': 7241, '/': 12375, 'loss': 7.202138423919678}\n",
+      "{'epoch': 0, 'update in batch': 7242, '/': 12375, 'loss': 7.279129981994629}\n",
+      "{'epoch': 0, 'update in batch': 7243, '/': 12375, 'loss': 7.476535797119141}\n",
+      "{'epoch': 0, 'update in batch': 7244, '/': 12375, 'loss': 7.7909135818481445}\n",
+      "{'epoch': 0, 'update in batch': 7245, '/': 12375, 'loss': 8.395915985107422}\n",
+      "{'epoch': 0, 'update in batch': 7246, '/': 12375, 'loss': 7.377032279968262}\n",
+      "{'epoch': 0, 'update in batch': 7247, '/': 12375, 'loss': 7.482297420501709}\n",
+      "{'epoch': 0, 'update in batch': 7248, '/': 12375, 'loss': 7.113272666931152}\n",
+      "{'epoch': 0, 'update in batch': 7249, '/': 12375, 'loss': 6.700359344482422}\n",
+      "{'epoch': 0, 'update in batch': 7250, '/': 12375, 'loss': 7.389609336853027}\n",
+      "{'epoch': 0, 'update in batch': 7251, '/': 12375, 'loss': 6.882347106933594}\n",
+      "{'epoch': 0, 'update in batch': 7252, '/': 12375, 'loss': 6.8399176597595215}\n",
+      "{'epoch': 0, 'update in batch': 7253, '/': 12375, 'loss': 7.271021842956543}\n",
+      "{'epoch': 0, 'update in batch': 7254, '/': 12375, 'loss': 7.9182024002075195}\n",
+      "{'epoch': 0, 'update in batch': 7255, '/': 12375, 'loss': 6.568264007568359}\n",
+      "{'epoch': 0, 'update in batch': 7256, '/': 12375, 'loss': 7.343672275543213}\n",
+      "{'epoch': 0, 'update in batch': 7257, '/': 12375, 'loss': 7.162386417388916}\n",
+      "{'epoch': 0, 'update in batch': 7258, '/': 12375, 'loss': 7.812381744384766}\n",
+      "{'epoch': 0, 'update in batch': 7259, '/': 12375, 'loss': 7.483314514160156}\n",
+      "{'epoch': 0, 'update in batch': 7260, '/': 12375, 'loss': 7.189717769622803}\n",
+      "{'epoch': 0, 'update in batch': 7261, '/': 12375, 'loss': 6.380372047424316}\n",
+      "{'epoch': 0, 'update in batch': 7262, '/': 12375, 'loss': 7.407501220703125}\n",
+      "{'epoch': 0, 'update in batch': 7263, '/': 12375, 'loss': 7.346297264099121}\n",
+      "{'epoch': 0, 'update in batch': 7264, '/': 12375, 'loss': 6.948390960693359}\n",
+      "{'epoch': 0, 'update in batch': 7265, '/': 12375, 'loss': 7.195136070251465}\n",
+      "{'epoch': 0, 'update in batch': 7266, '/': 12375, 'loss': 7.356935977935791}\n",
+      "{'epoch': 0, 'update in batch': 7267, '/': 12375, 'loss': 6.911810398101807}\n",
+      "{'epoch': 0, 'update in batch': 7268, '/': 12375, 'loss': 6.165049076080322}\n",
+      "{'epoch': 0, 'update in batch': 7269, '/': 12375, 'loss': 6.1828813552856445}\n",
+      "{'epoch': 0, 'update in batch': 7270, '/': 12375, 'loss': 6.5363054275512695}\n",
+      "{'epoch': 0, 'update in batch': 7271, '/': 12375, 'loss': 6.888500213623047}\n",
+      "{'epoch': 0, 'update in batch': 7272, '/': 12375, 'loss': 5.867545127868652}\n",
+      "{'epoch': 0, 'update in batch': 7273, '/': 12375, 'loss': 6.180563926696777}\n",
+      "{'epoch': 0, 'update in batch': 7274, '/': 12375, 'loss': 6.244185447692871}\n",
+      "{'epoch': 0, 'update in batch': 7275, '/': 12375, 'loss': 6.852129936218262}\n",
+      "{'epoch': 0, 'update in batch': 7276, '/': 12375, 'loss': 7.275479316711426}\n",
+      "{'epoch': 0, 'update in batch': 7277, '/': 12375, 'loss': 7.157334327697754}\n",
+      "{'epoch': 0, 'update in batch': 7278, '/': 12375, 'loss': 7.666811466217041}\n",
+      "{'epoch': 0, 'update in batch': 7279, '/': 12375, 'loss': 6.123393535614014}\n",
+      "{'epoch': 0, 'update in batch': 7280, '/': 12375, 'loss': 6.787741661071777}\n",
+      "{'epoch': 0, 'update in batch': 7281, '/': 12375, 'loss': 7.1734113693237305}\n",
+      "{'epoch': 0, 'update in batch': 7282, '/': 12375, 'loss': 7.205565452575684}\n",
+      "{'epoch': 0, 'update in batch': 7283, '/': 12375, 'loss': 6.831612586975098}\n",
+      "{'epoch': 0, 'update in batch': 7284, '/': 12375, 'loss': 7.362733364105225}\n",
+      "{'epoch': 0, 'update in batch': 7285, '/': 12375, 'loss': 6.864373207092285}\n",
+      "{'epoch': 0, 'update in batch': 7286, '/': 12375, 'loss': 7.042026519775391}\n",
+      "{'epoch': 0, 'update in batch': 7287, '/': 12375, 'loss': 6.789076805114746}\n",
+      "{'epoch': 0, 'update in batch': 7288, '/': 12375, 'loss': 7.144844055175781}\n",
+      "{'epoch': 0, 'update in batch': 7289, '/': 12375, 'loss': 7.211806297302246}\n",
+      "{'epoch': 0, 'update in batch': 7290, '/': 12375, 'loss': 7.296675205230713}\n",
+      "{'epoch': 0, 'update in batch': 7291, '/': 12375, 'loss': 7.279021263122559}\n",
+      "{'epoch': 0, 'update in batch': 7292, '/': 12375, 'loss': 6.1891584396362305}\n",
+      "{'epoch': 0, 'update in batch': 7293, '/': 12375, 'loss': 6.7347211837768555}\n",
+      "{'epoch': 0, 'update in batch': 7294, '/': 12375, 'loss': 6.978168487548828}\n",
+      "{'epoch': 0, 'update in batch': 7295, '/': 12375, 'loss': 7.715799808502197}\n",
+      "{'epoch': 0, 'update in batch': 7296, '/': 12375, 'loss': 7.695054054260254}\n",
+      "{'epoch': 0, 'update in batch': 7297, '/': 12375, 'loss': 6.922089576721191}\n",
+      "{'epoch': 0, 'update in batch': 7298, '/': 12375, 'loss': 7.661024570465088}\n",
+      "{'epoch': 0, 'update in batch': 7299, '/': 12375, 'loss': 7.516610622406006}\n",
+      "{'epoch': 0, 'update in batch': 7300, '/': 12375, 'loss': 7.597829341888428}\n",
+      "{'epoch': 0, 'update in batch': 7301, '/': 12375, 'loss': 6.534324645996094}\n",
+      "{'epoch': 0, 'update in batch': 7302, '/': 12375, 'loss': 6.681028842926025}\n",
+      "{'epoch': 0, 'update in batch': 7303, '/': 12375, 'loss': 6.983482360839844}\n",
+      "{'epoch': 0, 'update in batch': 7304, '/': 12375, 'loss': 7.135468482971191}\n",
+      "{'epoch': 0, 'update in batch': 7305, '/': 12375, 'loss': 6.468995094299316}\n",
+      "{'epoch': 0, 'update in batch': 7306, '/': 12375, 'loss': 5.9713945388793945}\n",
+      "{'epoch': 0, 'update in batch': 7307, '/': 12375, 'loss': 6.560275077819824}\n",
+      "{'epoch': 0, 'update in batch': 7308, '/': 12375, 'loss': 7.147074222564697}\n",
+      "{'epoch': 0, 'update in batch': 7309, '/': 12375, 'loss': 5.598937511444092}\n",
+      "{'epoch': 0, 'update in batch': 7310, '/': 12375, 'loss': 6.3150129318237305}\n",
+      "{'epoch': 0, 'update in batch': 7311, '/': 12375, 'loss': 6.814400672912598}\n",
+      "{'epoch': 0, 'update in batch': 7312, '/': 12375, 'loss': 6.707574367523193}\n",
+      "{'epoch': 0, 'update in batch': 7313, '/': 12375, 'loss': 6.7335333824157715}\n",
+      "{'epoch': 0, 'update in batch': 7314, '/': 12375, 'loss': 7.4018449783325195}\n",
+      "{'epoch': 0, 'update in batch': 7315, '/': 12375, 'loss': 7.178249359130859}\n",
+      "{'epoch': 0, 'update in batch': 7316, '/': 12375, 'loss': 6.9890336990356445}\n",
+      "{'epoch': 0, 'update in batch': 7317, '/': 12375, 'loss': 7.086839199066162}\n",
+      "{'epoch': 0, 'update in batch': 7318, '/': 12375, 'loss': 6.546416282653809}\n",
+      "{'epoch': 0, 'update in batch': 7319, '/': 12375, 'loss': 7.62109375}\n",
+      "{'epoch': 0, 'update in batch': 7320, '/': 12375, 'loss': 6.80165958404541}\n",
+      "{'epoch': 0, 'update in batch': 7321, '/': 12375, 'loss': 7.4321160316467285}\n",
+      "{'epoch': 0, 'update in batch': 7322, '/': 12375, 'loss': 7.470242977142334}\n",
+      "{'epoch': 0, 'update in batch': 7323, '/': 12375, 'loss': 7.424128532409668}\n",
+      "{'epoch': 0, 'update in batch': 7324, '/': 12375, 'loss': 6.816216468811035}\n",
+      "{'epoch': 0, 'update in batch': 7325, '/': 12375, 'loss': 7.137546539306641}\n",
+      "{'epoch': 0, 'update in batch': 7326, '/': 12375, 'loss': 7.597310543060303}\n",
+      "{'epoch': 0, 'update in batch': 7327, '/': 12375, 'loss': 7.412207126617432}\n",
+      "{'epoch': 0, 'update in batch': 7328, '/': 12375, 'loss': 7.016277313232422}\n",
+      "{'epoch': 0, 'update in batch': 7329, '/': 12375, 'loss': 7.3483567237854}\n",
+      "{'epoch': 0, 'update in batch': 7330, '/': 12375, 'loss': 7.193920135498047}\n",
+      "{'epoch': 0, 'update in batch': 7331, '/': 12375, 'loss': 7.605645179748535}\n",
+      "{'epoch': 0, 'update in batch': 7332, '/': 12375, 'loss': 7.612035274505615}\n",
+      "{'epoch': 0, 'update in batch': 7333, '/': 12375, 'loss': 7.656301975250244}\n",
+      "{'epoch': 0, 'update in batch': 7334, '/': 12375, 'loss': 6.915482997894287}\n",
+      "{'epoch': 0, 'update in batch': 7335, '/': 12375, 'loss': 7.206901550292969}\n",
+      "{'epoch': 0, 'update in batch': 7336, '/': 12375, 'loss': 6.446986198425293}\n",
+      "{'epoch': 0, 'update in batch': 7337, '/': 12375, 'loss': 6.349667072296143}\n",
+      "{'epoch': 0, 'update in batch': 7338, '/': 12375, 'loss': 6.615598201751709}\n",
+      "{'epoch': 0, 'update in batch': 7339, '/': 12375, 'loss': 7.130773067474365}\n",
+      "{'epoch': 0, 'update in batch': 7340, '/': 12375, 'loss': 6.792416572570801}\n",
+      "{'epoch': 0, 'update in batch': 7341, '/': 12375, 'loss': 6.847357749938965}\n",
+      "{'epoch': 0, 'update in batch': 7342, '/': 12375, 'loss': 7.203260898590088}\n",
+      "{'epoch': 0, 'update in batch': 7343, '/': 12375, 'loss': 6.649216651916504}\n",
+      "{'epoch': 0, 'update in batch': 7344, '/': 12375, 'loss': 7.71591329574585}\n",
+      "{'epoch': 0, 'update in batch': 7345, '/': 12375, 'loss': 7.271048545837402}\n",
+      "{'epoch': 0, 'update in batch': 7346, '/': 12375, 'loss': 7.247739315032959}\n",
+      "{'epoch': 0, 'update in batch': 7347, '/': 12375, 'loss': 7.082871437072754}\n",
+      "{'epoch': 0, 'update in batch': 7348, '/': 12375, 'loss': 6.742745399475098}\n",
+      "{'epoch': 0, 'update in batch': 7349, '/': 12375, 'loss': 7.333666801452637}\n",
+      "{'epoch': 0, 'update in batch': 7350, '/': 12375, 'loss': 6.783636569976807}\n",
+      "{'epoch': 0, 'update in batch': 7351, '/': 12375, 'loss': 7.065271854400635}\n",
+      "{'epoch': 0, 'update in batch': 7352, '/': 12375, 'loss': 6.920636177062988}\n",
+      "{'epoch': 0, 'update in batch': 7353, '/': 12375, 'loss': 7.166177272796631}\n",
+      "{'epoch': 0, 'update in batch': 7354, '/': 12375, 'loss': 7.03790807723999}\n",
+      "{'epoch': 0, 'update in batch': 7355, '/': 12375, 'loss': 6.644367218017578}\n",
+      "{'epoch': 0, 'update in batch': 7356, '/': 12375, 'loss': 6.866040229797363}\n",
+      "{'epoch': 0, 'update in batch': 7357, '/': 12375, 'loss': 7.050238132476807}\n",
+      "{'epoch': 0, 'update in batch': 7358, '/': 12375, 'loss': 6.594738006591797}\n",
+      "{'epoch': 0, 'update in batch': 7359, '/': 12375, 'loss': 7.293740749359131}\n",
+      "{'epoch': 0, 'update in batch': 7360, '/': 12375, 'loss': 6.967413425445557}\n",
+      "{'epoch': 0, 'update in batch': 7361, '/': 12375, 'loss': 7.171327114105225}\n",
+      "{'epoch': 0, 'update in batch': 7362, '/': 12375, 'loss': 6.531872749328613}\n",
+      "{'epoch': 0, 'update in batch': 7363, '/': 12375, 'loss': 6.733557224273682}\n",
+      "{'epoch': 0, 'update in batch': 7364, '/': 12375, 'loss': 7.26862096786499}\n",
+      "{'epoch': 0, 'update in batch': 7365, '/': 12375, 'loss': 7.197445869445801}\n",
+      "{'epoch': 0, 'update in batch': 7366, '/': 12375, 'loss': 6.3297295570373535}\n",
+      "{'epoch': 0, 'update in batch': 7367, '/': 12375, 'loss': 7.300586700439453}\n",
+      "{'epoch': 0, 'update in batch': 7368, '/': 12375, 'loss': 7.2328362464904785}\n",
+      "{'epoch': 0, 'update in batch': 7369, '/': 12375, 'loss': 7.745774745941162}\n",
+      "{'epoch': 0, 'update in batch': 7370, '/': 12375, 'loss': 6.446131706237793}\n",
+      "{'epoch': 0, 'update in batch': 7371, '/': 12375, 'loss': 6.925508975982666}\n",
+      "{'epoch': 0, 'update in batch': 7372, '/': 12375, 'loss': 6.3941144943237305}\n",
+      "{'epoch': 0, 'update in batch': 7373, '/': 12375, 'loss': 7.298553466796875}\n",
+      "{'epoch': 0, 'update in batch': 7374, '/': 12375, 'loss': 6.940722465515137}\n",
+      "{'epoch': 0, 'update in batch': 7375, '/': 12375, 'loss': 6.860136985778809}\n",
+      "{'epoch': 0, 'update in batch': 7376, '/': 12375, 'loss': 7.3910813331604}\n",
+      "{'epoch': 0, 'update in batch': 7377, '/': 12375, 'loss': 6.831544399261475}\n",
+      "{'epoch': 0, 'update in batch': 7378, '/': 12375, 'loss': 7.036725044250488}\n",
+      "{'epoch': 0, 'update in batch': 7379, '/': 12375, 'loss': 6.79489278793335}\n",
+      "{'epoch': 0, 'update in batch': 7380, '/': 12375, 'loss': 7.35117244720459}\n",
+      "{'epoch': 0, 'update in batch': 7381, '/': 12375, 'loss': 7.5679612159729}\n",
+      "{'epoch': 0, 'update in batch': 7382, '/': 12375, 'loss': 7.145565032958984}\n",
+      "{'epoch': 0, 'update in batch': 7383, '/': 12375, 'loss': 6.476057529449463}\n",
+      "{'epoch': 0, 'update in batch': 7384, '/': 12375, 'loss': 6.95364236831665}\n",
+      "{'epoch': 0, 'update in batch': 7385, '/': 12375, 'loss': 6.871016502380371}\n",
+      "{'epoch': 0, 'update in batch': 7386, '/': 12375, 'loss': 6.649288177490234}\n",
+      "{'epoch': 0, 'update in batch': 7387, '/': 12375, 'loss': 7.878092288970947}\n",
+      "{'epoch': 0, 'update in batch': 7388, '/': 12375, 'loss': 7.225836753845215}\n",
+      "{'epoch': 0, 'update in batch': 7389, '/': 12375, 'loss': 6.89809513092041}\n",
+      "{'epoch': 0, 'update in batch': 7390, '/': 12375, 'loss': 7.000031471252441}\n",
+      "{'epoch': 0, 'update in batch': 7391, '/': 12375, 'loss': 5.903578281402588}\n",
+      "{'epoch': 0, 'update in batch': 7392, '/': 12375, 'loss': 6.646288871765137}\n",
+      "{'epoch': 0, 'update in batch': 7393, '/': 12375, 'loss': 7.000584602355957}\n",
+      "{'epoch': 0, 'update in batch': 7394, '/': 12375, 'loss': 6.258555889129639}\n",
+      "{'epoch': 0, 'update in batch': 7395, '/': 12375, 'loss': 6.806970119476318}\n",
+      "{'epoch': 0, 'update in batch': 7396, '/': 12375, 'loss': 6.623626708984375}\n",
+      "{'epoch': 0, 'update in batch': 7397, '/': 12375, 'loss': 7.142297267913818}\n",
+      "{'epoch': 0, 'update in batch': 7398, '/': 12375, 'loss': 6.768914699554443}\n",
+      "{'epoch': 0, 'update in batch': 7399, '/': 12375, 'loss': 7.213831901550293}\n",
+      "{'epoch': 0, 'update in batch': 7400, '/': 12375, 'loss': 6.577187538146973}\n",
+      "{'epoch': 0, 'update in batch': 7401, '/': 12375, 'loss': 6.721041202545166}\n",
+      "{'epoch': 0, 'update in batch': 7402, '/': 12375, 'loss': 7.587258815765381}\n",
+      "{'epoch': 0, 'update in batch': 7403, '/': 12375, 'loss': 6.688655853271484}\n",
+      "{'epoch': 0, 'update in batch': 7404, '/': 12375, 'loss': 6.814624786376953}\n",
+      "{'epoch': 0, 'update in batch': 7405, '/': 12375, 'loss': 6.724147796630859}\n",
+      "{'epoch': 0, 'update in batch': 7406, '/': 12375, 'loss': 7.349765777587891}\n",
+      "{'epoch': 0, 'update in batch': 7407, '/': 12375, 'loss': 7.404200553894043}\n",
+      "{'epoch': 0, 'update in batch': 7408, '/': 12375, 'loss': 7.587449073791504}\n",
+      "{'epoch': 0, 'update in batch': 7409, '/': 12375, 'loss': 7.5755615234375}\n",
+      "{'epoch': 0, 'update in batch': 7410, '/': 12375, 'loss': 6.899894714355469}\n",
+      "{'epoch': 0, 'update in batch': 7411, '/': 12375, 'loss': 6.75734806060791}\n",
+      "{'epoch': 0, 'update in batch': 7412, '/': 12375, 'loss': 6.882645606994629}\n",
+      "{'epoch': 0, 'update in batch': 7413, '/': 12375, 'loss': 6.283927917480469}\n",
+      "{'epoch': 0, 'update in batch': 7414, '/': 12375, 'loss': 6.609711647033691}\n",
+      "{'epoch': 0, 'update in batch': 7415, '/': 12375, 'loss': 6.840407371520996}\n",
+      "{'epoch': 0, 'update in batch': 7416, '/': 12375, 'loss': 6.601561546325684}\n",
+      "{'epoch': 0, 'update in batch': 7417, '/': 12375, 'loss': 7.210820198059082}\n",
+      "{'epoch': 0, 'update in batch': 7418, '/': 12375, 'loss': 6.754465579986572}\n",
+      "{'epoch': 0, 'update in batch': 7419, '/': 12375, 'loss': 6.770937442779541}\n",
+      "{'epoch': 0, 'update in batch': 7420, '/': 12375, 'loss': 6.743581295013428}\n",
+      "{'epoch': 0, 'update in batch': 7421, '/': 12375, 'loss': 6.87017822265625}\n",
+      "{'epoch': 0, 'update in batch': 7422, '/': 12375, 'loss': 6.71100378036499}\n",
+      "{'epoch': 0, 'update in batch': 7423, '/': 12375, 'loss': 7.133919715881348}\n",
+      "{'epoch': 0, 'update in batch': 7424, '/': 12375, 'loss': 7.34143590927124}\n",
+      "{'epoch': 0, 'update in batch': 7425, '/': 12375, 'loss': 7.2591872215271}\n",
+      "{'epoch': 0, 'update in batch': 7426, '/': 12375, 'loss': 7.3170623779296875}\n",
+      "{'epoch': 0, 'update in batch': 7427, '/': 12375, 'loss': 7.195773124694824}\n",
+      "{'epoch': 0, 'update in batch': 7428, '/': 12375, 'loss': 7.146002769470215}\n",
+      "{'epoch': 0, 'update in batch': 7429, '/': 12375, 'loss': 6.856203556060791}\n",
+      "{'epoch': 0, 'update in batch': 7430, '/': 12375, 'loss': 7.240750312805176}\n",
+      "{'epoch': 0, 'update in batch': 7431, '/': 12375, 'loss': 6.808669090270996}\n",
+      "{'epoch': 0, 'update in batch': 7432, '/': 12375, 'loss': 7.015228271484375}\n",
+      "{'epoch': 0, 'update in batch': 7433, '/': 12375, 'loss': 6.985125541687012}\n",
+      "{'epoch': 0, 'update in batch': 7434, '/': 12375, 'loss': 7.094699859619141}\n",
+      "{'epoch': 0, 'update in batch': 7435, '/': 12375, 'loss': 7.419003486633301}\n",
+      "{'epoch': 0, 'update in batch': 7436, '/': 12375, 'loss': 6.848740577697754}\n",
+      "{'epoch': 0, 'update in batch': 7437, '/': 12375, 'loss': 5.880481243133545}\n",
+      "{'epoch': 0, 'update in batch': 7438, '/': 12375, 'loss': 7.672049522399902}\n",
+      "{'epoch': 0, 'update in batch': 7439, '/': 12375, 'loss': 7.523231506347656}\n",
+      "{'epoch': 0, 'update in batch': 7440, '/': 12375, 'loss': 6.801882266998291}\n",
+      "{'epoch': 0, 'update in batch': 7441, '/': 12375, 'loss': 7.251739501953125}\n",
+      "{'epoch': 0, 'update in batch': 7442, '/': 12375, 'loss': 6.434108734130859}\n",
+      "{'epoch': 0, 'update in batch': 7443, '/': 12375, 'loss': 6.693844795227051}\n",
+      "{'epoch': 0, 'update in batch': 7444, '/': 12375, 'loss': 7.6665778160095215}\n",
+      "{'epoch': 0, 'update in batch': 7445, '/': 12375, 'loss': 7.458681583404541}\n",
+      "{'epoch': 0, 'update in batch': 7446, '/': 12375, 'loss': 7.290661811828613}\n",
+      "{'epoch': 0, 'update in batch': 7447, '/': 12375, 'loss': 6.717316627502441}\n",
+      "{'epoch': 0, 'update in batch': 7448, '/': 12375, 'loss': 5.557898044586182}\n",
+      "{'epoch': 0, 'update in batch': 7449, '/': 12375, 'loss': 7.118522644042969}\n",
+      "{'epoch': 0, 'update in batch': 7450, '/': 12375, 'loss': 6.436472415924072}\n",
+      "{'epoch': 0, 'update in batch': 7451, '/': 12375, 'loss': 7.084200859069824}\n",
+      "{'epoch': 0, 'update in batch': 7452, '/': 12375, 'loss': 6.743086814880371}\n",
+      "{'epoch': 0, 'update in batch': 7453, '/': 12375, 'loss': 6.687966823577881}\n",
+      "{'epoch': 0, 'update in batch': 7454, '/': 12375, 'loss': 7.860301971435547}\n",
+      "{'epoch': 0, 'update in batch': 7455, '/': 12375, 'loss': 6.934149265289307}\n",
+      "{'epoch': 0, 'update in batch': 7456, '/': 12375, 'loss': 6.56234884262085}\n",
+      "{'epoch': 0, 'update in batch': 7457, '/': 12375, 'loss': 6.715534210205078}\n",
+      "{'epoch': 0, 'update in batch': 7458, '/': 12375, 'loss': 6.487479209899902}\n",
+      "{'epoch': 0, 'update in batch': 7459, '/': 12375, 'loss': 7.186743259429932}\n",
+      "{'epoch': 0, 'update in batch': 7460, '/': 12375, 'loss': 6.6660614013671875}\n",
+      "{'epoch': 0, 'update in batch': 7461, '/': 12375, 'loss': 6.80483865737915}\n",
+      "{'epoch': 0, 'update in batch': 7462, '/': 12375, 'loss': 6.535487174987793}\n",
+      "{'epoch': 0, 'update in batch': 7463, '/': 12375, 'loss': 6.665306091308594}\n",
+      "{'epoch': 0, 'update in batch': 7464, '/': 12375, 'loss': 6.661023139953613}\n",
+      "{'epoch': 0, 'update in batch': 7465, '/': 12375, 'loss': 6.052524566650391}\n",
+      "{'epoch': 0, 'update in batch': 7466, '/': 12375, 'loss': 8.069244384765625}\n",
+      "{'epoch': 0, 'update in batch': 7467, '/': 12375, 'loss': 8.273738861083984}\n",
+      "{'epoch': 0, 'update in batch': 7468, '/': 12375, 'loss': 8.277480125427246}\n",
+      "{'epoch': 0, 'update in batch': 7469, '/': 12375, 'loss': 7.273879051208496}\n",
+      "{'epoch': 0, 'update in batch': 7470, '/': 12375, 'loss': 7.915301322937012}\n",
+      "{'epoch': 0, 'update in batch': 7471, '/': 12375, 'loss': 7.718260765075684}\n",
+      "{'epoch': 0, 'update in batch': 7472, '/': 12375, 'loss': 7.394720554351807}\n",
+      "{'epoch': 0, 'update in batch': 7473, '/': 12375, 'loss': 7.720414638519287}\n",
+      "{'epoch': 0, 'update in batch': 7474, '/': 12375, 'loss': 7.9134111404418945}\n",
+      "{'epoch': 0, 'update in batch': 7475, '/': 12375, 'loss': 7.31145715713501}\n",
+      "{'epoch': 0, 'update in batch': 7476, '/': 12375, 'loss': 7.73800802230835}\n",
+      "{'epoch': 0, 'update in batch': 7477, '/': 12375, 'loss': 8.101470947265625}\n",
+      "{'epoch': 0, 'update in batch': 7478, '/': 12375, 'loss': 8.234808921813965}\n",
+      "{'epoch': 0, 'update in batch': 7479, '/': 12375, 'loss': 7.647215843200684}\n",
+      "{'epoch': 0, 'update in batch': 7480, '/': 12375, 'loss': 7.05242919921875}\n",
+      "{'epoch': 0, 'update in batch': 7481, '/': 12375, 'loss': 7.072329521179199}\n",
+      "{'epoch': 0, 'update in batch': 7482, '/': 12375, 'loss': 6.459281921386719}\n",
+      "{'epoch': 0, 'update in batch': 7483, '/': 12375, 'loss': 6.258048057556152}\n",
+      "{'epoch': 0, 'update in batch': 7484, '/': 12375, 'loss': 7.383394718170166}\n",
+      "{'epoch': 0, 'update in batch': 7485, '/': 12375, 'loss': 6.220190048217773}\n",
+      "{'epoch': 0, 'update in batch': 7486, '/': 12375, 'loss': 6.774833679199219}\n",
+      "{'epoch': 0, 'update in batch': 7487, '/': 12375, 'loss': 7.102587699890137}\n",
+      "{'epoch': 0, 'update in batch': 7488, '/': 12375, 'loss': 7.185484886169434}\n",
+      "{'epoch': 0, 'update in batch': 7489, '/': 12375, 'loss': 7.0434746742248535}\n",
+      "{'epoch': 0, 'update in batch': 7490, '/': 12375, 'loss': 7.293903350830078}\n",
+      "{'epoch': 0, 'update in batch': 7491, '/': 12375, 'loss': 7.4006757736206055}\n",
+      "{'epoch': 0, 'update in batch': 7492, '/': 12375, 'loss': 7.0420708656311035}\n",
+      "{'epoch': 0, 'update in batch': 7493, '/': 12375, 'loss': 8.219016075134277}\n",
+      "{'epoch': 0, 'update in batch': 7494, '/': 12375, 'loss': 8.072561264038086}\n",
+      "{'epoch': 0, 'update in batch': 7495, '/': 12375, 'loss': 7.770140647888184}\n",
+      "{'epoch': 0, 'update in batch': 7496, '/': 12375, 'loss': 7.182558536529541}\n",
+      "{'epoch': 0, 'update in batch': 7497, '/': 12375, 'loss': 7.975490570068359}\n",
+      "{'epoch': 0, 'update in batch': 7498, '/': 12375, 'loss': 7.980025291442871}\n",
+      "{'epoch': 0, 'update in batch': 7499, '/': 12375, 'loss': 7.834641933441162}\n",
+      "{'epoch': 0, 'update in batch': 7500, '/': 12375, 'loss': 7.885034084320068}\n",
+      "{'epoch': 0, 'update in batch': 7501, '/': 12375, 'loss': 7.8388671875}\n",
+      "{'epoch': 0, 'update in batch': 7502, '/': 12375, 'loss': 7.748989105224609}\n",
+      "{'epoch': 0, 'update in batch': 7503, '/': 12375, 'loss': 7.6885480880737305}\n",
+      "{'epoch': 0, 'update in batch': 7504, '/': 12375, 'loss': 8.03203010559082}\n",
+      "{'epoch': 0, 'update in batch': 7505, '/': 12375, 'loss': 8.047964096069336}\n",
+      "{'epoch': 0, 'update in batch': 7506, '/': 12375, 'loss': 7.688311576843262}\n",
+      "{'epoch': 0, 'update in batch': 7507, '/': 12375, 'loss': 7.556003570556641}\n",
+      "{'epoch': 0, 'update in batch': 7508, '/': 12375, 'loss': 7.665022373199463}\n",
+      "{'epoch': 0, 'update in batch': 7509, '/': 12375, 'loss': 6.692028045654297}\n",
+      "{'epoch': 0, 'update in batch': 7510, '/': 12375, 'loss': 6.785414218902588}\n",
+      "{'epoch': 0, 'update in batch': 7511, '/': 12375, 'loss': 7.459463596343994}\n",
+      "{'epoch': 0, 'update in batch': 7512, '/': 12375, 'loss': 6.739861965179443}\n",
+      "{'epoch': 0, 'update in batch': 7513, '/': 12375, 'loss': 7.277193546295166}\n",
+      "{'epoch': 0, 'update in batch': 7514, '/': 12375, 'loss': 7.535471439361572}\n",
+      "{'epoch': 0, 'update in batch': 7515, '/': 12375, 'loss': 7.690554618835449}\n",
+      "{'epoch': 0, 'update in batch': 7516, '/': 12375, 'loss': 7.042433738708496}\n",
+      "{'epoch': 0, 'update in batch': 7517, '/': 12375, 'loss': 7.397479057312012}\n",
+      "{'epoch': 0, 'update in batch': 7518, '/': 12375, 'loss': 8.151714324951172}\n",
+      "{'epoch': 0, 'update in batch': 7519, '/': 12375, 'loss': 6.6930084228515625}\n",
+      "{'epoch': 0, 'update in batch': 7520, '/': 12375, 'loss': 6.509528160095215}\n",
+      "{'epoch': 0, 'update in batch': 7521, '/': 12375, 'loss': 7.191570281982422}\n",
+      "{'epoch': 0, 'update in batch': 7522, '/': 12375, 'loss': 7.433765411376953}\n",
+      "{'epoch': 0, 'update in batch': 7523, '/': 12375, 'loss': 7.9168877601623535}\n",
+      "{'epoch': 0, 'update in batch': 7524, '/': 12375, 'loss': 7.628916263580322}\n",
+      "{'epoch': 0, 'update in batch': 7525, '/': 12375, 'loss': 7.658474922180176}\n",
+      "{'epoch': 0, 'update in batch': 7526, '/': 12375, 'loss': 8.066411972045898}\n",
+      "{'epoch': 0, 'update in batch': 7527, '/': 12375, 'loss': 7.662076473236084}\n",
+      "{'epoch': 0, 'update in batch': 7528, '/': 12375, 'loss': 7.872644901275635}\n",
+      "{'epoch': 0, 'update in batch': 7529, '/': 12375, 'loss': 7.441311836242676}\n",
+      "{'epoch': 0, 'update in batch': 7530, '/': 12375, 'loss': 7.290674686431885}\n",
+      "{'epoch': 0, 'update in batch': 7531, '/': 12375, 'loss': 7.520936012268066}\n",
+      "{'epoch': 0, 'update in batch': 7532, '/': 12375, 'loss': 7.746415615081787}\n",
+      "{'epoch': 0, 'update in batch': 7533, '/': 12375, 'loss': 7.488761901855469}\n",
+      "{'epoch': 0, 'update in batch': 7534, '/': 12375, 'loss': 7.401739597320557}\n",
+      "{'epoch': 0, 'update in batch': 7535, '/': 12375, 'loss': 7.919368743896484}\n",
+      "{'epoch': 0, 'update in batch': 7536, '/': 12375, 'loss': 7.476664066314697}\n",
+      "{'epoch': 0, 'update in batch': 7537, '/': 12375, 'loss': 7.147456169128418}\n",
+      "{'epoch': 0, 'update in batch': 7538, '/': 12375, 'loss': 7.081778049468994}\n",
+      "{'epoch': 0, 'update in batch': 7539, '/': 12375, 'loss': 6.8871660232543945}\n",
+      "{'epoch': 0, 'update in batch': 7540, '/': 12375, 'loss': 7.72631311416626}\n",
+      "{'epoch': 0, 'update in batch': 7541, '/': 12375, 'loss': 7.700506687164307}\n",
+      "{'epoch': 0, 'update in batch': 7542, '/': 12375, 'loss': 7.042834281921387}\n",
+      "{'epoch': 0, 'update in batch': 7543, '/': 12375, 'loss': 7.58172082901001}\n",
+      "{'epoch': 0, 'update in batch': 7544, '/': 12375, 'loss': 6.766646385192871}\n",
+      "{'epoch': 0, 'update in batch': 7545, '/': 12375, 'loss': 6.925266265869141}\n",
+      "{'epoch': 0, 'update in batch': 7546, '/': 12375, 'loss': 6.6794891357421875}\n",
+      "{'epoch': 0, 'update in batch': 7547, '/': 12375, 'loss': 7.77545166015625}\n",
+      "{'epoch': 0, 'update in batch': 7548, '/': 12375, 'loss': 7.879616737365723}\n",
+      "{'epoch': 0, 'update in batch': 7549, '/': 12375, 'loss': 7.506109714508057}\n",
+      "{'epoch': 0, 'update in batch': 7550, '/': 12375, 'loss': 7.660580635070801}\n",
+      "{'epoch': 0, 'update in batch': 7551, '/': 12375, 'loss': 7.734199523925781}\n",
+      "{'epoch': 0, 'update in batch': 7552, '/': 12375, 'loss': 7.94919490814209}\n",
+      "{'epoch': 0, 'update in batch': 7553, '/': 12375, 'loss': 8.055106163024902}\n",
+      "{'epoch': 0, 'update in batch': 7554, '/': 12375, 'loss': 8.040900230407715}\n",
+      "{'epoch': 0, 'update in batch': 7555, '/': 12375, 'loss': 7.658780574798584}\n",
+      "{'epoch': 0, 'update in batch': 7556, '/': 12375, 'loss': 8.224172592163086}\n",
+      "{'epoch': 0, 'update in batch': 7557, '/': 12375, 'loss': 7.592235565185547}\n",
+      "{'epoch': 0, 'update in batch': 7558, '/': 12375, 'loss': 8.34613037109375}\n",
+      "{'epoch': 0, 'update in batch': 7559, '/': 12375, 'loss': 8.48029613494873}\n",
+      "{'epoch': 0, 'update in batch': 7560, '/': 12375, 'loss': 7.834552764892578}\n",
+      "{'epoch': 0, 'update in batch': 7561, '/': 12375, 'loss': 8.06040096282959}\n",
+      "{'epoch': 0, 'update in batch': 7562, '/': 12375, 'loss': 8.067914962768555}\n",
+      "{'epoch': 0, 'update in batch': 7563, '/': 12375, 'loss': 7.205777168273926}\n",
+      "{'epoch': 0, 'update in batch': 7564, '/': 12375, 'loss': 7.324481964111328}\n",
+      "{'epoch': 0, 'update in batch': 7565, '/': 12375, 'loss': 7.263005256652832}\n",
+      "{'epoch': 0, 'update in batch': 7566, '/': 12375, 'loss': 7.338534355163574}\n",
+      "{'epoch': 0, 'update in batch': 7567, '/': 12375, 'loss': 7.166974067687988}\n",
+      "{'epoch': 0, 'update in batch': 7568, '/': 12375, 'loss': 7.453418731689453}\n",
+      "{'epoch': 0, 'update in batch': 7569, '/': 12375, 'loss': 7.989288330078125}\n",
+      "{'epoch': 0, 'update in batch': 7570, '/': 12375, 'loss': 6.680857181549072}\n",
+      "{'epoch': 0, 'update in batch': 7571, '/': 12375, 'loss': 7.155346870422363}\n",
+      "{'epoch': 0, 'update in batch': 7572, '/': 12375, 'loss': 6.711460113525391}\n",
+      "{'epoch': 0, 'update in batch': 7573, '/': 12375, 'loss': 7.042472839355469}\n",
+      "{'epoch': 0, 'update in batch': 7574, '/': 12375, 'loss': 7.7499494552612305}\n",
+      "{'epoch': 0, 'update in batch': 7575, '/': 12375, 'loss': 7.107565879821777}\n",
+      "{'epoch': 0, 'update in batch': 7576, '/': 12375, 'loss': 7.186830997467041}\n",
+      "{'epoch': 0, 'update in batch': 7577, '/': 12375, 'loss': 7.228850364685059}\n",
+      "{'epoch': 0, 'update in batch': 7578, '/': 12375, 'loss': 6.972955226898193}\n",
+      "{'epoch': 0, 'update in batch': 7579, '/': 12375, 'loss': 8.693632125854492}\n",
+      "{'epoch': 0, 'update in batch': 7580, '/': 12375, 'loss': 7.439211368560791}\n",
+      "{'epoch': 0, 'update in batch': 7581, '/': 12375, 'loss': 6.516763210296631}\n",
+      "{'epoch': 0, 'update in batch': 7582, '/': 12375, 'loss': 7.850444793701172}\n",
+      "{'epoch': 0, 'update in batch': 7583, '/': 12375, 'loss': 7.489691257476807}\n",
+      "{'epoch': 0, 'update in batch': 7584, '/': 12375, 'loss': 7.838193416595459}\n",
+      "{'epoch': 0, 'update in batch': 7585, '/': 12375, 'loss': 8.474431991577148}\n",
+      "{'epoch': 0, 'update in batch': 7586, '/': 12375, 'loss': 7.812283515930176}\n",
+      "{'epoch': 0, 'update in batch': 7587, '/': 12375, 'loss': 8.019941329956055}\n",
+      "{'epoch': 0, 'update in batch': 7588, '/': 12375, 'loss': 7.840695858001709}\n",
+      "{'epoch': 0, 'update in batch': 7589, '/': 12375, 'loss': 8.142167091369629}\n",
+      "{'epoch': 0, 'update in batch': 7590, '/': 12375, 'loss': 7.254422664642334}\n",
+      "{'epoch': 0, 'update in batch': 7591, '/': 12375, 'loss': 7.524478912353516}\n",
+      "{'epoch': 0, 'update in batch': 7592, '/': 12375, 'loss': 6.44580078125}\n",
+      "{'epoch': 0, 'update in batch': 7593, '/': 12375, 'loss': 7.306853294372559}\n",
+      "{'epoch': 0, 'update in batch': 7594, '/': 12375, 'loss': 7.074082851409912}\n",
+      "{'epoch': 0, 'update in batch': 7595, '/': 12375, 'loss': 7.802351951599121}\n",
+      "{'epoch': 0, 'update in batch': 7596, '/': 12375, 'loss': 7.835997581481934}\n",
+      "{'epoch': 0, 'update in batch': 7597, '/': 12375, 'loss': 7.014514923095703}\n",
+      "{'epoch': 0, 'update in batch': 7598, '/': 12375, 'loss': 7.575503349304199}\n",
+      "{'epoch': 0, 'update in batch': 7599, '/': 12375, 'loss': 7.363731384277344}\n",
+      "{'epoch': 0, 'update in batch': 7600, '/': 12375, 'loss': 6.703385829925537}\n",
+      "{'epoch': 0, 'update in batch': 7601, '/': 12375, 'loss': 6.3656415939331055}\n",
+      "{'epoch': 0, 'update in batch': 7602, '/': 12375, 'loss': 7.487721920013428}\n",
+      "{'epoch': 0, 'update in batch': 7603, '/': 12375, 'loss': 7.759814262390137}\n",
+      "{'epoch': 0, 'update in batch': 7604, '/': 12375, 'loss': 7.278578758239746}\n",
+      "{'epoch': 0, 'update in batch': 7605, '/': 12375, 'loss': 7.548216819763184}\n",
+      "{'epoch': 0, 'update in batch': 7606, '/': 12375, 'loss': 7.258490085601807}\n",
+      "{'epoch': 0, 'update in batch': 7607, '/': 12375, 'loss': 7.56866979598999}\n",
+      "{'epoch': 0, 'update in batch': 7608, '/': 12375, 'loss': 7.444113254547119}\n",
+      "{'epoch': 0, 'update in batch': 7609, '/': 12375, 'loss': 7.597532749176025}\n",
+      "{'epoch': 0, 'update in batch': 7610, '/': 12375, 'loss': 7.960943698883057}\n",
+      "{'epoch': 0, 'update in batch': 7611, '/': 12375, 'loss': 6.839070796966553}\n",
+      "{'epoch': 0, 'update in batch': 7612, '/': 12375, 'loss': 7.397762298583984}\n",
+      "{'epoch': 0, 'update in batch': 7613, '/': 12375, 'loss': 7.817653656005859}\n",
+      "{'epoch': 0, 'update in batch': 7614, '/': 12375, 'loss': 7.869825839996338}\n",
+      "{'epoch': 0, 'update in batch': 7615, '/': 12375, 'loss': 7.09097146987915}\n",
+      "{'epoch': 0, 'update in batch': 7616, '/': 12375, 'loss': 7.076507568359375}\n",
+      "{'epoch': 0, 'update in batch': 7617, '/': 12375, 'loss': 8.034878730773926}\n",
+      "{'epoch': 0, 'update in batch': 7618, '/': 12375, 'loss': 7.979801177978516}\n",
+      "{'epoch': 0, 'update in batch': 7619, '/': 12375, 'loss': 6.889678001403809}\n",
+      "{'epoch': 0, 'update in batch': 7620, '/': 12375, 'loss': 8.073705673217773}\n",
+      "{'epoch': 0, 'update in batch': 7621, '/': 12375, 'loss': 7.056611061096191}\n",
+      "{'epoch': 0, 'update in batch': 7622, '/': 12375, 'loss': 7.8163652420043945}\n",
+      "{'epoch': 0, 'update in batch': 7623, '/': 12375, 'loss': 7.690962314605713}\n",
+      "{'epoch': 0, 'update in batch': 7624, '/': 12375, 'loss': 7.520421028137207}\n",
+      "{'epoch': 0, 'update in batch': 7625, '/': 12375, 'loss': 7.370306491851807}\n",
+      "{'epoch': 0, 'update in batch': 7626, '/': 12375, 'loss': 7.7289838790893555}\n",
+      "{'epoch': 0, 'update in batch': 7627, '/': 12375, 'loss': 6.386180400848389}\n",
+      "{'epoch': 0, 'update in batch': 7628, '/': 12375, 'loss': 7.636928558349609}\n",
+      "{'epoch': 0, 'update in batch': 7629, '/': 12375, 'loss': 7.4058709144592285}\n",
+      "{'epoch': 0, 'update in batch': 7630, '/': 12375, 'loss': 7.022731781005859}\n",
+      "{'epoch': 0, 'update in batch': 7631, '/': 12375, 'loss': 7.5779547691345215}\n",
+      "{'epoch': 0, 'update in batch': 7632, '/': 12375, 'loss': 7.3687286376953125}\n",
+      "{'epoch': 0, 'update in batch': 7633, '/': 12375, 'loss': 6.870489597320557}\n",
+      "{'epoch': 0, 'update in batch': 7634, '/': 12375, 'loss': 6.900778770446777}\n",
+      "{'epoch': 0, 'update in batch': 7635, '/': 12375, 'loss': 7.556959629058838}\n",
+      "{'epoch': 0, 'update in batch': 7636, '/': 12375, 'loss': 7.829343318939209}\n",
+      "{'epoch': 0, 'update in batch': 7637, '/': 12375, 'loss': 7.886793613433838}\n",
+      "{'epoch': 0, 'update in batch': 7638, '/': 12375, 'loss': 7.279167175292969}\n",
+      "{'epoch': 0, 'update in batch': 7639, '/': 12375, 'loss': 7.599323272705078}\n",
+      "{'epoch': 0, 'update in batch': 7640, '/': 12375, 'loss': 7.4773383140563965}\n",
+      "{'epoch': 0, 'update in batch': 7641, '/': 12375, 'loss': 7.763374328613281}\n",
+      "{'epoch': 0, 'update in batch': 7642, '/': 12375, 'loss': 7.673550605773926}\n",
+      "{'epoch': 0, 'update in batch': 7643, '/': 12375, 'loss': 7.5554327964782715}\n",
+      "{'epoch': 0, 'update in batch': 7644, '/': 12375, 'loss': 7.271470069885254}\n",
+      "{'epoch': 0, 'update in batch': 7645, '/': 12375, 'loss': 7.481653690338135}\n",
+      "{'epoch': 0, 'update in batch': 7646, '/': 12375, 'loss': 7.424380302429199}\n",
+      "{'epoch': 0, 'update in batch': 7647, '/': 12375, 'loss': 7.664512634277344}\n",
+      "{'epoch': 0, 'update in batch': 7648, '/': 12375, 'loss': 7.146520137786865}\n",
+      "{'epoch': 0, 'update in batch': 7649, '/': 12375, 'loss': 7.620837211608887}\n",
+      "{'epoch': 0, 'update in batch': 7650, '/': 12375, 'loss': 7.039714813232422}\n",
+      "{'epoch': 0, 'update in batch': 7651, '/': 12375, 'loss': 7.17914342880249}\n",
+      "{'epoch': 0, 'update in batch': 7652, '/': 12375, 'loss': 7.7886528968811035}\n",
+      "{'epoch': 0, 'update in batch': 7653, '/': 12375, 'loss': 7.848700523376465}\n",
+      "{'epoch': 0, 'update in batch': 7654, '/': 12375, 'loss': 7.173885345458984}\n",
+      "{'epoch': 0, 'update in batch': 7655, '/': 12375, 'loss': 7.315143585205078}\n",
+      "{'epoch': 0, 'update in batch': 7656, '/': 12375, 'loss': 7.030306816101074}\n",
+      "{'epoch': 0, 'update in batch': 7657, '/': 12375, 'loss': 6.73958683013916}\n",
+      "{'epoch': 0, 'update in batch': 7658, '/': 12375, 'loss': 6.995972633361816}\n",
+      "{'epoch': 0, 'update in batch': 7659, '/': 12375, 'loss': 6.0377631187438965}\n",
+      "{'epoch': 0, 'update in batch': 7660, '/': 12375, 'loss': 6.722970485687256}\n",
+      "{'epoch': 0, 'update in batch': 7661, '/': 12375, 'loss': 7.099217891693115}\n",
+      "{'epoch': 0, 'update in batch': 7662, '/': 12375, 'loss': 7.489449501037598}\n",
+      "{'epoch': 0, 'update in batch': 7663, '/': 12375, 'loss': 6.721314907073975}\n",
+      "{'epoch': 0, 'update in batch': 7664, '/': 12375, 'loss': 7.147998809814453}\n",
+      "{'epoch': 0, 'update in batch': 7665, '/': 12375, 'loss': 7.071578025817871}\n",
+      "{'epoch': 0, 'update in batch': 7666, '/': 12375, 'loss': 6.624043941497803}\n",
+      "{'epoch': 0, 'update in batch': 7667, '/': 12375, 'loss': 6.504593849182129}\n",
+      "{'epoch': 0, 'update in batch': 7668, '/': 12375, 'loss': 6.802751064300537}\n",
+      "{'epoch': 0, 'update in batch': 7669, '/': 12375, 'loss': 6.171196937561035}\n",
+      "{'epoch': 0, 'update in batch': 7670, '/': 12375, 'loss': 7.042433261871338}\n",
+      "{'epoch': 0, 'update in batch': 7671, '/': 12375, 'loss': 7.036556243896484}\n",
+      "{'epoch': 0, 'update in batch': 7672, '/': 12375, 'loss': 7.398464202880859}\n",
+      "{'epoch': 0, 'update in batch': 7673, '/': 12375, 'loss': 7.4904465675354}\n",
+      "{'epoch': 0, 'update in batch': 7674, '/': 12375, 'loss': 6.536873817443848}\n",
+      "{'epoch': 0, 'update in batch': 7675, '/': 12375, 'loss': 6.893490791320801}\n",
+      "{'epoch': 0, 'update in batch': 7676, '/': 12375, 'loss': 6.889523506164551}\n",
+      "{'epoch': 0, 'update in batch': 7677, '/': 12375, 'loss': 7.070348262786865}\n",
+      "{'epoch': 0, 'update in batch': 7678, '/': 12375, 'loss': 6.683021545410156}\n",
+      "{'epoch': 0, 'update in batch': 7679, '/': 12375, 'loss': 7.171355247497559}\n",
+      "{'epoch': 0, 'update in batch': 7680, '/': 12375, 'loss': 6.62088680267334}\n",
+      "{'epoch': 0, 'update in batch': 7681, '/': 12375, 'loss': 5.597436904907227}\n",
+      "{'epoch': 0, 'update in batch': 7682, '/': 12375, 'loss': 6.827168941497803}\n",
+      "{'epoch': 0, 'update in batch': 7683, '/': 12375, 'loss': 6.68923807144165}\n",
+      "{'epoch': 0, 'update in batch': 7684, '/': 12375, 'loss': 7.292332649230957}\n",
+      "{'epoch': 0, 'update in batch': 7685, '/': 12375, 'loss': 7.223060607910156}\n",
+      "{'epoch': 0, 'update in batch': 7686, '/': 12375, 'loss': 8.111072540283203}\n",
+      "{'epoch': 0, 'update in batch': 7687, '/': 12375, 'loss': 8.08755111694336}\n",
+      "{'epoch': 0, 'update in batch': 7688, '/': 12375, 'loss': 7.989250183105469}\n",
+      "{'epoch': 0, 'update in batch': 7689, '/': 12375, 'loss': 7.334525108337402}\n",
+      "{'epoch': 0, 'update in batch': 7690, '/': 12375, 'loss': 6.905436038970947}\n",
+      "{'epoch': 0, 'update in batch': 7691, '/': 12375, 'loss': 7.131857395172119}\n",
+      "{'epoch': 0, 'update in batch': 7692, '/': 12375, 'loss': 7.274946689605713}\n",
+      "{'epoch': 0, 'update in batch': 7693, '/': 12375, 'loss': 6.938584327697754}\n",
+      "{'epoch': 0, 'update in batch': 7694, '/': 12375, 'loss': 6.162458419799805}\n",
+      "{'epoch': 0, 'update in batch': 7695, '/': 12375, 'loss': 6.420859336853027}\n",
+      "{'epoch': 0, 'update in batch': 7696, '/': 12375, 'loss': 6.245282173156738}\n",
+      "{'epoch': 0, 'update in batch': 7697, '/': 12375, 'loss': 6.746586799621582}\n",
+      "{'epoch': 0, 'update in batch': 7698, '/': 12375, 'loss': 7.177365303039551}\n",
+      "{'epoch': 0, 'update in batch': 7699, '/': 12375, 'loss': 6.868257999420166}\n",
+      "{'epoch': 0, 'update in batch': 7700, '/': 12375, 'loss': 6.604739189147949}\n",
+      "{'epoch': 0, 'update in batch': 7701, '/': 12375, 'loss': 6.7372541427612305}\n",
+      "{'epoch': 0, 'update in batch': 7702, '/': 12375, 'loss': 6.244917392730713}\n",
+      "{'epoch': 0, 'update in batch': 7703, '/': 12375, 'loss': 6.9988861083984375}\n",
+      "{'epoch': 0, 'update in batch': 7704, '/': 12375, 'loss': 7.10244607925415}\n",
+      "{'epoch': 0, 'update in batch': 7705, '/': 12375, 'loss': 7.491962432861328}\n",
+      "{'epoch': 0, 'update in batch': 7706, '/': 12375, 'loss': 5.8769850730896}\n",
+      "{'epoch': 0, 'update in batch': 7707, '/': 12375, 'loss': 6.677852630615234}\n",
+      "{'epoch': 0, 'update in batch': 7708, '/': 12375, 'loss': 6.610828399658203}\n",
+      "{'epoch': 0, 'update in batch': 7709, '/': 12375, 'loss': 6.539253234863281}\n",
+      "{'epoch': 0, 'update in batch': 7710, '/': 12375, 'loss': 6.716207981109619}\n",
+      "{'epoch': 0, 'update in batch': 7711, '/': 12375, 'loss': 6.6594038009643555}\n",
+      "{'epoch': 0, 'update in batch': 7712, '/': 12375, 'loss': 7.122287750244141}\n",
+      "{'epoch': 0, 'update in batch': 7713, '/': 12375, 'loss': 7.366602420806885}\n",
+      "{'epoch': 0, 'update in batch': 7714, '/': 12375, 'loss': 7.523921012878418}\n",
+      "{'epoch': 0, 'update in batch': 7715, '/': 12375, 'loss': 5.769322872161865}\n",
+      "{'epoch': 0, 'update in batch': 7716, '/': 12375, 'loss': 6.334620475769043}\n",
+      "{'epoch': 0, 'update in batch': 7717, '/': 12375, 'loss': 5.825926780700684}\n",
+      "{'epoch': 0, 'update in batch': 7718, '/': 12375, 'loss': 6.496027946472168}\n",
+      "{'epoch': 0, 'update in batch': 7719, '/': 12375, 'loss': 7.467555999755859}\n",
+      "{'epoch': 0, 'update in batch': 7720, '/': 12375, 'loss': 7.134335994720459}\n",
+      "{'epoch': 0, 'update in batch': 7721, '/': 12375, 'loss': 6.489654541015625}\n",
+      "{'epoch': 0, 'update in batch': 7722, '/': 12375, 'loss': 7.2900567054748535}\n",
+      "{'epoch': 0, 'update in batch': 7723, '/': 12375, 'loss': 6.302398681640625}\n",
+      "{'epoch': 0, 'update in batch': 7724, '/': 12375, 'loss': 6.508581638336182}\n",
+      "{'epoch': 0, 'update in batch': 7725, '/': 12375, 'loss': 5.719637393951416}\n",
+      "{'epoch': 0, 'update in batch': 7726, '/': 12375, 'loss': 6.534930229187012}\n",
+      "{'epoch': 0, 'update in batch': 7727, '/': 12375, 'loss': 6.15017032623291}\n",
+      "{'epoch': 0, 'update in batch': 7728, '/': 12375, 'loss': 6.897946357727051}\n",
+      "{'epoch': 0, 'update in batch': 7729, '/': 12375, 'loss': 6.468760013580322}\n",
+      "{'epoch': 0, 'update in batch': 7730, '/': 12375, 'loss': 6.783017158508301}\n",
+      "{'epoch': 0, 'update in batch': 7731, '/': 12375, 'loss': 7.104665279388428}\n",
+      "{'epoch': 0, 'update in batch': 7732, '/': 12375, 'loss': 6.961907386779785}\n",
+      "{'epoch': 0, 'update in batch': 7733, '/': 12375, 'loss': 6.611067771911621}\n",
+      "{'epoch': 0, 'update in batch': 7734, '/': 12375, 'loss': 6.621522426605225}\n",
+      "{'epoch': 0, 'update in batch': 7735, '/': 12375, 'loss': 6.441625118255615}\n",
+      "{'epoch': 0, 'update in batch': 7736, '/': 12375, 'loss': 6.62645959854126}\n",
+      "{'epoch': 0, 'update in batch': 7737, '/': 12375, 'loss': 6.6423773765563965}\n",
+      "{'epoch': 0, 'update in batch': 7738, '/': 12375, 'loss': 6.781508445739746}\n",
+      "{'epoch': 0, 'update in batch': 7739, '/': 12375, 'loss': 6.508571624755859}\n",
+      "{'epoch': 0, 'update in batch': 7740, '/': 12375, 'loss': 7.3113203048706055}\n",
+      "{'epoch': 0, 'update in batch': 7741, '/': 12375, 'loss': 7.521579742431641}\n",
+      "{'epoch': 0, 'update in batch': 7742, '/': 12375, 'loss': 7.02291202545166}\n",
+      "{'epoch': 0, 'update in batch': 7743, '/': 12375, 'loss': 7.6938042640686035}\n",
+      "{'epoch': 0, 'update in batch': 7744, '/': 12375, 'loss': 7.5071258544921875}\n",
+      "{'epoch': 0, 'update in batch': 7745, '/': 12375, 'loss': 7.086733818054199}\n",
+      "{'epoch': 0, 'update in batch': 7746, '/': 12375, 'loss': 6.9943437576293945}\n",
+      "{'epoch': 0, 'update in batch': 7747, '/': 12375, 'loss': 6.471510887145996}\n",
+      "{'epoch': 0, 'update in batch': 7748, '/': 12375, 'loss': 8.028299331665039}\n",
+      "{'epoch': 0, 'update in batch': 7749, '/': 12375, 'loss': 8.216429710388184}\n",
+      "{'epoch': 0, 'update in batch': 7750, '/': 12375, 'loss': 7.769551753997803}\n",
+      "{'epoch': 0, 'update in batch': 7751, '/': 12375, 'loss': 5.403603553771973}\n",
+      "{'epoch': 0, 'update in batch': 7752, '/': 12375, 'loss': 6.997808933258057}\n",
+      "{'epoch': 0, 'update in batch': 7753, '/': 12375, 'loss': 6.341648578643799}\n",
+      "{'epoch': 0, 'update in batch': 7754, '/': 12375, 'loss': 6.763306617736816}\n",
+      "{'epoch': 0, 'update in batch': 7755, '/': 12375, 'loss': 7.227921962738037}\n",
+      "{'epoch': 0, 'update in batch': 7756, '/': 12375, 'loss': 5.989945411682129}\n",
+      "{'epoch': 0, 'update in batch': 7757, '/': 12375, 'loss': 6.82183837890625}\n",
+      "{'epoch': 0, 'update in batch': 7758, '/': 12375, 'loss': 6.171936988830566}\n",
+      "{'epoch': 0, 'update in batch': 7759, '/': 12375, 'loss': 6.946419715881348}\n",
+      "{'epoch': 0, 'update in batch': 7760, '/': 12375, 'loss': 7.125929832458496}\n",
+      "{'epoch': 0, 'update in batch': 7761, '/': 12375, 'loss': 7.046459197998047}\n",
+      "{'epoch': 0, 'update in batch': 7762, '/': 12375, 'loss': 6.8696608543396}\n",
+      "{'epoch': 0, 'update in batch': 7763, '/': 12375, 'loss': 6.2277445793151855}\n",
+      "{'epoch': 0, 'update in batch': 7764, '/': 12375, 'loss': 6.482260227203369}\n",
+      "{'epoch': 0, 'update in batch': 7765, '/': 12375, 'loss': 7.450108528137207}\n",
+      "{'epoch': 0, 'update in batch': 7766, '/': 12375, 'loss': 6.429503440856934}\n",
+      "{'epoch': 0, 'update in batch': 7767, '/': 12375, 'loss': 6.105887413024902}\n",
+      "{'epoch': 0, 'update in batch': 7768, '/': 12375, 'loss': 6.059187889099121}\n",
+      "{'epoch': 0, 'update in batch': 7769, '/': 12375, 'loss': 6.604429721832275}\n",
+      "{'epoch': 0, 'update in batch': 7770, '/': 12375, 'loss': 6.874201774597168}\n",
+      "{'epoch': 0, 'update in batch': 7771, '/': 12375, 'loss': 6.606587886810303}\n",
+      "{'epoch': 0, 'update in batch': 7772, '/': 12375, 'loss': 5.7856011390686035}\n",
+      "{'epoch': 0, 'update in batch': 7773, '/': 12375, 'loss': 6.468109130859375}\n",
+      "{'epoch': 0, 'update in batch': 7774, '/': 12375, 'loss': 7.118847846984863}\n",
+      "{'epoch': 0, 'update in batch': 7775, '/': 12375, 'loss': 7.089232444763184}\n",
+      "{'epoch': 0, 'update in batch': 7776, '/': 12375, 'loss': 6.1901469230651855}\n",
+      "{'epoch': 0, 'update in batch': 7777, '/': 12375, 'loss': 6.555209159851074}\n",
+      "{'epoch': 0, 'update in batch': 7778, '/': 12375, 'loss': 7.293031215667725}\n",
+      "{'epoch': 0, 'update in batch': 7779, '/': 12375, 'loss': 6.210948944091797}\n",
+      "{'epoch': 0, 'update in batch': 7780, '/': 12375, 'loss': 6.461522102355957}\n",
+      "{'epoch': 0, 'update in batch': 7781, '/': 12375, 'loss': 7.976567268371582}\n",
+      "{'epoch': 0, 'update in batch': 7782, '/': 12375, 'loss': 7.399311065673828}\n",
+      "{'epoch': 0, 'update in batch': 7783, '/': 12375, 'loss': 6.792507171630859}\n",
+      "{'epoch': 0, 'update in batch': 7784, '/': 12375, 'loss': 6.894471645355225}\n",
+      "{'epoch': 0, 'update in batch': 7785, '/': 12375, 'loss': 5.757254600524902}\n",
+      "{'epoch': 0, 'update in batch': 7786, '/': 12375, 'loss': 6.6434125900268555}\n",
+      "{'epoch': 0, 'update in batch': 7787, '/': 12375, 'loss': 6.319326400756836}\n",
+      "{'epoch': 0, 'update in batch': 7788, '/': 12375, 'loss': 7.3582611083984375}\n",
+      "{'epoch': 0, 'update in batch': 7789, '/': 12375, 'loss': 7.620371341705322}\n",
+      "{'epoch': 0, 'update in batch': 7790, '/': 12375, 'loss': 6.850470066070557}\n",
+      "{'epoch': 0, 'update in batch': 7791, '/': 12375, 'loss': 6.753731727600098}\n",
+      "{'epoch': 0, 'update in batch': 7792, '/': 12375, 'loss': 6.732907772064209}\n",
+      "{'epoch': 0, 'update in batch': 7793, '/': 12375, 'loss': 6.350562572479248}\n",
+      "{'epoch': 0, 'update in batch': 7794, '/': 12375, 'loss': 8.144429206848145}\n",
+      "{'epoch': 0, 'update in batch': 7795, '/': 12375, 'loss': 7.453224182128906}\n",
+      "{'epoch': 0, 'update in batch': 7796, '/': 12375, 'loss': 7.258431434631348}\n",
+      "{'epoch': 0, 'update in batch': 7797, '/': 12375, 'loss': 7.55397891998291}\n",
+      "{'epoch': 0, 'update in batch': 7798, '/': 12375, 'loss': 7.7839837074279785}\n",
+      "{'epoch': 0, 'update in batch': 7799, '/': 12375, 'loss': 7.7689313888549805}\n",
+      "{'epoch': 0, 'update in batch': 7800, '/': 12375, 'loss': 7.491008758544922}\n",
+      "{'epoch': 0, 'update in batch': 7801, '/': 12375, 'loss': 7.7859649658203125}\n",
+      "{'epoch': 0, 'update in batch': 7802, '/': 12375, 'loss': 7.794417381286621}\n",
+      "{'epoch': 0, 'update in batch': 7803, '/': 12375, 'loss': 7.038084506988525}\n",
+      "{'epoch': 0, 'update in batch': 7804, '/': 12375, 'loss': 6.781723976135254}\n",
+      "{'epoch': 0, 'update in batch': 7805, '/': 12375, 'loss': 7.067385673522949}\n",
+      "{'epoch': 0, 'update in batch': 7806, '/': 12375, 'loss': 6.564337253570557}\n",
+      "{'epoch': 0, 'update in batch': 7807, '/': 12375, 'loss': 6.199849605560303}\n",
+      "{'epoch': 0, 'update in batch': 7808, '/': 12375, 'loss': 7.1349687576293945}\n",
+      "{'epoch': 0, 'update in batch': 7809, '/': 12375, 'loss': 7.221123695373535}\n",
+      "{'epoch': 0, 'update in batch': 7810, '/': 12375, 'loss': 6.275899410247803}\n",
+      "{'epoch': 0, 'update in batch': 7811, '/': 12375, 'loss': 7.186470985412598}\n",
+      "{'epoch': 0, 'update in batch': 7812, '/': 12375, 'loss': 6.291078090667725}\n",
+      "{'epoch': 0, 'update in batch': 7813, '/': 12375, 'loss': 7.347247123718262}\n",
+      "{'epoch': 0, 'update in batch': 7814, '/': 12375, 'loss': 6.5178680419921875}\n",
+      "{'epoch': 0, 'update in batch': 7815, '/': 12375, 'loss': 6.263676643371582}\n",
+      "{'epoch': 0, 'update in batch': 7816, '/': 12375, 'loss': 6.878920555114746}\n",
+      "{'epoch': 0, 'update in batch': 7817, '/': 12375, 'loss': 6.941175937652588}\n",
+      "{'epoch': 0, 'update in batch': 7818, '/': 12375, 'loss': 7.488424777984619}\n",
+      "{'epoch': 0, 'update in batch': 7819, '/': 12375, 'loss': 6.979076385498047}\n",
+      "{'epoch': 0, 'update in batch': 7820, '/': 12375, 'loss': 7.006112575531006}\n",
+      "{'epoch': 0, 'update in batch': 7821, '/': 12375, 'loss': 6.841432094573975}\n",
+      "{'epoch': 0, 'update in batch': 7822, '/': 12375, 'loss': 7.368834495544434}\n",
+      "{'epoch': 0, 'update in batch': 7823, '/': 12375, 'loss': 7.405714511871338}\n",
+      "{'epoch': 0, 'update in batch': 7824, '/': 12375, 'loss': 6.724129676818848}\n",
+      "{'epoch': 0, 'update in batch': 7825, '/': 12375, 'loss': 6.26664400100708}\n",
+      "{'epoch': 0, 'update in batch': 7826, '/': 12375, 'loss': 7.257779598236084}\n",
+      "{'epoch': 0, 'update in batch': 7827, '/': 12375, 'loss': 6.345832347869873}\n",
+      "{'epoch': 0, 'update in batch': 7828, '/': 12375, 'loss': 6.769582271575928}\n",
+      "{'epoch': 0, 'update in batch': 7829, '/': 12375, 'loss': 7.032520294189453}\n",
+      "{'epoch': 0, 'update in batch': 7830, '/': 12375, 'loss': 7.325289249420166}\n",
+      "{'epoch': 0, 'update in batch': 7831, '/': 12375, 'loss': 6.197502136230469}\n",
+      "{'epoch': 0, 'update in batch': 7832, '/': 12375, 'loss': 7.710239410400391}\n",
+      "{'epoch': 0, 'update in batch': 7833, '/': 12375, 'loss': 7.410060882568359}\n",
+      "{'epoch': 0, 'update in batch': 7834, '/': 12375, 'loss': 6.707733154296875}\n",
+      "{'epoch': 0, 'update in batch': 7835, '/': 12375, 'loss': 6.340924263000488}\n",
+      "{'epoch': 0, 'update in batch': 7836, '/': 12375, 'loss': 7.165363311767578}\n",
+      "{'epoch': 0, 'update in batch': 7837, '/': 12375, 'loss': 7.6144118309021}\n",
+      "{'epoch': 0, 'update in batch': 7838, '/': 12375, 'loss': 7.101873874664307}\n",
+      "{'epoch': 0, 'update in batch': 7839, '/': 12375, 'loss': 6.9684343338012695}\n",
+      "{'epoch': 0, 'update in batch': 7840, '/': 12375, 'loss': 6.875899314880371}\n",
+      "{'epoch': 0, 'update in batch': 7841, '/': 12375, 'loss': 7.186554908752441}\n",
+      "{'epoch': 0, 'update in batch': 7842, '/': 12375, 'loss': 6.9290618896484375}\n",
+      "{'epoch': 0, 'update in batch': 7843, '/': 12375, 'loss': 6.920065402984619}\n",
+      "{'epoch': 0, 'update in batch': 7844, '/': 12375, 'loss': 6.844819068908691}\n",
+      "{'epoch': 0, 'update in batch': 7845, '/': 12375, 'loss': 6.832177639007568}\n",
+      "{'epoch': 0, 'update in batch': 7846, '/': 12375, 'loss': 7.1263108253479}\n",
+      "{'epoch': 0, 'update in batch': 7847, '/': 12375, 'loss': 6.839652061462402}\n",
+      "{'epoch': 0, 'update in batch': 7848, '/': 12375, 'loss': 7.1129302978515625}\n",
+      "{'epoch': 0, 'update in batch': 7849, '/': 12375, 'loss': 6.3891401290893555}\n",
+      "{'epoch': 0, 'update in batch': 7850, '/': 12375, 'loss': 6.964437961578369}\n",
+      "{'epoch': 0, 'update in batch': 7851, '/': 12375, 'loss': 6.2546868324279785}\n",
+      "{'epoch': 0, 'update in batch': 7852, '/': 12375, 'loss': 7.088807582855225}\n",
+      "{'epoch': 0, 'update in batch': 7853, '/': 12375, 'loss': 6.445705413818359}\n",
+      "{'epoch': 0, 'update in batch': 7854, '/': 12375, 'loss': 8.221845626831055}\n",
+      "{'epoch': 0, 'update in batch': 7855, '/': 12375, 'loss': 7.782670021057129}\n",
+      "{'epoch': 0, 'update in batch': 7856, '/': 12375, 'loss': 8.229459762573242}\n",
+      "{'epoch': 0, 'update in batch': 7857, '/': 12375, 'loss': 7.868507385253906}\n",
+      "{'epoch': 0, 'update in batch': 7858, '/': 12375, 'loss': 7.1989312171936035}\n",
+      "{'epoch': 0, 'update in batch': 7859, '/': 12375, 'loss': 6.853755950927734}\n",
+      "{'epoch': 0, 'update in batch': 7860, '/': 12375, 'loss': 6.964028358459473}\n",
+      "{'epoch': 0, 'update in batch': 7861, '/': 12375, 'loss': 7.145326137542725}\n",
+      "{'epoch': 0, 'update in batch': 7862, '/': 12375, 'loss': 7.602269172668457}\n",
+      "{'epoch': 0, 'update in batch': 7863, '/': 12375, 'loss': 6.999556541442871}\n",
+      "{'epoch': 0, 'update in batch': 7864, '/': 12375, 'loss': 6.438033103942871}\n",
+      "{'epoch': 0, 'update in batch': 7865, '/': 12375, 'loss': 6.596192836761475}\n",
+      "{'epoch': 0, 'update in batch': 7866, '/': 12375, 'loss': 6.76809024810791}\n",
+      "{'epoch': 0, 'update in batch': 7867, '/': 12375, 'loss': 7.243492126464844}\n",
+      "{'epoch': 0, 'update in batch': 7868, '/': 12375, 'loss': 7.811102867126465}\n",
+      "{'epoch': 0, 'update in batch': 7869, '/': 12375, 'loss': 7.737959384918213}\n",
+      "{'epoch': 0, 'update in batch': 7870, '/': 12375, 'loss': 7.012869358062744}\n",
+      "{'epoch': 0, 'update in batch': 7871, '/': 12375, 'loss': 6.980731010437012}\n",
+      "{'epoch': 0, 'update in batch': 7872, '/': 12375, 'loss': 7.30712890625}\n",
+      "{'epoch': 0, 'update in batch': 7873, '/': 12375, 'loss': 6.779959201812744}\n",
+      "{'epoch': 0, 'update in batch': 7874, '/': 12375, 'loss': 5.64413595199585}\n",
+      "{'epoch': 0, 'update in batch': 7875, '/': 12375, 'loss': 6.544186592102051}\n",
+      "{'epoch': 0, 'update in batch': 7876, '/': 12375, 'loss': 6.585399627685547}\n",
+      "{'epoch': 0, 'update in batch': 7877, '/': 12375, 'loss': 6.180199146270752}\n",
+      "{'epoch': 0, 'update in batch': 7878, '/': 12375, 'loss': 7.663421630859375}\n",
+      "{'epoch': 0, 'update in batch': 7879, '/': 12375, 'loss': 8.22033405303955}\n",
+      "{'epoch': 0, 'update in batch': 7880, '/': 12375, 'loss': 6.493061065673828}\n",
+      "{'epoch': 0, 'update in batch': 7881, '/': 12375, 'loss': 5.90743350982666}\n",
+      "{'epoch': 0, 'update in batch': 7882, '/': 12375, 'loss': 6.725779056549072}\n",
+      "{'epoch': 0, 'update in batch': 7883, '/': 12375, 'loss': 6.719094276428223}\n",
+      "{'epoch': 0, 'update in batch': 7884, '/': 12375, 'loss': 6.882788181304932}\n",
+      "{'epoch': 0, 'update in batch': 7885, '/': 12375, 'loss': 7.189682960510254}\n",
+      "{'epoch': 0, 'update in batch': 7886, '/': 12375, 'loss': 7.6001877784729}\n",
+      "{'epoch': 0, 'update in batch': 7887, '/': 12375, 'loss': 7.18356990814209}\n",
+      "{'epoch': 0, 'update in batch': 7888, '/': 12375, 'loss': 7.057215690612793}\n",
+      "{'epoch': 0, 'update in batch': 7889, '/': 12375, 'loss': 7.042731285095215}\n",
+      "{'epoch': 0, 'update in batch': 7890, '/': 12375, 'loss': 6.735625267028809}\n",
+      "{'epoch': 0, 'update in batch': 7891, '/': 12375, 'loss': 6.956928253173828}\n",
+      "{'epoch': 0, 'update in batch': 7892, '/': 12375, 'loss': 6.902819633483887}\n",
+      "{'epoch': 0, 'update in batch': 7893, '/': 12375, 'loss': 7.507513999938965}\n",
+      "{'epoch': 0, 'update in batch': 7894, '/': 12375, 'loss': 6.854936122894287}\n",
+      "{'epoch': 0, 'update in batch': 7895, '/': 12375, 'loss': 7.399935722351074}\n",
+      "{'epoch': 0, 'update in batch': 7896, '/': 12375, 'loss': 5.860368251800537}\n",
+      "{'epoch': 0, 'update in batch': 7897, '/': 12375, 'loss': 6.973330020904541}\n",
+      "{'epoch': 0, 'update in batch': 7898, '/': 12375, 'loss': 7.13101863861084}\n",
+      "{'epoch': 0, 'update in batch': 7899, '/': 12375, 'loss': 7.899162292480469}\n",
+      "{'epoch': 0, 'update in batch': 7900, '/': 12375, 'loss': 7.428168296813965}\n",
+      "{'epoch': 0, 'update in batch': 7901, '/': 12375, 'loss': 7.420627593994141}\n",
+      "{'epoch': 0, 'update in batch': 7902, '/': 12375, 'loss': 7.341884613037109}\n",
+      "{'epoch': 0, 'update in batch': 7903, '/': 12375, 'loss': 7.125634670257568}\n",
+      "{'epoch': 0, 'update in batch': 7904, '/': 12375, 'loss': 7.854344367980957}\n",
+      "{'epoch': 0, 'update in batch': 7905, '/': 12375, 'loss': 7.000171661376953}\n",
+      "{'epoch': 0, 'update in batch': 7906, '/': 12375, 'loss': 7.128888130187988}\n",
+      "{'epoch': 0, 'update in batch': 7907, '/': 12375, 'loss': 7.316534519195557}\n",
+      "{'epoch': 0, 'update in batch': 7908, '/': 12375, 'loss': 7.381497859954834}\n",
+      "{'epoch': 0, 'update in batch': 7909, '/': 12375, 'loss': 7.523031711578369}\n",
+      "{'epoch': 0, 'update in batch': 7910, '/': 12375, 'loss': 6.25092077255249}\n",
+      "{'epoch': 0, 'update in batch': 7911, '/': 12375, 'loss': 7.159760475158691}\n",
+      "{'epoch': 0, 'update in batch': 7912, '/': 12375, 'loss': 6.985697269439697}\n",
+      "{'epoch': 0, 'update in batch': 7913, '/': 12375, 'loss': 6.698211669921875}\n",
+      "{'epoch': 0, 'update in batch': 7914, '/': 12375, 'loss': 6.705349922180176}\n",
+      "{'epoch': 0, 'update in batch': 7915, '/': 12375, 'loss': 6.563748359680176}\n",
+      "{'epoch': 0, 'update in batch': 7916, '/': 12375, 'loss': 7.185080051422119}\n",
+      "{'epoch': 0, 'update in batch': 7917, '/': 12375, 'loss': 7.494696617126465}\n",
+      "{'epoch': 0, 'update in batch': 7918, '/': 12375, 'loss': 7.3391876220703125}\n",
+      "{'epoch': 0, 'update in batch': 7919, '/': 12375, 'loss': 7.7023773193359375}\n",
+      "{'epoch': 0, 'update in batch': 7920, '/': 12375, 'loss': 7.419305324554443}\n",
+      "{'epoch': 0, 'update in batch': 7921, '/': 12375, 'loss': 7.259692192077637}\n",
+      "{'epoch': 0, 'update in batch': 7922, '/': 12375, 'loss': 7.0684638023376465}\n",
+      "{'epoch': 0, 'update in batch': 7923, '/': 12375, 'loss': 7.021092891693115}\n",
+      "{'epoch': 0, 'update in batch': 7924, '/': 12375, 'loss': 7.017524719238281}\n",
+      "{'epoch': 0, 'update in batch': 7925, '/': 12375, 'loss': 7.11813497543335}\n",
+      "{'epoch': 0, 'update in batch': 7926, '/': 12375, 'loss': 7.526010990142822}\n",
+      "{'epoch': 0, 'update in batch': 7927, '/': 12375, 'loss': 7.232931613922119}\n",
+      "{'epoch': 0, 'update in batch': 7928, '/': 12375, 'loss': 6.219537258148193}\n",
+      "{'epoch': 0, 'update in batch': 7929, '/': 12375, 'loss': 7.091767311096191}\n",
+      "{'epoch': 0, 'update in batch': 7930, '/': 12375, 'loss': 7.296749114990234}\n",
+      "{'epoch': 0, 'update in batch': 7931, '/': 12375, 'loss': 6.670566558837891}\n",
+      "{'epoch': 0, 'update in batch': 7932, '/': 12375, 'loss': 7.089906215667725}\n",
+      "{'epoch': 0, 'update in batch': 7933, '/': 12375, 'loss': 7.538057804107666}\n",
+      "{'epoch': 0, 'update in batch': 7934, '/': 12375, 'loss': 7.193927764892578}\n",
+      "{'epoch': 0, 'update in batch': 7935, '/': 12375, 'loss': 6.986009120941162}\n",
+      "{'epoch': 0, 'update in batch': 7936, '/': 12375, 'loss': 6.886038303375244}\n",
+      "{'epoch': 0, 'update in batch': 7937, '/': 12375, 'loss': 6.495226860046387}\n",
+      "{'epoch': 0, 'update in batch': 7938, '/': 12375, 'loss': 7.448605537414551}\n",
+      "{'epoch': 0, 'update in batch': 7939, '/': 12375, 'loss': 7.538328647613525}\n",
+      "{'epoch': 0, 'update in batch': 7940, '/': 12375, 'loss': 6.995307922363281}\n",
+      "{'epoch': 0, 'update in batch': 7941, '/': 12375, 'loss': 8.375553131103516}\n",
+      "{'epoch': 0, 'update in batch': 7942, '/': 12375, 'loss': 8.086698532104492}\n",
+      "{'epoch': 0, 'update in batch': 7943, '/': 12375, 'loss': 7.515439033508301}\n",
+      "{'epoch': 0, 'update in batch': 7944, '/': 12375, 'loss': 7.816139221191406}\n",
+      "{'epoch': 0, 'update in batch': 7945, '/': 12375, 'loss': 7.318991661071777}\n",
+      "{'epoch': 0, 'update in batch': 7946, '/': 12375, 'loss': 7.390473365783691}\n",
+      "{'epoch': 0, 'update in batch': 7947, '/': 12375, 'loss': 7.0074872970581055}\n",
+      "{'epoch': 0, 'update in batch': 7948, '/': 12375, 'loss': 7.7184157371521}\n",
+      "{'epoch': 0, 'update in batch': 7949, '/': 12375, 'loss': 7.0338945388793945}\n",
+      "{'epoch': 0, 'update in batch': 7950, '/': 12375, 'loss': 7.623976230621338}\n",
+      "{'epoch': 0, 'update in batch': 7951, '/': 12375, 'loss': 6.7541327476501465}\n",
+      "{'epoch': 0, 'update in batch': 7952, '/': 12375, 'loss': 7.112259864807129}\n",
+      "{'epoch': 0, 'update in batch': 7953, '/': 12375, 'loss': 7.478556156158447}\n",
+      "{'epoch': 0, 'update in batch': 7954, '/': 12375, 'loss': 7.379372596740723}\n",
+      "{'epoch': 0, 'update in batch': 7955, '/': 12375, 'loss': 6.885289192199707}\n",
+      "{'epoch': 0, 'update in batch': 7956, '/': 12375, 'loss': 6.136482238769531}\n",
+      "{'epoch': 0, 'update in batch': 7957, '/': 12375, 'loss': 7.660128593444824}\n",
+      "{'epoch': 0, 'update in batch': 7958, '/': 12375, 'loss': 6.625112056732178}\n",
+      "{'epoch': 0, 'update in batch': 7959, '/': 12375, 'loss': 6.529019832611084}\n",
+      "{'epoch': 0, 'update in batch': 7960, '/': 12375, 'loss': 7.505191802978516}\n",
+      "{'epoch': 0, 'update in batch': 7961, '/': 12375, 'loss': 7.66403341293335}\n",
+      "{'epoch': 0, 'update in batch': 7962, '/': 12375, 'loss': 8.211125373840332}\n",
+      "{'epoch': 0, 'update in batch': 7963, '/': 12375, 'loss': 6.989806175231934}\n",
+      "{'epoch': 0, 'update in batch': 7964, '/': 12375, 'loss': 7.429496765136719}\n",
+      "{'epoch': 0, 'update in batch': 7965, '/': 12375, 'loss': 7.634744167327881}\n",
+      "{'epoch': 0, 'update in batch': 7966, '/': 12375, 'loss': 7.339053153991699}\n",
+      "{'epoch': 0, 'update in batch': 7967, '/': 12375, 'loss': 7.3710479736328125}\n",
+      "{'epoch': 0, 'update in batch': 7968, '/': 12375, 'loss': 7.790673732757568}\n",
+      "{'epoch': 0, 'update in batch': 7969, '/': 12375, 'loss': 7.769552707672119}\n",
+      "{'epoch': 0, 'update in batch': 7970, '/': 12375, 'loss': 7.622977256774902}\n",
+      "{'epoch': 0, 'update in batch': 7971, '/': 12375, 'loss': 7.173811912536621}\n",
+      "{'epoch': 0, 'update in batch': 7972, '/': 12375, 'loss': 7.032479763031006}\n",
+      "{'epoch': 0, 'update in batch': 7973, '/': 12375, 'loss': 7.433631896972656}\n",
+      "{'epoch': 0, 'update in batch': 7974, '/': 12375, 'loss': 6.7128586769104}\n",
+      "{'epoch': 0, 'update in batch': 7975, '/': 12375, 'loss': 6.920065879821777}\n",
+      "{'epoch': 0, 'update in batch': 7976, '/': 12375, 'loss': 8.134944915771484}\n",
+      "{'epoch': 0, 'update in batch': 7977, '/': 12375, 'loss': 7.350053310394287}\n",
+      "{'epoch': 0, 'update in batch': 7978, '/': 12375, 'loss': 6.358203411102295}\n",
+      "{'epoch': 0, 'update in batch': 7979, '/': 12375, 'loss': 7.273703575134277}\n",
+      "{'epoch': 0, 'update in batch': 7980, '/': 12375, 'loss': 7.15311336517334}\n",
+      "{'epoch': 0, 'update in batch': 7981, '/': 12375, 'loss': 7.099436283111572}\n",
+      "{'epoch': 0, 'update in batch': 7982, '/': 12375, 'loss': 6.628500461578369}\n",
+      "{'epoch': 0, 'update in batch': 7983, '/': 12375, 'loss': 7.54166316986084}\n",
+      "{'epoch': 0, 'update in batch': 7984, '/': 12375, 'loss': 7.6789116859436035}\n",
+      "{'epoch': 0, 'update in batch': 7985, '/': 12375, 'loss': 7.605765342712402}\n",
+      "{'epoch': 0, 'update in batch': 7986, '/': 12375, 'loss': 7.5238494873046875}\n",
+      "{'epoch': 0, 'update in batch': 7987, '/': 12375, 'loss': 7.581048488616943}\n",
+      "{'epoch': 0, 'update in batch': 7988, '/': 12375, 'loss': 7.55370569229126}\n",
+      "{'epoch': 0, 'update in batch': 7989, '/': 12375, 'loss': 7.348883628845215}\n",
+      "{'epoch': 0, 'update in batch': 7990, '/': 12375, 'loss': 6.973461151123047}\n",
+      "{'epoch': 0, 'update in batch': 7991, '/': 12375, 'loss': 7.928631782531738}\n",
+      "{'epoch': 0, 'update in batch': 7992, '/': 12375, 'loss': 7.739485740661621}\n",
+      "{'epoch': 0, 'update in batch': 7993, '/': 12375, 'loss': 7.836869239807129}\n",
+      "{'epoch': 0, 'update in batch': 7994, '/': 12375, 'loss': 7.605847358703613}\n",
+      "{'epoch': 0, 'update in batch': 7995, '/': 12375, 'loss': 7.250222682952881}\n",
+      "{'epoch': 0, 'update in batch': 7996, '/': 12375, 'loss': 7.578099250793457}\n",
+      "{'epoch': 0, 'update in batch': 7997, '/': 12375, 'loss': 7.346311092376709}\n",
+      "{'epoch': 0, 'update in batch': 7998, '/': 12375, 'loss': 7.723803520202637}\n",
+      "{'epoch': 0, 'update in batch': 7999, '/': 12375, 'loss': 7.509639739990234}\n",
+      "{'epoch': 0, 'update in batch': 8000, '/': 12375, 'loss': 6.416998386383057}\n",
+      "{'epoch': 0, 'update in batch': 8001, '/': 12375, 'loss': 7.6381354331970215}\n",
+      "{'epoch': 0, 'update in batch': 8002, '/': 12375, 'loss': 7.300889015197754}\n",
+      "{'epoch': 0, 'update in batch': 8003, '/': 12375, 'loss': 6.4609055519104}\n",
+      "{'epoch': 0, 'update in batch': 8004, '/': 12375, 'loss': 6.462067604064941}\n",
+      "{'epoch': 0, 'update in batch': 8005, '/': 12375, 'loss': 7.724486351013184}\n",
+      "{'epoch': 0, 'update in batch': 8006, '/': 12375, 'loss': 7.450284004211426}\n",
+      "{'epoch': 0, 'update in batch': 8007, '/': 12375, 'loss': 7.332073211669922}\n",
+      "{'epoch': 0, 'update in batch': 8008, '/': 12375, 'loss': 7.44620418548584}\n",
+      "{'epoch': 0, 'update in batch': 8009, '/': 12375, 'loss': 6.65823221206665}\n",
+      "{'epoch': 0, 'update in batch': 8010, '/': 12375, 'loss': 6.482176780700684}\n",
+      "{'epoch': 0, 'update in batch': 8011, '/': 12375, 'loss': 7.011482238769531}\n",
+      "{'epoch': 0, 'update in batch': 8012, '/': 12375, 'loss': 7.217879295349121}\n",
+      "{'epoch': 0, 'update in batch': 8013, '/': 12375, 'loss': 6.961973667144775}\n",
+      "{'epoch': 0, 'update in batch': 8014, '/': 12375, 'loss': 7.010275840759277}\n",
+      "{'epoch': 0, 'update in batch': 8015, '/': 12375, 'loss': 7.0155029296875}\n",
+      "{'epoch': 0, 'update in batch': 8016, '/': 12375, 'loss': 7.239121437072754}\n",
+      "{'epoch': 0, 'update in batch': 8017, '/': 12375, 'loss': 7.7822747230529785}\n",
+      "{'epoch': 0, 'update in batch': 8018, '/': 12375, 'loss': 7.286590576171875}\n",
+      "{'epoch': 0, 'update in batch': 8019, '/': 12375, 'loss': 6.207704067230225}\n",
+      "{'epoch': 0, 'update in batch': 8020, '/': 12375, 'loss': 6.731387138366699}\n",
+      "{'epoch': 0, 'update in batch': 8021, '/': 12375, 'loss': 7.504261016845703}\n",
+      "{'epoch': 0, 'update in batch': 8022, '/': 12375, 'loss': 7.076413154602051}\n",
+      "{'epoch': 0, 'update in batch': 8023, '/': 12375, 'loss': 7.528949737548828}\n",
+      "{'epoch': 0, 'update in batch': 8024, '/': 12375, 'loss': 7.057697296142578}\n",
+      "{'epoch': 0, 'update in batch': 8025, '/': 12375, 'loss': 6.965176582336426}\n",
+      "{'epoch': 0, 'update in batch': 8026, '/': 12375, 'loss': 7.043240547180176}\n",
+      "{'epoch': 0, 'update in batch': 8027, '/': 12375, 'loss': 6.152734756469727}\n",
+      "{'epoch': 0, 'update in batch': 8028, '/': 12375, 'loss': 7.185336112976074}\n",
+      "{'epoch': 0, 'update in batch': 8029, '/': 12375, 'loss': 7.935385227203369}\n",
+      "{'epoch': 0, 'update in batch': 8030, '/': 12375, 'loss': 7.473226070404053}\n",
+      "{'epoch': 0, 'update in batch': 8031, '/': 12375, 'loss': 7.2493157386779785}\n",
+      "{'epoch': 0, 'update in batch': 8032, '/': 12375, 'loss': 7.525689125061035}\n",
+      "{'epoch': 0, 'update in batch': 8033, '/': 12375, 'loss': 7.213408470153809}\n",
+      "{'epoch': 0, 'update in batch': 8034, '/': 12375, 'loss': 6.632991790771484}\n",
+      "{'epoch': 0, 'update in batch': 8035, '/': 12375, 'loss': 7.72185754776001}\n",
+      "{'epoch': 0, 'update in batch': 8036, '/': 12375, 'loss': 6.9317803382873535}\n",
+      "{'epoch': 0, 'update in batch': 8037, '/': 12375, 'loss': 7.770871162414551}\n",
+      "{'epoch': 0, 'update in batch': 8038, '/': 12375, 'loss': 7.059508323669434}\n",
+      "{'epoch': 0, 'update in batch': 8039, '/': 12375, 'loss': 7.34881591796875}\n",
+      "{'epoch': 0, 'update in batch': 8040, '/': 12375, 'loss': 6.842761039733887}\n",
+      "{'epoch': 0, 'update in batch': 8041, '/': 12375, 'loss': 7.0879621505737305}\n",
+      "{'epoch': 0, 'update in batch': 8042, '/': 12375, 'loss': 6.523592948913574}\n",
+      "{'epoch': 0, 'update in batch': 8043, '/': 12375, 'loss': 7.221063137054443}\n",
+      "{'epoch': 0, 'update in batch': 8044, '/': 12375, 'loss': 6.614060878753662}\n",
+      "{'epoch': 0, 'update in batch': 8045, '/': 12375, 'loss': 6.686774253845215}\n",
+      "{'epoch': 0, 'update in batch': 8046, '/': 12375, 'loss': 6.678021430969238}\n",
+      "{'epoch': 0, 'update in batch': 8047, '/': 12375, 'loss': 6.919170379638672}\n",
+      "{'epoch': 0, 'update in batch': 8048, '/': 12375, 'loss': 6.5516204833984375}\n",
+      "{'epoch': 0, 'update in batch': 8049, '/': 12375, 'loss': 6.6127166748046875}\n",
+      "{'epoch': 0, 'update in batch': 8050, '/': 12375, 'loss': 6.5547027587890625}\n",
+      "{'epoch': 0, 'update in batch': 8051, '/': 12375, 'loss': 6.859710693359375}\n",
+      "{'epoch': 0, 'update in batch': 8052, '/': 12375, 'loss': 6.807809352874756}\n",
+      "{'epoch': 0, 'update in batch': 8053, '/': 12375, 'loss': 6.698529243469238}\n",
+      "{'epoch': 0, 'update in batch': 8054, '/': 12375, 'loss': 7.053131103515625}\n",
+      "{'epoch': 0, 'update in batch': 8055, '/': 12375, 'loss': 5.983422756195068}\n",
+      "{'epoch': 0, 'update in batch': 8056, '/': 12375, 'loss': 7.382264137268066}\n",
+      "{'epoch': 0, 'update in batch': 8057, '/': 12375, 'loss': 7.309884548187256}\n",
+      "{'epoch': 0, 'update in batch': 8058, '/': 12375, 'loss': 7.17581844329834}\n",
+      "{'epoch': 0, 'update in batch': 8059, '/': 12375, 'loss': 7.310896873474121}\n",
+      "{'epoch': 0, 'update in batch': 8060, '/': 12375, 'loss': 7.502200126647949}\n",
+      "{'epoch': 0, 'update in batch': 8061, '/': 12375, 'loss': 7.192756652832031}\n",
+      "{'epoch': 0, 'update in batch': 8062, '/': 12375, 'loss': 7.790888786315918}\n",
+      "{'epoch': 0, 'update in batch': 8063, '/': 12375, 'loss': 6.674274444580078}\n",
+      "{'epoch': 0, 'update in batch': 8064, '/': 12375, 'loss': 6.366292953491211}\n",
+      "{'epoch': 0, 'update in batch': 8065, '/': 12375, 'loss': 7.151803016662598}\n",
+      "{'epoch': 0, 'update in batch': 8066, '/': 12375, 'loss': 6.381291389465332}\n",
+      "{'epoch': 0, 'update in batch': 8067, '/': 12375, 'loss': 7.170744895935059}\n",
+      "{'epoch': 0, 'update in batch': 8068, '/': 12375, 'loss': 7.074429988861084}\n",
+      "{'epoch': 0, 'update in batch': 8069, '/': 12375, 'loss': 7.093265533447266}\n",
+      "{'epoch': 0, 'update in batch': 8070, '/': 12375, 'loss': 6.561644554138184}\n",
+      "{'epoch': 0, 'update in batch': 8071, '/': 12375, 'loss': 7.003381252288818}\n",
+      "{'epoch': 0, 'update in batch': 8072, '/': 12375, 'loss': 6.810410499572754}\n",
+      "{'epoch': 0, 'update in batch': 8073, '/': 12375, 'loss': 6.667700290679932}\n",
+      "{'epoch': 0, 'update in batch': 8074, '/': 12375, 'loss': 7.024579048156738}\n",
+      "{'epoch': 0, 'update in batch': 8075, '/': 12375, 'loss': 7.125082969665527}\n",
+      "{'epoch': 0, 'update in batch': 8076, '/': 12375, 'loss': 7.158727169036865}\n",
+      "{'epoch': 0, 'update in batch': 8077, '/': 12375, 'loss': 6.39428186416626}\n",
+      "{'epoch': 0, 'update in batch': 8078, '/': 12375, 'loss': 7.158210754394531}\n",
+      "{'epoch': 0, 'update in batch': 8079, '/': 12375, 'loss': 6.856743812561035}\n",
+      "{'epoch': 0, 'update in batch': 8080, '/': 12375, 'loss': 7.059420108795166}\n",
+      "{'epoch': 0, 'update in batch': 8081, '/': 12375, 'loss': 7.426386833190918}\n",
+      "{'epoch': 0, 'update in batch': 8082, '/': 12375, 'loss': 7.205183506011963}\n",
+      "{'epoch': 0, 'update in batch': 8083, '/': 12375, 'loss': 7.5437750816345215}\n",
+      "{'epoch': 0, 'update in batch': 8084, '/': 12375, 'loss': 7.530256748199463}\n",
+      "{'epoch': 0, 'update in batch': 8085, '/': 12375, 'loss': 6.522759914398193}\n",
+      "{'epoch': 0, 'update in batch': 8086, '/': 12375, 'loss': 6.3610520362854}\n",
+      "{'epoch': 0, 'update in batch': 8087, '/': 12375, 'loss': 7.152033805847168}\n",
+      "{'epoch': 0, 'update in batch': 8088, '/': 12375, 'loss': 7.032952785491943}\n",
+      "{'epoch': 0, 'update in batch': 8089, '/': 12375, 'loss': 7.120673179626465}\n",
+      "{'epoch': 0, 'update in batch': 8090, '/': 12375, 'loss': 6.986764430999756}\n",
+      "{'epoch': 0, 'update in batch': 8091, '/': 12375, 'loss': 6.945603847503662}\n",
+      "{'epoch': 0, 'update in batch': 8092, '/': 12375, 'loss': 5.949392318725586}\n",
+      "{'epoch': 0, 'update in batch': 8093, '/': 12375, 'loss': 6.821982383728027}\n",
+      "{'epoch': 0, 'update in batch': 8094, '/': 12375, 'loss': 7.340008735656738}\n",
+      "{'epoch': 0, 'update in batch': 8095, '/': 12375, 'loss': 7.28835391998291}\n",
+      "{'epoch': 0, 'update in batch': 8096, '/': 12375, 'loss': 7.649275302886963}\n",
+      "{'epoch': 0, 'update in batch': 8097, '/': 12375, 'loss': 5.868315696716309}\n",
+      "{'epoch': 0, 'update in batch': 8098, '/': 12375, 'loss': 6.23184061050415}\n",
+      "{'epoch': 0, 'update in batch': 8099, '/': 12375, 'loss': 6.25661563873291}\n",
+      "{'epoch': 0, 'update in batch': 8100, '/': 12375, 'loss': 6.772477626800537}\n",
+      "{'epoch': 0, 'update in batch': 8101, '/': 12375, 'loss': 7.162255764007568}\n",
+      "{'epoch': 0, 'update in batch': 8102, '/': 12375, 'loss': 6.637085914611816}\n",
+      "{'epoch': 0, 'update in batch': 8103, '/': 12375, 'loss': 7.050963401794434}\n",
+      "{'epoch': 0, 'update in batch': 8104, '/': 12375, 'loss': 6.728343963623047}\n",
+      "{'epoch': 0, 'update in batch': 8105, '/': 12375, 'loss': 6.961863040924072}\n",
+      "{'epoch': 0, 'update in batch': 8106, '/': 12375, 'loss': 7.391162872314453}\n",
+      "{'epoch': 0, 'update in batch': 8107, '/': 12375, 'loss': 7.290789604187012}\n",
+      "{'epoch': 0, 'update in batch': 8108, '/': 12375, 'loss': 6.219086170196533}\n",
+      "{'epoch': 0, 'update in batch': 8109, '/': 12375, 'loss': 6.718644142150879}\n",
+      "{'epoch': 0, 'update in batch': 8110, '/': 12375, 'loss': 6.895360469818115}\n",
+      "{'epoch': 0, 'update in batch': 8111, '/': 12375, 'loss': 6.95791482925415}\n",
+      "{'epoch': 0, 'update in batch': 8112, '/': 12375, 'loss': 7.215872287750244}\n",
+      "{'epoch': 0, 'update in batch': 8113, '/': 12375, 'loss': 7.130069732666016}\n",
+      "{'epoch': 0, 'update in batch': 8114, '/': 12375, 'loss': 7.067897796630859}\n",
+      "{'epoch': 0, 'update in batch': 8115, '/': 12375, 'loss': 7.181959629058838}\n",
+      "{'epoch': 0, 'update in batch': 8116, '/': 12375, 'loss': 6.276902198791504}\n",
+      "{'epoch': 0, 'update in batch': 8117, '/': 12375, 'loss': 6.65160608291626}\n",
+      "{'epoch': 0, 'update in batch': 8118, '/': 12375, 'loss': 6.997960090637207}\n",
+      "{'epoch': 0, 'update in batch': 8119, '/': 12375, 'loss': 6.948795318603516}\n",
+      "{'epoch': 0, 'update in batch': 8120, '/': 12375, 'loss': 6.838662147521973}\n",
+      "{'epoch': 0, 'update in batch': 8121, '/': 12375, 'loss': 6.899819374084473}\n",
+      "{'epoch': 0, 'update in batch': 8122, '/': 12375, 'loss': 7.114354133605957}\n",
+      "{'epoch': 0, 'update in batch': 8123, '/': 12375, 'loss': 7.304817199707031}\n",
+      "{'epoch': 0, 'update in batch': 8124, '/': 12375, 'loss': 7.698882102966309}\n",
+      "{'epoch': 0, 'update in batch': 8125, '/': 12375, 'loss': 8.184377670288086}\n",
+      "{'epoch': 0, 'update in batch': 8126, '/': 12375, 'loss': 7.256905555725098}\n",
+      "{'epoch': 0, 'update in batch': 8127, '/': 12375, 'loss': 6.525475978851318}\n",
+      "{'epoch': 0, 'update in batch': 8128, '/': 12375, 'loss': 7.2737016677856445}\n",
+      "{'epoch': 0, 'update in batch': 8129, '/': 12375, 'loss': 6.837821960449219}\n",
+      "{'epoch': 0, 'update in batch': 8130, '/': 12375, 'loss': 7.489717960357666}\n",
+      "{'epoch': 0, 'update in batch': 8131, '/': 12375, 'loss': 7.547875881195068}\n",
+      "{'epoch': 0, 'update in batch': 8132, '/': 12375, 'loss': 6.366972923278809}\n",
+      "{'epoch': 0, 'update in batch': 8133, '/': 12375, 'loss': 6.159152030944824}\n",
+      "{'epoch': 0, 'update in batch': 8134, '/': 12375, 'loss': 6.563850402832031}\n",
+      "{'epoch': 0, 'update in batch': 8135, '/': 12375, 'loss': 6.485524654388428}\n",
+      "{'epoch': 0, 'update in batch': 8136, '/': 12375, 'loss': 6.496634006500244}\n",
+      "{'epoch': 0, 'update in batch': 8137, '/': 12375, 'loss': 6.929903984069824}\n",
+      "{'epoch': 0, 'update in batch': 8138, '/': 12375, 'loss': 6.938939094543457}\n",
+      "{'epoch': 0, 'update in batch': 8139, '/': 12375, 'loss': 6.575409889221191}\n",
+      "{'epoch': 0, 'update in batch': 8140, '/': 12375, 'loss': 7.172705173492432}\n",
+      "{'epoch': 0, 'update in batch': 8141, '/': 12375, 'loss': 7.037120819091797}\n",
+      "{'epoch': 0, 'update in batch': 8142, '/': 12375, 'loss': 5.646131992340088}\n",
+      "{'epoch': 0, 'update in batch': 8143, '/': 12375, 'loss': 6.358826160430908}\n",
+      "{'epoch': 0, 'update in batch': 8144, '/': 12375, 'loss': 7.476528167724609}\n",
+      "{'epoch': 0, 'update in batch': 8145, '/': 12375, 'loss': 6.395223617553711}\n",
+      "{'epoch': 0, 'update in batch': 8146, '/': 12375, 'loss': 6.24300479888916}\n",
+      "{'epoch': 0, 'update in batch': 8147, '/': 12375, 'loss': 6.508535861968994}\n",
+      "{'epoch': 0, 'update in batch': 8148, '/': 12375, 'loss': 7.190831661224365}\n",
+      "{'epoch': 0, 'update in batch': 8149, '/': 12375, 'loss': 6.693753719329834}\n",
+      "{'epoch': 0, 'update in batch': 8150, '/': 12375, 'loss': 6.609805107116699}\n",
+      "{'epoch': 0, 'update in batch': 8151, '/': 12375, 'loss': 6.487515449523926}\n",
+      "{'epoch': 0, 'update in batch': 8152, '/': 12375, 'loss': 6.491320610046387}\n",
+      "{'epoch': 0, 'update in batch': 8153, '/': 12375, 'loss': 6.859811305999756}\n",
+      "{'epoch': 0, 'update in batch': 8154, '/': 12375, 'loss': 6.8459062576293945}\n",
+      "{'epoch': 0, 'update in batch': 8155, '/': 12375, 'loss': 6.4727888107299805}\n",
+      "{'epoch': 0, 'update in batch': 8156, '/': 12375, 'loss': 6.857863426208496}\n",
+      "{'epoch': 0, 'update in batch': 8157, '/': 12375, 'loss': 7.631674289703369}\n",
+      "{'epoch': 0, 'update in batch': 8158, '/': 12375, 'loss': 7.020379543304443}\n",
+      "{'epoch': 0, 'update in batch': 8159, '/': 12375, 'loss': 6.1315131187438965}\n",
+      "{'epoch': 0, 'update in batch': 8160, '/': 12375, 'loss': 7.0915045738220215}\n",
+      "{'epoch': 0, 'update in batch': 8161, '/': 12375, 'loss': 7.33847188949585}\n",
+      "{'epoch': 0, 'update in batch': 8162, '/': 12375, 'loss': 7.122445106506348}\n",
+      "{'epoch': 0, 'update in batch': 8163, '/': 12375, 'loss': 7.0459394454956055}\n",
+      "{'epoch': 0, 'update in batch': 8164, '/': 12375, 'loss': 6.685728549957275}\n",
+      "{'epoch': 0, 'update in batch': 8165, '/': 12375, 'loss': 7.388871669769287}\n",
+      "{'epoch': 0, 'update in batch': 8166, '/': 12375, 'loss': 5.8255815505981445}\n",
+      "{'epoch': 0, 'update in batch': 8167, '/': 12375, 'loss': 6.501426696777344}\n",
+      "{'epoch': 0, 'update in batch': 8168, '/': 12375, 'loss': 6.482568264007568}\n",
+      "{'epoch': 0, 'update in batch': 8169, '/': 12375, 'loss': 5.854874610900879}\n",
+      "{'epoch': 0, 'update in batch': 8170, '/': 12375, 'loss': 6.543837547302246}\n",
+      "{'epoch': 0, 'update in batch': 8171, '/': 12375, 'loss': 6.516181945800781}\n",
+      "{'epoch': 0, 'update in batch': 8172, '/': 12375, 'loss': 7.557730674743652}\n",
+      "{'epoch': 0, 'update in batch': 8173, '/': 12375, 'loss': 6.911726474761963}\n",
+      "{'epoch': 0, 'update in batch': 8174, '/': 12375, 'loss': 6.891257286071777}\n",
+      "{'epoch': 0, 'update in batch': 8175, '/': 12375, 'loss': 6.284226894378662}\n",
+      "{'epoch': 0, 'update in batch': 8176, '/': 12375, 'loss': 6.719306945800781}\n",
+      "{'epoch': 0, 'update in batch': 8177, '/': 12375, 'loss': 6.251976013183594}\n",
+      "{'epoch': 0, 'update in batch': 8178, '/': 12375, 'loss': 6.202887535095215}\n",
+      "{'epoch': 0, 'update in batch': 8179, '/': 12375, 'loss': 6.482617378234863}\n",
+      "{'epoch': 0, 'update in batch': 8180, '/': 12375, 'loss': 6.679213523864746}\n",
+      "{'epoch': 0, 'update in batch': 8181, '/': 12375, 'loss': 7.08917236328125}\n",
+      "{'epoch': 0, 'update in batch': 8182, '/': 12375, 'loss': 6.62035608291626}\n",
+      "{'epoch': 0, 'update in batch': 8183, '/': 12375, 'loss': 6.50344181060791}\n",
+      "{'epoch': 0, 'update in batch': 8184, '/': 12375, 'loss': 6.333920001983643}\n",
+      "{'epoch': 0, 'update in batch': 8185, '/': 12375, 'loss': 7.1161346435546875}\n",
+      "{'epoch': 0, 'update in batch': 8186, '/': 12375, 'loss': 5.387729167938232}\n",
+      "{'epoch': 0, 'update in batch': 8187, '/': 12375, 'loss': 6.877904415130615}\n",
+      "{'epoch': 0, 'update in batch': 8188, '/': 12375, 'loss': 7.368902683258057}\n",
+      "{'epoch': 0, 'update in batch': 8189, '/': 12375, 'loss': 6.70910120010376}\n",
+      "{'epoch': 0, 'update in batch': 8190, '/': 12375, 'loss': 8.004158973693848}\n",
+      "{'epoch': 0, 'update in batch': 8191, '/': 12375, 'loss': 6.453039646148682}\n",
+      "{'epoch': 0, 'update in batch': 8192, '/': 12375, 'loss': 6.5819993019104}\n",
+      "{'epoch': 0, 'update in batch': 8193, '/': 12375, 'loss': 6.1783294677734375}\n",
+      "{'epoch': 0, 'update in batch': 8194, '/': 12375, 'loss': 6.1145405769348145}\n",
+      "{'epoch': 0, 'update in batch': 8195, '/': 12375, 'loss': 6.792355537414551}\n",
+      "{'epoch': 0, 'update in batch': 8196, '/': 12375, 'loss': 6.661108493804932}\n",
+      "{'epoch': 0, 'update in batch': 8197, '/': 12375, 'loss': 6.614289283752441}\n",
+      "{'epoch': 0, 'update in batch': 8198, '/': 12375, 'loss': 6.403266906738281}\n",
+      "{'epoch': 0, 'update in batch': 8199, '/': 12375, 'loss': 6.227262020111084}\n",
+      "{'epoch': 0, 'update in batch': 8200, '/': 12375, 'loss': 6.488107204437256}\n",
+      "{'epoch': 0, 'update in batch': 8201, '/': 12375, 'loss': 6.093274116516113}\n",
+      "{'epoch': 0, 'update in batch': 8202, '/': 12375, 'loss': 6.87408971786499}\n",
+      "{'epoch': 0, 'update in batch': 8203, '/': 12375, 'loss': 6.377683639526367}\n",
+      "{'epoch': 0, 'update in batch': 8204, '/': 12375, 'loss': 6.469272613525391}\n",
+      "{'epoch': 0, 'update in batch': 8205, '/': 12375, 'loss': 6.504319667816162}\n",
+      "{'epoch': 0, 'update in batch': 8206, '/': 12375, 'loss': 6.534666538238525}\n",
+      "{'epoch': 0, 'update in batch': 8207, '/': 12375, 'loss': 6.7648024559021}\n",
+      "{'epoch': 0, 'update in batch': 8208, '/': 12375, 'loss': 7.360365390777588}\n",
+      "{'epoch': 0, 'update in batch': 8209, '/': 12375, 'loss': 5.750584602355957}\n",
+      "{'epoch': 0, 'update in batch': 8210, '/': 12375, 'loss': 7.014710903167725}\n",
+      "{'epoch': 0, 'update in batch': 8211, '/': 12375, 'loss': 6.28220796585083}\n",
+      "{'epoch': 0, 'update in batch': 8212, '/': 12375, 'loss': 6.526568412780762}\n",
+      "{'epoch': 0, 'update in batch': 8213, '/': 12375, 'loss': 6.548008918762207}\n",
+      "{'epoch': 0, 'update in batch': 8214, '/': 12375, 'loss': 6.852494716644287}\n",
+      "{'epoch': 0, 'update in batch': 8215, '/': 12375, 'loss': 7.701397895812988}\n",
+      "{'epoch': 0, 'update in batch': 8216, '/': 12375, 'loss': 7.967782020568848}\n",
+      "{'epoch': 0, 'update in batch': 8217, '/': 12375, 'loss': 7.6963605880737305}\n",
+      "{'epoch': 0, 'update in batch': 8218, '/': 12375, 'loss': 7.13045597076416}\n",
+      "{'epoch': 0, 'update in batch': 8219, '/': 12375, 'loss': 7.3747239112854}\n",
+      "{'epoch': 0, 'update in batch': 8220, '/': 12375, 'loss': 6.371795654296875}\n",
+      "{'epoch': 0, 'update in batch': 8221, '/': 12375, 'loss': 6.176009654998779}\n",
+      "{'epoch': 0, 'update in batch': 8222, '/': 12375, 'loss': 6.924415588378906}\n",
+      "{'epoch': 0, 'update in batch': 8223, '/': 12375, 'loss': 7.08511209487915}\n",
+      "{'epoch': 0, 'update in batch': 8224, '/': 12375, 'loss': 7.3722405433654785}\n",
+      "{'epoch': 0, 'update in batch': 8225, '/': 12375, 'loss': 6.822013854980469}\n",
+      "{'epoch': 0, 'update in batch': 8226, '/': 12375, 'loss': 6.800171852111816}\n",
+      "{'epoch': 0, 'update in batch': 8227, '/': 12375, 'loss': 6.857832908630371}\n",
+      "{'epoch': 0, 'update in batch': 8228, '/': 12375, 'loss': 7.913148403167725}\n",
+      "{'epoch': 0, 'update in batch': 8229, '/': 12375, 'loss': 6.682366847991943}\n",
+      "{'epoch': 0, 'update in batch': 8230, '/': 12375, 'loss': 7.161434173583984}\n",
+      "{'epoch': 0, 'update in batch': 8231, '/': 12375, 'loss': 6.272930145263672}\n",
+      "{'epoch': 0, 'update in batch': 8232, '/': 12375, 'loss': 6.734395503997803}\n",
+      "{'epoch': 0, 'update in batch': 8233, '/': 12375, 'loss': 6.990670204162598}\n",
+      "{'epoch': 0, 'update in batch': 8234, '/': 12375, 'loss': 7.290484428405762}\n",
+      "{'epoch': 0, 'update in batch': 8235, '/': 12375, 'loss': 7.275463104248047}\n",
+      "{'epoch': 0, 'update in batch': 8236, '/': 12375, 'loss': 7.074530601501465}\n",
+      "{'epoch': 0, 'update in batch': 8237, '/': 12375, 'loss': 7.310842990875244}\n",
+      "{'epoch': 0, 'update in batch': 8238, '/': 12375, 'loss': 7.265519142150879}\n",
+      "{'epoch': 0, 'update in batch': 8239, '/': 12375, 'loss': 7.5108137130737305}\n",
+      "{'epoch': 0, 'update in batch': 8240, '/': 12375, 'loss': 7.209198951721191}\n",
+      "{'epoch': 0, 'update in batch': 8241, '/': 12375, 'loss': 6.571056365966797}\n",
+      "{'epoch': 0, 'update in batch': 8242, '/': 12375, 'loss': 6.717704772949219}\n",
+      "{'epoch': 0, 'update in batch': 8243, '/': 12375, 'loss': 5.749105930328369}\n",
+      "{'epoch': 0, 'update in batch': 8244, '/': 12375, 'loss': 7.146883964538574}\n",
+      "{'epoch': 0, 'update in batch': 8245, '/': 12375, 'loss': 6.93337869644165}\n",
+      "{'epoch': 0, 'update in batch': 8246, '/': 12375, 'loss': 6.465620994567871}\n",
+      "{'epoch': 0, 'update in batch': 8247, '/': 12375, 'loss': 6.26417875289917}\n",
+      "{'epoch': 0, 'update in batch': 8248, '/': 12375, 'loss': 6.95831823348999}\n",
+      "{'epoch': 0, 'update in batch': 8249, '/': 12375, 'loss': 6.712496757507324}\n",
+      "{'epoch': 0, 'update in batch': 8250, '/': 12375, 'loss': 6.420519828796387}\n",
+      "{'epoch': 0, 'update in batch': 8251, '/': 12375, 'loss': 6.770557403564453}\n",
+      "{'epoch': 0, 'update in batch': 8252, '/': 12375, 'loss': 7.1475372314453125}\n",
+      "{'epoch': 0, 'update in batch': 8253, '/': 12375, 'loss': 6.517544746398926}\n",
+      "{'epoch': 0, 'update in batch': 8254, '/': 12375, 'loss': 7.8289313316345215}\n",
+      "{'epoch': 0, 'update in batch': 8255, '/': 12375, 'loss': 6.583586692810059}\n",
+      "{'epoch': 0, 'update in batch': 8256, '/': 12375, 'loss': 5.754279613494873}\n",
+      "{'epoch': 0, 'update in batch': 8257, '/': 12375, 'loss': 7.176992893218994}\n",
+      "{'epoch': 0, 'update in batch': 8258, '/': 12375, 'loss': 5.853325366973877}\n",
+      "{'epoch': 0, 'update in batch': 8259, '/': 12375, 'loss': 6.2746381759643555}\n",
+      "{'epoch': 0, 'update in batch': 8260, '/': 12375, 'loss': 6.471547603607178}\n",
+      "{'epoch': 0, 'update in batch': 8261, '/': 12375, 'loss': 6.799975395202637}\n",
+      "{'epoch': 0, 'update in batch': 8262, '/': 12375, 'loss': 7.054266452789307}\n",
+      "{'epoch': 0, 'update in batch': 8263, '/': 12375, 'loss': 7.574638366699219}\n",
+      "{'epoch': 0, 'update in batch': 8264, '/': 12375, 'loss': 7.402134895324707}\n",
+      "{'epoch': 0, 'update in batch': 8265, '/': 12375, 'loss': 5.861779689788818}\n",
+      "{'epoch': 0, 'update in batch': 8266, '/': 12375, 'loss': 7.4023871421813965}\n",
+      "{'epoch': 0, 'update in batch': 8267, '/': 12375, 'loss': 5.950850486755371}\n",
+      "{'epoch': 0, 'update in batch': 8268, '/': 12375, 'loss': 6.4525041580200195}\n",
+      "{'epoch': 0, 'update in batch': 8269, '/': 12375, 'loss': 6.756381034851074}\n",
+      "{'epoch': 0, 'update in batch': 8270, '/': 12375, 'loss': 6.710528373718262}\n",
+      "{'epoch': 0, 'update in batch': 8271, '/': 12375, 'loss': 7.421016693115234}\n",
+      "{'epoch': 0, 'update in batch': 8272, '/': 12375, 'loss': 8.033304214477539}\n",
+      "{'epoch': 0, 'update in batch': 8273, '/': 12375, 'loss': 7.9901556968688965}\n",
+      "{'epoch': 0, 'update in batch': 8274, '/': 12375, 'loss': 8.285264015197754}\n",
+      "{'epoch': 0, 'update in batch': 8275, '/': 12375, 'loss': 7.839263916015625}\n",
+      "{'epoch': 0, 'update in batch': 8276, '/': 12375, 'loss': 6.995284080505371}\n",
+      "{'epoch': 0, 'update in batch': 8277, '/': 12375, 'loss': 8.056196212768555}\n",
+      "{'epoch': 0, 'update in batch': 8278, '/': 12375, 'loss': 7.624765872955322}\n",
+      "{'epoch': 0, 'update in batch': 8279, '/': 12375, 'loss': 6.985485076904297}\n",
+      "{'epoch': 0, 'update in batch': 8280, '/': 12375, 'loss': 7.288539886474609}\n",
+      "{'epoch': 0, 'update in batch': 8281, '/': 12375, 'loss': 7.138711452484131}\n",
+      "{'epoch': 0, 'update in batch': 8282, '/': 12375, 'loss': 7.699313163757324}\n",
+      "{'epoch': 0, 'update in batch': 8283, '/': 12375, 'loss': 7.771581172943115}\n",
+      "{'epoch': 0, 'update in batch': 8284, '/': 12375, 'loss': 7.956400394439697}\n",
+      "{'epoch': 0, 'update in batch': 8285, '/': 12375, 'loss': 7.4273552894592285}\n",
+      "{'epoch': 0, 'update in batch': 8286, '/': 12375, 'loss': 7.250738620758057}\n",
+      "{'epoch': 0, 'update in batch': 8287, '/': 12375, 'loss': 7.9318060874938965}\n",
+      "{'epoch': 0, 'update in batch': 8288, '/': 12375, 'loss': 7.317433834075928}\n",
+      "{'epoch': 0, 'update in batch': 8289, '/': 12375, 'loss': 7.796713352203369}\n",
+      "{'epoch': 0, 'update in batch': 8290, '/': 12375, 'loss': 7.571389675140381}\n",
+      "{'epoch': 0, 'update in batch': 8291, '/': 12375, 'loss': 7.676983833312988}\n",
+      "{'epoch': 0, 'update in batch': 8292, '/': 12375, 'loss': 8.15243148803711}\n",
+      "{'epoch': 0, 'update in batch': 8293, '/': 12375, 'loss': 7.24973201751709}\n",
+      "{'epoch': 0, 'update in batch': 8294, '/': 12375, 'loss': 7.54592752456665}\n",
+      "{'epoch': 0, 'update in batch': 8295, '/': 12375, 'loss': 7.567619323730469}\n",
+      "{'epoch': 0, 'update in batch': 8296, '/': 12375, 'loss': 7.7800421714782715}\n",
+      "{'epoch': 0, 'update in batch': 8297, '/': 12375, 'loss': 6.65625}\n",
+      "{'epoch': 0, 'update in batch': 8298, '/': 12375, 'loss': 7.55710506439209}\n",
+      "{'epoch': 0, 'update in batch': 8299, '/': 12375, 'loss': 7.074471950531006}\n",
+      "{'epoch': 0, 'update in batch': 8300, '/': 12375, 'loss': 7.3338799476623535}\n",
+      "{'epoch': 0, 'update in batch': 8301, '/': 12375, 'loss': 7.545208930969238}\n",
+      "{'epoch': 0, 'update in batch': 8302, '/': 12375, 'loss': 6.763519287109375}\n",
+      "{'epoch': 0, 'update in batch': 8303, '/': 12375, 'loss': 5.251518726348877}\n",
+      "{'epoch': 0, 'update in batch': 8304, '/': 12375, 'loss': 6.875420570373535}\n",
+      "{'epoch': 0, 'update in batch': 8305, '/': 12375, 'loss': 6.871131896972656}\n",
+      "{'epoch': 0, 'update in batch': 8306, '/': 12375, 'loss': 7.105976104736328}\n",
+      "{'epoch': 0, 'update in batch': 8307, '/': 12375, 'loss': 6.6589202880859375}\n",
+      "{'epoch': 0, 'update in batch': 8308, '/': 12375, 'loss': 7.022707462310791}\n",
+      "{'epoch': 0, 'update in batch': 8309, '/': 12375, 'loss': 7.142889499664307}\n",
+      "{'epoch': 0, 'update in batch': 8310, '/': 12375, 'loss': 7.141016960144043}\n",
+      "{'epoch': 0, 'update in batch': 8311, '/': 12375, 'loss': 6.0941057205200195}\n",
+      "{'epoch': 0, 'update in batch': 8312, '/': 12375, 'loss': 6.2757368087768555}\n",
+      "{'epoch': 0, 'update in batch': 8313, '/': 12375, 'loss': 6.836812496185303}\n",
+      "{'epoch': 0, 'update in batch': 8314, '/': 12375, 'loss': 6.607499599456787}\n",
+      "{'epoch': 0, 'update in batch': 8315, '/': 12375, 'loss': 7.769862174987793}\n",
+      "{'epoch': 0, 'update in batch': 8316, '/': 12375, 'loss': 7.558568477630615}\n",
+      "{'epoch': 0, 'update in batch': 8317, '/': 12375, 'loss': 7.848646640777588}\n",
+      "{'epoch': 0, 'update in batch': 8318, '/': 12375, 'loss': 7.730155944824219}\n",
+      "{'epoch': 0, 'update in batch': 8319, '/': 12375, 'loss': 8.340520858764648}\n",
+      "{'epoch': 0, 'update in batch': 8320, '/': 12375, 'loss': 7.127983093261719}\n",
+      "{'epoch': 0, 'update in batch': 8321, '/': 12375, 'loss': 6.691233158111572}\n",
+      "{'epoch': 0, 'update in batch': 8322, '/': 12375, 'loss': 6.506181240081787}\n",
+      "{'epoch': 0, 'update in batch': 8323, '/': 12375, 'loss': 6.3397321701049805}\n",
+      "{'epoch': 0, 'update in batch': 8324, '/': 12375, 'loss': 6.74124813079834}\n",
+      "{'epoch': 0, 'update in batch': 8325, '/': 12375, 'loss': 6.236125469207764}\n",
+      "{'epoch': 0, 'update in batch': 8326, '/': 12375, 'loss': 7.6151838302612305}\n",
+      "{'epoch': 0, 'update in batch': 8327, '/': 12375, 'loss': 6.957297325134277}\n",
+      "{'epoch': 0, 'update in batch': 8328, '/': 12375, 'loss': 7.2867889404296875}\n",
+      "{'epoch': 0, 'update in batch': 8329, '/': 12375, 'loss': 7.775669097900391}\n",
+      "{'epoch': 0, 'update in batch': 8330, '/': 12375, 'loss': 7.8511505126953125}\n",
+      "{'epoch': 0, 'update in batch': 8331, '/': 12375, 'loss': 7.824527740478516}\n",
+      "{'epoch': 0, 'update in batch': 8332, '/': 12375, 'loss': 7.016402244567871}\n",
+      "{'epoch': 0, 'update in batch': 8333, '/': 12375, 'loss': 7.5962982177734375}\n",
+      "{'epoch': 0, 'update in batch': 8334, '/': 12375, 'loss': 7.278077125549316}\n",
+      "{'epoch': 0, 'update in batch': 8335, '/': 12375, 'loss': 7.23540735244751}\n",
+      "{'epoch': 0, 'update in batch': 8336, '/': 12375, 'loss': 7.8399810791015625}\n",
+      "{'epoch': 0, 'update in batch': 8337, '/': 12375, 'loss': 6.507246971130371}\n",
+      "{'epoch': 0, 'update in batch': 8338, '/': 12375, 'loss': 7.434218406677246}\n",
+      "{'epoch': 0, 'update in batch': 8339, '/': 12375, 'loss': 6.350749492645264}\n",
+      "{'epoch': 0, 'update in batch': 8340, '/': 12375, 'loss': 6.6609015464782715}\n",
+      "{'epoch': 0, 'update in batch': 8341, '/': 12375, 'loss': 6.719946384429932}\n",
+      "{'epoch': 0, 'update in batch': 8342, '/': 12375, 'loss': 8.08144474029541}\n",
+      "{'epoch': 0, 'update in batch': 8343, '/': 12375, 'loss': 7.950720310211182}\n",
+      "{'epoch': 0, 'update in batch': 8344, '/': 12375, 'loss': 7.855340003967285}\n",
+      "{'epoch': 0, 'update in batch': 8345, '/': 12375, 'loss': 8.127593040466309}\n",
+      "{'epoch': 0, 'update in batch': 8346, '/': 12375, 'loss': 7.732556343078613}\n",
+      "{'epoch': 0, 'update in batch': 8347, '/': 12375, 'loss': 8.107847213745117}\n",
+      "{'epoch': 0, 'update in batch': 8348, '/': 12375, 'loss': 7.4589080810546875}\n",
+      "{'epoch': 0, 'update in batch': 8349, '/': 12375, 'loss': 7.394448280334473}\n",
+      "{'epoch': 0, 'update in batch': 8350, '/': 12375, 'loss': 7.224997520446777}\n",
+      "{'epoch': 0, 'update in batch': 8351, '/': 12375, 'loss': 7.028700828552246}\n",
+      "{'epoch': 0, 'update in batch': 8352, '/': 12375, 'loss': 6.614950656890869}\n",
+      "{'epoch': 0, 'update in batch': 8353, '/': 12375, 'loss': 6.79879903793335}\n",
+      "{'epoch': 0, 'update in batch': 8354, '/': 12375, 'loss': 6.953551292419434}\n",
+      "{'epoch': 0, 'update in batch': 8355, '/': 12375, 'loss': 7.046530246734619}\n",
+      "{'epoch': 0, 'update in batch': 8356, '/': 12375, 'loss': 7.010420799255371}\n",
+      "{'epoch': 0, 'update in batch': 8357, '/': 12375, 'loss': 6.688144683837891}\n",
+      "{'epoch': 0, 'update in batch': 8358, '/': 12375, 'loss': 7.667612552642822}\n",
+      "{'epoch': 0, 'update in batch': 8359, '/': 12375, 'loss': 8.010427474975586}\n",
+      "{'epoch': 0, 'update in batch': 8360, '/': 12375, 'loss': 6.721402168273926}\n",
+      "{'epoch': 0, 'update in batch': 8361, '/': 12375, 'loss': 7.056899070739746}\n",
+      "{'epoch': 0, 'update in batch': 8362, '/': 12375, 'loss': 7.706141471862793}\n",
+      "{'epoch': 0, 'update in batch': 8363, '/': 12375, 'loss': 7.454428195953369}\n",
+      "{'epoch': 0, 'update in batch': 8364, '/': 12375, 'loss': 8.047021865844727}\n",
+      "{'epoch': 0, 'update in batch': 8365, '/': 12375, 'loss': 7.8019561767578125}\n",
+      "{'epoch': 0, 'update in batch': 8366, '/': 12375, 'loss': 8.185590744018555}\n",
+      "{'epoch': 0, 'update in batch': 8367, '/': 12375, 'loss': 7.536447048187256}\n",
+      "{'epoch': 0, 'update in batch': 8368, '/': 12375, 'loss': 8.535063743591309}\n",
+      "{'epoch': 0, 'update in batch': 8369, '/': 12375, 'loss': 8.6334228515625}\n",
+      "{'epoch': 0, 'update in batch': 8370, '/': 12375, 'loss': 7.5879364013671875}\n",
+      "{'epoch': 0, 'update in batch': 8371, '/': 12375, 'loss': 7.405470371246338}\n",
+      "{'epoch': 0, 'update in batch': 8372, '/': 12375, 'loss': 7.15972375869751}\n",
+      "{'epoch': 0, 'update in batch': 8373, '/': 12375, 'loss': 7.151503562927246}\n",
+      "{'epoch': 0, 'update in batch': 8374, '/': 12375, 'loss': 7.552163600921631}\n",
+      "{'epoch': 0, 'update in batch': 8375, '/': 12375, 'loss': 7.121482849121094}\n",
+      "{'epoch': 0, 'update in batch': 8376, '/': 12375, 'loss': 7.062004089355469}\n",
+      "{'epoch': 0, 'update in batch': 8377, '/': 12375, 'loss': 6.1580281257629395}\n",
+      "{'epoch': 0, 'update in batch': 8378, '/': 12375, 'loss': 7.295251369476318}\n",
+      "{'epoch': 0, 'update in batch': 8379, '/': 12375, 'loss': 6.926255226135254}\n",
+      "{'epoch': 0, 'update in batch': 8380, '/': 12375, 'loss': 6.792527675628662}\n",
+      "{'epoch': 0, 'update in batch': 8381, '/': 12375, 'loss': 6.530193328857422}\n",
+      "{'epoch': 0, 'update in batch': 8382, '/': 12375, 'loss': 6.542566776275635}\n",
+      "{'epoch': 0, 'update in batch': 8383, '/': 12375, 'loss': 6.480961799621582}\n",
+      "{'epoch': 0, 'update in batch': 8384, '/': 12375, 'loss': 6.723593711853027}\n",
+      "{'epoch': 0, 'update in batch': 8385, '/': 12375, 'loss': 6.698883056640625}\n",
+      "{'epoch': 0, 'update in batch': 8386, '/': 12375, 'loss': 6.2835893630981445}\n",
+      "{'epoch': 0, 'update in batch': 8387, '/': 12375, 'loss': 6.192018032073975}\n",
+      "{'epoch': 0, 'update in batch': 8388, '/': 12375, 'loss': 7.026131629943848}\n",
+      "{'epoch': 0, 'update in batch': 8389, '/': 12375, 'loss': 6.781344413757324}\n",
+      "{'epoch': 0, 'update in batch': 8390, '/': 12375, 'loss': 6.488329887390137}\n",
+      "{'epoch': 0, 'update in batch': 8391, '/': 12375, 'loss': 7.353877067565918}\n",
+      "{'epoch': 0, 'update in batch': 8392, '/': 12375, 'loss': 7.205471992492676}\n",
+      "{'epoch': 0, 'update in batch': 8393, '/': 12375, 'loss': 7.451241970062256}\n",
+      "{'epoch': 0, 'update in batch': 8394, '/': 12375, 'loss': 7.006211757659912}\n",
+      "{'epoch': 0, 'update in batch': 8395, '/': 12375, 'loss': 7.470253944396973}\n",
+      "{'epoch': 0, 'update in batch': 8396, '/': 12375, 'loss': 5.897192001342773}\n",
+      "{'epoch': 0, 'update in batch': 8397, '/': 12375, 'loss': 5.934976100921631}\n",
+      "{'epoch': 0, 'update in batch': 8398, '/': 12375, 'loss': 6.799278259277344}\n",
+      "{'epoch': 0, 'update in batch': 8399, '/': 12375, 'loss': 6.969460487365723}\n",
+      "{'epoch': 0, 'update in batch': 8400, '/': 12375, 'loss': 7.466761112213135}\n",
+      "{'epoch': 0, 'update in batch': 8401, '/': 12375, 'loss': 6.6630425453186035}\n",
+      "{'epoch': 0, 'update in batch': 8402, '/': 12375, 'loss': 7.34356164932251}\n",
+      "{'epoch': 0, 'update in batch': 8403, '/': 12375, 'loss': 6.6043572425842285}\n",
+      "{'epoch': 0, 'update in batch': 8404, '/': 12375, 'loss': 6.965577602386475}\n",
+      "{'epoch': 0, 'update in batch': 8405, '/': 12375, 'loss': 6.69592809677124}\n",
+      "{'epoch': 0, 'update in batch': 8406, '/': 12375, 'loss': 7.118472099304199}\n",
+      "{'epoch': 0, 'update in batch': 8407, '/': 12375, 'loss': 5.292388439178467}\n",
+      "{'epoch': 0, 'update in batch': 8408, '/': 12375, 'loss': 6.796470642089844}\n",
+      "{'epoch': 0, 'update in batch': 8409, '/': 12375, 'loss': 7.187918663024902}\n",
+      "{'epoch': 0, 'update in batch': 8410, '/': 12375, 'loss': 6.496456146240234}\n",
+      "{'epoch': 0, 'update in batch': 8411, '/': 12375, 'loss': 7.0927734375}\n",
+      "{'epoch': 0, 'update in batch': 8412, '/': 12375, 'loss': 6.953652381896973}\n",
+      "{'epoch': 0, 'update in batch': 8413, '/': 12375, 'loss': 7.2915544509887695}\n",
+      "{'epoch': 0, 'update in batch': 8414, '/': 12375, 'loss': 6.285618782043457}\n",
+      "{'epoch': 0, 'update in batch': 8415, '/': 12375, 'loss': 6.677319526672363}\n",
+      "{'epoch': 0, 'update in batch': 8416, '/': 12375, 'loss': 6.768518924713135}\n",
+      "{'epoch': 0, 'update in batch': 8417, '/': 12375, 'loss': 6.5295729637146}\n",
+      "{'epoch': 0, 'update in batch': 8418, '/': 12375, 'loss': 6.106123924255371}\n",
+      "{'epoch': 0, 'update in batch': 8419, '/': 12375, 'loss': 6.4326066970825195}\n",
+      "{'epoch': 0, 'update in batch': 8420, '/': 12375, 'loss': 6.3628129959106445}\n",
+      "{'epoch': 0, 'update in batch': 8421, '/': 12375, 'loss': 7.5676445960998535}\n",
+      "{'epoch': 0, 'update in batch': 8422, '/': 12375, 'loss': 6.704771995544434}\n",
+      "{'epoch': 0, 'update in batch': 8423, '/': 12375, 'loss': 6.2448320388793945}\n",
+      "{'epoch': 0, 'update in batch': 8424, '/': 12375, 'loss': 6.9149274826049805}\n",
+      "{'epoch': 0, 'update in batch': 8425, '/': 12375, 'loss': 6.824501991271973}\n",
+      "{'epoch': 0, 'update in batch': 8426, '/': 12375, 'loss': 7.079603672027588}\n",
+      "{'epoch': 0, 'update in batch': 8427, '/': 12375, 'loss': 6.69436502456665}\n",
+      "{'epoch': 0, 'update in batch': 8428, '/': 12375, 'loss': 6.81734561920166}\n",
+      "{'epoch': 0, 'update in batch': 8429, '/': 12375, 'loss': 5.969831943511963}\n",
+      "{'epoch': 0, 'update in batch': 8430, '/': 12375, 'loss': 6.694105625152588}\n",
+      "{'epoch': 0, 'update in batch': 8431, '/': 12375, 'loss': 6.765866756439209}\n",
+      "{'epoch': 0, 'update in batch': 8432, '/': 12375, 'loss': 6.966401100158691}\n",
+      "{'epoch': 0, 'update in batch': 8433, '/': 12375, 'loss': 6.479778289794922}\n",
+      "{'epoch': 0, 'update in batch': 8434, '/': 12375, 'loss': 6.455265045166016}\n",
+      "{'epoch': 0, 'update in batch': 8435, '/': 12375, 'loss': 6.1385064125061035}\n",
+      "{'epoch': 0, 'update in batch': 8436, '/': 12375, 'loss': 7.724916934967041}\n",
+      "{'epoch': 0, 'update in batch': 8437, '/': 12375, 'loss': 7.396615505218506}\n",
+      "{'epoch': 0, 'update in batch': 8438, '/': 12375, 'loss': 5.980539321899414}\n",
+      "{'epoch': 0, 'update in batch': 8439, '/': 12375, 'loss': 7.308536529541016}\n",
+      "{'epoch': 0, 'update in batch': 8440, '/': 12375, 'loss': 6.024744510650635}\n",
+      "{'epoch': 0, 'update in batch': 8441, '/': 12375, 'loss': 6.910662651062012}\n",
+      "{'epoch': 0, 'update in batch': 8442, '/': 12375, 'loss': 5.349864482879639}\n",
+      "{'epoch': 0, 'update in batch': 8443, '/': 12375, 'loss': 6.235146999359131}\n",
+      "{'epoch': 0, 'update in batch': 8444, '/': 12375, 'loss': 7.168037414550781}\n",
+      "{'epoch': 0, 'update in batch': 8445, '/': 12375, 'loss': 6.790676116943359}\n",
+      "{'epoch': 0, 'update in batch': 8446, '/': 12375, 'loss': 6.650286674499512}\n",
+      "{'epoch': 0, 'update in batch': 8447, '/': 12375, 'loss': 7.444453239440918}\n",
+      "{'epoch': 0, 'update in batch': 8448, '/': 12375, 'loss': 7.158952236175537}\n",
+      "{'epoch': 0, 'update in batch': 8449, '/': 12375, 'loss': 7.407905578613281}\n",
+      "{'epoch': 0, 'update in batch': 8450, '/': 12375, 'loss': 7.650457859039307}\n",
+      "{'epoch': 0, 'update in batch': 8451, '/': 12375, 'loss': 7.102309226989746}\n",
+      "{'epoch': 0, 'update in batch': 8452, '/': 12375, 'loss': 7.877249240875244}\n",
+      "{'epoch': 0, 'update in batch': 8453, '/': 12375, 'loss': 7.5404791831970215}\n",
+      "{'epoch': 0, 'update in batch': 8454, '/': 12375, 'loss': 7.406216621398926}\n",
+      "{'epoch': 0, 'update in batch': 8455, '/': 12375, 'loss': 7.786334037780762}\n",
+      "{'epoch': 0, 'update in batch': 8456, '/': 12375, 'loss': 6.760748386383057}\n",
+      "{'epoch': 0, 'update in batch': 8457, '/': 12375, 'loss': 6.27044677734375}\n",
+      "{'epoch': 0, 'update in batch': 8458, '/': 12375, 'loss': 6.490962982177734}\n",
+      "{'epoch': 0, 'update in batch': 8459, '/': 12375, 'loss': 6.554487705230713}\n",
+      "{'epoch': 0, 'update in batch': 8460, '/': 12375, 'loss': 7.630133628845215}\n",
+      "{'epoch': 0, 'update in batch': 8461, '/': 12375, 'loss': 7.312467098236084}\n",
+      "{'epoch': 0, 'update in batch': 8462, '/': 12375, 'loss': 6.6080427169799805}\n",
+      "{'epoch': 0, 'update in batch': 8463, '/': 12375, 'loss': 7.0027666091918945}\n",
+      "{'epoch': 0, 'update in batch': 8464, '/': 12375, 'loss': 7.128151893615723}\n",
+      "{'epoch': 0, 'update in batch': 8465, '/': 12375, 'loss': 6.862758636474609}\n",
+      "{'epoch': 0, 'update in batch': 8466, '/': 12375, 'loss': 7.827946662902832}\n",
+      "{'epoch': 0, 'update in batch': 8467, '/': 12375, 'loss': 7.002158164978027}\n",
+      "{'epoch': 0, 'update in batch': 8468, '/': 12375, 'loss': 7.47204065322876}\n",
+      "{'epoch': 0, 'update in batch': 8469, '/': 12375, 'loss': 6.63346004486084}\n",
+      "{'epoch': 0, 'update in batch': 8470, '/': 12375, 'loss': 6.408985137939453}\n",
+      "{'epoch': 0, 'update in batch': 8471, '/': 12375, 'loss': 6.952822685241699}\n",
+      "{'epoch': 0, 'update in batch': 8472, '/': 12375, 'loss': 7.021914482116699}\n",
+      "{'epoch': 0, 'update in batch': 8473, '/': 12375, 'loss': 6.944231986999512}\n",
+      "{'epoch': 0, 'update in batch': 8474, '/': 12375, 'loss': 7.8105292320251465}\n",
+      "{'epoch': 0, 'update in batch': 8475, '/': 12375, 'loss': 7.212018013000488}\n",
+      "{'epoch': 0, 'update in batch': 8476, '/': 12375, 'loss': 7.219112396240234}\n",
+      "{'epoch': 0, 'update in batch': 8477, '/': 12375, 'loss': 6.964580535888672}\n",
+      "{'epoch': 0, 'update in batch': 8478, '/': 12375, 'loss': 6.638791084289551}\n",
+      "{'epoch': 0, 'update in batch': 8479, '/': 12375, 'loss': 7.42157506942749}\n",
+      "{'epoch': 0, 'update in batch': 8480, '/': 12375, 'loss': 6.566071510314941}\n",
+      "{'epoch': 0, 'update in batch': 8481, '/': 12375, 'loss': 7.400647163391113}\n",
+      "{'epoch': 0, 'update in batch': 8482, '/': 12375, 'loss': 7.854117393493652}\n",
+      "{'epoch': 0, 'update in batch': 8483, '/': 12375, 'loss': 7.481118679046631}\n",
+      "{'epoch': 0, 'update in batch': 8484, '/': 12375, 'loss': 6.4533843994140625}\n",
+      "{'epoch': 0, 'update in batch': 8485, '/': 12375, 'loss': 6.420718193054199}\n",
+      "{'epoch': 0, 'update in batch': 8486, '/': 12375, 'loss': 7.1837358474731445}\n",
+      "{'epoch': 0, 'update in batch': 8487, '/': 12375, 'loss': 7.429457187652588}\n",
+      "{'epoch': 0, 'update in batch': 8488, '/': 12375, 'loss': 7.770175933837891}\n",
+      "{'epoch': 0, 'update in batch': 8489, '/': 12375, 'loss': 7.3380842208862305}\n",
+      "{'epoch': 0, 'update in batch': 8490, '/': 12375, 'loss': 8.174068450927734}\n",
+      "{'epoch': 0, 'update in batch': 8491, '/': 12375, 'loss': 7.832017421722412}\n",
+      "{'epoch': 0, 'update in batch': 8492, '/': 12375, 'loss': 7.376910209655762}\n",
+      "{'epoch': 0, 'update in batch': 8493, '/': 12375, 'loss': 7.465842247009277}\n",
+      "{'epoch': 0, 'update in batch': 8494, '/': 12375, 'loss': 7.312708854675293}\n",
+      "{'epoch': 0, 'update in batch': 8495, '/': 12375, 'loss': 7.209953308105469}\n",
+      "{'epoch': 0, 'update in batch': 8496, '/': 12375, 'loss': 7.524448394775391}\n",
+      "{'epoch': 0, 'update in batch': 8497, '/': 12375, 'loss': 7.821213722229004}\n",
+      "{'epoch': 0, 'update in batch': 8498, '/': 12375, 'loss': 6.8292083740234375}\n",
+      "{'epoch': 0, 'update in batch': 8499, '/': 12375, 'loss': 6.504547119140625}\n",
+      "{'epoch': 0, 'update in batch': 8500, '/': 12375, 'loss': 7.384043216705322}\n",
+      "{'epoch': 0, 'update in batch': 8501, '/': 12375, 'loss': 7.4303717613220215}\n",
+      "{'epoch': 0, 'update in batch': 8502, '/': 12375, 'loss': 7.107558250427246}\n",
+      "{'epoch': 0, 'update in batch': 8503, '/': 12375, 'loss': 7.545468807220459}\n",
+      "{'epoch': 0, 'update in batch': 8504, '/': 12375, 'loss': 7.564894199371338}\n",
+      "{'epoch': 0, 'update in batch': 8505, '/': 12375, 'loss': 7.768129825592041}\n",
+      "{'epoch': 0, 'update in batch': 8506, '/': 12375, 'loss': 6.7200026512146}\n",
+      "{'epoch': 0, 'update in batch': 8507, '/': 12375, 'loss': 6.819161415100098}\n",
+      "{'epoch': 0, 'update in batch': 8508, '/': 12375, 'loss': 7.26522159576416}\n",
+      "{'epoch': 0, 'update in batch': 8509, '/': 12375, 'loss': 7.338850498199463}\n",
+      "{'epoch': 0, 'update in batch': 8510, '/': 12375, 'loss': 7.681492805480957}\n",
+      "{'epoch': 0, 'update in batch': 8511, '/': 12375, 'loss': 6.872659206390381}\n",
+      "{'epoch': 0, 'update in batch': 8512, '/': 12375, 'loss': 7.140898704528809}\n",
+      "{'epoch': 0, 'update in batch': 8513, '/': 12375, 'loss': 7.359325408935547}\n",
+      "{'epoch': 0, 'update in batch': 8514, '/': 12375, 'loss': 7.2163848876953125}\n",
+      "{'epoch': 0, 'update in batch': 8515, '/': 12375, 'loss': 6.912001609802246}\n",
+      "{'epoch': 0, 'update in batch': 8516, '/': 12375, 'loss': 7.849184513092041}\n",
+      "{'epoch': 0, 'update in batch': 8517, '/': 12375, 'loss': 7.574215888977051}\n",
+      "{'epoch': 0, 'update in batch': 8518, '/': 12375, 'loss': 7.171114921569824}\n",
+      "{'epoch': 0, 'update in batch': 8519, '/': 12375, 'loss': 7.270455360412598}\n",
+      "{'epoch': 0, 'update in batch': 8520, '/': 12375, 'loss': 6.742531776428223}\n",
+      "{'epoch': 0, 'update in batch': 8521, '/': 12375, 'loss': 7.0982842445373535}\n",
+      "{'epoch': 0, 'update in batch': 8522, '/': 12375, 'loss': 8.036035537719727}\n",
+      "{'epoch': 0, 'update in batch': 8523, '/': 12375, 'loss': 7.581752777099609}\n",
+      "{'epoch': 0, 'update in batch': 8524, '/': 12375, 'loss': 7.375038146972656}\n",
+      "{'epoch': 0, 'update in batch': 8525, '/': 12375, 'loss': 7.710628509521484}\n",
+      "{'epoch': 0, 'update in batch': 8526, '/': 12375, 'loss': 7.289322853088379}\n",
+      "{'epoch': 0, 'update in batch': 8527, '/': 12375, 'loss': 7.478435516357422}\n",
+      "{'epoch': 0, 'update in batch': 8528, '/': 12375, 'loss': 7.360586643218994}\n",
+      "{'epoch': 0, 'update in batch': 8529, '/': 12375, 'loss': 7.124502658843994}\n",
+      "{'epoch': 0, 'update in batch': 8530, '/': 12375, 'loss': 7.2952446937561035}\n",
+      "{'epoch': 0, 'update in batch': 8531, '/': 12375, 'loss': 7.011692047119141}\n",
+      "{'epoch': 0, 'update in batch': 8532, '/': 12375, 'loss': 7.610806941986084}\n",
+      "{'epoch': 0, 'update in batch': 8533, '/': 12375, 'loss': 7.935851097106934}\n",
+      "{'epoch': 0, 'update in batch': 8534, '/': 12375, 'loss': 7.248743534088135}\n",
+      "{'epoch': 0, 'update in batch': 8535, '/': 12375, 'loss': 6.636178016662598}\n",
+      "{'epoch': 0, 'update in batch': 8536, '/': 12375, 'loss': 7.236512660980225}\n",
+      "{'epoch': 0, 'update in batch': 8537, '/': 12375, 'loss': 6.97072696685791}\n",
+      "{'epoch': 0, 'update in batch': 8538, '/': 12375, 'loss': 6.941191673278809}\n",
+      "{'epoch': 0, 'update in batch': 8539, '/': 12375, 'loss': 6.609533786773682}\n",
+      "{'epoch': 0, 'update in batch': 8540, '/': 12375, 'loss': 7.247119903564453}\n",
+      "{'epoch': 0, 'update in batch': 8541, '/': 12375, 'loss': 7.148508548736572}\n",
+      "{'epoch': 0, 'update in batch': 8542, '/': 12375, 'loss': 6.343205451965332}\n",
+      "{'epoch': 0, 'update in batch': 8543, '/': 12375, 'loss': 6.350873947143555}\n",
+      "{'epoch': 0, 'update in batch': 8544, '/': 12375, 'loss': 6.866311550140381}\n",
+      "{'epoch': 0, 'update in batch': 8545, '/': 12375, 'loss': 6.306539535522461}\n",
+      "{'epoch': 0, 'update in batch': 8546, '/': 12375, 'loss': 6.624020576477051}\n",
+      "{'epoch': 0, 'update in batch': 8547, '/': 12375, 'loss': 6.4965033531188965}\n",
+      "{'epoch': 0, 'update in batch': 8548, '/': 12375, 'loss': 6.853529930114746}\n",
+      "{'epoch': 0, 'update in batch': 8549, '/': 12375, 'loss': 6.404149055480957}\n",
+      "{'epoch': 0, 'update in batch': 8550, '/': 12375, 'loss': 6.831658363342285}\n",
+      "{'epoch': 0, 'update in batch': 8551, '/': 12375, 'loss': 7.1028265953063965}\n",
+      "{'epoch': 0, 'update in batch': 8552, '/': 12375, 'loss': 7.107878684997559}\n",
+      "{'epoch': 0, 'update in batch': 8553, '/': 12375, 'loss': 7.3657073974609375}\n",
+      "{'epoch': 0, 'update in batch': 8554, '/': 12375, 'loss': 6.688292503356934}\n",
+      "{'epoch': 0, 'update in batch': 8555, '/': 12375, 'loss': 7.005612373352051}\n",
+      "{'epoch': 0, 'update in batch': 8556, '/': 12375, 'loss': 6.62139368057251}\n",
+      "{'epoch': 0, 'update in batch': 8557, '/': 12375, 'loss': 7.121953010559082}\n",
+      "{'epoch': 0, 'update in batch': 8558, '/': 12375, 'loss': 6.545840263366699}\n",
+      "{'epoch': 0, 'update in batch': 8559, '/': 12375, 'loss': 6.678415775299072}\n",
+      "{'epoch': 0, 'update in batch': 8560, '/': 12375, 'loss': 6.983941078186035}\n",
+      "{'epoch': 0, 'update in batch': 8561, '/': 12375, 'loss': 6.897613525390625}\n",
+      "{'epoch': 0, 'update in batch': 8562, '/': 12375, 'loss': 7.591294765472412}\n",
+      "{'epoch': 0, 'update in batch': 8563, '/': 12375, 'loss': 7.774289608001709}\n",
+      "{'epoch': 0, 'update in batch': 8564, '/': 12375, 'loss': 7.694095611572266}\n",
+      "{'epoch': 0, 'update in batch': 8565, '/': 12375, 'loss': 6.830491065979004}\n",
+      "{'epoch': 0, 'update in batch': 8566, '/': 12375, 'loss': 6.896668434143066}\n",
+      "{'epoch': 0, 'update in batch': 8567, '/': 12375, 'loss': 7.042374610900879}\n",
+      "{'epoch': 0, 'update in batch': 8568, '/': 12375, 'loss': 7.2286376953125}\n",
+      "{'epoch': 0, 'update in batch': 8569, '/': 12375, 'loss': 6.325167655944824}\n",
+      "{'epoch': 0, 'update in batch': 8570, '/': 12375, 'loss': 5.726619243621826}\n",
+      "{'epoch': 0, 'update in batch': 8571, '/': 12375, 'loss': 6.457747459411621}\n",
+      "{'epoch': 0, 'update in batch': 8572, '/': 12375, 'loss': 5.9319963455200195}\n",
+      "{'epoch': 0, 'update in batch': 8573, '/': 12375, 'loss': 7.1756720542907715}\n",
+      "{'epoch': 0, 'update in batch': 8574, '/': 12375, 'loss': 6.81554651260376}\n",
+      "{'epoch': 0, 'update in batch': 8575, '/': 12375, 'loss': 6.679450988769531}\n",
+      "{'epoch': 0, 'update in batch': 8576, '/': 12375, 'loss': 6.932358741760254}\n",
+      "{'epoch': 0, 'update in batch': 8577, '/': 12375, 'loss': 6.614898681640625}\n",
+      "{'epoch': 0, 'update in batch': 8578, '/': 12375, 'loss': 7.13248348236084}\n",
+      "{'epoch': 0, 'update in batch': 8579, '/': 12375, 'loss': 6.707662105560303}\n",
+      "{'epoch': 0, 'update in batch': 8580, '/': 12375, 'loss': 6.992884635925293}\n",
+      "{'epoch': 0, 'update in batch': 8581, '/': 12375, 'loss': 7.092278957366943}\n",
+      "{'epoch': 0, 'update in batch': 8582, '/': 12375, 'loss': 7.075753211975098}\n",
+      "{'epoch': 0, 'update in batch': 8583, '/': 12375, 'loss': 7.360628604888916}\n",
+      "{'epoch': 0, 'update in batch': 8584, '/': 12375, 'loss': 7.705569267272949}\n",
+      "{'epoch': 0, 'update in batch': 8585, '/': 12375, 'loss': 6.620121955871582}\n",
+      "{'epoch': 0, 'update in batch': 8586, '/': 12375, 'loss': 6.675137996673584}\n",
+      "{'epoch': 0, 'update in batch': 8587, '/': 12375, 'loss': 6.825472354888916}\n",
+      "{'epoch': 0, 'update in batch': 8588, '/': 12375, 'loss': 7.026757717132568}\n",
+      "{'epoch': 0, 'update in batch': 8589, '/': 12375, 'loss': 6.782018184661865}\n",
+      "{'epoch': 0, 'update in batch': 8590, '/': 12375, 'loss': 6.573225975036621}\n",
+      "{'epoch': 0, 'update in batch': 8591, '/': 12375, 'loss': 7.11566686630249}\n",
+      "{'epoch': 0, 'update in batch': 8592, '/': 12375, 'loss': 7.424727439880371}\n",
+      "{'epoch': 0, 'update in batch': 8593, '/': 12375, 'loss': 7.341795921325684}\n",
+      "{'epoch': 0, 'update in batch': 8594, '/': 12375, 'loss': 7.001960754394531}\n",
+      "{'epoch': 0, 'update in batch': 8595, '/': 12375, 'loss': 6.3446879386901855}\n",
+      "{'epoch': 0, 'update in batch': 8596, '/': 12375, 'loss': 5.979367256164551}\n",
+      "{'epoch': 0, 'update in batch': 8597, '/': 12375, 'loss': 6.100186347961426}\n",
+      "{'epoch': 0, 'update in batch': 8598, '/': 12375, 'loss': 7.142691612243652}\n",
+      "{'epoch': 0, 'update in batch': 8599, '/': 12375, 'loss': 7.405759334564209}\n",
+      "{'epoch': 0, 'update in batch': 8600, '/': 12375, 'loss': 7.675851345062256}\n",
+      "{'epoch': 0, 'update in batch': 8601, '/': 12375, 'loss': 6.0844573974609375}\n",
+      "{'epoch': 0, 'update in batch': 8602, '/': 12375, 'loss': 7.560349464416504}\n",
+      "{'epoch': 0, 'update in batch': 8603, '/': 12375, 'loss': 7.756092071533203}\n",
+      "{'epoch': 0, 'update in batch': 8604, '/': 12375, 'loss': 7.835052490234375}\n",
+      "{'epoch': 0, 'update in batch': 8605, '/': 12375, 'loss': 6.9547882080078125}\n",
+      "{'epoch': 0, 'update in batch': 8606, '/': 12375, 'loss': 6.693308353424072}\n",
+      "{'epoch': 0, 'update in batch': 8607, '/': 12375, 'loss': 7.507916450500488}\n",
+      "{'epoch': 0, 'update in batch': 8608, '/': 12375, 'loss': 7.64397668838501}\n",
+      "{'epoch': 0, 'update in batch': 8609, '/': 12375, 'loss': 7.153531551361084}\n",
+      "{'epoch': 0, 'update in batch': 8610, '/': 12375, 'loss': 6.359041213989258}\n",
+      "{'epoch': 0, 'update in batch': 8611, '/': 12375, 'loss': 6.271353721618652}\n",
+      "{'epoch': 0, 'update in batch': 8612, '/': 12375, 'loss': 6.057256698608398}\n",
+      "{'epoch': 0, 'update in batch': 8613, '/': 12375, 'loss': 7.514459133148193}\n",
+      "{'epoch': 0, 'update in batch': 8614, '/': 12375, 'loss': 7.424274444580078}\n",
+      "{'epoch': 0, 'update in batch': 8615, '/': 12375, 'loss': 6.794776916503906}\n",
+      "{'epoch': 0, 'update in batch': 8616, '/': 12375, 'loss': 6.868488311767578}\n",
+      "{'epoch': 0, 'update in batch': 8617, '/': 12375, 'loss': 6.345082759857178}\n",
+      "{'epoch': 0, 'update in batch': 8618, '/': 12375, 'loss': 6.744093418121338}\n",
+      "{'epoch': 0, 'update in batch': 8619, '/': 12375, 'loss': 6.795744895935059}\n",
+      "{'epoch': 0, 'update in batch': 8620, '/': 12375, 'loss': 6.717507362365723}\n",
+      "{'epoch': 0, 'update in batch': 8621, '/': 12375, 'loss': 6.759644508361816}\n",
+      "{'epoch': 0, 'update in batch': 8622, '/': 12375, 'loss': 6.592637538909912}\n",
+      "{'epoch': 0, 'update in batch': 8623, '/': 12375, 'loss': 6.878321170806885}\n",
+      "{'epoch': 0, 'update in batch': 8624, '/': 12375, 'loss': 6.799525260925293}\n",
+      "{'epoch': 0, 'update in batch': 8625, '/': 12375, 'loss': 6.733194828033447}\n",
+      "{'epoch': 0, 'update in batch': 8626, '/': 12375, 'loss': 6.396243095397949}\n",
+      "{'epoch': 0, 'update in batch': 8627, '/': 12375, 'loss': 6.656533718109131}\n",
+      "{'epoch': 0, 'update in batch': 8628, '/': 12375, 'loss': 6.969850063323975}\n",
+      "{'epoch': 0, 'update in batch': 8629, '/': 12375, 'loss': 6.959462642669678}\n",
+      "{'epoch': 0, 'update in batch': 8630, '/': 12375, 'loss': 7.085817813873291}\n",
+      "{'epoch': 0, 'update in batch': 8631, '/': 12375, 'loss': 6.762860298156738}\n",
+      "{'epoch': 0, 'update in batch': 8632, '/': 12375, 'loss': 6.531675815582275}\n",
+      "{'epoch': 0, 'update in batch': 8633, '/': 12375, 'loss': 7.115013122558594}\n",
+      "{'epoch': 0, 'update in batch': 8634, '/': 12375, 'loss': 6.996699333190918}\n",
+      "{'epoch': 0, 'update in batch': 8635, '/': 12375, 'loss': 7.0257744789123535}\n",
+      "{'epoch': 0, 'update in batch': 8636, '/': 12375, 'loss': 7.002147674560547}\n",
+      "{'epoch': 0, 'update in batch': 8637, '/': 12375, 'loss': 6.839278221130371}\n",
+      "{'epoch': 0, 'update in batch': 8638, '/': 12375, 'loss': 6.5436553955078125}\n",
+      "{'epoch': 0, 'update in batch': 8639, '/': 12375, 'loss': 7.081602573394775}\n",
+      "{'epoch': 0, 'update in batch': 8640, '/': 12375, 'loss': 7.87289571762085}\n",
+      "{'epoch': 0, 'update in batch': 8641, '/': 12375, 'loss': 7.614522457122803}\n",
+      "{'epoch': 0, 'update in batch': 8642, '/': 12375, 'loss': 7.673140525817871}\n",
+      "{'epoch': 0, 'update in batch': 8643, '/': 12375, 'loss': 6.955662727355957}\n",
+      "{'epoch': 0, 'update in batch': 8644, '/': 12375, 'loss': 7.931497097015381}\n",
+      "{'epoch': 0, 'update in batch': 8645, '/': 12375, 'loss': 7.717031002044678}\n",
+      "{'epoch': 0, 'update in batch': 8646, '/': 12375, 'loss': 8.131312370300293}\n",
+      "{'epoch': 0, 'update in batch': 8647, '/': 12375, 'loss': 7.79897928237915}\n",
+      "{'epoch': 0, 'update in batch': 8648, '/': 12375, 'loss': 7.935683250427246}\n",
+      "{'epoch': 0, 'update in batch': 8649, '/': 12375, 'loss': 7.570390224456787}\n",
+      "{'epoch': 0, 'update in batch': 8650, '/': 12375, 'loss': 7.479276180267334}\n",
+      "{'epoch': 0, 'update in batch': 8651, '/': 12375, 'loss': 7.9180755615234375}\n",
+      "{'epoch': 0, 'update in batch': 8652, '/': 12375, 'loss': 7.224766731262207}\n",
+      "{'epoch': 0, 'update in batch': 8653, '/': 12375, 'loss': 7.070776462554932}\n",
+      "{'epoch': 0, 'update in batch': 8654, '/': 12375, 'loss': 7.182768821716309}\n",
+      "{'epoch': 0, 'update in batch': 8655, '/': 12375, 'loss': 6.93945837020874}\n",
+      "{'epoch': 0, 'update in batch': 8656, '/': 12375, 'loss': 7.445613861083984}\n",
+      "{'epoch': 0, 'update in batch': 8657, '/': 12375, 'loss': 7.1287946701049805}\n",
+      "{'epoch': 0, 'update in batch': 8658, '/': 12375, 'loss': 7.472221374511719}\n",
+      "{'epoch': 0, 'update in batch': 8659, '/': 12375, 'loss': 7.5206193923950195}\n",
+      "{'epoch': 0, 'update in batch': 8660, '/': 12375, 'loss': 7.581495761871338}\n",
+      "{'epoch': 0, 'update in batch': 8661, '/': 12375, 'loss': 7.5178937911987305}\n",
+      "{'epoch': 0, 'update in batch': 8662, '/': 12375, 'loss': 6.523306846618652}\n",
+      "{'epoch': 0, 'update in batch': 8663, '/': 12375, 'loss': 7.4023847579956055}\n",
+      "{'epoch': 0, 'update in batch': 8664, '/': 12375, 'loss': 6.8335442543029785}\n",
+      "{'epoch': 0, 'update in batch': 8665, '/': 12375, 'loss': 7.1957855224609375}\n",
+      "{'epoch': 0, 'update in batch': 8666, '/': 12375, 'loss': 7.124447822570801}\n",
+      "{'epoch': 0, 'update in batch': 8667, '/': 12375, 'loss': 7.494772434234619}\n",
+      "{'epoch': 0, 'update in batch': 8668, '/': 12375, 'loss': 6.542926788330078}\n",
+      "{'epoch': 0, 'update in batch': 8669, '/': 12375, 'loss': 7.092965126037598}\n",
+      "{'epoch': 0, 'update in batch': 8670, '/': 12375, 'loss': 7.397599220275879}\n",
+      "{'epoch': 0, 'update in batch': 8671, '/': 12375, 'loss': 7.494477272033691}\n",
+      "{'epoch': 0, 'update in batch': 8672, '/': 12375, 'loss': 7.573189735412598}\n",
+      "{'epoch': 0, 'update in batch': 8673, '/': 12375, 'loss': 7.160954475402832}\n",
+      "{'epoch': 0, 'update in batch': 8674, '/': 12375, 'loss': 8.335611343383789}\n",
+      "{'epoch': 0, 'update in batch': 8675, '/': 12375, 'loss': 7.8964948654174805}\n",
+      "{'epoch': 0, 'update in batch': 8676, '/': 12375, 'loss': 8.07779598236084}\n",
+      "{'epoch': 0, 'update in batch': 8677, '/': 12375, 'loss': 7.813409328460693}\n",
+      "{'epoch': 0, 'update in batch': 8678, '/': 12375, 'loss': 8.016725540161133}\n",
+      "{'epoch': 0, 'update in batch': 8679, '/': 12375, 'loss': 8.46973705291748}\n",
+      "{'epoch': 0, 'update in batch': 8680, '/': 12375, 'loss': 8.044803619384766}\n",
+      "{'epoch': 0, 'update in batch': 8681, '/': 12375, 'loss': 7.987864017486572}\n",
+      "{'epoch': 0, 'update in batch': 8682, '/': 12375, 'loss': 7.977669715881348}\n",
+      "{'epoch': 0, 'update in batch': 8683, '/': 12375, 'loss': 6.907896995544434}\n",
+      "{'epoch': 0, 'update in batch': 8684, '/': 12375, 'loss': 6.785689353942871}\n",
+      "{'epoch': 0, 'update in batch': 8685, '/': 12375, 'loss': 6.541001319885254}\n",
+      "{'epoch': 0, 'update in batch': 8686, '/': 12375, 'loss': 6.607185363769531}\n",
+      "{'epoch': 0, 'update in batch': 8687, '/': 12375, 'loss': 6.851322174072266}\n",
+      "{'epoch': 0, 'update in batch': 8688, '/': 12375, 'loss': 7.514944553375244}\n",
+      "{'epoch': 0, 'update in batch': 8689, '/': 12375, 'loss': 6.645583152770996}\n",
+      "{'epoch': 0, 'update in batch': 8690, '/': 12375, 'loss': 6.978682041168213}\n",
+      "{'epoch': 0, 'update in batch': 8691, '/': 12375, 'loss': 5.997951507568359}\n",
+      "{'epoch': 0, 'update in batch': 8692, '/': 12375, 'loss': 6.292302131652832}\n",
+      "{'epoch': 0, 'update in batch': 8693, '/': 12375, 'loss': 6.929782867431641}\n",
+      "{'epoch': 0, 'update in batch': 8694, '/': 12375, 'loss': 7.505362510681152}\n",
+      "{'epoch': 0, 'update in batch': 8695, '/': 12375, 'loss': 6.24068546295166}\n",
+      "{'epoch': 0, 'update in batch': 8696, '/': 12375, 'loss': 6.920468330383301}\n",
+      "{'epoch': 0, 'update in batch': 8697, '/': 12375, 'loss': 7.2291765213012695}\n",
+      "{'epoch': 0, 'update in batch': 8698, '/': 12375, 'loss': 6.5780930519104}\n",
+      "{'epoch': 0, 'update in batch': 8699, '/': 12375, 'loss': 7.570082187652588}\n",
+      "{'epoch': 0, 'update in batch': 8700, '/': 12375, 'loss': 6.831109523773193}\n",
+      "{'epoch': 0, 'update in batch': 8701, '/': 12375, 'loss': 7.031126499176025}\n",
+      "{'epoch': 0, 'update in batch': 8702, '/': 12375, 'loss': 7.097831726074219}\n",
+      "{'epoch': 0, 'update in batch': 8703, '/': 12375, 'loss': 7.5388946533203125}\n",
+      "{'epoch': 0, 'update in batch': 8704, '/': 12375, 'loss': 7.535486698150635}\n",
+      "{'epoch': 0, 'update in batch': 8705, '/': 12375, 'loss': 6.09423828125}\n",
+      "{'epoch': 0, 'update in batch': 8706, '/': 12375, 'loss': 6.497279167175293}\n",
+      "{'epoch': 0, 'update in batch': 8707, '/': 12375, 'loss': 6.308812141418457}\n",
+      "{'epoch': 0, 'update in batch': 8708, '/': 12375, 'loss': 6.852359771728516}\n",
+      "{'epoch': 0, 'update in batch': 8709, '/': 12375, 'loss': 6.380268096923828}\n",
+      "{'epoch': 0, 'update in batch': 8710, '/': 12375, 'loss': 6.409159183502197}\n",
+      "{'epoch': 0, 'update in batch': 8711, '/': 12375, 'loss': 6.863717079162598}\n",
+      "{'epoch': 0, 'update in batch': 8712, '/': 12375, 'loss': 7.42379093170166}\n",
+      "{'epoch': 0, 'update in batch': 8713, '/': 12375, 'loss': 6.39885139465332}\n",
+      "{'epoch': 0, 'update in batch': 8714, '/': 12375, 'loss': 7.375349998474121}\n",
+      "{'epoch': 0, 'update in batch': 8715, '/': 12375, 'loss': 7.5341315269470215}\n",
+      "{'epoch': 0, 'update in batch': 8716, '/': 12375, 'loss': 7.349642753601074}\n",
+      "{'epoch': 0, 'update in batch': 8717, '/': 12375, 'loss': 7.603401184082031}\n",
+      "{'epoch': 0, 'update in batch': 8718, '/': 12375, 'loss': 6.117383003234863}\n",
+      "{'epoch': 0, 'update in batch': 8719, '/': 12375, 'loss': 7.054691314697266}\n",
+      "{'epoch': 0, 'update in batch': 8720, '/': 12375, 'loss': 6.352571964263916}\n",
+      "{'epoch': 0, 'update in batch': 8721, '/': 12375, 'loss': 7.2046403884887695}\n",
+      "{'epoch': 0, 'update in batch': 8722, '/': 12375, 'loss': 7.326053619384766}\n",
+      "{'epoch': 0, 'update in batch': 8723, '/': 12375, 'loss': 6.9585442543029785}\n",
+      "{'epoch': 0, 'update in batch': 8724, '/': 12375, 'loss': 7.260499000549316}\n",
+      "{'epoch': 0, 'update in batch': 8725, '/': 12375, 'loss': 6.464682579040527}\n",
+      "{'epoch': 0, 'update in batch': 8726, '/': 12375, 'loss': 6.833915710449219}\n",
+      "{'epoch': 0, 'update in batch': 8727, '/': 12375, 'loss': 6.539553642272949}\n",
+      "{'epoch': 0, 'update in batch': 8728, '/': 12375, 'loss': 7.1827826499938965}\n",
+      "{'epoch': 0, 'update in batch': 8729, '/': 12375, 'loss': 6.899257659912109}\n",
+      "{'epoch': 0, 'update in batch': 8730, '/': 12375, 'loss': 6.8763556480407715}\n",
+      "{'epoch': 0, 'update in batch': 8731, '/': 12375, 'loss': 7.726844787597656}\n",
+      "{'epoch': 0, 'update in batch': 8732, '/': 12375, 'loss': 7.676521301269531}\n",
+      "{'epoch': 0, 'update in batch': 8733, '/': 12375, 'loss': 7.7691450119018555}\n",
+      "{'epoch': 0, 'update in batch': 8734, '/': 12375, 'loss': 7.12677526473999}\n",
+      "{'epoch': 0, 'update in batch': 8735, '/': 12375, 'loss': 7.185883522033691}\n",
+      "{'epoch': 0, 'update in batch': 8736, '/': 12375, 'loss': 7.137376308441162}\n",
+      "{'epoch': 0, 'update in batch': 8737, '/': 12375, 'loss': 8.022031784057617}\n",
+      "{'epoch': 0, 'update in batch': 8738, '/': 12375, 'loss': 6.950828552246094}\n",
+      "{'epoch': 0, 'update in batch': 8739, '/': 12375, 'loss': 7.121895790100098}\n",
+      "{'epoch': 0, 'update in batch': 8740, '/': 12375, 'loss': 7.374758243560791}\n",
+      "{'epoch': 0, 'update in batch': 8741, '/': 12375, 'loss': 7.319912910461426}\n",
+      "{'epoch': 0, 'update in batch': 8742, '/': 12375, 'loss': 5.6893181800842285}\n",
+      "{'epoch': 0, 'update in batch': 8743, '/': 12375, 'loss': 6.714874267578125}\n",
+      "{'epoch': 0, 'update in batch': 8744, '/': 12375, 'loss': 7.4979047775268555}\n",
+      "{'epoch': 0, 'update in batch': 8745, '/': 12375, 'loss': 7.942300319671631}\n",
+      "{'epoch': 0, 'update in batch': 8746, '/': 12375, 'loss': 6.983183860778809}\n",
+      "{'epoch': 0, 'update in batch': 8747, '/': 12375, 'loss': 6.874850273132324}\n",
+      "{'epoch': 0, 'update in batch': 8748, '/': 12375, 'loss': 7.232365608215332}\n",
+      "{'epoch': 0, 'update in batch': 8749, '/': 12375, 'loss': 6.4791998863220215}\n",
+      "{'epoch': 0, 'update in batch': 8750, '/': 12375, 'loss': 7.303000450134277}\n",
+      "{'epoch': 0, 'update in batch': 8751, '/': 12375, 'loss': 7.1361212730407715}\n",
+      "{'epoch': 0, 'update in batch': 8752, '/': 12375, 'loss': 7.750906467437744}\n",
+      "{'epoch': 0, 'update in batch': 8753, '/': 12375, 'loss': 7.647069454193115}\n",
+      "{'epoch': 0, 'update in batch': 8754, '/': 12375, 'loss': 6.747690677642822}\n",
+      "{'epoch': 0, 'update in batch': 8755, '/': 12375, 'loss': 6.57224178314209}\n",
+      "{'epoch': 0, 'update in batch': 8756, '/': 12375, 'loss': 6.804187774658203}\n",
+      "{'epoch': 0, 'update in batch': 8757, '/': 12375, 'loss': 6.71134090423584}\n",
+      "{'epoch': 0, 'update in batch': 8758, '/': 12375, 'loss': 5.976506233215332}\n",
+      "{'epoch': 0, 'update in batch': 8759, '/': 12375, 'loss': 6.457949638366699}\n",
+      "{'epoch': 0, 'update in batch': 8760, '/': 12375, 'loss': 6.640578269958496}\n",
+      "{'epoch': 0, 'update in batch': 8761, '/': 12375, 'loss': 7.588446140289307}\n",
+      "{'epoch': 0, 'update in batch': 8762, '/': 12375, 'loss': 6.25905179977417}\n",
+      "{'epoch': 0, 'update in batch': 8763, '/': 12375, 'loss': 6.704481601715088}\n",
+      "{'epoch': 0, 'update in batch': 8764, '/': 12375, 'loss': 6.518113613128662}\n",
+      "{'epoch': 0, 'update in batch': 8765, '/': 12375, 'loss': 6.303431987762451}\n",
+      "{'epoch': 0, 'update in batch': 8766, '/': 12375, 'loss': 6.578788757324219}\n",
+      "{'epoch': 0, 'update in batch': 8767, '/': 12375, 'loss': 6.309160232543945}\n",
+      "{'epoch': 0, 'update in batch': 8768, '/': 12375, 'loss': 6.770072937011719}\n",
+      "{'epoch': 0, 'update in batch': 8769, '/': 12375, 'loss': 7.2508344650268555}\n",
+      "{'epoch': 0, 'update in batch': 8770, '/': 12375, 'loss': 6.476144313812256}\n",
+      "{'epoch': 0, 'update in batch': 8771, '/': 12375, 'loss': 7.148721218109131}\n",
+      "{'epoch': 0, 'update in batch': 8772, '/': 12375, 'loss': 6.814079284667969}\n",
+      "{'epoch': 0, 'update in batch': 8773, '/': 12375, 'loss': 7.861006736755371}\n",
+      "{'epoch': 0, 'update in batch': 8774, '/': 12375, 'loss': 6.497151851654053}\n",
+      "{'epoch': 0, 'update in batch': 8775, '/': 12375, 'loss': 6.40756893157959}\n",
+      "{'epoch': 0, 'update in batch': 8776, '/': 12375, 'loss': 6.7922468185424805}\n",
+      "{'epoch': 0, 'update in batch': 8777, '/': 12375, 'loss': 6.552942752838135}\n",
+      "{'epoch': 0, 'update in batch': 8778, '/': 12375, 'loss': 6.948695182800293}\n",
+      "{'epoch': 0, 'update in batch': 8779, '/': 12375, 'loss': 6.326940536499023}\n",
+      "{'epoch': 0, 'update in batch': 8780, '/': 12375, 'loss': 7.417904853820801}\n",
+      "{'epoch': 0, 'update in batch': 8781, '/': 12375, 'loss': 7.210635185241699}\n",
+      "{'epoch': 0, 'update in batch': 8782, '/': 12375, 'loss': 7.077913761138916}\n",
+      "{'epoch': 0, 'update in batch': 8783, '/': 12375, 'loss': 6.872107028961182}\n",
+      "{'epoch': 0, 'update in batch': 8784, '/': 12375, 'loss': 7.729842185974121}\n",
+      "{'epoch': 0, 'update in batch': 8785, '/': 12375, 'loss': 6.7000579833984375}\n",
+      "{'epoch': 0, 'update in batch': 8786, '/': 12375, 'loss': 6.306326866149902}\n",
+      "{'epoch': 0, 'update in batch': 8787, '/': 12375, 'loss': 6.575953006744385}\n",
+      "{'epoch': 0, 'update in batch': 8788, '/': 12375, 'loss': 6.463433265686035}\n",
+      "{'epoch': 0, 'update in batch': 8789, '/': 12375, 'loss': 6.793445587158203}\n",
+      "{'epoch': 0, 'update in batch': 8790, '/': 12375, 'loss': 6.648507595062256}\n",
+      "{'epoch': 0, 'update in batch': 8791, '/': 12375, 'loss': 6.812838554382324}\n",
+      "{'epoch': 0, 'update in batch': 8792, '/': 12375, 'loss': 6.35471248626709}\n",
+      "{'epoch': 0, 'update in batch': 8793, '/': 12375, 'loss': 6.5478010177612305}\n",
+      "{'epoch': 0, 'update in batch': 8794, '/': 12375, 'loss': 6.6519293785095215}\n",
+      "{'epoch': 0, 'update in batch': 8795, '/': 12375, 'loss': 6.105252742767334}\n",
+      "{'epoch': 0, 'update in batch': 8796, '/': 12375, 'loss': 6.380951881408691}\n",
+      "{'epoch': 0, 'update in batch': 8797, '/': 12375, 'loss': 6.358264923095703}\n",
+      "{'epoch': 0, 'update in batch': 8798, '/': 12375, 'loss': 7.141146183013916}\n",
+      "{'epoch': 0, 'update in batch': 8799, '/': 12375, 'loss': 7.780543327331543}\n",
+      "{'epoch': 0, 'update in batch': 8800, '/': 12375, 'loss': 6.768307685852051}\n",
+      "{'epoch': 0, 'update in batch': 8801, '/': 12375, 'loss': 7.108767509460449}\n",
+      "{'epoch': 0, 'update in batch': 8802, '/': 12375, 'loss': 6.970887660980225}\n",
+      "{'epoch': 0, 'update in batch': 8803, '/': 12375, 'loss': 6.324289798736572}\n",
+      "{'epoch': 0, 'update in batch': 8804, '/': 12375, 'loss': 7.084288120269775}\n",
+      "{'epoch': 0, 'update in batch': 8805, '/': 12375, 'loss': 5.686837196350098}\n",
+      "{'epoch': 0, 'update in batch': 8806, '/': 12375, 'loss': 6.233778953552246}\n",
+      "{'epoch': 0, 'update in batch': 8807, '/': 12375, 'loss': 6.404440402984619}\n",
+      "{'epoch': 0, 'update in batch': 8808, '/': 12375, 'loss': 7.3929595947265625}\n",
+      "{'epoch': 0, 'update in batch': 8809, '/': 12375, 'loss': 6.91178035736084}\n",
+      "{'epoch': 0, 'update in batch': 8810, '/': 12375, 'loss': 7.223073482513428}\n",
+      "{'epoch': 0, 'update in batch': 8811, '/': 12375, 'loss': 6.79458475112915}\n",
+      "{'epoch': 0, 'update in batch': 8812, '/': 12375, 'loss': 7.070929527282715}\n",
+      "{'epoch': 0, 'update in batch': 8813, '/': 12375, 'loss': 7.010189056396484}\n",
+      "{'epoch': 0, 'update in batch': 8814, '/': 12375, 'loss': 6.372364044189453}\n",
+      "{'epoch': 0, 'update in batch': 8815, '/': 12375, 'loss': 6.969700813293457}\n",
+      "{'epoch': 0, 'update in batch': 8816, '/': 12375, 'loss': 7.442475318908691}\n",
+      "{'epoch': 0, 'update in batch': 8817, '/': 12375, 'loss': 7.080069065093994}\n",
+      "{'epoch': 0, 'update in batch': 8818, '/': 12375, 'loss': 7.1797590255737305}\n",
+      "{'epoch': 0, 'update in batch': 8819, '/': 12375, 'loss': 7.229388236999512}\n",
+      "{'epoch': 0, 'update in batch': 8820, '/': 12375, 'loss': 7.287717342376709}\n",
+      "{'epoch': 0, 'update in batch': 8821, '/': 12375, 'loss': 7.855015754699707}\n",
+      "{'epoch': 0, 'update in batch': 8822, '/': 12375, 'loss': 6.667038917541504}\n",
+      "{'epoch': 0, 'update in batch': 8823, '/': 12375, 'loss': 7.816729545593262}\n",
+      "{'epoch': 0, 'update in batch': 8824, '/': 12375, 'loss': 6.817142486572266}\n",
+      "{'epoch': 0, 'update in batch': 8825, '/': 12375, 'loss': 5.575333118438721}\n",
+      "{'epoch': 0, 'update in batch': 8826, '/': 12375, 'loss': 6.879364967346191}\n",
+      "{'epoch': 0, 'update in batch': 8827, '/': 12375, 'loss': 7.159832954406738}\n",
+      "{'epoch': 0, 'update in batch': 8828, '/': 12375, 'loss': 6.438112735748291}\n",
+      "{'epoch': 0, 'update in batch': 8829, '/': 12375, 'loss': 6.7235236167907715}\n",
+      "{'epoch': 0, 'update in batch': 8830, '/': 12375, 'loss': 6.879007816314697}\n",
+      "{'epoch': 0, 'update in batch': 8831, '/': 12375, 'loss': 7.0600996017456055}\n",
+      "{'epoch': 0, 'update in batch': 8832, '/': 12375, 'loss': 8.023149490356445}\n",
+      "{'epoch': 0, 'update in batch': 8833, '/': 12375, 'loss': 6.755305290222168}\n",
+      "{'epoch': 0, 'update in batch': 8834, '/': 12375, 'loss': 5.501739501953125}\n",
+      "{'epoch': 0, 'update in batch': 8835, '/': 12375, 'loss': 6.929272651672363}\n",
+      "{'epoch': 0, 'update in batch': 8836, '/': 12375, 'loss': 7.503863334655762}\n",
+      "{'epoch': 0, 'update in batch': 8837, '/': 12375, 'loss': 7.182461738586426}\n",
+      "{'epoch': 0, 'update in batch': 8838, '/': 12375, 'loss': 7.782216548919678}\n",
+      "{'epoch': 0, 'update in batch': 8839, '/': 12375, 'loss': 7.6326003074646}\n",
+      "{'epoch': 0, 'update in batch': 8840, '/': 12375, 'loss': 7.319660186767578}\n",
+      "{'epoch': 0, 'update in batch': 8841, '/': 12375, 'loss': 6.698378086090088}\n",
+      "{'epoch': 0, 'update in batch': 8842, '/': 12375, 'loss': 6.906896114349365}\n",
+      "{'epoch': 0, 'update in batch': 8843, '/': 12375, 'loss': 6.533631324768066}\n",
+      "{'epoch': 0, 'update in batch': 8844, '/': 12375, 'loss': 8.172598838806152}\n",
+      "{'epoch': 0, 'update in batch': 8845, '/': 12375, 'loss': 9.004257202148438}\n",
+      "{'epoch': 0, 'update in batch': 8846, '/': 12375, 'loss': 9.057188987731934}\n",
+      "{'epoch': 0, 'update in batch': 8847, '/': 12375, 'loss': 9.482295036315918}\n",
+      "{'epoch': 0, 'update in batch': 8848, '/': 12375, 'loss': 9.369261741638184}\n",
+      "{'epoch': 0, 'update in batch': 8849, '/': 12375, 'loss': 9.012261390686035}\n",
+      "{'epoch': 0, 'update in batch': 8850, '/': 12375, 'loss': 8.4745512008667}\n",
+      "{'epoch': 0, 'update in batch': 8851, '/': 12375, 'loss': 8.193770408630371}\n",
+      "{'epoch': 0, 'update in batch': 8852, '/': 12375, 'loss': 9.523653984069824}\n",
+      "{'epoch': 0, 'update in batch': 8853, '/': 12375, 'loss': 8.202113151550293}\n",
+      "{'epoch': 0, 'update in batch': 8854, '/': 12375, 'loss': 9.121943473815918}\n",
+      "{'epoch': 0, 'update in batch': 8855, '/': 12375, 'loss': 8.104081153869629}\n",
+      "{'epoch': 0, 'update in batch': 8856, '/': 12375, 'loss': 8.915555000305176}\n",
+      "{'epoch': 0, 'update in batch': 8857, '/': 12375, 'loss': 7.9982805252075195}\n",
+      "{'epoch': 0, 'update in batch': 8858, '/': 12375, 'loss': 9.760540962219238}\n",
+      "{'epoch': 0, 'update in batch': 8859, '/': 12375, 'loss': 8.774418830871582}\n",
+      "{'epoch': 0, 'update in batch': 8860, '/': 12375, 'loss': 8.277847290039062}\n",
+      "{'epoch': 0, 'update in batch': 8861, '/': 12375, 'loss': 8.419107437133789}\n",
+      "{'epoch': 0, 'update in batch': 8862, '/': 12375, 'loss': 8.012219429016113}\n",
+      "{'epoch': 0, 'update in batch': 8863, '/': 12375, 'loss': 8.712764739990234}\n",
+      "{'epoch': 0, 'update in batch': 8864, '/': 12375, 'loss': 9.388836860656738}\n",
+      "{'epoch': 0, 'update in batch': 8865, '/': 12375, 'loss': 8.575559616088867}\n",
+      "{'epoch': 0, 'update in batch': 8866, '/': 12375, 'loss': 9.012507438659668}\n",
+      "{'epoch': 0, 'update in batch': 8867, '/': 12375, 'loss': 8.516366958618164}\n",
+      "{'epoch': 0, 'update in batch': 8868, '/': 12375, 'loss': 9.257936477661133}\n",
+      "{'epoch': 0, 'update in batch': 8869, '/': 12375, 'loss': 7.967458248138428}\n",
+      "{'epoch': 0, 'update in batch': 8870, '/': 12375, 'loss': 8.171323776245117}\n",
+      "{'epoch': 0, 'update in batch': 8871, '/': 12375, 'loss': 7.672199249267578}\n",
+      "{'epoch': 0, 'update in batch': 8872, '/': 12375, 'loss': 8.324789047241211}\n",
+      "{'epoch': 0, 'update in batch': 8873, '/': 12375, 'loss': 8.662750244140625}\n",
+      "{'epoch': 0, 'update in batch': 8874, '/': 12375, 'loss': 8.659168243408203}\n",
+      "{'epoch': 0, 'update in batch': 8875, '/': 12375, 'loss': 9.460641860961914}\n",
+      "{'epoch': 0, 'update in batch': 8876, '/': 12375, 'loss': 8.121307373046875}\n",
+      "{'epoch': 0, 'update in batch': 8877, '/': 12375, 'loss': 7.9168524742126465}\n",
+      "{'epoch': 0, 'update in batch': 8878, '/': 12375, 'loss': 7.799452304840088}\n",
+      "{'epoch': 0, 'update in batch': 8879, '/': 12375, 'loss': 7.255008697509766}\n",
+      "{'epoch': 0, 'update in batch': 8880, '/': 12375, 'loss': 8.029426574707031}\n",
+      "{'epoch': 0, 'update in batch': 8881, '/': 12375, 'loss': 7.7639970779418945}\n",
+      "{'epoch': 0, 'update in batch': 8882, '/': 12375, 'loss': 8.293272018432617}\n",
+      "{'epoch': 0, 'update in batch': 8883, '/': 12375, 'loss': 8.29725170135498}\n",
+      "{'epoch': 0, 'update in batch': 8884, '/': 12375, 'loss': 7.937534332275391}\n",
+      "{'epoch': 0, 'update in batch': 8885, '/': 12375, 'loss': 8.878189086914062}\n",
+      "{'epoch': 0, 'update in batch': 8886, '/': 12375, 'loss': 7.605037689208984}\n",
+      "{'epoch': 0, 'update in batch': 8887, '/': 12375, 'loss': 8.068740844726562}\n",
+      "{'epoch': 0, 'update in batch': 8888, '/': 12375, 'loss': 8.983633041381836}\n",
+      "{'epoch': 0, 'update in batch': 8889, '/': 12375, 'loss': 9.239958763122559}\n",
+      "{'epoch': 0, 'update in batch': 8890, '/': 12375, 'loss': 8.390048027038574}\n",
+      "{'epoch': 0, 'update in batch': 8891, '/': 12375, 'loss': 8.55629825592041}\n",
+      "{'epoch': 0, 'update in batch': 8892, '/': 12375, 'loss': 8.254335403442383}\n",
+      "{'epoch': 0, 'update in batch': 8893, '/': 12375, 'loss': 8.419793128967285}\n",
+      "{'epoch': 0, 'update in batch': 8894, '/': 12375, 'loss': 8.314797401428223}\n",
+      "{'epoch': 0, 'update in batch': 8895, '/': 12375, 'loss': 8.107542037963867}\n",
+      "{'epoch': 0, 'update in batch': 8896, '/': 12375, 'loss': 8.411057472229004}\n",
+      "{'epoch': 0, 'update in batch': 8897, '/': 12375, 'loss': 7.748020172119141}\n",
+      "{'epoch': 0, 'update in batch': 8898, '/': 12375, 'loss': 8.120186805725098}\n",
+      "{'epoch': 0, 'update in batch': 8899, '/': 12375, 'loss': 8.455031394958496}\n",
+      "{'epoch': 0, 'update in batch': 8900, '/': 12375, 'loss': 9.27051830291748}\n",
+      "{'epoch': 0, 'update in batch': 8901, '/': 12375, 'loss': 8.966584205627441}\n",
+      "{'epoch': 0, 'update in batch': 8902, '/': 12375, 'loss': 7.5457353591918945}\n",
+      "{'epoch': 0, 'update in batch': 8903, '/': 12375, 'loss': 7.772374629974365}\n",
+      "{'epoch': 0, 'update in batch': 8904, '/': 12375, 'loss': 6.906725883483887}\n",
+      "{'epoch': 0, 'update in batch': 8905, '/': 12375, 'loss': 8.409859657287598}\n",
+      "{'epoch': 0, 'update in batch': 8906, '/': 12375, 'loss': 7.179731845855713}\n",
+      "{'epoch': 0, 'update in batch': 8907, '/': 12375, 'loss': 7.706511497497559}\n",
+      "{'epoch': 0, 'update in batch': 8908, '/': 12375, 'loss': 8.263712882995605}\n",
+      "{'epoch': 0, 'update in batch': 8909, '/': 12375, 'loss': 7.106326103210449}\n",
+      "{'epoch': 0, 'update in batch': 8910, '/': 12375, 'loss': 8.390952110290527}\n",
+      "{'epoch': 0, 'update in batch': 8911, '/': 12375, 'loss': 7.185792446136475}\n",
+      "{'epoch': 0, 'update in batch': 8912, '/': 12375, 'loss': 8.10071086883545}\n",
+      "{'epoch': 0, 'update in batch': 8913, '/': 12375, 'loss': 7.675116062164307}\n",
+      "{'epoch': 0, 'update in batch': 8914, '/': 12375, 'loss': 7.906248569488525}\n",
+      "{'epoch': 0, 'update in batch': 8915, '/': 12375, 'loss': 7.0093255043029785}\n",
+      "{'epoch': 0, 'update in batch': 8916, '/': 12375, 'loss': 8.221487045288086}\n",
+      "{'epoch': 0, 'update in batch': 8917, '/': 12375, 'loss': 7.357893943786621}\n",
+      "{'epoch': 0, 'update in batch': 8918, '/': 12375, 'loss': 7.925406455993652}\n",
+      "{'epoch': 0, 'update in batch': 8919, '/': 12375, 'loss': 7.718319892883301}\n",
+      "{'epoch': 0, 'update in batch': 8920, '/': 12375, 'loss': 6.8648223876953125}\n",
+      "{'epoch': 0, 'update in batch': 8921, '/': 12375, 'loss': 7.75388240814209}\n",
+      "{'epoch': 0, 'update in batch': 8922, '/': 12375, 'loss': 7.754064083099365}\n",
+      "{'epoch': 0, 'update in batch': 8923, '/': 12375, 'loss': 8.46654987335205}\n",
+      "{'epoch': 0, 'update in batch': 8924, '/': 12375, 'loss': 7.263618469238281}\n",
+      "{'epoch': 0, 'update in batch': 8925, '/': 12375, 'loss': 7.8167524337768555}\n",
+      "{'epoch': 0, 'update in batch': 8926, '/': 12375, 'loss': 7.970029354095459}\n",
+      "{'epoch': 0, 'update in batch': 8927, '/': 12375, 'loss': 7.556703090667725}\n",
+      "{'epoch': 0, 'update in batch': 8928, '/': 12375, 'loss': 8.139470100402832}\n",
+      "{'epoch': 0, 'update in batch': 8929, '/': 12375, 'loss': 9.137308120727539}\n",
+      "{'epoch': 0, 'update in batch': 8930, '/': 12375, 'loss': 7.682581901550293}\n",
+      "{'epoch': 0, 'update in batch': 8931, '/': 12375, 'loss': 8.101678848266602}\n",
+      "{'epoch': 0, 'update in batch': 8932, '/': 12375, 'loss': 9.147272109985352}\n",
+      "{'epoch': 0, 'update in batch': 8933, '/': 12375, 'loss': 8.934175491333008}\n",
+      "{'epoch': 0, 'update in batch': 8934, '/': 12375, 'loss': 7.783398628234863}\n",
+      "{'epoch': 0, 'update in batch': 8935, '/': 12375, 'loss': 8.408774375915527}\n",
+      "{'epoch': 0, 'update in batch': 8936, '/': 12375, 'loss': 8.483470916748047}\n",
+      "{'epoch': 0, 'update in batch': 8937, '/': 12375, 'loss': 6.975807189941406}\n",
+      "{'epoch': 0, 'update in batch': 8938, '/': 12375, 'loss': 7.937769412994385}\n",
+      "{'epoch': 0, 'update in batch': 8939, '/': 12375, 'loss': 7.524913787841797}\n",
+      "{'epoch': 0, 'update in batch': 8940, '/': 12375, 'loss': 8.198772430419922}\n",
+      "{'epoch': 0, 'update in batch': 8941, '/': 12375, 'loss': 7.871912479400635}\n",
+      "{'epoch': 0, 'update in batch': 8942, '/': 12375, 'loss': 7.935922145843506}\n",
+      "{'epoch': 0, 'update in batch': 8943, '/': 12375, 'loss': 7.881924629211426}\n",
+      "{'epoch': 0, 'update in batch': 8944, '/': 12375, 'loss': 7.667487144470215}\n",
+      "{'epoch': 0, 'update in batch': 8945, '/': 12375, 'loss': 7.439117431640625}\n",
+      "{'epoch': 0, 'update in batch': 8946, '/': 12375, 'loss': 7.500470161437988}\n",
+      "{'epoch': 0, 'update in batch': 8947, '/': 12375, 'loss': 7.687258720397949}\n",
+      "{'epoch': 0, 'update in batch': 8948, '/': 12375, 'loss': 8.284197807312012}\n",
+      "{'epoch': 0, 'update in batch': 8949, '/': 12375, 'loss': 8.365377426147461}\n",
+      "{'epoch': 0, 'update in batch': 8950, '/': 12375, 'loss': 7.9518866539001465}\n",
+      "{'epoch': 0, 'update in batch': 8951, '/': 12375, 'loss': 8.453716278076172}\n",
+      "{'epoch': 0, 'update in batch': 8952, '/': 12375, 'loss': 8.578645706176758}\n",
+      "{'epoch': 0, 'update in batch': 8953, '/': 12375, 'loss': 9.073841094970703}\n",
+      "{'epoch': 0, 'update in batch': 8954, '/': 12375, 'loss': 8.209263801574707}\n",
+      "{'epoch': 0, 'update in batch': 8955, '/': 12375, 'loss': 7.903404235839844}\n",
+      "{'epoch': 0, 'update in batch': 8956, '/': 12375, 'loss': 7.709588527679443}\n",
+      "{'epoch': 0, 'update in batch': 8957, '/': 12375, 'loss': 8.054426193237305}\n",
+      "{'epoch': 0, 'update in batch': 8958, '/': 12375, 'loss': 8.023541450500488}\n",
+      "{'epoch': 0, 'update in batch': 8959, '/': 12375, 'loss': 8.046077728271484}\n",
+      "{'epoch': 0, 'update in batch': 8960, '/': 12375, 'loss': 7.624070644378662}\n",
+      "{'epoch': 0, 'update in batch': 8961, '/': 12375, 'loss': 8.32202434539795}\n",
+      "{'epoch': 0, 'update in batch': 8962, '/': 12375, 'loss': 8.136701583862305}\n",
+      "{'epoch': 0, 'update in batch': 8963, '/': 12375, 'loss': 8.511152267456055}\n",
+      "{'epoch': 0, 'update in batch': 8964, '/': 12375, 'loss': 7.957907199859619}\n",
+      "{'epoch': 0, 'update in batch': 8965, '/': 12375, 'loss': 8.006017684936523}\n",
+      "{'epoch': 0, 'update in batch': 8966, '/': 12375, 'loss': 7.630642890930176}\n",
+      "{'epoch': 0, 'update in batch': 8967, '/': 12375, 'loss': 8.135695457458496}\n",
+      "{'epoch': 0, 'update in batch': 8968, '/': 12375, 'loss': 7.422654628753662}\n",
+      "{'epoch': 0, 'update in batch': 8969, '/': 12375, 'loss': 7.541399955749512}\n",
+      "{'epoch': 0, 'update in batch': 8970, '/': 12375, 'loss': 8.049192428588867}\n",
+      "{'epoch': 0, 'update in batch': 8971, '/': 12375, 'loss': 8.128314018249512}\n",
+      "{'epoch': 0, 'update in batch': 8972, '/': 12375, 'loss': 8.834774017333984}\n",
+      "{'epoch': 0, 'update in batch': 8973, '/': 12375, 'loss': 7.474012851715088}\n",
+      "{'epoch': 0, 'update in batch': 8974, '/': 12375, 'loss': 7.544972896575928}\n",
+      "{'epoch': 0, 'update in batch': 8975, '/': 12375, 'loss': 8.436829566955566}\n",
+      "{'epoch': 0, 'update in batch': 8976, '/': 12375, 'loss': 7.826956748962402}\n",
+      "{'epoch': 0, 'update in batch': 8977, '/': 12375, 'loss': 8.89422607421875}\n",
+      "{'epoch': 0, 'update in batch': 8978, '/': 12375, 'loss': 9.333271980285645}\n",
+      "{'epoch': 0, 'update in batch': 8979, '/': 12375, 'loss': 9.868891716003418}\n",
+      "{'epoch': 0, 'update in batch': 8980, '/': 12375, 'loss': 9.250638008117676}\n",
+      "{'epoch': 0, 'update in batch': 8981, '/': 12375, 'loss': 9.209859848022461}\n",
+      "{'epoch': 0, 'update in batch': 8982, '/': 12375, 'loss': 8.312826156616211}\n",
+      "{'epoch': 0, 'update in batch': 8983, '/': 12375, 'loss': 8.51283073425293}\n",
+      "{'epoch': 0, 'update in batch': 8984, '/': 12375, 'loss': 8.618684768676758}\n",
+      "{'epoch': 0, 'update in batch': 8985, '/': 12375, 'loss': 8.361870765686035}\n",
+      "{'epoch': 0, 'update in batch': 8986, '/': 12375, 'loss': 8.954256057739258}\n",
+      "{'epoch': 0, 'update in batch': 8987, '/': 12375, 'loss': 8.108530044555664}\n",
+      "{'epoch': 0, 'update in batch': 8988, '/': 12375, 'loss': 7.977036476135254}\n",
+      "{'epoch': 0, 'update in batch': 8989, '/': 12375, 'loss': 8.373608589172363}\n",
+      "{'epoch': 0, 'update in batch': 8990, '/': 12375, 'loss': 8.426973342895508}\n",
+      "{'epoch': 0, 'update in batch': 8991, '/': 12375, 'loss': 8.611562728881836}\n",
+      "{'epoch': 0, 'update in batch': 8992, '/': 12375, 'loss': 7.605466365814209}\n",
+      "{'epoch': 0, 'update in batch': 8993, '/': 12375, 'loss': 8.025602340698242}\n",
+      "{'epoch': 0, 'update in batch': 8994, '/': 12375, 'loss': 8.241973876953125}\n",
+      "{'epoch': 0, 'update in batch': 8995, '/': 12375, 'loss': 7.954485893249512}\n",
+      "{'epoch': 0, 'update in batch': 8996, '/': 12375, 'loss': 8.299022674560547}\n",
+      "{'epoch': 0, 'update in batch': 8997, '/': 12375, 'loss': 7.6850996017456055}\n",
+      "{'epoch': 0, 'update in batch': 8998, '/': 12375, 'loss': 7.879136085510254}\n",
+      "{'epoch': 0, 'update in batch': 8999, '/': 12375, 'loss': 9.002019882202148}\n",
+      "{'epoch': 0, 'update in batch': 9000, '/': 12375, 'loss': 8.76661491394043}\n",
+      "{'epoch': 0, 'update in batch': 9001, '/': 12375, 'loss': 8.53860092163086}\n",
+      "{'epoch': 0, 'update in batch': 9002, '/': 12375, 'loss': 7.806396484375}\n",
+      "{'epoch': 0, 'update in batch': 9003, '/': 12375, 'loss': 7.908164024353027}\n",
+      "{'epoch': 0, 'update in batch': 9004, '/': 12375, 'loss': 8.430927276611328}\n",
+      "{'epoch': 0, 'update in batch': 9005, '/': 12375, 'loss': 8.721500396728516}\n",
+      "{'epoch': 0, 'update in batch': 9006, '/': 12375, 'loss': 8.66257381439209}\n",
+      "{'epoch': 0, 'update in batch': 9007, '/': 12375, 'loss': 7.698391914367676}\n",
+      "{'epoch': 0, 'update in batch': 9008, '/': 12375, 'loss': 7.631682395935059}\n",
+      "{'epoch': 0, 'update in batch': 9009, '/': 12375, 'loss': 8.334389686584473}\n",
+      "{'epoch': 0, 'update in batch': 9010, '/': 12375, 'loss': 7.848761558532715}\n",
+      "{'epoch': 0, 'update in batch': 9011, '/': 12375, 'loss': 8.426350593566895}\n",
+      "{'epoch': 0, 'update in batch': 9012, '/': 12375, 'loss': 8.758541107177734}\n",
+      "{'epoch': 0, 'update in batch': 9013, '/': 12375, 'loss': 8.162800788879395}\n",
+      "{'epoch': 0, 'update in batch': 9014, '/': 12375, 'loss': 8.189924240112305}\n",
+      "{'epoch': 0, 'update in batch': 9015, '/': 12375, 'loss': 8.536359786987305}\n",
+      "{'epoch': 0, 'update in batch': 9016, '/': 12375, 'loss': 7.920592308044434}\n",
+      "{'epoch': 0, 'update in batch': 9017, '/': 12375, 'loss': 8.53857707977295}\n",
+      "{'epoch': 0, 'update in batch': 9018, '/': 12375, 'loss': 8.06838321685791}\n",
+      "{'epoch': 0, 'update in batch': 9019, '/': 12375, 'loss': 8.5513916015625}\n",
+      "{'epoch': 0, 'update in batch': 9020, '/': 12375, 'loss': 8.306380271911621}\n",
+      "{'epoch': 0, 'update in batch': 9021, '/': 12375, 'loss': 8.201525688171387}\n",
+      "{'epoch': 0, 'update in batch': 9022, '/': 12375, 'loss': 8.490086555480957}\n",
+      "{'epoch': 0, 'update in batch': 9023, '/': 12375, 'loss': 8.675066947937012}\n",
+      "{'epoch': 0, 'update in batch': 9024, '/': 12375, 'loss': 7.946255683898926}\n",
+      "{'epoch': 0, 'update in batch': 9025, '/': 12375, 'loss': 8.398515701293945}\n",
+      "{'epoch': 0, 'update in batch': 9026, '/': 12375, 'loss': 8.279340744018555}\n",
+      "{'epoch': 0, 'update in batch': 9027, '/': 12375, 'loss': 8.348958969116211}\n",
+      "{'epoch': 0, 'update in batch': 9028, '/': 12375, 'loss': 7.885520935058594}\n",
+      "{'epoch': 0, 'update in batch': 9029, '/': 12375, 'loss': 8.424054145812988}\n",
+      "{'epoch': 0, 'update in batch': 9030, '/': 12375, 'loss': 8.491037368774414}\n",
+      "{'epoch': 0, 'update in batch': 9031, '/': 12375, 'loss': 7.618282318115234}\n",
+      "{'epoch': 0, 'update in batch': 9032, '/': 12375, 'loss': 8.054858207702637}\n",
+      "{'epoch': 0, 'update in batch': 9033, '/': 12375, 'loss': 8.101208686828613}\n",
+      "{'epoch': 0, 'update in batch': 9034, '/': 12375, 'loss': 7.877333641052246}\n",
+      "{'epoch': 0, 'update in batch': 9035, '/': 12375, 'loss': 7.990850925445557}\n",
+      "{'epoch': 0, 'update in batch': 9036, '/': 12375, 'loss': 8.110493659973145}\n",
+      "{'epoch': 0, 'update in batch': 9037, '/': 12375, 'loss': 7.874154567718506}\n",
+      "{'epoch': 0, 'update in batch': 9038, '/': 12375, 'loss': 7.79679012298584}\n",
+      "{'epoch': 0, 'update in batch': 9039, '/': 12375, 'loss': 8.397347450256348}\n",
+      "{'epoch': 0, 'update in batch': 9040, '/': 12375, 'loss': 7.429714202880859}\n",
+      "{'epoch': 0, 'update in batch': 9041, '/': 12375, 'loss': 8.090604782104492}\n",
+      "{'epoch': 0, 'update in batch': 9042, '/': 12375, 'loss': 8.373021125793457}\n",
+      "{'epoch': 0, 'update in batch': 9043, '/': 12375, 'loss': 8.594207763671875}\n",
+      "{'epoch': 0, 'update in batch': 9044, '/': 12375, 'loss': 8.919001579284668}\n",
+      "{'epoch': 0, 'update in batch': 9045, '/': 12375, 'loss': 9.494913101196289}\n",
+      "{'epoch': 0, 'update in batch': 9046, '/': 12375, 'loss': 8.822463035583496}\n",
+      "{'epoch': 0, 'update in batch': 9047, '/': 12375, 'loss': 7.981692314147949}\n",
+      "{'epoch': 0, 'update in batch': 9048, '/': 12375, 'loss': 8.212724685668945}\n",
+      "{'epoch': 0, 'update in batch': 9049, '/': 12375, 'loss': 8.490652084350586}\n",
+      "{'epoch': 0, 'update in batch': 9050, '/': 12375, 'loss': 8.086469650268555}\n",
+      "{'epoch': 0, 'update in batch': 9051, '/': 12375, 'loss': 8.02994155883789}\n",
+      "{'epoch': 0, 'update in batch': 9052, '/': 12375, 'loss': 8.686410903930664}\n",
+      "{'epoch': 0, 'update in batch': 9053, '/': 12375, 'loss': 8.321104049682617}\n",
+      "{'epoch': 0, 'update in batch': 9054, '/': 12375, 'loss': 8.077166557312012}\n",
+      "{'epoch': 0, 'update in batch': 9055, '/': 12375, 'loss': 8.485758781433105}\n",
+      "{'epoch': 0, 'update in batch': 9056, '/': 12375, 'loss': 8.640908241271973}\n",
+      "{'epoch': 0, 'update in batch': 9057, '/': 12375, 'loss': 6.782280921936035}\n",
+      "{'epoch': 0, 'update in batch': 9058, '/': 12375, 'loss': 7.63707971572876}\n",
+      "{'epoch': 0, 'update in batch': 9059, '/': 12375, 'loss': 7.596373558044434}\n",
+      "{'epoch': 0, 'update in batch': 9060, '/': 12375, 'loss': 7.701025485992432}\n",
+      "{'epoch': 0, 'update in batch': 9061, '/': 12375, 'loss': 8.268926620483398}\n",
+      "{'epoch': 0, 'update in batch': 9062, '/': 12375, 'loss': 8.291996955871582}\n",
+      "{'epoch': 0, 'update in batch': 9063, '/': 12375, 'loss': 7.856645107269287}\n",
+      "{'epoch': 0, 'update in batch': 9064, '/': 12375, 'loss': 8.531097412109375}\n",
+      "{'epoch': 0, 'update in batch': 9065, '/': 12375, 'loss': 8.23518180847168}\n",
+      "{'epoch': 0, 'update in batch': 9066, '/': 12375, 'loss': 8.161500930786133}\n",
+      "{'epoch': 0, 'update in batch': 9067, '/': 12375, 'loss': 7.77606201171875}\n",
+      "{'epoch': 0, 'update in batch': 9068, '/': 12375, 'loss': 7.390267372131348}\n",
+      "{'epoch': 0, 'update in batch': 9069, '/': 12375, 'loss': 8.775557518005371}\n",
+      "{'epoch': 0, 'update in batch': 9070, '/': 12375, 'loss': 8.615087509155273}\n",
+      "{'epoch': 0, 'update in batch': 9071, '/': 12375, 'loss': 8.340371131896973}\n",
+      "{'epoch': 0, 'update in batch': 9072, '/': 12375, 'loss': 7.969820976257324}\n",
+      "{'epoch': 0, 'update in batch': 9073, '/': 12375, 'loss': 8.16061782836914}\n",
+      "{'epoch': 0, 'update in batch': 9074, '/': 12375, 'loss': 7.151444911956787}\n",
+      "{'epoch': 0, 'update in batch': 9075, '/': 12375, 'loss': 7.533329010009766}\n",
+      "{'epoch': 0, 'update in batch': 9076, '/': 12375, 'loss': 7.7039690017700195}\n",
+      "{'epoch': 0, 'update in batch': 9077, '/': 12375, 'loss': 8.25241470336914}\n",
+      "{'epoch': 0, 'update in batch': 9078, '/': 12375, 'loss': 7.784465789794922}\n",
+      "{'epoch': 0, 'update in batch': 9079, '/': 12375, 'loss': 6.822022914886475}\n",
+      "{'epoch': 0, 'update in batch': 9080, '/': 12375, 'loss': 7.521236419677734}\n",
+      "{'epoch': 0, 'update in batch': 9081, '/': 12375, 'loss': 7.4755377769470215}\n",
+      "{'epoch': 0, 'update in batch': 9082, '/': 12375, 'loss': 7.593495845794678}\n",
+      "{'epoch': 0, 'update in batch': 9083, '/': 12375, 'loss': 7.623143196105957}\n",
+      "{'epoch': 0, 'update in batch': 9084, '/': 12375, 'loss': 6.8914794921875}\n",
+      "{'epoch': 0, 'update in batch': 9085, '/': 12375, 'loss': 7.693792819976807}\n",
+      "{'epoch': 0, 'update in batch': 9086, '/': 12375, 'loss': 7.012167453765869}\n",
+      "{'epoch': 0, 'update in batch': 9087, '/': 12375, 'loss': 8.380475997924805}\n",
+      "{'epoch': 0, 'update in batch': 9088, '/': 12375, 'loss': 7.501023769378662}\n",
+      "{'epoch': 0, 'update in batch': 9089, '/': 12375, 'loss': 7.812923431396484}\n",
+      "{'epoch': 0, 'update in batch': 9090, '/': 12375, 'loss': 6.865973472595215}\n",
+      "{'epoch': 0, 'update in batch': 9091, '/': 12375, 'loss': 7.593565464019775}\n",
+      "{'epoch': 0, 'update in batch': 9092, '/': 12375, 'loss': 7.113862037658691}\n",
+      "{'epoch': 0, 'update in batch': 9093, '/': 12375, 'loss': 7.115810394287109}\n",
+      "{'epoch': 0, 'update in batch': 9094, '/': 12375, 'loss': 8.540816307067871}\n",
+      "{'epoch': 0, 'update in batch': 9095, '/': 12375, 'loss': 7.3086395263671875}\n",
+      "{'epoch': 0, 'update in batch': 9096, '/': 12375, 'loss': 7.731343746185303}\n",
+      "{'epoch': 0, 'update in batch': 9097, '/': 12375, 'loss': 7.583947658538818}\n",
+      "{'epoch': 0, 'update in batch': 9098, '/': 12375, 'loss': 7.219595909118652}\n",
+      "{'epoch': 0, 'update in batch': 9099, '/': 12375, 'loss': 7.455902099609375}\n",
+      "{'epoch': 0, 'update in batch': 9100, '/': 12375, 'loss': 7.8574981689453125}\n",
+      "{'epoch': 0, 'update in batch': 9101, '/': 12375, 'loss': 8.616782188415527}\n",
+      "{'epoch': 0, 'update in batch': 9102, '/': 12375, 'loss': 8.319303512573242}\n",
+      "{'epoch': 0, 'update in batch': 9103, '/': 12375, 'loss': 8.128999710083008}\n",
+      "{'epoch': 0, 'update in batch': 9104, '/': 12375, 'loss': 8.131458282470703}\n",
+      "{'epoch': 0, 'update in batch': 9105, '/': 12375, 'loss': 7.869663238525391}\n",
+      "{'epoch': 0, 'update in batch': 9106, '/': 12375, 'loss': 8.426483154296875}\n",
+      "{'epoch': 0, 'update in batch': 9107, '/': 12375, 'loss': 7.598954677581787}\n",
+      "{'epoch': 0, 'update in batch': 9108, '/': 12375, 'loss': 6.83527135848999}\n",
+      "{'epoch': 0, 'update in batch': 9109, '/': 12375, 'loss': 7.012609958648682}\n",
+      "{'epoch': 0, 'update in batch': 9110, '/': 12375, 'loss': 7.432090759277344}\n",
+      "{'epoch': 0, 'update in batch': 9111, '/': 12375, 'loss': 8.51479434967041}\n",
+      "{'epoch': 0, 'update in batch': 9112, '/': 12375, 'loss': 7.432906150817871}\n",
+      "{'epoch': 0, 'update in batch': 9113, '/': 12375, 'loss': 8.678844451904297}\n",
+      "{'epoch': 0, 'update in batch': 9114, '/': 12375, 'loss': 8.3209228515625}\n",
+      "{'epoch': 0, 'update in batch': 9115, '/': 12375, 'loss': 7.87288761138916}\n",
+      "{'epoch': 0, 'update in batch': 9116, '/': 12375, 'loss': 8.482450485229492}\n",
+      "{'epoch': 0, 'update in batch': 9117, '/': 12375, 'loss': 8.009195327758789}\n",
+      "{'epoch': 0, 'update in batch': 9118, '/': 12375, 'loss': 7.032430171966553}\n",
+      "{'epoch': 0, 'update in batch': 9119, '/': 12375, 'loss': 8.692861557006836}\n",
+      "{'epoch': 0, 'update in batch': 9120, '/': 12375, 'loss': 7.016140937805176}\n",
+      "{'epoch': 0, 'update in batch': 9121, '/': 12375, 'loss': 9.065374374389648}\n",
+      "{'epoch': 0, 'update in batch': 9122, '/': 12375, 'loss': 8.65158462524414}\n",
+      "{'epoch': 0, 'update in batch': 9123, '/': 12375, 'loss': 8.686233520507812}\n",
+      "{'epoch': 0, 'update in batch': 9124, '/': 12375, 'loss': 8.206387519836426}\n",
+      "{'epoch': 0, 'update in batch': 9125, '/': 12375, 'loss': 6.914577484130859}\n",
+      "{'epoch': 0, 'update in batch': 9126, '/': 12375, 'loss': 7.424615383148193}\n",
+      "{'epoch': 0, 'update in batch': 9127, '/': 12375, 'loss': 7.9676079750061035}\n",
+      "{'epoch': 0, 'update in batch': 9128, '/': 12375, 'loss': 6.819772243499756}\n",
+      "{'epoch': 0, 'update in batch': 9129, '/': 12375, 'loss': 7.142258644104004}\n",
+      "{'epoch': 0, 'update in batch': 9130, '/': 12375, 'loss': 6.874356746673584}\n",
+      "{'epoch': 0, 'update in batch': 9131, '/': 12375, 'loss': 7.048946380615234}\n",
+      "{'epoch': 0, 'update in batch': 9132, '/': 12375, 'loss': 7.098999977111816}\n",
+      "{'epoch': 0, 'update in batch': 9133, '/': 12375, 'loss': 7.329199314117432}\n",
+      "{'epoch': 0, 'update in batch': 9134, '/': 12375, 'loss': 8.079840660095215}\n",
+      "{'epoch': 0, 'update in batch': 9135, '/': 12375, 'loss': 7.419802665710449}\n",
+      "{'epoch': 0, 'update in batch': 9136, '/': 12375, 'loss': 7.9739670753479}\n",
+      "{'epoch': 0, 'update in batch': 9137, '/': 12375, 'loss': 7.606189727783203}\n",
+      "{'epoch': 0, 'update in batch': 9138, '/': 12375, 'loss': 8.677116394042969}\n",
+      "{'epoch': 0, 'update in batch': 9139, '/': 12375, 'loss': 8.003485679626465}\n",
+      "{'epoch': 0, 'update in batch': 9140, '/': 12375, 'loss': 8.417749404907227}\n",
+      "{'epoch': 0, 'update in batch': 9141, '/': 12375, 'loss': 9.055152893066406}\n",
+      "{'epoch': 0, 'update in batch': 9142, '/': 12375, 'loss': 7.846428871154785}\n",
+      "{'epoch': 0, 'update in batch': 9143, '/': 12375, 'loss': 8.689290046691895}\n",
+      "{'epoch': 0, 'update in batch': 9144, '/': 12375, 'loss': 8.296536445617676}\n",
+      "{'epoch': 0, 'update in batch': 9145, '/': 12375, 'loss': 8.564274787902832}\n",
+      "{'epoch': 0, 'update in batch': 9146, '/': 12375, 'loss': 8.590275764465332}\n",
+      "{'epoch': 0, 'update in batch': 9147, '/': 12375, 'loss': 9.112329483032227}\n",
+      "{'epoch': 0, 'update in batch': 9148, '/': 12375, 'loss': 8.609502792358398}\n",
+      "{'epoch': 0, 'update in batch': 9149, '/': 12375, 'loss': 8.021187782287598}\n",
+      "{'epoch': 0, 'update in batch': 9150, '/': 12375, 'loss': 7.027735233306885}\n",
+      "{'epoch': 0, 'update in batch': 9151, '/': 12375, 'loss': 8.594472885131836}\n",
+      "{'epoch': 0, 'update in batch': 9152, '/': 12375, 'loss': 7.621002197265625}\n",
+      "{'epoch': 0, 'update in batch': 9153, '/': 12375, 'loss': 8.262398719787598}\n",
+      "{'epoch': 0, 'update in batch': 9154, '/': 12375, 'loss': 8.652688980102539}\n",
+      "{'epoch': 0, 'update in batch': 9155, '/': 12375, 'loss': 8.199050903320312}\n",
+      "{'epoch': 0, 'update in batch': 9156, '/': 12375, 'loss': 8.733564376831055}\n",
+      "{'epoch': 0, 'update in batch': 9157, '/': 12375, 'loss': 8.290034294128418}\n",
+      "{'epoch': 0, 'update in batch': 9158, '/': 12375, 'loss': 7.223513126373291}\n",
+      "{'epoch': 0, 'update in batch': 9159, '/': 12375, 'loss': 7.998883247375488}\n",
+      "{'epoch': 0, 'update in batch': 9160, '/': 12375, 'loss': 7.6588568687438965}\n",
+      "{'epoch': 0, 'update in batch': 9161, '/': 12375, 'loss': 8.148488998413086}\n",
+      "{'epoch': 0, 'update in batch': 9162, '/': 12375, 'loss': 8.645581245422363}\n",
+      "{'epoch': 0, 'update in batch': 9163, '/': 12375, 'loss': 8.469696998596191}\n",
+      "{'epoch': 0, 'update in batch': 9164, '/': 12375, 'loss': 8.124422073364258}\n",
+      "{'epoch': 0, 'update in batch': 9165, '/': 12375, 'loss': 8.040427207946777}\n",
+      "{'epoch': 0, 'update in batch': 9166, '/': 12375, 'loss': 8.700793266296387}\n",
+      "{'epoch': 0, 'update in batch': 9167, '/': 12375, 'loss': 8.172112464904785}\n",
+      "{'epoch': 0, 'update in batch': 9168, '/': 12375, 'loss': 7.729016304016113}\n",
+      "{'epoch': 0, 'update in batch': 9169, '/': 12375, 'loss': 8.145851135253906}\n",
+      "{'epoch': 0, 'update in batch': 9170, '/': 12375, 'loss': 7.906307220458984}\n",
+      "{'epoch': 0, 'update in batch': 9171, '/': 12375, 'loss': 7.885003089904785}\n",
+      "{'epoch': 0, 'update in batch': 9172, '/': 12375, 'loss': 8.21033763885498}\n",
+      "{'epoch': 0, 'update in batch': 9173, '/': 12375, 'loss': 7.704296112060547}\n",
+      "{'epoch': 0, 'update in batch': 9174, '/': 12375, 'loss': 8.35612964630127}\n",
+      "{'epoch': 0, 'update in batch': 9175, '/': 12375, 'loss': 8.031169891357422}\n",
+      "{'epoch': 0, 'update in batch': 9176, '/': 12375, 'loss': 7.254364967346191}\n",
+      "{'epoch': 0, 'update in batch': 9177, '/': 12375, 'loss': 8.370532989501953}\n",
+      "{'epoch': 0, 'update in batch': 9178, '/': 12375, 'loss': 8.327978134155273}\n",
+      "{'epoch': 0, 'update in batch': 9179, '/': 12375, 'loss': 8.013569831848145}\n",
+      "{'epoch': 0, 'update in batch': 9180, '/': 12375, 'loss': 9.008501052856445}\n",
+      "{'epoch': 0, 'update in batch': 9181, '/': 12375, 'loss': 8.95001220703125}\n",
+      "{'epoch': 0, 'update in batch': 9182, '/': 12375, 'loss': 9.468360900878906}\n",
+      "{'epoch': 0, 'update in batch': 9183, '/': 12375, 'loss': 8.734314918518066}\n",
+      "{'epoch': 0, 'update in batch': 9184, '/': 12375, 'loss': 8.456835746765137}\n",
+      "{'epoch': 0, 'update in batch': 9185, '/': 12375, 'loss': 8.859990119934082}\n",
+      "{'epoch': 0, 'update in batch': 9186, '/': 12375, 'loss': 8.238612174987793}\n",
+      "{'epoch': 0, 'update in batch': 9187, '/': 12375, 'loss': 8.691934585571289}\n",
+      "{'epoch': 0, 'update in batch': 9188, '/': 12375, 'loss': 7.424251556396484}\n",
+      "{'epoch': 0, 'update in batch': 9189, '/': 12375, 'loss': 7.6313066482543945}\n",
+      "{'epoch': 0, 'update in batch': 9190, '/': 12375, 'loss': 7.089399814605713}\n",
+      "{'epoch': 0, 'update in batch': 9191, '/': 12375, 'loss': 8.523248672485352}\n",
+      "{'epoch': 0, 'update in batch': 9192, '/': 12375, 'loss': 9.583192825317383}\n",
+      "{'epoch': 0, 'update in batch': 9193, '/': 12375, 'loss': 7.6127448081970215}\n",
+      "{'epoch': 0, 'update in batch': 9194, '/': 12375, 'loss': 7.872193336486816}\n",
+      "{'epoch': 0, 'update in batch': 9195, '/': 12375, 'loss': 7.585389137268066}\n",
+      "{'epoch': 0, 'update in batch': 9196, '/': 12375, 'loss': 7.256051063537598}\n",
+      "{'epoch': 0, 'update in batch': 9197, '/': 12375, 'loss': 7.927067756652832}\n",
+      "{'epoch': 0, 'update in batch': 9198, '/': 12375, 'loss': 7.283160209655762}\n",
+      "{'epoch': 0, 'update in batch': 9199, '/': 12375, 'loss': 7.553000450134277}\n",
+      "{'epoch': 0, 'update in batch': 9200, '/': 12375, 'loss': 7.208703517913818}\n",
+      "{'epoch': 0, 'update in batch': 9201, '/': 12375, 'loss': 7.455114841461182}\n",
+      "{'epoch': 0, 'update in batch': 9202, '/': 12375, 'loss': 7.465829372406006}\n",
+      "{'epoch': 0, 'update in batch': 9203, '/': 12375, 'loss': 7.876609802246094}\n",
+      "{'epoch': 0, 'update in batch': 9204, '/': 12375, 'loss': 8.300346374511719}\n",
+      "{'epoch': 0, 'update in batch': 9205, '/': 12375, 'loss': 8.500179290771484}\n",
+      "{'epoch': 0, 'update in batch': 9206, '/': 12375, 'loss': 8.1410551071167}\n",
+      "{'epoch': 0, 'update in batch': 9207, '/': 12375, 'loss': 7.183502197265625}\n",
+      "{'epoch': 0, 'update in batch': 9208, '/': 12375, 'loss': 8.055346488952637}\n",
+      "{'epoch': 0, 'update in batch': 9209, '/': 12375, 'loss': 8.136679649353027}\n",
+      "{'epoch': 0, 'update in batch': 9210, '/': 12375, 'loss': 7.669229030609131}\n",
+      "{'epoch': 0, 'update in batch': 9211, '/': 12375, 'loss': 7.630302429199219}\n",
+      "{'epoch': 0, 'update in batch': 9212, '/': 12375, 'loss': 7.994551181793213}\n",
+      "{'epoch': 0, 'update in batch': 9213, '/': 12375, 'loss': 7.81964111328125}\n",
+      "{'epoch': 0, 'update in batch': 9214, '/': 12375, 'loss': 8.350132942199707}\n",
+      "{'epoch': 0, 'update in batch': 9215, '/': 12375, 'loss': 7.99319314956665}\n",
+      "{'epoch': 0, 'update in batch': 9216, '/': 12375, 'loss': 7.7957634925842285}\n",
+      "{'epoch': 0, 'update in batch': 9217, '/': 12375, 'loss': 8.55026626586914}\n",
+      "{'epoch': 0, 'update in batch': 9218, '/': 12375, 'loss': 7.827423095703125}\n",
+      "{'epoch': 0, 'update in batch': 9219, '/': 12375, 'loss': 7.758211612701416}\n",
+      "{'epoch': 0, 'update in batch': 9220, '/': 12375, 'loss': 7.858113765716553}\n",
+      "{'epoch': 0, 'update in batch': 9221, '/': 12375, 'loss': 7.135410308837891}\n",
+      "{'epoch': 0, 'update in batch': 9222, '/': 12375, 'loss': 7.084033966064453}\n",
+      "{'epoch': 0, 'update in batch': 9223, '/': 12375, 'loss': 7.582200527191162}\n",
+      "{'epoch': 0, 'update in batch': 9224, '/': 12375, 'loss': 7.788686275482178}\n",
+      "{'epoch': 0, 'update in batch': 9225, '/': 12375, 'loss': 8.030576705932617}\n",
+      "{'epoch': 0, 'update in batch': 9226, '/': 12375, 'loss': 8.659736633300781}\n",
+      "{'epoch': 0, 'update in batch': 9227, '/': 12375, 'loss': 7.258872032165527}\n",
+      "{'epoch': 0, 'update in batch': 9228, '/': 12375, 'loss': 7.252115726470947}\n",
+      "{'epoch': 0, 'update in batch': 9229, '/': 12375, 'loss': 6.745418548583984}\n",
+      "{'epoch': 0, 'update in batch': 9230, '/': 12375, 'loss': 7.471107482910156}\n",
+      "{'epoch': 0, 'update in batch': 9231, '/': 12375, 'loss': 7.155544281005859}\n",
+      "{'epoch': 0, 'update in batch': 9232, '/': 12375, 'loss': 6.619575500488281}\n",
+      "{'epoch': 0, 'update in batch': 9233, '/': 12375, 'loss': 7.123112678527832}\n",
+      "{'epoch': 0, 'update in batch': 9234, '/': 12375, 'loss': 8.009126663208008}\n",
+      "{'epoch': 0, 'update in batch': 9235, '/': 12375, 'loss': 8.142333984375}\n",
+      "{'epoch': 0, 'update in batch': 9236, '/': 12375, 'loss': 7.474098205566406}\n",
+      "{'epoch': 0, 'update in batch': 9237, '/': 12375, 'loss': 7.3970513343811035}\n",
+      "{'epoch': 0, 'update in batch': 9238, '/': 12375, 'loss': 6.962670803070068}\n",
+      "{'epoch': 0, 'update in batch': 9239, '/': 12375, 'loss': 7.004151821136475}\n",
+      "{'epoch': 0, 'update in batch': 9240, '/': 12375, 'loss': 7.556474208831787}\n",
+      "{'epoch': 0, 'update in batch': 9241, '/': 12375, 'loss': 7.433034420013428}\n",
+      "{'epoch': 0, 'update in batch': 9242, '/': 12375, 'loss': 7.228720188140869}\n",
+      "{'epoch': 0, 'update in batch': 9243, '/': 12375, 'loss': 6.2615814208984375}\n",
+      "{'epoch': 0, 'update in batch': 9244, '/': 12375, 'loss': 6.358602046966553}\n",
+      "{'epoch': 0, 'update in batch': 9245, '/': 12375, 'loss': 6.881312370300293}\n",
+      "{'epoch': 0, 'update in batch': 9246, '/': 12375, 'loss': 7.163359642028809}\n",
+      "{'epoch': 0, 'update in batch': 9247, '/': 12375, 'loss': 7.717713832855225}\n",
+      "{'epoch': 0, 'update in batch': 9248, '/': 12375, 'loss': 7.385805606842041}\n",
+      "{'epoch': 0, 'update in batch': 9249, '/': 12375, 'loss': 7.6467108726501465}\n",
+      "{'epoch': 0, 'update in batch': 9250, '/': 12375, 'loss': 7.627117156982422}\n",
+      "{'epoch': 0, 'update in batch': 9251, '/': 12375, 'loss': 6.993521213531494}\n",
+      "{'epoch': 0, 'update in batch': 9252, '/': 12375, 'loss': 7.708207607269287}\n",
+      "{'epoch': 0, 'update in batch': 9253, '/': 12375, 'loss': 7.484314918518066}\n",
+      "{'epoch': 0, 'update in batch': 9254, '/': 12375, 'loss': 7.832160949707031}\n",
+      "{'epoch': 0, 'update in batch': 9255, '/': 12375, 'loss': 8.54062271118164}\n",
+      "{'epoch': 0, 'update in batch': 9256, '/': 12375, 'loss': 7.237264156341553}\n",
+      "{'epoch': 0, 'update in batch': 9257, '/': 12375, 'loss': 7.857690334320068}\n",
+      "{'epoch': 0, 'update in batch': 9258, '/': 12375, 'loss': 8.041298866271973}\n",
+      "{'epoch': 0, 'update in batch': 9259, '/': 12375, 'loss': 7.648332118988037}\n",
+      "{'epoch': 0, 'update in batch': 9260, '/': 12375, 'loss': 7.912179470062256}\n",
+      "{'epoch': 0, 'update in batch': 9261, '/': 12375, 'loss': 7.983614921569824}\n",
+      "{'epoch': 0, 'update in batch': 9262, '/': 12375, 'loss': 7.756173133850098}\n",
+      "{'epoch': 0, 'update in batch': 9263, '/': 12375, 'loss': 7.108497619628906}\n",
+      "{'epoch': 0, 'update in batch': 9264, '/': 12375, 'loss': 8.791460990905762}\n",
+      "{'epoch': 0, 'update in batch': 9265, '/': 12375, 'loss': 7.627124786376953}\n",
+      "{'epoch': 0, 'update in batch': 9266, '/': 12375, 'loss': 7.19045352935791}\n",
+      "{'epoch': 0, 'update in batch': 9267, '/': 12375, 'loss': 8.54133415222168}\n",
+      "{'epoch': 0, 'update in batch': 9268, '/': 12375, 'loss': 8.269721031188965}\n",
+      "{'epoch': 0, 'update in batch': 9269, '/': 12375, 'loss': 7.7125091552734375}\n",
+      "{'epoch': 0, 'update in batch': 9270, '/': 12375, 'loss': 8.420679092407227}\n",
+      "{'epoch': 0, 'update in batch': 9271, '/': 12375, 'loss': 7.648886680603027}\n",
+      "{'epoch': 0, 'update in batch': 9272, '/': 12375, 'loss': 7.366314888000488}\n",
+      "{'epoch': 0, 'update in batch': 9273, '/': 12375, 'loss': 6.416628360748291}\n",
+      "{'epoch': 0, 'update in batch': 9274, '/': 12375, 'loss': 7.076902866363525}\n",
+      "{'epoch': 0, 'update in batch': 9275, '/': 12375, 'loss': 7.957466125488281}\n",
+      "{'epoch': 0, 'update in batch': 9276, '/': 12375, 'loss': 8.26889419555664}\n",
+      "{'epoch': 0, 'update in batch': 9277, '/': 12375, 'loss': 6.6541547775268555}\n",
+      "{'epoch': 0, 'update in batch': 9278, '/': 12375, 'loss': 7.940451622009277}\n",
+      "{'epoch': 0, 'update in batch': 9279, '/': 12375, 'loss': 7.223910331726074}\n",
+      "{'epoch': 0, 'update in batch': 9280, '/': 12375, 'loss': 9.769524574279785}\n",
+      "{'epoch': 0, 'update in batch': 9281, '/': 12375, 'loss': 8.659781455993652}\n",
+      "{'epoch': 0, 'update in batch': 9282, '/': 12375, 'loss': 8.77593994140625}\n",
+      "{'epoch': 0, 'update in batch': 9283, '/': 12375, 'loss': 7.773107051849365}\n",
+      "{'epoch': 0, 'update in batch': 9284, '/': 12375, 'loss': 8.063024520874023}\n",
+      "{'epoch': 0, 'update in batch': 9285, '/': 12375, 'loss': 7.658574104309082}\n",
+      "{'epoch': 0, 'update in batch': 9286, '/': 12375, 'loss': 7.217099189758301}\n",
+      "{'epoch': 0, 'update in batch': 9287, '/': 12375, 'loss': 8.579526901245117}\n",
+      "{'epoch': 0, 'update in batch': 9288, '/': 12375, 'loss': 7.844512939453125}\n",
+      "{'epoch': 0, 'update in batch': 9289, '/': 12375, 'loss': 8.036855697631836}\n",
+      "{'epoch': 0, 'update in batch': 9290, '/': 12375, 'loss': 8.567129135131836}\n",
+      "{'epoch': 0, 'update in batch': 9291, '/': 12375, 'loss': 8.879118919372559}\n",
+      "{'epoch': 0, 'update in batch': 9292, '/': 12375, 'loss': 7.6709394454956055}\n",
+      "{'epoch': 0, 'update in batch': 9293, '/': 12375, 'loss': 7.3319091796875}\n",
+      "{'epoch': 0, 'update in batch': 9294, '/': 12375, 'loss': 7.3473334312438965}\n",
+      "{'epoch': 0, 'update in batch': 9295, '/': 12375, 'loss': 7.513403415679932}\n",
+      "{'epoch': 0, 'update in batch': 9296, '/': 12375, 'loss': 7.0298566818237305}\n",
+      "{'epoch': 0, 'update in batch': 9297, '/': 12375, 'loss': 7.430520057678223}\n",
+      "{'epoch': 0, 'update in batch': 9298, '/': 12375, 'loss': 7.163350582122803}\n",
+      "{'epoch': 0, 'update in batch': 9299, '/': 12375, 'loss': 8.012401580810547}\n",
+      "{'epoch': 0, 'update in batch': 9300, '/': 12375, 'loss': 7.122601509094238}\n",
+      "{'epoch': 0, 'update in batch': 9301, '/': 12375, 'loss': 7.042677879333496}\n",
+      "{'epoch': 0, 'update in batch': 9302, '/': 12375, 'loss': 7.339977264404297}\n",
+      "{'epoch': 0, 'update in batch': 9303, '/': 12375, 'loss': 7.350742340087891}\n",
+      "{'epoch': 0, 'update in batch': 9304, '/': 12375, 'loss': 8.819326400756836}\n",
+      "{'epoch': 0, 'update in batch': 9305, '/': 12375, 'loss': 6.844576835632324}\n",
+      "{'epoch': 0, 'update in batch': 9306, '/': 12375, 'loss': 8.472399711608887}\n",
+      "{'epoch': 0, 'update in batch': 9307, '/': 12375, 'loss': 8.72569465637207}\n",
+      "{'epoch': 0, 'update in batch': 9308, '/': 12375, 'loss': 7.456782341003418}\n",
+      "{'epoch': 0, 'update in batch': 9309, '/': 12375, 'loss': 8.237859725952148}\n",
+      "{'epoch': 0, 'update in batch': 9310, '/': 12375, 'loss': 8.096558570861816}\n",
+      "{'epoch': 0, 'update in batch': 9311, '/': 12375, 'loss': 8.928770065307617}\n",
+      "{'epoch': 0, 'update in batch': 9312, '/': 12375, 'loss': 8.874197959899902}\n",
+      "{'epoch': 0, 'update in batch': 9313, '/': 12375, 'loss': 8.47073745727539}\n",
+      "{'epoch': 0, 'update in batch': 9314, '/': 12375, 'loss': 8.242077827453613}\n",
+      "{'epoch': 0, 'update in batch': 9315, '/': 12375, 'loss': 7.452091217041016}\n",
+      "{'epoch': 0, 'update in batch': 9316, '/': 12375, 'loss': 8.391026496887207}\n",
+      "{'epoch': 0, 'update in batch': 9317, '/': 12375, 'loss': 9.351284980773926}\n",
+      "{'epoch': 0, 'update in batch': 9318, '/': 12375, 'loss': 8.704248428344727}\n",
+      "{'epoch': 0, 'update in batch': 9319, '/': 12375, 'loss': 8.29625129699707}\n",
+      "{'epoch': 0, 'update in batch': 9320, '/': 12375, 'loss': 8.126228332519531}\n",
+      "{'epoch': 0, 'update in batch': 9321, '/': 12375, 'loss': 8.94533920288086}\n",
+      "{'epoch': 0, 'update in batch': 9322, '/': 12375, 'loss': 7.956640720367432}\n",
+      "{'epoch': 0, 'update in batch': 9323, '/': 12375, 'loss': 8.624333381652832}\n",
+      "{'epoch': 0, 'update in batch': 9324, '/': 12375, 'loss': 8.033146858215332}\n",
+      "{'epoch': 0, 'update in batch': 9325, '/': 12375, 'loss': 7.722096920013428}\n",
+      "{'epoch': 0, 'update in batch': 9326, '/': 12375, 'loss': 8.086299896240234}\n",
+      "{'epoch': 0, 'update in batch': 9327, '/': 12375, 'loss': 8.409109115600586}\n",
+      "{'epoch': 0, 'update in batch': 9328, '/': 12375, 'loss': 8.00088119506836}\n",
+      "{'epoch': 0, 'update in batch': 9329, '/': 12375, 'loss': 7.951969146728516}\n",
+      "{'epoch': 0, 'update in batch': 9330, '/': 12375, 'loss': 8.202166557312012}\n",
+      "{'epoch': 0, 'update in batch': 9331, '/': 12375, 'loss': 8.377997398376465}\n",
+      "{'epoch': 0, 'update in batch': 9332, '/': 12375, 'loss': 7.56613826751709}\n",
+      "{'epoch': 0, 'update in batch': 9333, '/': 12375, 'loss': 7.409226894378662}\n",
+      "{'epoch': 0, 'update in batch': 9334, '/': 12375, 'loss': 7.789923191070557}\n",
+      "{'epoch': 0, 'update in batch': 9335, '/': 12375, 'loss': 7.703777313232422}\n",
+      "{'epoch': 0, 'update in batch': 9336, '/': 12375, 'loss': 7.73468017578125}\n",
+      "{'epoch': 0, 'update in batch': 9337, '/': 12375, 'loss': 8.007551193237305}\n",
+      "{'epoch': 0, 'update in batch': 9338, '/': 12375, 'loss': 7.903495788574219}\n",
+      "{'epoch': 0, 'update in batch': 9339, '/': 12375, 'loss': 7.213531494140625}\n",
+      "{'epoch': 0, 'update in batch': 9340, '/': 12375, 'loss': 7.553365230560303}\n",
+      "{'epoch': 0, 'update in batch': 9341, '/': 12375, 'loss': 7.734586238861084}\n",
+      "{'epoch': 0, 'update in batch': 9342, '/': 12375, 'loss': 8.624526023864746}\n",
+      "{'epoch': 0, 'update in batch': 9343, '/': 12375, 'loss': 7.50455379486084}\n",
+      "{'epoch': 0, 'update in batch': 9344, '/': 12375, 'loss': 8.49086856842041}\n",
+      "{'epoch': 0, 'update in batch': 9345, '/': 12375, 'loss': 7.8085832595825195}\n",
+      "{'epoch': 0, 'update in batch': 9346, '/': 12375, 'loss': 6.560155391693115}\n",
+      "{'epoch': 0, 'update in batch': 9347, '/': 12375, 'loss': 8.200323104858398}\n",
+      "{'epoch': 0, 'update in batch': 9348, '/': 12375, 'loss': 8.102928161621094}\n",
+      "{'epoch': 0, 'update in batch': 9349, '/': 12375, 'loss': 8.575684547424316}\n",
+      "{'epoch': 0, 'update in batch': 9350, '/': 12375, 'loss': 8.49152946472168}\n",
+      "{'epoch': 0, 'update in batch': 9351, '/': 12375, 'loss': 8.404435157775879}\n",
+      "{'epoch': 0, 'update in batch': 9352, '/': 12375, 'loss': 8.277090072631836}\n",
+      "{'epoch': 0, 'update in batch': 9353, '/': 12375, 'loss': 8.482873916625977}\n",
+      "{'epoch': 0, 'update in batch': 9354, '/': 12375, 'loss': 8.901773452758789}\n",
+      "{'epoch': 0, 'update in batch': 9355, '/': 12375, 'loss': 8.359224319458008}\n",
+      "{'epoch': 0, 'update in batch': 9356, '/': 12375, 'loss': 8.061068534851074}\n",
+      "{'epoch': 0, 'update in batch': 9357, '/': 12375, 'loss': 7.055300712585449}\n",
+      "{'epoch': 0, 'update in batch': 9358, '/': 12375, 'loss': 7.543882846832275}\n",
+      "{'epoch': 0, 'update in batch': 9359, '/': 12375, 'loss': 7.773737907409668}\n",
+      "{'epoch': 0, 'update in batch': 9360, '/': 12375, 'loss': 7.749998569488525}\n",
+      "{'epoch': 0, 'update in batch': 9361, '/': 12375, 'loss': 7.539904594421387}\n",
+      "{'epoch': 0, 'update in batch': 9362, '/': 12375, 'loss': 8.422456741333008}\n",
+      "{'epoch': 0, 'update in batch': 9363, '/': 12375, 'loss': 8.634808540344238}\n",
+      "{'epoch': 0, 'update in batch': 9364, '/': 12375, 'loss': 7.489077568054199}\n",
+      "{'epoch': 0, 'update in batch': 9365, '/': 12375, 'loss': 8.656597137451172}\n",
+      "{'epoch': 0, 'update in batch': 9366, '/': 12375, 'loss': 8.137495040893555}\n",
+      "{'epoch': 0, 'update in batch': 9367, '/': 12375, 'loss': 8.802844047546387}\n",
+      "{'epoch': 0, 'update in batch': 9368, '/': 12375, 'loss': 9.564038276672363}\n",
+      "{'epoch': 0, 'update in batch': 9369, '/': 12375, 'loss': 8.632930755615234}\n",
+      "{'epoch': 0, 'update in batch': 9370, '/': 12375, 'loss': 9.032100677490234}\n",
+      "{'epoch': 0, 'update in batch': 9371, '/': 12375, 'loss': 8.059585571289062}\n",
+      "{'epoch': 0, 'update in batch': 9372, '/': 12375, 'loss': 8.661654472351074}\n",
+      "{'epoch': 0, 'update in batch': 9373, '/': 12375, 'loss': 9.244060516357422}\n",
+      "{'epoch': 0, 'update in batch': 9374, '/': 12375, 'loss': 8.566888809204102}\n",
+      "{'epoch': 0, 'update in batch': 9375, '/': 12375, 'loss': 8.857194900512695}\n",
+      "{'epoch': 0, 'update in batch': 9376, '/': 12375, 'loss': 10.001887321472168}\n",
+      "{'epoch': 0, 'update in batch': 9377, '/': 12375, 'loss': 8.603475570678711}\n",
+      "{'epoch': 0, 'update in batch': 9378, '/': 12375, 'loss': 8.691282272338867}\n",
+      "{'epoch': 0, 'update in batch': 9379, '/': 12375, 'loss': 8.388671875}\n",
+      "{'epoch': 0, 'update in batch': 9380, '/': 12375, 'loss': 8.684788703918457}\n",
+      "{'epoch': 0, 'update in batch': 9381, '/': 12375, 'loss': 9.188995361328125}\n",
+      "{'epoch': 0, 'update in batch': 9382, '/': 12375, 'loss': 8.494722366333008}\n",
+      "{'epoch': 0, 'update in batch': 9383, '/': 12375, 'loss': 6.585973262786865}\n",
+      "{'epoch': 0, 'update in batch': 9384, '/': 12375, 'loss': 7.960118770599365}\n",
+      "{'epoch': 0, 'update in batch': 9385, '/': 12375, 'loss': 8.098184585571289}\n",
+      "{'epoch': 0, 'update in batch': 9386, '/': 12375, 'loss': 7.681793212890625}\n",
+      "{'epoch': 0, 'update in batch': 9387, '/': 12375, 'loss': 6.767480373382568}\n",
+      "{'epoch': 0, 'update in batch': 9388, '/': 12375, 'loss': 8.811586380004883}\n",
+      "{'epoch': 0, 'update in batch': 9389, '/': 12375, 'loss': 8.162347793579102}\n",
+      "{'epoch': 0, 'update in batch': 9390, '/': 12375, 'loss': 7.7653489112854}\n",
+      "{'epoch': 0, 'update in batch': 9391, '/': 12375, 'loss': 8.127716064453125}\n",
+      "{'epoch': 0, 'update in batch': 9392, '/': 12375, 'loss': 7.630146026611328}\n",
+      "{'epoch': 0, 'update in batch': 9393, '/': 12375, 'loss': 7.414697170257568}\n",
+      "{'epoch': 0, 'update in batch': 9394, '/': 12375, 'loss': 8.040315628051758}\n",
+      "{'epoch': 0, 'update in batch': 9395, '/': 12375, 'loss': 7.483046531677246}\n",
+      "{'epoch': 0, 'update in batch': 9396, '/': 12375, 'loss': 6.7619781494140625}\n",
+      "{'epoch': 0, 'update in batch': 9397, '/': 12375, 'loss': 7.6330437660217285}\n",
+      "{'epoch': 0, 'update in batch': 9398, '/': 12375, 'loss': 6.697070121765137}\n",
+      "{'epoch': 0, 'update in batch': 9399, '/': 12375, 'loss': 7.3781023025512695}\n",
+      "{'epoch': 0, 'update in batch': 9400, '/': 12375, 'loss': 7.045729160308838}\n",
+      "{'epoch': 0, 'update in batch': 9401, '/': 12375, 'loss': 6.190622806549072}\n",
+      "{'epoch': 0, 'update in batch': 9402, '/': 12375, 'loss': 7.457237243652344}\n",
+      "{'epoch': 0, 'update in batch': 9403, '/': 12375, 'loss': 6.448203086853027}\n",
+      "{'epoch': 0, 'update in batch': 9404, '/': 12375, 'loss': 7.351412773132324}\n",
+      "{'epoch': 0, 'update in batch': 9405, '/': 12375, 'loss': 7.385708808898926}\n",
+      "{'epoch': 0, 'update in batch': 9406, '/': 12375, 'loss': 7.282997131347656}\n",
+      "{'epoch': 0, 'update in batch': 9407, '/': 12375, 'loss': 7.513584136962891}\n",
+      "{'epoch': 0, 'update in batch': 9408, '/': 12375, 'loss': 7.757221221923828}\n",
+      "{'epoch': 0, 'update in batch': 9409, '/': 12375, 'loss': 6.698349952697754}\n",
+      "{'epoch': 0, 'update in batch': 9410, '/': 12375, 'loss': 7.391365051269531}\n",
+      "{'epoch': 0, 'update in batch': 9411, '/': 12375, 'loss': 7.614315032958984}\n",
+      "{'epoch': 0, 'update in batch': 9412, '/': 12375, 'loss': 7.683420658111572}\n",
+      "{'epoch': 0, 'update in batch': 9413, '/': 12375, 'loss': 7.113735198974609}\n",
+      "{'epoch': 0, 'update in batch': 9414, '/': 12375, 'loss': 7.603838920593262}\n",
+      "{'epoch': 0, 'update in batch': 9415, '/': 12375, 'loss': 8.121419906616211}\n",
+      "{'epoch': 0, 'update in batch': 9416, '/': 12375, 'loss': 7.5651068687438965}\n",
+      "{'epoch': 0, 'update in batch': 9417, '/': 12375, 'loss': 6.099421501159668}\n",
+      "{'epoch': 0, 'update in batch': 9418, '/': 12375, 'loss': 7.351235389709473}\n",
+      "{'epoch': 0, 'update in batch': 9419, '/': 12375, 'loss': 6.254786491394043}\n",
+      "{'epoch': 0, 'update in batch': 9420, '/': 12375, 'loss': 7.296594142913818}\n",
+      "{'epoch': 0, 'update in batch': 9421, '/': 12375, 'loss': 7.6380815505981445}\n",
+      "{'epoch': 0, 'update in batch': 9422, '/': 12375, 'loss': 6.9846086502075195}\n",
+      "{'epoch': 0, 'update in batch': 9423, '/': 12375, 'loss': 8.362200736999512}\n",
+      "{'epoch': 0, 'update in batch': 9424, '/': 12375, 'loss': 7.7373366355896}\n",
+      "{'epoch': 0, 'update in batch': 9425, '/': 12375, 'loss': 8.00119686126709}\n",
+      "{'epoch': 0, 'update in batch': 9426, '/': 12375, 'loss': 8.299088478088379}\n",
+      "{'epoch': 0, 'update in batch': 9427, '/': 12375, 'loss': 7.740872859954834}\n",
+      "{'epoch': 0, 'update in batch': 9428, '/': 12375, 'loss': 7.114607810974121}\n",
+      "{'epoch': 0, 'update in batch': 9429, '/': 12375, 'loss': 7.866885185241699}\n",
+      "{'epoch': 0, 'update in batch': 9430, '/': 12375, 'loss': 7.821282386779785}\n",
+      "{'epoch': 0, 'update in batch': 9431, '/': 12375, 'loss': 8.845235824584961}\n",
+      "{'epoch': 0, 'update in batch': 9432, '/': 12375, 'loss': 8.541980743408203}\n",
+      "{'epoch': 0, 'update in batch': 9433, '/': 12375, 'loss': 8.439020156860352}\n",
+      "{'epoch': 0, 'update in batch': 9434, '/': 12375, 'loss': 8.171323776245117}\n",
+      "{'epoch': 0, 'update in batch': 9435, '/': 12375, 'loss': 7.72683572769165}\n",
+      "{'epoch': 0, 'update in batch': 9436, '/': 12375, 'loss': 7.64297342300415}\n",
+      "{'epoch': 0, 'update in batch': 9437, '/': 12375, 'loss': 8.866411209106445}\n",
+      "{'epoch': 0, 'update in batch': 9438, '/': 12375, 'loss': 9.088197708129883}\n",
+      "{'epoch': 0, 'update in batch': 9439, '/': 12375, 'loss': 8.867786407470703}\n",
+      "{'epoch': 0, 'update in batch': 9440, '/': 12375, 'loss': 8.512150764465332}\n",
+      "{'epoch': 0, 'update in batch': 9441, '/': 12375, 'loss': 8.339717864990234}\n",
+      "{'epoch': 0, 'update in batch': 9442, '/': 12375, 'loss': 7.681046485900879}\n",
+      "{'epoch': 0, 'update in batch': 9443, '/': 12375, 'loss': 8.597650527954102}\n",
+      "{'epoch': 0, 'update in batch': 9444, '/': 12375, 'loss': 9.388599395751953}\n",
+      "{'epoch': 0, 'update in batch': 9445, '/': 12375, 'loss': 8.628660202026367}\n",
+      "{'epoch': 0, 'update in batch': 9446, '/': 12375, 'loss': 8.771084785461426}\n",
+      "{'epoch': 0, 'update in batch': 9447, '/': 12375, 'loss': 8.13200569152832}\n",
+      "{'epoch': 0, 'update in batch': 9448, '/': 12375, 'loss': 7.9134016036987305}\n",
+      "{'epoch': 0, 'update in batch': 9449, '/': 12375, 'loss': 8.510210037231445}\n",
+      "{'epoch': 0, 'update in batch': 9450, '/': 12375, 'loss': 7.486071586608887}\n",
+      "{'epoch': 0, 'update in batch': 9451, '/': 12375, 'loss': 7.149237155914307}\n",
+      "{'epoch': 0, 'update in batch': 9452, '/': 12375, 'loss': 7.817254066467285}\n",
+      "{'epoch': 0, 'update in batch': 9453, '/': 12375, 'loss': 8.23243522644043}\n",
+      "{'epoch': 0, 'update in batch': 9454, '/': 12375, 'loss': 8.14372730255127}\n",
+      "{'epoch': 0, 'update in batch': 9455, '/': 12375, 'loss': 7.8625993728637695}\n",
+      "{'epoch': 0, 'update in batch': 9456, '/': 12375, 'loss': 7.890134334564209}\n",
+      "{'epoch': 0, 'update in batch': 9457, '/': 12375, 'loss': 8.479639053344727}\n",
+      "{'epoch': 0, 'update in batch': 9458, '/': 12375, 'loss': 8.218816757202148}\n",
+      "{'epoch': 0, 'update in batch': 9459, '/': 12375, 'loss': 8.75786304473877}\n",
+      "{'epoch': 0, 'update in batch': 9460, '/': 12375, 'loss': 8.628569602966309}\n",
+      "{'epoch': 0, 'update in batch': 9461, '/': 12375, 'loss': 9.249144554138184}\n",
+      "{'epoch': 0, 'update in batch': 9462, '/': 12375, 'loss': 8.117693901062012}\n",
+      "{'epoch': 0, 'update in batch': 9463, '/': 12375, 'loss': 8.290755271911621}\n",
+      "{'epoch': 0, 'update in batch': 9464, '/': 12375, 'loss': 8.069245338439941}\n",
+      "{'epoch': 0, 'update in batch': 9465, '/': 12375, 'loss': 8.17227554321289}\n",
+      "{'epoch': 0, 'update in batch': 9466, '/': 12375, 'loss': 6.741827964782715}\n",
+      "{'epoch': 0, 'update in batch': 9467, '/': 12375, 'loss': 6.658661842346191}\n",
+      "{'epoch': 0, 'update in batch': 9468, '/': 12375, 'loss': 6.732602596282959}\n",
+      "{'epoch': 0, 'update in batch': 9469, '/': 12375, 'loss': 7.237071990966797}\n",
+      "{'epoch': 0, 'update in batch': 9470, '/': 12375, 'loss': 7.239893436431885}\n",
+      "{'epoch': 0, 'update in batch': 9471, '/': 12375, 'loss': 6.882040500640869}\n",
+      "{'epoch': 0, 'update in batch': 9472, '/': 12375, 'loss': 6.98352575302124}\n",
+      "{'epoch': 0, 'update in batch': 9473, '/': 12375, 'loss': 7.1181182861328125}\n",
+      "{'epoch': 0, 'update in batch': 9474, '/': 12375, 'loss': 7.305423736572266}\n",
+      "{'epoch': 0, 'update in batch': 9475, '/': 12375, 'loss': 7.172943115234375}\n",
+      "{'epoch': 0, 'update in batch': 9476, '/': 12375, 'loss': 7.584743499755859}\n",
+      "{'epoch': 0, 'update in batch': 9477, '/': 12375, 'loss': 8.191312789916992}\n",
+      "{'epoch': 0, 'update in batch': 9478, '/': 12375, 'loss': 6.899650573730469}\n",
+      "{'epoch': 0, 'update in batch': 9479, '/': 12375, 'loss': 7.957530975341797}\n",
+      "{'epoch': 0, 'update in batch': 9480, '/': 12375, 'loss': 7.882348537445068}\n",
+      "{'epoch': 0, 'update in batch': 9481, '/': 12375, 'loss': 8.5399808883667}\n",
+      "{'epoch': 0, 'update in batch': 9482, '/': 12375, 'loss': 8.210123062133789}\n",
+      "{'epoch': 0, 'update in batch': 9483, '/': 12375, 'loss': 7.562994480133057}\n",
+      "{'epoch': 0, 'update in batch': 9484, '/': 12375, 'loss': 7.8153533935546875}\n",
+      "{'epoch': 0, 'update in batch': 9485, '/': 12375, 'loss': 7.854527950286865}\n",
+      "{'epoch': 0, 'update in batch': 9486, '/': 12375, 'loss': 8.625211715698242}\n",
+      "{'epoch': 0, 'update in batch': 9487, '/': 12375, 'loss': 7.728651523590088}\n",
+      "{'epoch': 0, 'update in batch': 9488, '/': 12375, 'loss': 8.061943054199219}\n",
+      "{'epoch': 0, 'update in batch': 9489, '/': 12375, 'loss': 8.148429870605469}\n",
+      "{'epoch': 0, 'update in batch': 9490, '/': 12375, 'loss': 7.900269508361816}\n",
+      "{'epoch': 0, 'update in batch': 9491, '/': 12375, 'loss': 8.433865547180176}\n",
+      "{'epoch': 0, 'update in batch': 9492, '/': 12375, 'loss': 7.57037878036499}\n",
+      "{'epoch': 0, 'update in batch': 9493, '/': 12375, 'loss': 8.801775932312012}\n",
+      "{'epoch': 0, 'update in batch': 9494, '/': 12375, 'loss': 7.9857916831970215}\n",
+      "{'epoch': 0, 'update in batch': 9495, '/': 12375, 'loss': 8.2009859085083}\n",
+      "{'epoch': 0, 'update in batch': 9496, '/': 12375, 'loss': 7.651711463928223}\n",
+      "{'epoch': 0, 'update in batch': 9497, '/': 12375, 'loss': 8.010834693908691}\n",
+      "{'epoch': 0, 'update in batch': 9498, '/': 12375, 'loss': 8.61525821685791}\n",
+      "{'epoch': 0, 'update in batch': 9499, '/': 12375, 'loss': 8.03853988647461}\n",
+      "{'epoch': 0, 'update in batch': 9500, '/': 12375, 'loss': 7.8543291091918945}\n",
+      "{'epoch': 0, 'update in batch': 9501, '/': 12375, 'loss': 7.8435492515563965}\n",
+      "{'epoch': 0, 'update in batch': 9502, '/': 12375, 'loss': 7.924408912658691}\n",
+      "{'epoch': 0, 'update in batch': 9503, '/': 12375, 'loss': 7.718939781188965}\n",
+      "{'epoch': 0, 'update in batch': 9504, '/': 12375, 'loss': 6.967587471008301}\n",
+      "{'epoch': 0, 'update in batch': 9505, '/': 12375, 'loss': 6.853400230407715}\n",
+      "{'epoch': 0, 'update in batch': 9506, '/': 12375, 'loss': 7.423056125640869}\n",
+      "{'epoch': 0, 'update in batch': 9507, '/': 12375, 'loss': 8.00375747680664}\n",
+      "{'epoch': 0, 'update in batch': 9508, '/': 12375, 'loss': 6.81571102142334}\n",
+      "{'epoch': 0, 'update in batch': 9509, '/': 12375, 'loss': 7.703044891357422}\n",
+      "{'epoch': 0, 'update in batch': 9510, '/': 12375, 'loss': 7.378640651702881}\n",
+      "{'epoch': 0, 'update in batch': 9511, '/': 12375, 'loss': 7.134520530700684}\n",
+      "{'epoch': 0, 'update in batch': 9512, '/': 12375, 'loss': 6.540469169616699}\n",
+      "{'epoch': 0, 'update in batch': 9513, '/': 12375, 'loss': 7.879559516906738}\n",
+      "{'epoch': 0, 'update in batch': 9514, '/': 12375, 'loss': 6.695598602294922}\n",
+      "{'epoch': 0, 'update in batch': 9515, '/': 12375, 'loss': 7.996111869812012}\n",
+      "{'epoch': 0, 'update in batch': 9516, '/': 12375, 'loss': 6.951624393463135}\n",
+      "{'epoch': 0, 'update in batch': 9517, '/': 12375, 'loss': 8.449564933776855}\n",
+      "{'epoch': 0, 'update in batch': 9518, '/': 12375, 'loss': 8.135040283203125}\n",
+      "{'epoch': 0, 'update in batch': 9519, '/': 12375, 'loss': 8.05398941040039}\n",
+      "{'epoch': 0, 'update in batch': 9520, '/': 12375, 'loss': 8.767709732055664}\n",
+      "{'epoch': 0, 'update in batch': 9521, '/': 12375, 'loss': 8.332491874694824}\n",
+      "{'epoch': 0, 'update in batch': 9522, '/': 12375, 'loss': 9.659345626831055}\n",
+      "{'epoch': 0, 'update in batch': 9523, '/': 12375, 'loss': 7.97912073135376}\n",
+      "{'epoch': 0, 'update in batch': 9524, '/': 12375, 'loss': 8.56806755065918}\n",
+      "{'epoch': 0, 'update in batch': 9525, '/': 12375, 'loss': 8.883637428283691}\n",
+      "{'epoch': 0, 'update in batch': 9526, '/': 12375, 'loss': 7.950595855712891}\n",
+      "{'epoch': 0, 'update in batch': 9527, '/': 12375, 'loss': 7.133797645568848}\n",
+      "{'epoch': 0, 'update in batch': 9528, '/': 12375, 'loss': 7.965296268463135}\n",
+      "{'epoch': 0, 'update in batch': 9529, '/': 12375, 'loss': 8.93803596496582}\n",
+      "{'epoch': 0, 'update in batch': 9530, '/': 12375, 'loss': 8.968835830688477}\n",
+      "{'epoch': 0, 'update in batch': 9531, '/': 12375, 'loss': 8.457985877990723}\n",
+      "{'epoch': 0, 'update in batch': 9532, '/': 12375, 'loss': 8.63504409790039}\n",
+      "{'epoch': 0, 'update in batch': 9533, '/': 12375, 'loss': 8.335554122924805}\n",
+      "{'epoch': 0, 'update in batch': 9534, '/': 12375, 'loss': 8.823761940002441}\n",
+      "{'epoch': 0, 'update in batch': 9535, '/': 12375, 'loss': 8.405133247375488}\n",
+      "{'epoch': 0, 'update in batch': 9536, '/': 12375, 'loss': 9.04705810546875}\n",
+      "{'epoch': 0, 'update in batch': 9537, '/': 12375, 'loss': 8.003449440002441}\n",
+      "{'epoch': 0, 'update in batch': 9538, '/': 12375, 'loss': 9.228589057922363}\n",
+      "{'epoch': 0, 'update in batch': 9539, '/': 12375, 'loss': 9.250060081481934}\n",
+      "{'epoch': 0, 'update in batch': 9540, '/': 12375, 'loss': 8.392379760742188}\n",
+      "{'epoch': 0, 'update in batch': 9541, '/': 12375, 'loss': 8.86585807800293}\n",
+      "{'epoch': 0, 'update in batch': 9542, '/': 12375, 'loss': 9.724413871765137}\n",
+      "{'epoch': 0, 'update in batch': 9543, '/': 12375, 'loss': 8.258745193481445}\n",
+      "{'epoch': 0, 'update in batch': 9544, '/': 12375, 'loss': 9.235331535339355}\n",
+      "{'epoch': 0, 'update in batch': 9545, '/': 12375, 'loss': 9.32615852355957}\n",
+      "{'epoch': 0, 'update in batch': 9546, '/': 12375, 'loss': 7.6350274085998535}\n",
+      "{'epoch': 0, 'update in batch': 9547, '/': 12375, 'loss': 8.770384788513184}\n",
+      "{'epoch': 0, 'update in batch': 9548, '/': 12375, 'loss': 8.476051330566406}\n",
+      "{'epoch': 0, 'update in batch': 9549, '/': 12375, 'loss': 8.329309463500977}\n",
+      "{'epoch': 0, 'update in batch': 9550, '/': 12375, 'loss': 8.995611190795898}\n",
+      "{'epoch': 0, 'update in batch': 9551, '/': 12375, 'loss': 8.549345016479492}\n",
+      "{'epoch': 0, 'update in batch': 9552, '/': 12375, 'loss': 7.673651218414307}\n",
+      "{'epoch': 0, 'update in batch': 9553, '/': 12375, 'loss': 7.7909345626831055}\n",
+      "{'epoch': 0, 'update in batch': 9554, '/': 12375, 'loss': 7.143136024475098}\n",
+      "{'epoch': 0, 'update in batch': 9555, '/': 12375, 'loss': 7.739442348480225}\n",
+      "{'epoch': 0, 'update in batch': 9556, '/': 12375, 'loss': 9.084161758422852}\n",
+      "{'epoch': 0, 'update in batch': 9557, '/': 12375, 'loss': 7.133066654205322}\n",
+      "{'epoch': 0, 'update in batch': 9558, '/': 12375, 'loss': 8.064687728881836}\n",
+      "{'epoch': 0, 'update in batch': 9559, '/': 12375, 'loss': 7.0514068603515625}\n",
+      "{'epoch': 0, 'update in batch': 9560, '/': 12375, 'loss': 7.854698181152344}\n",
+      "{'epoch': 0, 'update in batch': 9561, '/': 12375, 'loss': 8.121274948120117}\n",
+      "{'epoch': 0, 'update in batch': 9562, '/': 12375, 'loss': 7.799890995025635}\n",
+      "{'epoch': 0, 'update in batch': 9563, '/': 12375, 'loss': 7.993563175201416}\n",
+      "{'epoch': 0, 'update in batch': 9564, '/': 12375, 'loss': 6.517380714416504}\n",
+      "{'epoch': 0, 'update in batch': 9565, '/': 12375, 'loss': 7.38518762588501}\n",
+      "{'epoch': 0, 'update in batch': 9566, '/': 12375, 'loss': 7.6064300537109375}\n",
+      "{'epoch': 0, 'update in batch': 9567, '/': 12375, 'loss': 7.513096809387207}\n",
+      "{'epoch': 0, 'update in batch': 9568, '/': 12375, 'loss': 8.35108757019043}\n",
+      "{'epoch': 0, 'update in batch': 9569, '/': 12375, 'loss': 7.504438877105713}\n",
+      "{'epoch': 0, 'update in batch': 9570, '/': 12375, 'loss': 7.730477333068848}\n",
+      "{'epoch': 0, 'update in batch': 9571, '/': 12375, 'loss': 9.099480628967285}\n",
+      "{'epoch': 0, 'update in batch': 9572, '/': 12375, 'loss': 8.279886245727539}\n",
+      "{'epoch': 0, 'update in batch': 9573, '/': 12375, 'loss': 8.256705284118652}\n",
+      "{'epoch': 0, 'update in batch': 9574, '/': 12375, 'loss': 8.66882610321045}\n",
+      "{'epoch': 0, 'update in batch': 9575, '/': 12375, 'loss': 8.605653762817383}\n",
+      "{'epoch': 0, 'update in batch': 9576, '/': 12375, 'loss': 7.070079803466797}\n",
+      "{'epoch': 0, 'update in batch': 9577, '/': 12375, 'loss': 7.2850236892700195}\n",
+      "{'epoch': 0, 'update in batch': 9578, '/': 12375, 'loss': 6.926048278808594}\n",
+      "{'epoch': 0, 'update in batch': 9579, '/': 12375, 'loss': 7.279146671295166}\n",
+      "{'epoch': 0, 'update in batch': 9580, '/': 12375, 'loss': 8.120759963989258}\n",
+      "{'epoch': 0, 'update in batch': 9581, '/': 12375, 'loss': 8.436470031738281}\n",
+      "{'epoch': 0, 'update in batch': 9582, '/': 12375, 'loss': 7.942605018615723}\n",
+      "{'epoch': 0, 'update in batch': 9583, '/': 12375, 'loss': 7.627387046813965}\n",
+      "{'epoch': 0, 'update in batch': 9584, '/': 12375, 'loss': 7.6055779457092285}\n",
+      "{'epoch': 0, 'update in batch': 9585, '/': 12375, 'loss': 7.349266052246094}\n",
+      "{'epoch': 0, 'update in batch': 9586, '/': 12375, 'loss': 7.988072872161865}\n",
+      "{'epoch': 0, 'update in batch': 9587, '/': 12375, 'loss': 7.7364301681518555}\n",
+      "{'epoch': 0, 'update in batch': 9588, '/': 12375, 'loss': 8.654672622680664}\n",
+      "{'epoch': 0, 'update in batch': 9589, '/': 12375, 'loss': 6.9126787185668945}\n",
+      "{'epoch': 0, 'update in batch': 9590, '/': 12375, 'loss': 8.019620895385742}\n",
+      "{'epoch': 0, 'update in batch': 9591, '/': 12375, 'loss': 8.800082206726074}\n",
+      "{'epoch': 0, 'update in batch': 9592, '/': 12375, 'loss': 8.459794044494629}\n",
+      "{'epoch': 0, 'update in batch': 9593, '/': 12375, 'loss': 8.281883239746094}\n",
+      "{'epoch': 0, 'update in batch': 9594, '/': 12375, 'loss': 7.623124599456787}\n",
+      "{'epoch': 0, 'update in batch': 9595, '/': 12375, 'loss': 8.039631843566895}\n",
+      "{'epoch': 0, 'update in batch': 9596, '/': 12375, 'loss': 8.335256576538086}\n",
+      "{'epoch': 0, 'update in batch': 9597, '/': 12375, 'loss': 7.880245208740234}\n",
+      "{'epoch': 0, 'update in batch': 9598, '/': 12375, 'loss': 7.8209733963012695}\n",
+      "{'epoch': 0, 'update in batch': 9599, '/': 12375, 'loss': 7.706265449523926}\n",
+      "{'epoch': 0, 'update in batch': 9600, '/': 12375, 'loss': 7.188433647155762}\n",
+      "{'epoch': 0, 'update in batch': 9601, '/': 12375, 'loss': 7.2727179527282715}\n",
+      "{'epoch': 0, 'update in batch': 9602, '/': 12375, 'loss': 8.003735542297363}\n",
+      "{'epoch': 0, 'update in batch': 9603, '/': 12375, 'loss': 7.307140350341797}\n",
+      "{'epoch': 0, 'update in batch': 9604, '/': 12375, 'loss': 8.35905647277832}\n",
+      "{'epoch': 0, 'update in batch': 9605, '/': 12375, 'loss': 7.757147312164307}\n",
+      "{'epoch': 0, 'update in batch': 9606, '/': 12375, 'loss': 7.565878391265869}\n",
+      "{'epoch': 0, 'update in batch': 9607, '/': 12375, 'loss': 7.436079502105713}\n",
+      "{'epoch': 0, 'update in batch': 9608, '/': 12375, 'loss': 8.09128475189209}\n",
+      "{'epoch': 0, 'update in batch': 9609, '/': 12375, 'loss': 8.04106616973877}\n",
+      "{'epoch': 0, 'update in batch': 9610, '/': 12375, 'loss': 6.951528072357178}\n",
+      "{'epoch': 0, 'update in batch': 9611, '/': 12375, 'loss': 7.8260297775268555}\n",
+      "{'epoch': 0, 'update in batch': 9612, '/': 12375, 'loss': 7.063130855560303}\n",
+      "{'epoch': 0, 'update in batch': 9613, '/': 12375, 'loss': 7.025412082672119}\n",
+      "{'epoch': 0, 'update in batch': 9614, '/': 12375, 'loss': 7.719744682312012}\n",
+      "{'epoch': 0, 'update in batch': 9615, '/': 12375, 'loss': 7.676647186279297}\n",
+      "{'epoch': 0, 'update in batch': 9616, '/': 12375, 'loss': 8.163496017456055}\n",
+      "{'epoch': 0, 'update in batch': 9617, '/': 12375, 'loss': 7.537179470062256}\n",
+      "{'epoch': 0, 'update in batch': 9618, '/': 12375, 'loss': 7.625713348388672}\n",
+      "{'epoch': 0, 'update in batch': 9619, '/': 12375, 'loss': 9.284414291381836}\n",
+      "{'epoch': 0, 'update in batch': 9620, '/': 12375, 'loss': 8.30399227142334}\n",
+      "{'epoch': 0, 'update in batch': 9621, '/': 12375, 'loss': 9.500638961791992}\n",
+      "{'epoch': 0, 'update in batch': 9622, '/': 12375, 'loss': 8.924461364746094}\n",
+      "{'epoch': 0, 'update in batch': 9623, '/': 12375, 'loss': 8.605124473571777}\n",
+      "{'epoch': 0, 'update in batch': 9624, '/': 12375, 'loss': 8.720342636108398}\n",
+      "{'epoch': 0, 'update in batch': 9625, '/': 12375, 'loss': 8.571049690246582}\n",
+      "{'epoch': 0, 'update in batch': 9626, '/': 12375, 'loss': 7.878661155700684}\n",
+      "{'epoch': 0, 'update in batch': 9627, '/': 12375, 'loss': 9.206412315368652}\n",
+      "{'epoch': 0, 'update in batch': 9628, '/': 12375, 'loss': 8.440204620361328}\n",
+      "{'epoch': 0, 'update in batch': 9629, '/': 12375, 'loss': 8.425437927246094}\n",
+      "{'epoch': 0, 'update in batch': 9630, '/': 12375, 'loss': 7.822425842285156}\n",
+      "{'epoch': 0, 'update in batch': 9631, '/': 12375, 'loss': 7.720273494720459}\n",
+      "{'epoch': 0, 'update in batch': 9632, '/': 12375, 'loss': 9.02730655670166}\n",
+      "{'epoch': 0, 'update in batch': 9633, '/': 12375, 'loss': 8.322294235229492}\n",
+      "{'epoch': 0, 'update in batch': 9634, '/': 12375, 'loss': 9.329080581665039}\n",
+      "{'epoch': 0, 'update in batch': 9635, '/': 12375, 'loss': 8.873577117919922}\n",
+      "{'epoch': 0, 'update in batch': 9636, '/': 12375, 'loss': 8.12844467163086}\n",
+      "{'epoch': 0, 'update in batch': 9637, '/': 12375, 'loss': 8.688217163085938}\n",
+      "{'epoch': 0, 'update in batch': 9638, '/': 12375, 'loss': 9.699213027954102}\n",
+      "{'epoch': 0, 'update in batch': 9639, '/': 12375, 'loss': 8.926609992980957}\n",
+      "{'epoch': 0, 'update in batch': 9640, '/': 12375, 'loss': 8.712602615356445}\n",
+      "{'epoch': 0, 'update in batch': 9641, '/': 12375, 'loss': 8.595471382141113}\n",
+      "{'epoch': 0, 'update in batch': 9642, '/': 12375, 'loss': 8.859173774719238}\n",
+      "{'epoch': 0, 'update in batch': 9643, '/': 12375, 'loss': 8.080916404724121}\n",
+      "{'epoch': 0, 'update in batch': 9644, '/': 12375, 'loss': 9.076803207397461}\n",
+      "{'epoch': 0, 'update in batch': 9645, '/': 12375, 'loss': 8.25599479675293}\n",
+      "{'epoch': 0, 'update in batch': 9646, '/': 12375, 'loss': 8.652704238891602}\n",
+      "{'epoch': 0, 'update in batch': 9647, '/': 12375, 'loss': 8.14430046081543}\n",
+      "{'epoch': 0, 'update in batch': 9648, '/': 12375, 'loss': 7.990608215332031}\n",
+      "{'epoch': 0, 'update in batch': 9649, '/': 12375, 'loss': 8.729643821716309}\n",
+      "{'epoch': 0, 'update in batch': 9650, '/': 12375, 'loss': 8.078996658325195}\n",
+      "{'epoch': 0, 'update in batch': 9651, '/': 12375, 'loss': 7.0491132736206055}\n",
+      "{'epoch': 0, 'update in batch': 9652, '/': 12375, 'loss': 8.578285217285156}\n",
+      "{'epoch': 0, 'update in batch': 9653, '/': 12375, 'loss': 7.576817512512207}\n",
+      "{'epoch': 0, 'update in batch': 9654, '/': 12375, 'loss': 6.800878047943115}\n",
+      "{'epoch': 0, 'update in batch': 9655, '/': 12375, 'loss': 9.801633834838867}\n",
+      "{'epoch': 0, 'update in batch': 9656, '/': 12375, 'loss': 10.048307418823242}\n",
+      "{'epoch': 0, 'update in batch': 9657, '/': 12375, 'loss': 8.94186019897461}\n",
+      "{'epoch': 0, 'update in batch': 9658, '/': 12375, 'loss': 7.84531307220459}\n",
+      "{'epoch': 0, 'update in batch': 9659, '/': 12375, 'loss': 7.766943454742432}\n",
+      "{'epoch': 0, 'update in batch': 9660, '/': 12375, 'loss': 8.179180145263672}\n",
+      "{'epoch': 0, 'update in batch': 9661, '/': 12375, 'loss': 8.379206657409668}\n",
+      "{'epoch': 0, 'update in batch': 9662, '/': 12375, 'loss': 8.177380561828613}\n",
+      "{'epoch': 0, 'update in batch': 9663, '/': 12375, 'loss': 8.301511764526367}\n",
+      "{'epoch': 0, 'update in batch': 9664, '/': 12375, 'loss': 8.293611526489258}\n",
+      "{'epoch': 0, 'update in batch': 9665, '/': 12375, 'loss': 8.880462646484375}\n",
+      "{'epoch': 0, 'update in batch': 9666, '/': 12375, 'loss': 8.846696853637695}\n",
+      "{'epoch': 0, 'update in batch': 9667, '/': 12375, 'loss': 8.452245712280273}\n",
+      "{'epoch': 0, 'update in batch': 9668, '/': 12375, 'loss': 8.723387718200684}\n",
+      "{'epoch': 0, 'update in batch': 9669, '/': 12375, 'loss': 8.432384490966797}\n",
+      "{'epoch': 0, 'update in batch': 9670, '/': 12375, 'loss': 8.349267959594727}\n",
+      "{'epoch': 0, 'update in batch': 9671, '/': 12375, 'loss': 8.050883293151855}\n",
+      "{'epoch': 0, 'update in batch': 9672, '/': 12375, 'loss': 7.4105963706970215}\n",
+      "{'epoch': 0, 'update in batch': 9673, '/': 12375, 'loss': 7.3408002853393555}\n",
+      "{'epoch': 0, 'update in batch': 9674, '/': 12375, 'loss': 8.121573448181152}\n",
+      "{'epoch': 0, 'update in batch': 9675, '/': 12375, 'loss': 8.319690704345703}\n",
+      "{'epoch': 0, 'update in batch': 9676, '/': 12375, 'loss': 8.80140495300293}\n",
+      "{'epoch': 0, 'update in batch': 9677, '/': 12375, 'loss': 9.556912422180176}\n",
+      "{'epoch': 0, 'update in batch': 9678, '/': 12375, 'loss': 9.99266242980957}\n",
+      "{'epoch': 0, 'update in batch': 9679, '/': 12375, 'loss': 8.742502212524414}\n",
+      "{'epoch': 0, 'update in batch': 9680, '/': 12375, 'loss': 7.537003517150879}\n",
+      "{'epoch': 0, 'update in batch': 9681, '/': 12375, 'loss': 9.26975154876709}\n",
+      "{'epoch': 0, 'update in batch': 9682, '/': 12375, 'loss': 8.240608215332031}\n",
+      "{'epoch': 0, 'update in batch': 9683, '/': 12375, 'loss': 8.510969161987305}\n",
+      "{'epoch': 0, 'update in batch': 9684, '/': 12375, 'loss': 8.520441055297852}\n",
+      "{'epoch': 0, 'update in batch': 9685, '/': 12375, 'loss': 8.973258972167969}\n",
+      "{'epoch': 0, 'update in batch': 9686, '/': 12375, 'loss': 7.602364540100098}\n",
+      "{'epoch': 0, 'update in batch': 9687, '/': 12375, 'loss': 8.08719539642334}\n",
+      "{'epoch': 0, 'update in batch': 9688, '/': 12375, 'loss': 8.189432144165039}\n",
+      "{'epoch': 0, 'update in batch': 9689, '/': 12375, 'loss': 7.843418121337891}\n",
+      "{'epoch': 0, 'update in batch': 9690, '/': 12375, 'loss': 7.124279975891113}\n",
+      "{'epoch': 0, 'update in batch': 9691, '/': 12375, 'loss': 7.8330979347229}\n",
+      "{'epoch': 0, 'update in batch': 9692, '/': 12375, 'loss': 7.700939178466797}\n",
+      "{'epoch': 0, 'update in batch': 9693, '/': 12375, 'loss': 7.043422698974609}\n",
+      "{'epoch': 0, 'update in batch': 9694, '/': 12375, 'loss': 7.008697509765625}\n",
+      "{'epoch': 0, 'update in batch': 9695, '/': 12375, 'loss': 6.234921455383301}\n",
+      "{'epoch': 0, 'update in batch': 9696, '/': 12375, 'loss': 8.793715476989746}\n",
+      "{'epoch': 0, 'update in batch': 9697, '/': 12375, 'loss': 7.902693748474121}\n",
+      "{'epoch': 0, 'update in batch': 9698, '/': 12375, 'loss': 7.680633544921875}\n",
+      "{'epoch': 0, 'update in batch': 9699, '/': 12375, 'loss': 7.349937438964844}\n",
+      "{'epoch': 0, 'update in batch': 9700, '/': 12375, 'loss': 7.106091499328613}\n",
+      "{'epoch': 0, 'update in batch': 9701, '/': 12375, 'loss': 7.708291530609131}\n",
+      "{'epoch': 0, 'update in batch': 9702, '/': 12375, 'loss': 8.594573974609375}\n",
+      "{'epoch': 0, 'update in batch': 9703, '/': 12375, 'loss': 8.549826622009277}\n",
+      "{'epoch': 0, 'update in batch': 9704, '/': 12375, 'loss': 9.230331420898438}\n",
+      "{'epoch': 0, 'update in batch': 9705, '/': 12375, 'loss': 8.338836669921875}\n",
+      "{'epoch': 0, 'update in batch': 9706, '/': 12375, 'loss': 8.284439086914062}\n",
+      "{'epoch': 0, 'update in batch': 9707, '/': 12375, 'loss': 8.466301918029785}\n",
+      "{'epoch': 0, 'update in batch': 9708, '/': 12375, 'loss': 8.70427131652832}\n",
+      "{'epoch': 0, 'update in batch': 9709, '/': 12375, 'loss': 8.981691360473633}\n",
+      "{'epoch': 0, 'update in batch': 9710, '/': 12375, 'loss': 8.402456283569336}\n",
+      "{'epoch': 0, 'update in batch': 9711, '/': 12375, 'loss': 8.825624465942383}\n",
+      "{'epoch': 0, 'update in batch': 9712, '/': 12375, 'loss': 8.619977951049805}\n",
+      "{'epoch': 0, 'update in batch': 9713, '/': 12375, 'loss': 9.589739799499512}\n",
+      "{'epoch': 0, 'update in batch': 9714, '/': 12375, 'loss': 7.913023948669434}\n",
+      "{'epoch': 0, 'update in batch': 9715, '/': 12375, 'loss': 8.316479682922363}\n",
+      "{'epoch': 0, 'update in batch': 9716, '/': 12375, 'loss': 9.224960327148438}\n",
+      "{'epoch': 0, 'update in batch': 9717, '/': 12375, 'loss': 8.575858116149902}\n",
+      "{'epoch': 0, 'update in batch': 9718, '/': 12375, 'loss': 9.608087539672852}\n",
+      "{'epoch': 0, 'update in batch': 9719, '/': 12375, 'loss': 8.542608261108398}\n",
+      "{'epoch': 0, 'update in batch': 9720, '/': 12375, 'loss': 8.666913986206055}\n",
+      "{'epoch': 0, 'update in batch': 9721, '/': 12375, 'loss': 9.16790771484375}\n",
+      "{'epoch': 0, 'update in batch': 9722, '/': 12375, 'loss': 9.011127471923828}\n",
+      "{'epoch': 0, 'update in batch': 9723, '/': 12375, 'loss': 8.616427421569824}\n",
+      "{'epoch': 0, 'update in batch': 9724, '/': 12375, 'loss': 8.563493728637695}\n",
+      "{'epoch': 0, 'update in batch': 9725, '/': 12375, 'loss': 8.567987442016602}\n",
+      "{'epoch': 0, 'update in batch': 9726, '/': 12375, 'loss': 10.843404769897461}\n",
+      "{'epoch': 0, 'update in batch': 9727, '/': 12375, 'loss': 8.824116706848145}\n",
+      "{'epoch': 0, 'update in batch': 9728, '/': 12375, 'loss': 8.78237247467041}\n",
+      "{'epoch': 0, 'update in batch': 9729, '/': 12375, 'loss': 8.294244766235352}\n",
+      "{'epoch': 0, 'update in batch': 9730, '/': 12375, 'loss': 8.26656723022461}\n",
+      "{'epoch': 0, 'update in batch': 9731, '/': 12375, 'loss': 7.693430423736572}\n",
+      "{'epoch': 0, 'update in batch': 9732, '/': 12375, 'loss': 8.682482719421387}\n",
+      "{'epoch': 0, 'update in batch': 9733, '/': 12375, 'loss': 7.614736080169678}\n",
+      "{'epoch': 0, 'update in batch': 9734, '/': 12375, 'loss': 8.692060470581055}\n",
+      "{'epoch': 0, 'update in batch': 9735, '/': 12375, 'loss': 8.100879669189453}\n",
+      "{'epoch': 0, 'update in batch': 9736, '/': 12375, 'loss': 8.102154731750488}\n",
+      "{'epoch': 0, 'update in batch': 9737, '/': 12375, 'loss': 7.988630771636963}\n",
+      "{'epoch': 0, 'update in batch': 9738, '/': 12375, 'loss': 8.420183181762695}\n",
+      "{'epoch': 0, 'update in batch': 9739, '/': 12375, 'loss': 7.960576057434082}\n",
+      "{'epoch': 0, 'update in batch': 9740, '/': 12375, 'loss': 8.322373390197754}\n",
+      "{'epoch': 0, 'update in batch': 9741, '/': 12375, 'loss': 8.025266647338867}\n",
+      "{'epoch': 0, 'update in batch': 9742, '/': 12375, 'loss': 7.8618268966674805}\n",
+      "{'epoch': 0, 'update in batch': 9743, '/': 12375, 'loss': 8.235086441040039}\n",
+      "{'epoch': 0, 'update in batch': 9744, '/': 12375, 'loss': 8.092118263244629}\n",
+      "{'epoch': 0, 'update in batch': 9745, '/': 12375, 'loss': 8.120611190795898}\n",
+      "{'epoch': 0, 'update in batch': 9746, '/': 12375, 'loss': 7.730579376220703}\n",
+      "{'epoch': 0, 'update in batch': 9747, '/': 12375, 'loss': 7.580660820007324}\n",
+      "{'epoch': 0, 'update in batch': 9748, '/': 12375, 'loss': 7.707493782043457}\n",
+      "{'epoch': 0, 'update in batch': 9749, '/': 12375, 'loss': 7.810332298278809}\n",
+      "{'epoch': 0, 'update in batch': 9750, '/': 12375, 'loss': 7.9141669273376465}\n",
+      "{'epoch': 0, 'update in batch': 9751, '/': 12375, 'loss': 6.8788886070251465}\n",
+      "{'epoch': 0, 'update in batch': 9752, '/': 12375, 'loss': 7.651030540466309}\n",
+      "{'epoch': 0, 'update in batch': 9753, '/': 12375, 'loss': 7.851838111877441}\n",
+      "{'epoch': 0, 'update in batch': 9754, '/': 12375, 'loss': 8.09497356414795}\n",
+      "{'epoch': 0, 'update in batch': 9755, '/': 12375, 'loss': 8.190481185913086}\n",
+      "{'epoch': 0, 'update in batch': 9756, '/': 12375, 'loss': 8.73775863647461}\n",
+      "{'epoch': 0, 'update in batch': 9757, '/': 12375, 'loss': 7.935171604156494}\n",
+      "{'epoch': 0, 'update in batch': 9758, '/': 12375, 'loss': 7.295516014099121}\n",
+      "{'epoch': 0, 'update in batch': 9759, '/': 12375, 'loss': 7.525385856628418}\n",
+      "{'epoch': 0, 'update in batch': 9760, '/': 12375, 'loss': 7.543935298919678}\n",
+      "{'epoch': 0, 'update in batch': 9761, '/': 12375, 'loss': 6.931363105773926}\n",
+      "{'epoch': 0, 'update in batch': 9762, '/': 12375, 'loss': 6.936276435852051}\n",
+      "{'epoch': 0, 'update in batch': 9763, '/': 12375, 'loss': 6.887208461761475}\n",
+      "{'epoch': 0, 'update in batch': 9764, '/': 12375, 'loss': 8.566773414611816}\n",
+      "{'epoch': 0, 'update in batch': 9765, '/': 12375, 'loss': 8.21120834350586}\n",
+      "{'epoch': 0, 'update in batch': 9766, '/': 12375, 'loss': 8.457282066345215}\n",
+      "{'epoch': 0, 'update in batch': 9767, '/': 12375, 'loss': 8.025605201721191}\n",
+      "{'epoch': 0, 'update in batch': 9768, '/': 12375, 'loss': 8.636397361755371}\n",
+      "{'epoch': 0, 'update in batch': 9769, '/': 12375, 'loss': 7.893642425537109}\n",
+      "{'epoch': 0, 'update in batch': 9770, '/': 12375, 'loss': 8.16487979888916}\n",
+      "{'epoch': 0, 'update in batch': 9771, '/': 12375, 'loss': 8.080161094665527}\n",
+      "{'epoch': 0, 'update in batch': 9772, '/': 12375, 'loss': 8.583951950073242}\n",
+      "{'epoch': 0, 'update in batch': 9773, '/': 12375, 'loss': 8.124238014221191}\n",
+      "{'epoch': 0, 'update in batch': 9774, '/': 12375, 'loss': 7.751289367675781}\n",
+      "{'epoch': 0, 'update in batch': 9775, '/': 12375, 'loss': 8.654474258422852}\n",
+      "{'epoch': 0, 'update in batch': 9776, '/': 12375, 'loss': 7.420519828796387}\n",
+      "{'epoch': 0, 'update in batch': 9777, '/': 12375, 'loss': 7.871133327484131}\n",
+      "{'epoch': 0, 'update in batch': 9778, '/': 12375, 'loss': 8.0655517578125}\n",
+      "{'epoch': 0, 'update in batch': 9779, '/': 12375, 'loss': 8.398625373840332}\n",
+      "{'epoch': 0, 'update in batch': 9780, '/': 12375, 'loss': 7.735032558441162}\n",
+      "{'epoch': 0, 'update in batch': 9781, '/': 12375, 'loss': 7.8543243408203125}\n",
+      "{'epoch': 0, 'update in batch': 9782, '/': 12375, 'loss': 8.05126953125}\n",
+      "{'epoch': 0, 'update in batch': 9783, '/': 12375, 'loss': 8.285029411315918}\n",
+      "{'epoch': 0, 'update in batch': 9784, '/': 12375, 'loss': 8.114568710327148}\n",
+      "{'epoch': 0, 'update in batch': 9785, '/': 12375, 'loss': 8.120792388916016}\n",
+      "{'epoch': 0, 'update in batch': 9786, '/': 12375, 'loss': 7.64599084854126}\n",
+      "{'epoch': 0, 'update in batch': 9787, '/': 12375, 'loss': 9.104488372802734}\n",
+      "{'epoch': 0, 'update in batch': 9788, '/': 12375, 'loss': 7.204935550689697}\n",
+      "{'epoch': 0, 'update in batch': 9789, '/': 12375, 'loss': 8.30472469329834}\n",
+      "{'epoch': 0, 'update in batch': 9790, '/': 12375, 'loss': 7.3043646812438965}\n",
+      "{'epoch': 0, 'update in batch': 9791, '/': 12375, 'loss': 7.350716590881348}\n",
+      "{'epoch': 0, 'update in batch': 9792, '/': 12375, 'loss': 7.898838996887207}\n",
+      "{'epoch': 0, 'update in batch': 9793, '/': 12375, 'loss': 8.387365341186523}\n",
+      "{'epoch': 0, 'update in batch': 9794, '/': 12375, 'loss': 7.782530784606934}\n",
+      "{'epoch': 0, 'update in batch': 9795, '/': 12375, 'loss': 8.573163032531738}\n",
+      "{'epoch': 0, 'update in batch': 9796, '/': 12375, 'loss': 8.664125442504883}\n",
+      "{'epoch': 0, 'update in batch': 9797, '/': 12375, 'loss': 7.426334381103516}\n",
+      "{'epoch': 0, 'update in batch': 9798, '/': 12375, 'loss': 8.188741683959961}\n",
+      "{'epoch': 0, 'update in batch': 9799, '/': 12375, 'loss': 7.727212429046631}\n",
+      "{'epoch': 0, 'update in batch': 9800, '/': 12375, 'loss': 7.78546142578125}\n",
+      "{'epoch': 0, 'update in batch': 9801, '/': 12375, 'loss': 7.4088568687438965}\n",
+      "{'epoch': 0, 'update in batch': 9802, '/': 12375, 'loss': 7.7145280838012695}\n",
+      "{'epoch': 0, 'update in batch': 9803, '/': 12375, 'loss': 8.844364166259766}\n",
+      "{'epoch': 0, 'update in batch': 9804, '/': 12375, 'loss': 7.907818794250488}\n",
+      "{'epoch': 0, 'update in batch': 9805, '/': 12375, 'loss': 7.610171318054199}\n",
+      "{'epoch': 0, 'update in batch': 9806, '/': 12375, 'loss': 7.13498592376709}\n",
+      "{'epoch': 0, 'update in batch': 9807, '/': 12375, 'loss': 7.317214012145996}\n",
+      "{'epoch': 0, 'update in batch': 9808, '/': 12375, 'loss': 7.754961967468262}\n",
+      "{'epoch': 0, 'update in batch': 9809, '/': 12375, 'loss': 8.151909828186035}\n",
+      "{'epoch': 0, 'update in batch': 9810, '/': 12375, 'loss': 8.671571731567383}\n",
+      "{'epoch': 0, 'update in batch': 9811, '/': 12375, 'loss': 9.499380111694336}\n",
+      "{'epoch': 0, 'update in batch': 9812, '/': 12375, 'loss': 7.878813743591309}\n",
+      "{'epoch': 0, 'update in batch': 9813, '/': 12375, 'loss': 7.196630001068115}\n",
+      "{'epoch': 0, 'update in batch': 9814, '/': 12375, 'loss': 7.893552303314209}\n",
+      "{'epoch': 0, 'update in batch': 9815, '/': 12375, 'loss': 7.607161045074463}\n",
+      "{'epoch': 0, 'update in batch': 9816, '/': 12375, 'loss': 8.147547721862793}\n",
+      "{'epoch': 0, 'update in batch': 9817, '/': 12375, 'loss': 7.956808567047119}\n",
+      "{'epoch': 0, 'update in batch': 9818, '/': 12375, 'loss': 7.344738960266113}\n",
+      "{'epoch': 0, 'update in batch': 9819, '/': 12375, 'loss': 8.480143547058105}\n",
+      "{'epoch': 0, 'update in batch': 9820, '/': 12375, 'loss': 7.337986946105957}\n",
+      "{'epoch': 0, 'update in batch': 9821, '/': 12375, 'loss': 7.577118873596191}\n",
+      "{'epoch': 0, 'update in batch': 9822, '/': 12375, 'loss': 6.36359167098999}\n",
+      "{'epoch': 0, 'update in batch': 9823, '/': 12375, 'loss': 8.230928421020508}\n",
+      "{'epoch': 0, 'update in batch': 9824, '/': 12375, 'loss': 7.437729835510254}\n",
+      "{'epoch': 0, 'update in batch': 9825, '/': 12375, 'loss': 7.581954002380371}\n",
+      "{'epoch': 0, 'update in batch': 9826, '/': 12375, 'loss': 6.744612693786621}\n",
+      "{'epoch': 0, 'update in batch': 9827, '/': 12375, 'loss': 7.50206995010376}\n",
+      "{'epoch': 0, 'update in batch': 9828, '/': 12375, 'loss': 8.160677909851074}\n",
+      "{'epoch': 0, 'update in batch': 9829, '/': 12375, 'loss': 8.106691360473633}\n",
+      "{'epoch': 0, 'update in batch': 9830, '/': 12375, 'loss': 7.504160404205322}\n",
+      "{'epoch': 0, 'update in batch': 9831, '/': 12375, 'loss': 7.870711326599121}\n",
+      "{'epoch': 0, 'update in batch': 9832, '/': 12375, 'loss': 8.142711639404297}\n",
+      "{'epoch': 0, 'update in batch': 9833, '/': 12375, 'loss': 7.703394412994385}\n",
+      "{'epoch': 0, 'update in batch': 9834, '/': 12375, 'loss': 7.842527866363525}\n",
+      "{'epoch': 0, 'update in batch': 9835, '/': 12375, 'loss': 8.457145690917969}\n",
+      "{'epoch': 0, 'update in batch': 9836, '/': 12375, 'loss': 7.704102516174316}\n",
+      "{'epoch': 0, 'update in batch': 9837, '/': 12375, 'loss': 6.879042625427246}\n",
+      "{'epoch': 0, 'update in batch': 9838, '/': 12375, 'loss': 8.085782051086426}\n",
+      "{'epoch': 0, 'update in batch': 9839, '/': 12375, 'loss': 7.827277183532715}\n",
+      "{'epoch': 0, 'update in batch': 9840, '/': 12375, 'loss': 7.334298610687256}\n",
+      "{'epoch': 0, 'update in batch': 9841, '/': 12375, 'loss': 8.050646781921387}\n",
+      "{'epoch': 0, 'update in batch': 9842, '/': 12375, 'loss': 8.36927318572998}\n",
+      "{'epoch': 0, 'update in batch': 9843, '/': 12375, 'loss': 7.874265193939209}\n",
+      "{'epoch': 0, 'update in batch': 9844, '/': 12375, 'loss': 8.585271835327148}\n",
+      "{'epoch': 0, 'update in batch': 9845, '/': 12375, 'loss': 7.65973424911499}\n",
+      "{'epoch': 0, 'update in batch': 9846, '/': 12375, 'loss': 7.179880619049072}\n",
+      "{'epoch': 0, 'update in batch': 9847, '/': 12375, 'loss': 7.555174350738525}\n",
+      "{'epoch': 0, 'update in batch': 9848, '/': 12375, 'loss': 8.110071182250977}\n",
+      "{'epoch': 0, 'update in batch': 9849, '/': 12375, 'loss': 7.857876777648926}\n",
+      "{'epoch': 0, 'update in batch': 9850, '/': 12375, 'loss': 7.64797306060791}\n",
+      "{'epoch': 0, 'update in batch': 9851, '/': 12375, 'loss': 7.9213385581970215}\n",
+      "{'epoch': 0, 'update in batch': 9852, '/': 12375, 'loss': 7.663671970367432}\n",
+      "{'epoch': 0, 'update in batch': 9853, '/': 12375, 'loss': 7.818009376525879}\n",
+      "{'epoch': 0, 'update in batch': 9854, '/': 12375, 'loss': 7.813580513000488}\n",
+      "{'epoch': 0, 'update in batch': 9855, '/': 12375, 'loss': 6.894433498382568}\n",
+      "{'epoch': 0, 'update in batch': 9856, '/': 12375, 'loss': 8.067281723022461}\n",
+      "{'epoch': 0, 'update in batch': 9857, '/': 12375, 'loss': 7.924628257751465}\n",
+      "{'epoch': 0, 'update in batch': 9858, '/': 12375, 'loss': 8.674257278442383}\n",
+      "{'epoch': 0, 'update in batch': 9859, '/': 12375, 'loss': 8.248763084411621}\n",
+      "{'epoch': 0, 'update in batch': 9860, '/': 12375, 'loss': 7.9795637130737305}\n",
+      "{'epoch': 0, 'update in batch': 9861, '/': 12375, 'loss': 8.157869338989258}\n",
+      "{'epoch': 0, 'update in batch': 9862, '/': 12375, 'loss': 7.865130424499512}\n",
+      "{'epoch': 0, 'update in batch': 9863, '/': 12375, 'loss': 7.341889381408691}\n",
+      "{'epoch': 0, 'update in batch': 9864, '/': 12375, 'loss': 7.391829013824463}\n",
+      "{'epoch': 0, 'update in batch': 9865, '/': 12375, 'loss': 8.412128448486328}\n",
+      "{'epoch': 0, 'update in batch': 9866, '/': 12375, 'loss': 7.158302307128906}\n",
+      "{'epoch': 0, 'update in batch': 9867, '/': 12375, 'loss': 7.635206699371338}\n",
+      "{'epoch': 0, 'update in batch': 9868, '/': 12375, 'loss': 9.049395561218262}\n",
+      "{'epoch': 0, 'update in batch': 9869, '/': 12375, 'loss': 7.665435791015625}\n",
+      "{'epoch': 0, 'update in batch': 9870, '/': 12375, 'loss': 8.07160758972168}\n",
+      "{'epoch': 0, 'update in batch': 9871, '/': 12375, 'loss': 7.676789283752441}\n",
+      "{'epoch': 0, 'update in batch': 9872, '/': 12375, 'loss': 9.245260238647461}\n",
+      "{'epoch': 0, 'update in batch': 9873, '/': 12375, 'loss': 7.61685848236084}\n",
+      "{'epoch': 0, 'update in batch': 9874, '/': 12375, 'loss': 7.209519386291504}\n",
+      "{'epoch': 0, 'update in batch': 9875, '/': 12375, 'loss': 8.74686050415039}\n",
+      "{'epoch': 0, 'update in batch': 9876, '/': 12375, 'loss': 8.634355545043945}\n",
+      "{'epoch': 0, 'update in batch': 9877, '/': 12375, 'loss': 8.642232894897461}\n",
+      "{'epoch': 0, 'update in batch': 9878, '/': 12375, 'loss': 7.7140631675720215}\n",
+      "{'epoch': 0, 'update in batch': 9879, '/': 12375, 'loss': 7.432422637939453}\n",
+      "{'epoch': 0, 'update in batch': 9880, '/': 12375, 'loss': 7.9975385665893555}\n",
+      "{'epoch': 0, 'update in batch': 9881, '/': 12375, 'loss': 7.7490363121032715}\n",
+      "{'epoch': 0, 'update in batch': 9882, '/': 12375, 'loss': 6.701366424560547}\n",
+      "{'epoch': 0, 'update in batch': 9883, '/': 12375, 'loss': 7.513862609863281}\n",
+      "{'epoch': 0, 'update in batch': 9884, '/': 12375, 'loss': 8.253652572631836}\n",
+      "{'epoch': 0, 'update in batch': 9885, '/': 12375, 'loss': 8.849678993225098}\n",
+      "{'epoch': 0, 'update in batch': 9886, '/': 12375, 'loss': 8.250909805297852}\n",
+      "{'epoch': 0, 'update in batch': 9887, '/': 12375, 'loss': 7.984198093414307}\n",
+      "{'epoch': 0, 'update in batch': 9888, '/': 12375, 'loss': 7.838550567626953}\n",
+      "{'epoch': 0, 'update in batch': 9889, '/': 12375, 'loss': 7.537365913391113}\n",
+      "{'epoch': 0, 'update in batch': 9890, '/': 12375, 'loss': 7.3932600021362305}\n",
+      "{'epoch': 0, 'update in batch': 9891, '/': 12375, 'loss': 8.682743072509766}\n",
+      "{'epoch': 0, 'update in batch': 9892, '/': 12375, 'loss': 6.5843987464904785}\n",
+      "{'epoch': 0, 'update in batch': 9893, '/': 12375, 'loss': 7.062596797943115}\n",
+      "{'epoch': 0, 'update in batch': 9894, '/': 12375, 'loss': 6.3094563484191895}\n",
+      "{'epoch': 0, 'update in batch': 9895, '/': 12375, 'loss': 7.032124996185303}\n",
+      "{'epoch': 0, 'update in batch': 9896, '/': 12375, 'loss': 7.57864236831665}\n",
+      "{'epoch': 0, 'update in batch': 9897, '/': 12375, 'loss': 8.061321258544922}\n",
+      "{'epoch': 0, 'update in batch': 9898, '/': 12375, 'loss': 7.675106048583984}\n",
+      "{'epoch': 0, 'update in batch': 9899, '/': 12375, 'loss': 8.24755859375}\n",
+      "{'epoch': 0, 'update in batch': 9900, '/': 12375, 'loss': 6.970541954040527}\n",
+      "{'epoch': 0, 'update in batch': 9901, '/': 12375, 'loss': 8.154799461364746}\n",
+      "{'epoch': 0, 'update in batch': 9902, '/': 12375, 'loss': 7.57059383392334}\n",
+      "{'epoch': 0, 'update in batch': 9903, '/': 12375, 'loss': 7.967173099517822}\n",
+      "{'epoch': 0, 'update in batch': 9904, '/': 12375, 'loss': 7.730824947357178}\n",
+      "{'epoch': 0, 'update in batch': 9905, '/': 12375, 'loss': 7.939492225646973}\n",
+      "{'epoch': 0, 'update in batch': 9906, '/': 12375, 'loss': 7.562656402587891}\n",
+      "{'epoch': 0, 'update in batch': 9907, '/': 12375, 'loss': 8.190496444702148}\n",
+      "{'epoch': 0, 'update in batch': 9908, '/': 12375, 'loss': 7.373521327972412}\n",
+      "{'epoch': 0, 'update in batch': 9909, '/': 12375, 'loss': 8.231206893920898}\n",
+      "{'epoch': 0, 'update in batch': 9910, '/': 12375, 'loss': 7.895407199859619}\n",
+      "{'epoch': 0, 'update in batch': 9911, '/': 12375, 'loss': 7.754388332366943}\n",
+      "{'epoch': 0, 'update in batch': 9912, '/': 12375, 'loss': 7.969040870666504}\n",
+      "{'epoch': 0, 'update in batch': 9913, '/': 12375, 'loss': 8.235365867614746}\n",
+      "{'epoch': 0, 'update in batch': 9914, '/': 12375, 'loss': 8.787233352661133}\n",
+      "{'epoch': 0, 'update in batch': 9915, '/': 12375, 'loss': 8.689699172973633}\n",
+      "{'epoch': 0, 'update in batch': 9916, '/': 12375, 'loss': 8.556066513061523}\n",
+      "{'epoch': 0, 'update in batch': 9917, '/': 12375, 'loss': 7.878836631774902}\n",
+      "{'epoch': 0, 'update in batch': 9918, '/': 12375, 'loss': 7.38687801361084}\n",
+      "{'epoch': 0, 'update in batch': 9919, '/': 12375, 'loss': 8.22404670715332}\n",
+      "{'epoch': 0, 'update in batch': 9920, '/': 12375, 'loss': 8.441424369812012}\n",
+      "{'epoch': 0, 'update in batch': 9921, '/': 12375, 'loss': 7.796021461486816}\n",
+      "{'epoch': 0, 'update in batch': 9922, '/': 12375, 'loss': 7.832289218902588}\n",
+      "{'epoch': 0, 'update in batch': 9923, '/': 12375, 'loss': 7.6446051597595215}\n",
+      "{'epoch': 0, 'update in batch': 9924, '/': 12375, 'loss': 7.2020721435546875}\n",
+      "{'epoch': 0, 'update in batch': 9925, '/': 12375, 'loss': 8.209775924682617}\n",
+      "{'epoch': 0, 'update in batch': 9926, '/': 12375, 'loss': 7.354322910308838}\n",
+      "{'epoch': 0, 'update in batch': 9927, '/': 12375, 'loss': 7.7488861083984375}\n",
+      "{'epoch': 0, 'update in batch': 9928, '/': 12375, 'loss': 7.328973293304443}\n",
+      "{'epoch': 0, 'update in batch': 9929, '/': 12375, 'loss': 7.598728179931641}\n",
+      "{'epoch': 0, 'update in batch': 9930, '/': 12375, 'loss': 7.571712493896484}\n",
+      "{'epoch': 0, 'update in batch': 9931, '/': 12375, 'loss': 8.408418655395508}\n",
+      "{'epoch': 0, 'update in batch': 9932, '/': 12375, 'loss': 7.899584770202637}\n",
+      "{'epoch': 0, 'update in batch': 9933, '/': 12375, 'loss': 9.434805870056152}\n",
+      "{'epoch': 0, 'update in batch': 9934, '/': 12375, 'loss': 7.089343070983887}\n",
+      "{'epoch': 0, 'update in batch': 9935, '/': 12375, 'loss': 7.371294975280762}\n",
+      "{'epoch': 0, 'update in batch': 9936, '/': 12375, 'loss': 8.845702171325684}\n",
+      "{'epoch': 0, 'update in batch': 9937, '/': 12375, 'loss': 7.833320617675781}\n",
+      "{'epoch': 0, 'update in batch': 9938, '/': 12375, 'loss': 7.161293029785156}\n",
+      "{'epoch': 0, 'update in batch': 9939, '/': 12375, 'loss': 8.121715545654297}\n",
+      "{'epoch': 0, 'update in batch': 9940, '/': 12375, 'loss': 7.870235443115234}\n",
+      "{'epoch': 0, 'update in batch': 9941, '/': 12375, 'loss': 7.235604763031006}\n",
+      "{'epoch': 0, 'update in batch': 9942, '/': 12375, 'loss': 7.3269944190979}\n",
+      "{'epoch': 0, 'update in batch': 9943, '/': 12375, 'loss': 7.815465450286865}\n",
+      "{'epoch': 0, 'update in batch': 9944, '/': 12375, 'loss': 8.022637367248535}\n",
+      "{'epoch': 0, 'update in batch': 9945, '/': 12375, 'loss': 8.743749618530273}\n",
+      "{'epoch': 0, 'update in batch': 9946, '/': 12375, 'loss': 8.35476303100586}\n",
+      "{'epoch': 0, 'update in batch': 9947, '/': 12375, 'loss': 8.380001068115234}\n",
+      "{'epoch': 0, 'update in batch': 9948, '/': 12375, 'loss': 8.216832160949707}\n",
+      "{'epoch': 0, 'update in batch': 9949, '/': 12375, 'loss': 8.124737739562988}\n",
+      "{'epoch': 0, 'update in batch': 9950, '/': 12375, 'loss': 9.950860977172852}\n",
+      "{'epoch': 0, 'update in batch': 9951, '/': 12375, 'loss': 7.841639518737793}\n",
+      "{'epoch': 0, 'update in batch': 9952, '/': 12375, 'loss': 8.296010971069336}\n",
+      "{'epoch': 0, 'update in batch': 9953, '/': 12375, 'loss': 7.580301761627197}\n",
+      "{'epoch': 0, 'update in batch': 9954, '/': 12375, 'loss': 8.383614540100098}\n",
+      "{'epoch': 0, 'update in batch': 9955, '/': 12375, 'loss': 8.676733016967773}\n",
+      "{'epoch': 0, 'update in batch': 9956, '/': 12375, 'loss': 8.385387420654297}\n",
+      "{'epoch': 0, 'update in batch': 9957, '/': 12375, 'loss': 7.218836784362793}\n",
+      "{'epoch': 0, 'update in batch': 9958, '/': 12375, 'loss': 8.122060775756836}\n",
+      "{'epoch': 0, 'update in batch': 9959, '/': 12375, 'loss': 8.077905654907227}\n",
+      "{'epoch': 0, 'update in batch': 9960, '/': 12375, 'loss': 7.9373345375061035}\n",
+      "{'epoch': 0, 'update in batch': 9961, '/': 12375, 'loss': 7.580780029296875}\n",
+      "{'epoch': 0, 'update in batch': 9962, '/': 12375, 'loss': 6.4003705978393555}\n",
+      "{'epoch': 0, 'update in batch': 9963, '/': 12375, 'loss': 7.139223575592041}\n",
+      "{'epoch': 0, 'update in batch': 9964, '/': 12375, 'loss': 7.059637546539307}\n",
+      "{'epoch': 0, 'update in batch': 9965, '/': 12375, 'loss': 7.8563408851623535}\n",
+      "{'epoch': 0, 'update in batch': 9966, '/': 12375, 'loss': 6.6868720054626465}\n",
+      "{'epoch': 0, 'update in batch': 9967, '/': 12375, 'loss': 6.669554710388184}\n",
+      "{'epoch': 0, 'update in batch': 9968, '/': 12375, 'loss': 6.549307346343994}\n",
+      "{'epoch': 0, 'update in batch': 9969, '/': 12375, 'loss': 6.728917598724365}\n",
+      "{'epoch': 0, 'update in batch': 9970, '/': 12375, 'loss': 7.78729248046875}\n",
+      "{'epoch': 0, 'update in batch': 9971, '/': 12375, 'loss': 6.485257625579834}\n",
+      "{'epoch': 0, 'update in batch': 9972, '/': 12375, 'loss': 6.9841790199279785}\n",
+      "{'epoch': 0, 'update in batch': 9973, '/': 12375, 'loss': 7.514185428619385}\n",
+      "{'epoch': 0, 'update in batch': 9974, '/': 12375, 'loss': 7.224798679351807}\n",
+      "{'epoch': 0, 'update in batch': 9975, '/': 12375, 'loss': 7.250922203063965}\n",
+      "{'epoch': 0, 'update in batch': 9976, '/': 12375, 'loss': 6.847172737121582}\n",
+      "{'epoch': 0, 'update in batch': 9977, '/': 12375, 'loss': 6.733179569244385}\n",
+      "{'epoch': 0, 'update in batch': 9978, '/': 12375, 'loss': 7.469884395599365}\n",
+      "{'epoch': 0, 'update in batch': 9979, '/': 12375, 'loss': 7.471097469329834}\n",
+      "{'epoch': 0, 'update in batch': 9980, '/': 12375, 'loss': 7.717115879058838}\n",
+      "{'epoch': 0, 'update in batch': 9981, '/': 12375, 'loss': 8.727980613708496}\n",
+      "{'epoch': 0, 'update in batch': 9982, '/': 12375, 'loss': 9.858049392700195}\n",
+      "{'epoch': 0, 'update in batch': 9983, '/': 12375, 'loss': 8.826303482055664}\n",
+      "{'epoch': 0, 'update in batch': 9984, '/': 12375, 'loss': 9.105539321899414}\n",
+      "{'epoch': 0, 'update in batch': 9985, '/': 12375, 'loss': 7.955238342285156}\n",
+      "{'epoch': 0, 'update in batch': 9986, '/': 12375, 'loss': 7.690202236175537}\n",
+      "{'epoch': 0, 'update in batch': 9987, '/': 12375, 'loss': 7.8717241287231445}\n",
+      "{'epoch': 0, 'update in batch': 9988, '/': 12375, 'loss': 7.507096767425537}\n",
+      "{'epoch': 0, 'update in batch': 9989, '/': 12375, 'loss': 7.555408477783203}\n",
+      "{'epoch': 0, 'update in batch': 9990, '/': 12375, 'loss': 7.545670509338379}\n",
+      "{'epoch': 0, 'update in batch': 9991, '/': 12375, 'loss': 8.211275100708008}\n",
+      "{'epoch': 0, 'update in batch': 9992, '/': 12375, 'loss': 7.415387153625488}\n",
+      "{'epoch': 0, 'update in batch': 9993, '/': 12375, 'loss': 7.184201717376709}\n",
+      "{'epoch': 0, 'update in batch': 9994, '/': 12375, 'loss': 7.676304817199707}\n",
+      "{'epoch': 0, 'update in batch': 9995, '/': 12375, 'loss': 8.878209114074707}\n",
+      "{'epoch': 0, 'update in batch': 9996, '/': 12375, 'loss': 8.6712064743042}\n",
+      "{'epoch': 0, 'update in batch': 9997, '/': 12375, 'loss': 8.19176197052002}\n",
+      "{'epoch': 0, 'update in batch': 9998, '/': 12375, 'loss': 7.377577304840088}\n",
+      "{'epoch': 0, 'update in batch': 9999, '/': 12375, 'loss': 7.553582668304443}\n",
+      "{'epoch': 0, 'update in batch': 10000, '/': 12375, 'loss': 7.662131309509277}\n",
+      "{'epoch': 0, 'update in batch': 10001, '/': 12375, 'loss': 8.53619384765625}\n",
+      "{'epoch': 0, 'update in batch': 10002, '/': 12375, 'loss': 8.238349914550781}\n",
+      "{'epoch': 0, 'update in batch': 10003, '/': 12375, 'loss': 7.558321475982666}\n",
+      "{'epoch': 0, 'update in batch': 10004, '/': 12375, 'loss': 7.835043430328369}\n",
+      "{'epoch': 0, 'update in batch': 10005, '/': 12375, 'loss': 8.170557022094727}\n",
+      "{'epoch': 0, 'update in batch': 10006, '/': 12375, 'loss': 7.458311557769775}\n",
+      "{'epoch': 0, 'update in batch': 10007, '/': 12375, 'loss': 8.44179630279541}\n",
+      "{'epoch': 0, 'update in batch': 10008, '/': 12375, 'loss': 8.287463188171387}\n",
+      "{'epoch': 0, 'update in batch': 10009, '/': 12375, 'loss': 7.783924102783203}\n",
+      "{'epoch': 0, 'update in batch': 10010, '/': 12375, 'loss': 8.183919906616211}\n",
+      "{'epoch': 0, 'update in batch': 10011, '/': 12375, 'loss': 7.328196048736572}\n",
+      "{'epoch': 0, 'update in batch': 10012, '/': 12375, 'loss': 8.84040641784668}\n",
+      "{'epoch': 0, 'update in batch': 10013, '/': 12375, 'loss': 8.176554679870605}\n",
+      "{'epoch': 0, 'update in batch': 10014, '/': 12375, 'loss': 8.137413024902344}\n",
+      "{'epoch': 0, 'update in batch': 10015, '/': 12375, 'loss': 8.596341133117676}\n",
+      "{'epoch': 0, 'update in batch': 10016, '/': 12375, 'loss': 8.268843650817871}\n",
+      "{'epoch': 0, 'update in batch': 10017, '/': 12375, 'loss': 6.732880592346191}\n",
+      "{'epoch': 0, 'update in batch': 10018, '/': 12375, 'loss': 7.631542205810547}\n",
+      "{'epoch': 0, 'update in batch': 10019, '/': 12375, 'loss': 7.259889125823975}\n",
+      "{'epoch': 0, 'update in batch': 10020, '/': 12375, 'loss': 8.41084098815918}\n",
+      "{'epoch': 0, 'update in batch': 10021, '/': 12375, 'loss': 8.208929061889648}\n",
+      "{'epoch': 0, 'update in batch': 10022, '/': 12375, 'loss': 9.295684814453125}\n",
+      "{'epoch': 0, 'update in batch': 10023, '/': 12375, 'loss': 7.253541469573975}\n",
+      "{'epoch': 0, 'update in batch': 10024, '/': 12375, 'loss': 7.540331840515137}\n",
+      "{'epoch': 0, 'update in batch': 10025, '/': 12375, 'loss': 7.924067497253418}\n",
+      "{'epoch': 0, 'update in batch': 10026, '/': 12375, 'loss': 8.090513229370117}\n",
+      "{'epoch': 0, 'update in batch': 10027, '/': 12375, 'loss': 7.464412689208984}\n",
+      "{'epoch': 0, 'update in batch': 10028, '/': 12375, 'loss': 8.129350662231445}\n",
+      "{'epoch': 0, 'update in batch': 10029, '/': 12375, 'loss': 7.67141580581665}\n",
+      "{'epoch': 0, 'update in batch': 10030, '/': 12375, 'loss': 8.857664108276367}\n",
+      "{'epoch': 0, 'update in batch': 10031, '/': 12375, 'loss': 7.48617696762085}\n",
+      "{'epoch': 0, 'update in batch': 10032, '/': 12375, 'loss': 7.283304691314697}\n",
+      "{'epoch': 0, 'update in batch': 10033, '/': 12375, 'loss': 7.327724456787109}\n",
+      "{'epoch': 0, 'update in batch': 10034, '/': 12375, 'loss': 8.375353813171387}\n",
+      "{'epoch': 0, 'update in batch': 10035, '/': 12375, 'loss': 7.507794380187988}\n",
+      "{'epoch': 0, 'update in batch': 10036, '/': 12375, 'loss': 7.909604549407959}\n",
+      "{'epoch': 0, 'update in batch': 10037, '/': 12375, 'loss': 7.815497398376465}\n",
+      "{'epoch': 0, 'update in batch': 10038, '/': 12375, 'loss': 8.146493911743164}\n",
+      "{'epoch': 0, 'update in batch': 10039, '/': 12375, 'loss': 8.127585411071777}\n",
+      "{'epoch': 0, 'update in batch': 10040, '/': 12375, 'loss': 7.939228057861328}\n",
+      "{'epoch': 0, 'update in batch': 10041, '/': 12375, 'loss': 7.599282264709473}\n",
+      "{'epoch': 0, 'update in batch': 10042, '/': 12375, 'loss': 9.180025100708008}\n",
+      "{'epoch': 0, 'update in batch': 10043, '/': 12375, 'loss': 7.2714524269104}\n",
+      "{'epoch': 0, 'update in batch': 10044, '/': 12375, 'loss': 7.560597896575928}\n",
+      "{'epoch': 0, 'update in batch': 10045, '/': 12375, 'loss': 6.794615268707275}\n",
+      "{'epoch': 0, 'update in batch': 10046, '/': 12375, 'loss': 8.443323135375977}\n",
+      "{'epoch': 0, 'update in batch': 10047, '/': 12375, 'loss': 7.983957767486572}\n",
+      "{'epoch': 0, 'update in batch': 10048, '/': 12375, 'loss': 8.34093952178955}\n",
+      "{'epoch': 0, 'update in batch': 10049, '/': 12375, 'loss': 8.467283248901367}\n",
+      "{'epoch': 0, 'update in batch': 10050, '/': 12375, 'loss': 8.689455032348633}\n",
+      "{'epoch': 0, 'update in batch': 10051, '/': 12375, 'loss': 7.494055271148682}\n",
+      "{'epoch': 0, 'update in batch': 10052, '/': 12375, 'loss': 7.9970574378967285}\n",
+      "{'epoch': 0, 'update in batch': 10053, '/': 12375, 'loss': 6.900300025939941}\n",
+      "{'epoch': 0, 'update in batch': 10054, '/': 12375, 'loss': 8.281120300292969}\n",
+      "{'epoch': 0, 'update in batch': 10055, '/': 12375, 'loss': 7.827178955078125}\n",
+      "{'epoch': 0, 'update in batch': 10056, '/': 12375, 'loss': 7.342665672302246}\n",
+      "{'epoch': 0, 'update in batch': 10057, '/': 12375, 'loss': 7.043524265289307}\n",
+      "{'epoch': 0, 'update in batch': 10058, '/': 12375, 'loss': 7.647216796875}\n",
+      "{'epoch': 0, 'update in batch': 10059, '/': 12375, 'loss': 7.298740386962891}\n",
+      "{'epoch': 0, 'update in batch': 10060, '/': 12375, 'loss': 7.778899192810059}\n",
+      "{'epoch': 0, 'update in batch': 10061, '/': 12375, 'loss': 8.704854965209961}\n",
+      "{'epoch': 0, 'update in batch': 10062, '/': 12375, 'loss': 7.663641929626465}\n",
+      "{'epoch': 0, 'update in batch': 10063, '/': 12375, 'loss': 7.644044399261475}\n",
+      "{'epoch': 0, 'update in batch': 10064, '/': 12375, 'loss': 8.332130432128906}\n",
+      "{'epoch': 0, 'update in batch': 10065, '/': 12375, 'loss': 8.982281684875488}\n",
+      "{'epoch': 0, 'update in batch': 10066, '/': 12375, 'loss': 7.399282932281494}\n",
+      "{'epoch': 0, 'update in batch': 10067, '/': 12375, 'loss': 8.01746940612793}\n",
+      "{'epoch': 0, 'update in batch': 10068, '/': 12375, 'loss': 6.832393646240234}\n",
+      "{'epoch': 0, 'update in batch': 10069, '/': 12375, 'loss': 8.322124481201172}\n",
+      "{'epoch': 0, 'update in batch': 10070, '/': 12375, 'loss': 7.873265743255615}\n",
+      "{'epoch': 0, 'update in batch': 10071, '/': 12375, 'loss': 7.410184383392334}\n",
+      "{'epoch': 0, 'update in batch': 10072, '/': 12375, 'loss': 8.00374698638916}\n",
+      "{'epoch': 0, 'update in batch': 10073, '/': 12375, 'loss': 8.164294242858887}\n",
+      "{'epoch': 0, 'update in batch': 10074, '/': 12375, 'loss': 7.900193691253662}\n",
+      "{'epoch': 0, 'update in batch': 10075, '/': 12375, 'loss': 8.61660099029541}\n",
+      "{'epoch': 0, 'update in batch': 10076, '/': 12375, 'loss': 8.345139503479004}\n",
+      "{'epoch': 0, 'update in batch': 10077, '/': 12375, 'loss': 8.640958786010742}\n",
+      "{'epoch': 0, 'update in batch': 10078, '/': 12375, 'loss': 8.331842422485352}\n",
+      "{'epoch': 0, 'update in batch': 10079, '/': 12375, 'loss': 8.570180892944336}\n",
+      "{'epoch': 0, 'update in batch': 10080, '/': 12375, 'loss': 7.891297817230225}\n",
+      "{'epoch': 0, 'update in batch': 10081, '/': 12375, 'loss': 9.238138198852539}\n",
+      "{'epoch': 0, 'update in batch': 10082, '/': 12375, 'loss': 9.330357551574707}\n",
+      "{'epoch': 0, 'update in batch': 10083, '/': 12375, 'loss': 9.322892189025879}\n",
+      "{'epoch': 0, 'update in batch': 10084, '/': 12375, 'loss': 8.262662887573242}\n",
+      "{'epoch': 0, 'update in batch': 10085, '/': 12375, 'loss': 8.553373336791992}\n",
+      "{'epoch': 0, 'update in batch': 10086, '/': 12375, 'loss': 7.8173980712890625}\n",
+      "{'epoch': 0, 'update in batch': 10087, '/': 12375, 'loss': 7.839972019195557}\n",
+      "{'epoch': 0, 'update in batch': 10088, '/': 12375, 'loss': 7.906829833984375}\n",
+      "{'epoch': 0, 'update in batch': 10089, '/': 12375, 'loss': 8.118316650390625}\n",
+      "{'epoch': 0, 'update in batch': 10090, '/': 12375, 'loss': 8.218511581420898}\n",
+      "{'epoch': 0, 'update in batch': 10091, '/': 12375, 'loss': 7.333045959472656}\n",
+      "{'epoch': 0, 'update in batch': 10092, '/': 12375, 'loss': 7.719822883605957}\n",
+      "{'epoch': 0, 'update in batch': 10093, '/': 12375, 'loss': 8.351644515991211}\n",
+      "{'epoch': 0, 'update in batch': 10094, '/': 12375, 'loss': 8.471784591674805}\n",
+      "{'epoch': 0, 'update in batch': 10095, '/': 12375, 'loss': 8.118661880493164}\n",
+      "{'epoch': 0, 'update in batch': 10096, '/': 12375, 'loss': 8.504786491394043}\n",
+      "{'epoch': 0, 'update in batch': 10097, '/': 12375, 'loss': 7.591429710388184}\n",
+      "{'epoch': 0, 'update in batch': 10098, '/': 12375, 'loss': 7.579700469970703}\n",
+      "{'epoch': 0, 'update in batch': 10099, '/': 12375, 'loss': 7.377326011657715}\n",
+      "{'epoch': 0, 'update in batch': 10100, '/': 12375, 'loss': 6.718794345855713}\n",
+      "{'epoch': 0, 'update in batch': 10101, '/': 12375, 'loss': 7.660820960998535}\n",
+      "{'epoch': 0, 'update in batch': 10102, '/': 12375, 'loss': 8.41786003112793}\n",
+      "{'epoch': 0, 'update in batch': 10103, '/': 12375, 'loss': 7.237875938415527}\n",
+      "{'epoch': 0, 'update in batch': 10104, '/': 12375, 'loss': 7.3521528244018555}\n",
+      "{'epoch': 0, 'update in batch': 10105, '/': 12375, 'loss': 7.381725311279297}\n",
+      "{'epoch': 0, 'update in batch': 10106, '/': 12375, 'loss': 7.518711090087891}\n",
+      "{'epoch': 0, 'update in batch': 10107, '/': 12375, 'loss': 8.022241592407227}\n",
+      "{'epoch': 0, 'update in batch': 10108, '/': 12375, 'loss': 7.6218438148498535}\n",
+      "{'epoch': 0, 'update in batch': 10109, '/': 12375, 'loss': 7.533387660980225}\n",
+      "{'epoch': 0, 'update in batch': 10110, '/': 12375, 'loss': 8.116570472717285}\n",
+      "{'epoch': 0, 'update in batch': 10111, '/': 12375, 'loss': 7.599112510681152}\n",
+      "{'epoch': 0, 'update in batch': 10112, '/': 12375, 'loss': 7.985048770904541}\n",
+      "{'epoch': 0, 'update in batch': 10113, '/': 12375, 'loss': 8.731364250183105}\n",
+      "{'epoch': 0, 'update in batch': 10114, '/': 12375, 'loss': 8.278829574584961}\n",
+      "{'epoch': 0, 'update in batch': 10115, '/': 12375, 'loss': 7.2988481521606445}\n",
+      "{'epoch': 0, 'update in batch': 10116, '/': 12375, 'loss': 7.1767754554748535}\n",
+      "{'epoch': 0, 'update in batch': 10117, '/': 12375, 'loss': 7.460781097412109}\n",
+      "{'epoch': 0, 'update in batch': 10118, '/': 12375, 'loss': 7.7407331466674805}\n",
+      "{'epoch': 0, 'update in batch': 10119, '/': 12375, 'loss': 8.436386108398438}\n",
+      "{'epoch': 0, 'update in batch': 10120, '/': 12375, 'loss': 7.5353569984436035}\n",
+      "{'epoch': 0, 'update in batch': 10121, '/': 12375, 'loss': 7.9594292640686035}\n",
+      "{'epoch': 0, 'update in batch': 10122, '/': 12375, 'loss': 7.436924934387207}\n",
+      "{'epoch': 0, 'update in batch': 10123, '/': 12375, 'loss': 7.429799556732178}\n",
+      "{'epoch': 0, 'update in batch': 10124, '/': 12375, 'loss': 8.09896469116211}\n",
+      "{'epoch': 0, 'update in batch': 10125, '/': 12375, 'loss': 7.935601711273193}\n",
+      "{'epoch': 0, 'update in batch': 10126, '/': 12375, 'loss': 7.7254533767700195}\n",
+      "{'epoch': 0, 'update in batch': 10127, '/': 12375, 'loss': 7.6126708984375}\n",
+      "{'epoch': 0, 'update in batch': 10128, '/': 12375, 'loss': 7.883687496185303}\n",
+      "{'epoch': 0, 'update in batch': 10129, '/': 12375, 'loss': 6.9764580726623535}\n",
+      "{'epoch': 0, 'update in batch': 10130, '/': 12375, 'loss': 8.47382640838623}\n",
+      "{'epoch': 0, 'update in batch': 10131, '/': 12375, 'loss': 7.859936714172363}\n",
+      "{'epoch': 0, 'update in batch': 10132, '/': 12375, 'loss': 7.8870697021484375}\n",
+      "{'epoch': 0, 'update in batch': 10133, '/': 12375, 'loss': 8.08691692352295}\n",
+      "{'epoch': 0, 'update in batch': 10134, '/': 12375, 'loss': 8.106649398803711}\n",
+      "{'epoch': 0, 'update in batch': 10135, '/': 12375, 'loss': 8.0621337890625}\n",
+      "{'epoch': 0, 'update in batch': 10136, '/': 12375, 'loss': 8.051352500915527}\n",
+      "{'epoch': 0, 'update in batch': 10137, '/': 12375, 'loss': 8.314157485961914}\n",
+      "{'epoch': 0, 'update in batch': 10138, '/': 12375, 'loss': 8.417974472045898}\n",
+      "{'epoch': 0, 'update in batch': 10139, '/': 12375, 'loss': 8.337247848510742}\n",
+      "{'epoch': 0, 'update in batch': 10140, '/': 12375, 'loss': 8.054563522338867}\n",
+      "{'epoch': 0, 'update in batch': 10141, '/': 12375, 'loss': 8.151432037353516}\n",
+      "{'epoch': 0, 'update in batch': 10142, '/': 12375, 'loss': 7.639821529388428}\n",
+      "{'epoch': 0, 'update in batch': 10143, '/': 12375, 'loss': 9.137068748474121}\n",
+      "{'epoch': 0, 'update in batch': 10144, '/': 12375, 'loss': 8.12274169921875}\n",
+      "{'epoch': 0, 'update in batch': 10145, '/': 12375, 'loss': 8.41955852508545}\n",
+      "{'epoch': 0, 'update in batch': 10146, '/': 12375, 'loss': 8.032435417175293}\n",
+      "{'epoch': 0, 'update in batch': 10147, '/': 12375, 'loss': 8.491366386413574}\n",
+      "{'epoch': 0, 'update in batch': 10148, '/': 12375, 'loss': 8.022806167602539}\n",
+      "{'epoch': 0, 'update in batch': 10149, '/': 12375, 'loss': 7.766641139984131}\n",
+      "{'epoch': 0, 'update in batch': 10150, '/': 12375, 'loss': 8.97705364227295}\n",
+      "{'epoch': 0, 'update in batch': 10151, '/': 12375, 'loss': 9.512821197509766}\n",
+      "{'epoch': 0, 'update in batch': 10152, '/': 12375, 'loss': 7.480531215667725}\n",
+      "{'epoch': 0, 'update in batch': 10153, '/': 12375, 'loss': 8.276338577270508}\n",
+      "{'epoch': 0, 'update in batch': 10154, '/': 12375, 'loss': 7.716799259185791}\n",
+      "{'epoch': 0, 'update in batch': 10155, '/': 12375, 'loss': 7.418966770172119}\n",
+      "{'epoch': 0, 'update in batch': 10156, '/': 12375, 'loss': 8.238530158996582}\n",
+      "{'epoch': 0, 'update in batch': 10157, '/': 12375, 'loss': 7.903461456298828}\n",
+      "{'epoch': 0, 'update in batch': 10158, '/': 12375, 'loss': 7.832944393157959}\n",
+      "{'epoch': 0, 'update in batch': 10159, '/': 12375, 'loss': 7.6147613525390625}\n",
+      "{'epoch': 0, 'update in batch': 10160, '/': 12375, 'loss': 7.441620826721191}\n",
+      "{'epoch': 0, 'update in batch': 10161, '/': 12375, 'loss': 8.300554275512695}\n",
+      "{'epoch': 0, 'update in batch': 10162, '/': 12375, 'loss': 8.384103775024414}\n",
+      "{'epoch': 0, 'update in batch': 10163, '/': 12375, 'loss': 8.121399879455566}\n",
+      "{'epoch': 0, 'update in batch': 10164, '/': 12375, 'loss': 8.101327896118164}\n",
+      "{'epoch': 0, 'update in batch': 10165, '/': 12375, 'loss': 8.412079811096191}\n",
+      "{'epoch': 0, 'update in batch': 10166, '/': 12375, 'loss': 8.318937301635742}\n",
+      "{'epoch': 0, 'update in batch': 10167, '/': 12375, 'loss': 8.300622940063477}\n",
+      "{'epoch': 0, 'update in batch': 10168, '/': 12375, 'loss': 8.374404907226562}\n",
+      "{'epoch': 0, 'update in batch': 10169, '/': 12375, 'loss': 8.485278129577637}\n",
+      "{'epoch': 0, 'update in batch': 10170, '/': 12375, 'loss': 8.261301040649414}\n",
+      "{'epoch': 0, 'update in batch': 10171, '/': 12375, 'loss': 7.839280605316162}\n",
+      "{'epoch': 0, 'update in batch': 10172, '/': 12375, 'loss': 7.221165657043457}\n",
+      "{'epoch': 0, 'update in batch': 10173, '/': 12375, 'loss': 7.870025634765625}\n",
+      "{'epoch': 0, 'update in batch': 10174, '/': 12375, 'loss': 7.123837947845459}\n",
+      "{'epoch': 0, 'update in batch': 10175, '/': 12375, 'loss': 6.538114070892334}\n",
+      "{'epoch': 0, 'update in batch': 10176, '/': 12375, 'loss': 8.262012481689453}\n",
+      "{'epoch': 0, 'update in batch': 10177, '/': 12375, 'loss': 7.780362129211426}\n",
+      "{'epoch': 0, 'update in batch': 10178, '/': 12375, 'loss': 8.892441749572754}\n",
+      "{'epoch': 0, 'update in batch': 10179, '/': 12375, 'loss': 7.523163795471191}\n",
+      "{'epoch': 0, 'update in batch': 10180, '/': 12375, 'loss': 8.66575813293457}\n",
+      "{'epoch': 0, 'update in batch': 10181, '/': 12375, 'loss': 7.806267738342285}\n",
+      "{'epoch': 0, 'update in batch': 10182, '/': 12375, 'loss': 7.427659511566162}\n",
+      "{'epoch': 0, 'update in batch': 10183, '/': 12375, 'loss': 7.5335845947265625}\n",
+      "{'epoch': 0, 'update in batch': 10184, '/': 12375, 'loss': 7.305855751037598}\n",
+      "{'epoch': 0, 'update in batch': 10185, '/': 12375, 'loss': 7.820620536804199}\n",
+      "{'epoch': 0, 'update in batch': 10186, '/': 12375, 'loss': 8.541914939880371}\n",
+      "{'epoch': 0, 'update in batch': 10187, '/': 12375, 'loss': 7.061061859130859}\n",
+      "{'epoch': 0, 'update in batch': 10188, '/': 12375, 'loss': 7.390852451324463}\n",
+      "{'epoch': 0, 'update in batch': 10189, '/': 12375, 'loss': 7.020506381988525}\n",
+      "{'epoch': 0, 'update in batch': 10190, '/': 12375, 'loss': 7.494144439697266}\n",
+      "{'epoch': 0, 'update in batch': 10191, '/': 12375, 'loss': 7.619944095611572}\n",
+      "{'epoch': 0, 'update in batch': 10192, '/': 12375, 'loss': 7.360748291015625}\n",
+      "{'epoch': 0, 'update in batch': 10193, '/': 12375, 'loss': 9.102356910705566}\n",
+      "{'epoch': 0, 'update in batch': 10194, '/': 12375, 'loss': 8.325371742248535}\n",
+      "{'epoch': 0, 'update in batch': 10195, '/': 12375, 'loss': 7.7371697425842285}\n",
+      "{'epoch': 0, 'update in batch': 10196, '/': 12375, 'loss': 8.716245651245117}\n",
+      "{'epoch': 0, 'update in batch': 10197, '/': 12375, 'loss': 8.785512924194336}\n",
+      "{'epoch': 0, 'update in batch': 10198, '/': 12375, 'loss': 8.502433776855469}\n",
+      "{'epoch': 0, 'update in batch': 10199, '/': 12375, 'loss': 8.608085632324219}\n",
+      "{'epoch': 0, 'update in batch': 10200, '/': 12375, 'loss': 7.609051704406738}\n",
+      "{'epoch': 0, 'update in batch': 10201, '/': 12375, 'loss': 8.308082580566406}\n",
+      "{'epoch': 0, 'update in batch': 10202, '/': 12375, 'loss': 8.71337890625}\n",
+      "{'epoch': 0, 'update in batch': 10203, '/': 12375, 'loss': 8.025619506835938}\n",
+      "{'epoch': 0, 'update in batch': 10204, '/': 12375, 'loss': 7.735739707946777}\n",
+      "{'epoch': 0, 'update in batch': 10205, '/': 12375, 'loss': 7.720690727233887}\n",
+      "{'epoch': 0, 'update in batch': 10206, '/': 12375, 'loss': 8.212957382202148}\n",
+      "{'epoch': 0, 'update in batch': 10207, '/': 12375, 'loss': 7.9770002365112305}\n",
+      "{'epoch': 0, 'update in batch': 10208, '/': 12375, 'loss': 8.212417602539062}\n",
+      "{'epoch': 0, 'update in batch': 10209, '/': 12375, 'loss': 8.832969665527344}\n",
+      "{'epoch': 0, 'update in batch': 10210, '/': 12375, 'loss': 8.79174518585205}\n",
+      "{'epoch': 0, 'update in batch': 10211, '/': 12375, 'loss': 8.957595825195312}\n",
+      "{'epoch': 0, 'update in batch': 10212, '/': 12375, 'loss': 8.125834465026855}\n",
+      "{'epoch': 0, 'update in batch': 10213, '/': 12375, 'loss': 8.309612274169922}\n",
+      "{'epoch': 0, 'update in batch': 10214, '/': 12375, 'loss': 8.404983520507812}\n",
+      "{'epoch': 0, 'update in batch': 10215, '/': 12375, 'loss': 8.267959594726562}\n",
+      "{'epoch': 0, 'update in batch': 10216, '/': 12375, 'loss': 7.930655479431152}\n",
+      "{'epoch': 0, 'update in batch': 10217, '/': 12375, 'loss': 8.479862213134766}\n",
+      "{'epoch': 0, 'update in batch': 10218, '/': 12375, 'loss': 8.224576950073242}\n",
+      "{'epoch': 0, 'update in batch': 10219, '/': 12375, 'loss': 7.7765045166015625}\n",
+      "{'epoch': 0, 'update in batch': 10220, '/': 12375, 'loss': 8.886894226074219}\n",
+      "{'epoch': 0, 'update in batch': 10221, '/': 12375, 'loss': 7.295416355133057}\n",
+      "{'epoch': 0, 'update in batch': 10222, '/': 12375, 'loss': 7.96976375579834}\n",
+      "{'epoch': 0, 'update in batch': 10223, '/': 12375, 'loss': 7.647531986236572}\n",
+      "{'epoch': 0, 'update in batch': 10224, '/': 12375, 'loss': 7.7800445556640625}\n",
+      "{'epoch': 0, 'update in batch': 10225, '/': 12375, 'loss': 7.377139091491699}\n",
+      "{'epoch': 0, 'update in batch': 10226, '/': 12375, 'loss': 7.067756652832031}\n",
+      "{'epoch': 0, 'update in batch': 10227, '/': 12375, 'loss': 7.0479888916015625}\n",
+      "{'epoch': 0, 'update in batch': 10228, '/': 12375, 'loss': 7.129371643066406}\n",
+      "{'epoch': 0, 'update in batch': 10229, '/': 12375, 'loss': 7.337464332580566}\n",
+      "{'epoch': 0, 'update in batch': 10230, '/': 12375, 'loss': 7.539066314697266}\n",
+      "{'epoch': 0, 'update in batch': 10231, '/': 12375, 'loss': 7.339998722076416}\n",
+      "{'epoch': 0, 'update in batch': 10232, '/': 12375, 'loss': 7.332579135894775}\n",
+      "{'epoch': 0, 'update in batch': 10233, '/': 12375, 'loss': 7.834651947021484}\n",
+      "{'epoch': 0, 'update in batch': 10234, '/': 12375, 'loss': 8.578634262084961}\n",
+      "{'epoch': 0, 'update in batch': 10235, '/': 12375, 'loss': 8.962130546569824}\n",
+      "{'epoch': 0, 'update in batch': 10236, '/': 12375, 'loss': 9.197296142578125}\n",
+      "{'epoch': 0, 'update in batch': 10237, '/': 12375, 'loss': 8.538766860961914}\n",
+      "{'epoch': 0, 'update in batch': 10238, '/': 12375, 'loss': 7.979159355163574}\n",
+      "{'epoch': 0, 'update in batch': 10239, '/': 12375, 'loss': 8.407658576965332}\n",
+      "{'epoch': 0, 'update in batch': 10240, '/': 12375, 'loss': 7.579732418060303}\n",
+      "{'epoch': 0, 'update in batch': 10241, '/': 12375, 'loss': 7.41394567489624}\n",
+      "{'epoch': 0, 'update in batch': 10242, '/': 12375, 'loss': 7.02095890045166}\n",
+      "{'epoch': 0, 'update in batch': 10243, '/': 12375, 'loss': 7.328453063964844}\n",
+      "{'epoch': 0, 'update in batch': 10244, '/': 12375, 'loss': 7.7319231033325195}\n",
+      "{'epoch': 0, 'update in batch': 10245, '/': 12375, 'loss': 7.132536888122559}\n",
+      "{'epoch': 0, 'update in batch': 10246, '/': 12375, 'loss': 7.620915412902832}\n",
+      "{'epoch': 0, 'update in batch': 10247, '/': 12375, 'loss': 7.993739128112793}\n",
+      "{'epoch': 0, 'update in batch': 10248, '/': 12375, 'loss': 7.751700401306152}\n",
+      "{'epoch': 0, 'update in batch': 10249, '/': 12375, 'loss': 7.962754249572754}\n",
+      "{'epoch': 0, 'update in batch': 10250, '/': 12375, 'loss': 9.481700897216797}\n",
+      "{'epoch': 0, 'update in batch': 10251, '/': 12375, 'loss': 8.771987915039062}\n",
+      "{'epoch': 0, 'update in batch': 10252, '/': 12375, 'loss': 8.34335994720459}\n",
+      "{'epoch': 0, 'update in batch': 10253, '/': 12375, 'loss': 8.14133071899414}\n",
+      "{'epoch': 0, 'update in batch': 10254, '/': 12375, 'loss': 8.498937606811523}\n",
+      "{'epoch': 0, 'update in batch': 10255, '/': 12375, 'loss': 9.634038925170898}\n",
+      "{'epoch': 0, 'update in batch': 10256, '/': 12375, 'loss': 8.095087051391602}\n",
+      "{'epoch': 0, 'update in batch': 10257, '/': 12375, 'loss': 7.961787223815918}\n",
+      "{'epoch': 0, 'update in batch': 10258, '/': 12375, 'loss': 7.832820892333984}\n",
+      "{'epoch': 0, 'update in batch': 10259, '/': 12375, 'loss': 7.801017761230469}\n",
+      "{'epoch': 0, 'update in batch': 10260, '/': 12375, 'loss': 7.385561943054199}\n",
+      "{'epoch': 0, 'update in batch': 10261, '/': 12375, 'loss': 6.6291399002075195}\n",
+      "{'epoch': 0, 'update in batch': 10262, '/': 12375, 'loss': 7.5246262550354}\n",
+      "{'epoch': 0, 'update in batch': 10263, '/': 12375, 'loss': 8.010038375854492}\n",
+      "{'epoch': 0, 'update in batch': 10264, '/': 12375, 'loss': 6.521616458892822}\n",
+      "{'epoch': 0, 'update in batch': 10265, '/': 12375, 'loss': 6.9921674728393555}\n",
+      "{'epoch': 0, 'update in batch': 10266, '/': 12375, 'loss': 7.447949409484863}\n",
+      "{'epoch': 0, 'update in batch': 10267, '/': 12375, 'loss': 8.377053260803223}\n",
+      "{'epoch': 0, 'update in batch': 10268, '/': 12375, 'loss': 6.769899845123291}\n",
+      "{'epoch': 0, 'update in batch': 10269, '/': 12375, 'loss': 7.0979743003845215}\n",
+      "{'epoch': 0, 'update in batch': 10270, '/': 12375, 'loss': 8.53088665008545}\n",
+      "{'epoch': 0, 'update in batch': 10271, '/': 12375, 'loss': 7.543708801269531}\n",
+      "{'epoch': 0, 'update in batch': 10272, '/': 12375, 'loss': 7.886923313140869}\n",
+      "{'epoch': 0, 'update in batch': 10273, '/': 12375, 'loss': 8.386042594909668}\n",
+      "{'epoch': 0, 'update in batch': 10274, '/': 12375, 'loss': 7.670828819274902}\n",
+      "{'epoch': 0, 'update in batch': 10275, '/': 12375, 'loss': 8.377985000610352}\n",
+      "{'epoch': 0, 'update in batch': 10276, '/': 12375, 'loss': 8.345373153686523}\n",
+      "{'epoch': 0, 'update in batch': 10277, '/': 12375, 'loss': 9.182880401611328}\n",
+      "{'epoch': 0, 'update in batch': 10278, '/': 12375, 'loss': 8.871932983398438}\n",
+      "{'epoch': 0, 'update in batch': 10279, '/': 12375, 'loss': 7.506697177886963}\n",
+      "{'epoch': 0, 'update in batch': 10280, '/': 12375, 'loss': 8.039968490600586}\n",
+      "{'epoch': 0, 'update in batch': 10281, '/': 12375, 'loss': 8.694374084472656}\n",
+      "{'epoch': 0, 'update in batch': 10282, '/': 12375, 'loss': 8.63225269317627}\n",
+      "{'epoch': 0, 'update in batch': 10283, '/': 12375, 'loss': 7.165297031402588}\n",
+      "{'epoch': 0, 'update in batch': 10284, '/': 12375, 'loss': 7.3869948387146}\n",
+      "{'epoch': 0, 'update in batch': 10285, '/': 12375, 'loss': 7.173417568206787}\n",
+      "{'epoch': 0, 'update in batch': 10286, '/': 12375, 'loss': 8.502043724060059}\n",
+      "{'epoch': 0, 'update in batch': 10287, '/': 12375, 'loss': 8.676447868347168}\n",
+      "{'epoch': 0, 'update in batch': 10288, '/': 12375, 'loss': 7.699690341949463}\n",
+      "{'epoch': 0, 'update in batch': 10289, '/': 12375, 'loss': 7.851129055023193}\n",
+      "{'epoch': 0, 'update in batch': 10290, '/': 12375, 'loss': 8.453862190246582}\n",
+      "{'epoch': 0, 'update in batch': 10291, '/': 12375, 'loss': 8.246110916137695}\n",
+      "{'epoch': 0, 'update in batch': 10292, '/': 12375, 'loss': 8.479059219360352}\n",
+      "{'epoch': 0, 'update in batch': 10293, '/': 12375, 'loss': 8.163066864013672}\n",
+      "{'epoch': 0, 'update in batch': 10294, '/': 12375, 'loss': 8.242144584655762}\n",
+      "{'epoch': 0, 'update in batch': 10295, '/': 12375, 'loss': 8.565645217895508}\n",
+      "{'epoch': 0, 'update in batch': 10296, '/': 12375, 'loss': 8.979445457458496}\n",
+      "{'epoch': 0, 'update in batch': 10297, '/': 12375, 'loss': 9.060415267944336}\n",
+      "{'epoch': 0, 'update in batch': 10298, '/': 12375, 'loss': 8.816972732543945}\n",
+      "{'epoch': 0, 'update in batch': 10299, '/': 12375, 'loss': 8.085171699523926}\n",
+      "{'epoch': 0, 'update in batch': 10300, '/': 12375, 'loss': 8.5604887008667}\n",
+      "{'epoch': 0, 'update in batch': 10301, '/': 12375, 'loss': 8.203699111938477}\n",
+      "{'epoch': 0, 'update in batch': 10302, '/': 12375, 'loss': 7.720472812652588}\n",
+      "{'epoch': 0, 'update in batch': 10303, '/': 12375, 'loss': 7.849287509918213}\n",
+      "{'epoch': 0, 'update in batch': 10304, '/': 12375, 'loss': 8.76752758026123}\n",
+      "{'epoch': 0, 'update in batch': 10305, '/': 12375, 'loss': 7.610111236572266}\n",
+      "{'epoch': 0, 'update in batch': 10306, '/': 12375, 'loss': 6.398296356201172}\n",
+      "{'epoch': 0, 'update in batch': 10307, '/': 12375, 'loss': 7.333488464355469}\n",
+      "{'epoch': 0, 'update in batch': 10308, '/': 12375, 'loss': 6.633444309234619}\n",
+      "{'epoch': 0, 'update in batch': 10309, '/': 12375, 'loss': 8.081925392150879}\n",
+      "{'epoch': 0, 'update in batch': 10310, '/': 12375, 'loss': 7.732810974121094}\n",
+      "{'epoch': 0, 'update in batch': 10311, '/': 12375, 'loss': 7.773475646972656}\n",
+      "{'epoch': 0, 'update in batch': 10312, '/': 12375, 'loss': 9.196382522583008}\n",
+      "{'epoch': 0, 'update in batch': 10313, '/': 12375, 'loss': 8.505941390991211}\n",
+      "{'epoch': 0, 'update in batch': 10314, '/': 12375, 'loss': 8.392732620239258}\n",
+      "{'epoch': 0, 'update in batch': 10315, '/': 12375, 'loss': 8.47282886505127}\n",
+      "{'epoch': 0, 'update in batch': 10316, '/': 12375, 'loss': 8.264120101928711}\n",
+      "{'epoch': 0, 'update in batch': 10317, '/': 12375, 'loss': 8.105219841003418}\n",
+      "{'epoch': 0, 'update in batch': 10318, '/': 12375, 'loss': 7.664654731750488}\n",
+      "{'epoch': 0, 'update in batch': 10319, '/': 12375, 'loss': 8.96273422241211}\n",
+      "{'epoch': 0, 'update in batch': 10320, '/': 12375, 'loss': 8.0775728225708}\n",
+      "{'epoch': 0, 'update in batch': 10321, '/': 12375, 'loss': 9.019587516784668}\n",
+      "{'epoch': 0, 'update in batch': 10322, '/': 12375, 'loss': 8.906458854675293}\n",
+      "{'epoch': 0, 'update in batch': 10323, '/': 12375, 'loss': 8.501607894897461}\n",
+      "{'epoch': 0, 'update in batch': 10324, '/': 12375, 'loss': 8.745260238647461}\n",
+      "{'epoch': 0, 'update in batch': 10325, '/': 12375, 'loss': 8.03548812866211}\n",
+      "{'epoch': 0, 'update in batch': 10326, '/': 12375, 'loss': 8.076803207397461}\n",
+      "{'epoch': 0, 'update in batch': 10327, '/': 12375, 'loss': 7.986108303070068}\n",
+      "{'epoch': 0, 'update in batch': 10328, '/': 12375, 'loss': 8.9559907913208}\n",
+      "{'epoch': 0, 'update in batch': 10329, '/': 12375, 'loss': 8.683582305908203}\n",
+      "{'epoch': 0, 'update in batch': 10330, '/': 12375, 'loss': 8.451025009155273}\n",
+      "{'epoch': 0, 'update in batch': 10331, '/': 12375, 'loss': 7.8047380447387695}\n",
+      "{'epoch': 0, 'update in batch': 10332, '/': 12375, 'loss': 8.812004089355469}\n",
+      "{'epoch': 0, 'update in batch': 10333, '/': 12375, 'loss': 8.604584693908691}\n",
+      "{'epoch': 0, 'update in batch': 10334, '/': 12375, 'loss': 8.173689842224121}\n",
+      "{'epoch': 0, 'update in batch': 10335, '/': 12375, 'loss': 9.306439399719238}\n",
+      "{'epoch': 0, 'update in batch': 10336, '/': 12375, 'loss': 7.8540849685668945}\n",
+      "{'epoch': 0, 'update in batch': 10337, '/': 12375, 'loss': 7.618999481201172}\n",
+      "{'epoch': 0, 'update in batch': 10338, '/': 12375, 'loss': 7.663355350494385}\n",
+      "{'epoch': 0, 'update in batch': 10339, '/': 12375, 'loss': 9.326589584350586}\n",
+      "{'epoch': 0, 'update in batch': 10340, '/': 12375, 'loss': 7.688044548034668}\n",
+      "{'epoch': 0, 'update in batch': 10341, '/': 12375, 'loss': 7.272770881652832}\n",
+      "{'epoch': 0, 'update in batch': 10342, '/': 12375, 'loss': 7.773654937744141}\n",
+      "{'epoch': 0, 'update in batch': 10343, '/': 12375, 'loss': 8.141571998596191}\n",
+      "{'epoch': 0, 'update in batch': 10344, '/': 12375, 'loss': 7.589069366455078}\n",
+      "{'epoch': 0, 'update in batch': 10345, '/': 12375, 'loss': 6.704228401184082}\n",
+      "{'epoch': 0, 'update in batch': 10346, '/': 12375, 'loss': 6.5577874183654785}\n",
+      "{'epoch': 0, 'update in batch': 10347, '/': 12375, 'loss': 7.851346015930176}\n",
+      "{'epoch': 0, 'update in batch': 10348, '/': 12375, 'loss': 8.070463180541992}\n",
+      "{'epoch': 0, 'update in batch': 10349, '/': 12375, 'loss': 8.39043140411377}\n",
+      "{'epoch': 0, 'update in batch': 10350, '/': 12375, 'loss': 8.073372840881348}\n",
+      "{'epoch': 0, 'update in batch': 10351, '/': 12375, 'loss': 7.941888332366943}\n",
+      "{'epoch': 0, 'update in batch': 10352, '/': 12375, 'loss': 8.201562881469727}\n",
+      "{'epoch': 0, 'update in batch': 10353, '/': 12375, 'loss': 7.997435569763184}\n",
+      "{'epoch': 0, 'update in batch': 10354, '/': 12375, 'loss': 8.798494338989258}\n",
+      "{'epoch': 0, 'update in batch': 10355, '/': 12375, 'loss': 8.825353622436523}\n",
+      "{'epoch': 0, 'update in batch': 10356, '/': 12375, 'loss': 7.638401985168457}\n",
+      "{'epoch': 0, 'update in batch': 10357, '/': 12375, 'loss': 7.551907539367676}\n",
+      "{'epoch': 0, 'update in batch': 10358, '/': 12375, 'loss': 7.117169380187988}\n",
+      "{'epoch': 0, 'update in batch': 10359, '/': 12375, 'loss': 8.834253311157227}\n",
+      "{'epoch': 0, 'update in batch': 10360, '/': 12375, 'loss': 6.722552299499512}\n",
+      "{'epoch': 0, 'update in batch': 10361, '/': 12375, 'loss': 7.0916924476623535}\n",
+      "{'epoch': 0, 'update in batch': 10362, '/': 12375, 'loss': 6.830694675445557}\n",
+      "{'epoch': 0, 'update in batch': 10363, '/': 12375, 'loss': 8.381085395812988}\n",
+      "{'epoch': 0, 'update in batch': 10364, '/': 12375, 'loss': 7.818219184875488}\n",
+      "{'epoch': 0, 'update in batch': 10365, '/': 12375, 'loss': 8.3472900390625}\n",
+      "{'epoch': 0, 'update in batch': 10366, '/': 12375, 'loss': 8.161340713500977}\n",
+      "{'epoch': 0, 'update in batch': 10367, '/': 12375, 'loss': 6.885048866271973}\n",
+      "{'epoch': 0, 'update in batch': 10368, '/': 12375, 'loss': 8.0956449508667}\n",
+      "{'epoch': 0, 'update in batch': 10369, '/': 12375, 'loss': 7.030498504638672}\n",
+      "{'epoch': 0, 'update in batch': 10370, '/': 12375, 'loss': 6.8929033279418945}\n",
+      "{'epoch': 0, 'update in batch': 10371, '/': 12375, 'loss': 7.107731819152832}\n",
+      "{'epoch': 0, 'update in batch': 10372, '/': 12375, 'loss': 7.886061668395996}\n",
+      "{'epoch': 0, 'update in batch': 10373, '/': 12375, 'loss': 8.008262634277344}\n",
+      "{'epoch': 0, 'update in batch': 10374, '/': 12375, 'loss': 6.676814079284668}\n",
+      "{'epoch': 0, 'update in batch': 10375, '/': 12375, 'loss': 7.338855743408203}\n",
+      "{'epoch': 0, 'update in batch': 10376, '/': 12375, 'loss': 7.882335662841797}\n",
+      "{'epoch': 0, 'update in batch': 10377, '/': 12375, 'loss': 7.951569557189941}\n",
+      "{'epoch': 0, 'update in batch': 10378, '/': 12375, 'loss': 7.688639163970947}\n",
+      "{'epoch': 0, 'update in batch': 10379, '/': 12375, 'loss': 7.270459175109863}\n",
+      "{'epoch': 0, 'update in batch': 10380, '/': 12375, 'loss': 7.885977745056152}\n",
+      "{'epoch': 0, 'update in batch': 10381, '/': 12375, 'loss': 8.428882598876953}\n",
+      "{'epoch': 0, 'update in batch': 10382, '/': 12375, 'loss': 7.6658830642700195}\n",
+      "{'epoch': 0, 'update in batch': 10383, '/': 12375, 'loss': 7.303922176361084}\n",
+      "{'epoch': 0, 'update in batch': 10384, '/': 12375, 'loss': 8.106046676635742}\n",
+      "{'epoch': 0, 'update in batch': 10385, '/': 12375, 'loss': 7.912281036376953}\n",
+      "{'epoch': 0, 'update in batch': 10386, '/': 12375, 'loss': 9.095758438110352}\n",
+      "{'epoch': 0, 'update in batch': 10387, '/': 12375, 'loss': 8.298816680908203}\n",
+      "{'epoch': 0, 'update in batch': 10388, '/': 12375, 'loss': 8.073936462402344}\n",
+      "{'epoch': 0, 'update in batch': 10389, '/': 12375, 'loss': 9.22886848449707}\n",
+      "{'epoch': 0, 'update in batch': 10390, '/': 12375, 'loss': 8.09801959991455}\n",
+      "{'epoch': 0, 'update in batch': 10391, '/': 12375, 'loss': 8.360380172729492}\n",
+      "{'epoch': 0, 'update in batch': 10392, '/': 12375, 'loss': 8.021308898925781}\n",
+      "{'epoch': 0, 'update in batch': 10393, '/': 12375, 'loss': 8.0484619140625}\n",
+      "{'epoch': 0, 'update in batch': 10394, '/': 12375, 'loss': 7.971539497375488}\n",
+      "{'epoch': 0, 'update in batch': 10395, '/': 12375, 'loss': 7.46538782119751}\n",
+      "{'epoch': 0, 'update in batch': 10396, '/': 12375, 'loss': 8.383770942687988}\n",
+      "{'epoch': 0, 'update in batch': 10397, '/': 12375, 'loss': 8.514930725097656}\n",
+      "{'epoch': 0, 'update in batch': 10398, '/': 12375, 'loss': 8.795218467712402}\n",
+      "{'epoch': 0, 'update in batch': 10399, '/': 12375, 'loss': 9.102546691894531}\n",
+      "{'epoch': 0, 'update in batch': 10400, '/': 12375, 'loss': 7.748088836669922}\n",
+      "{'epoch': 0, 'update in batch': 10401, '/': 12375, 'loss': 8.431917190551758}\n",
+      "{'epoch': 0, 'update in batch': 10402, '/': 12375, 'loss': 8.345484733581543}\n",
+      "{'epoch': 0, 'update in batch': 10403, '/': 12375, 'loss': 9.869243621826172}\n",
+      "{'epoch': 0, 'update in batch': 10404, '/': 12375, 'loss': 8.810328483581543}\n",
+      "{'epoch': 0, 'update in batch': 10405, '/': 12375, 'loss': 8.40040397644043}\n",
+      "{'epoch': 0, 'update in batch': 10406, '/': 12375, 'loss': 8.315608978271484}\n",
+      "{'epoch': 0, 'update in batch': 10407, '/': 12375, 'loss': 8.019630432128906}\n",
+      "{'epoch': 0, 'update in batch': 10408, '/': 12375, 'loss': 7.430405616760254}\n",
+      "{'epoch': 0, 'update in batch': 10409, '/': 12375, 'loss': 7.464066982269287}\n",
+      "{'epoch': 0, 'update in batch': 10410, '/': 12375, 'loss': 7.100523471832275}\n",
+      "{'epoch': 0, 'update in batch': 10411, '/': 12375, 'loss': 8.554335594177246}\n",
+      "{'epoch': 0, 'update in batch': 10412, '/': 12375, 'loss': 8.445950508117676}\n",
+      "{'epoch': 0, 'update in batch': 10413, '/': 12375, 'loss': 8.236615180969238}\n",
+      "{'epoch': 0, 'update in batch': 10414, '/': 12375, 'loss': 9.38838005065918}\n",
+      "{'epoch': 0, 'update in batch': 10415, '/': 12375, 'loss': 8.708776473999023}\n",
+      "{'epoch': 0, 'update in batch': 10416, '/': 12375, 'loss': 8.034597396850586}\n",
+      "{'epoch': 0, 'update in batch': 10417, '/': 12375, 'loss': 8.193897247314453}\n",
+      "{'epoch': 0, 'update in batch': 10418, '/': 12375, 'loss': 7.099764823913574}\n",
+      "{'epoch': 0, 'update in batch': 10419, '/': 12375, 'loss': 7.899214267730713}\n",
+      "{'epoch': 0, 'update in batch': 10420, '/': 12375, 'loss': 8.489758491516113}\n",
+      "{'epoch': 0, 'update in batch': 10421, '/': 12375, 'loss': 8.024236679077148}\n",
+      "{'epoch': 0, 'update in batch': 10422, '/': 12375, 'loss': 8.40703010559082}\n",
+      "{'epoch': 0, 'update in batch': 10423, '/': 12375, 'loss': 7.564380645751953}\n",
+      "{'epoch': 0, 'update in batch': 10424, '/': 12375, 'loss': 7.7744245529174805}\n",
+      "{'epoch': 0, 'update in batch': 10425, '/': 12375, 'loss': 7.344023704528809}\n",
+      "{'epoch': 0, 'update in batch': 10426, '/': 12375, 'loss': 7.1030592918396}\n",
+      "{'epoch': 0, 'update in batch': 10427, '/': 12375, 'loss': 7.024531364440918}\n",
+      "{'epoch': 0, 'update in batch': 10428, '/': 12375, 'loss': 8.0227689743042}\n",
+      "{'epoch': 0, 'update in batch': 10429, '/': 12375, 'loss': 7.645885467529297}\n",
+      "{'epoch': 0, 'update in batch': 10430, '/': 12375, 'loss': 8.473742485046387}\n",
+      "{'epoch': 0, 'update in batch': 10431, '/': 12375, 'loss': 8.101165771484375}\n",
+      "{'epoch': 0, 'update in batch': 10432, '/': 12375, 'loss': 8.085229873657227}\n",
+      "{'epoch': 0, 'update in batch': 10433, '/': 12375, 'loss': 8.082168579101562}\n",
+      "{'epoch': 0, 'update in batch': 10434, '/': 12375, 'loss': 8.341768264770508}\n",
+      "{'epoch': 0, 'update in batch': 10435, '/': 12375, 'loss': 7.789167881011963}\n",
+      "{'epoch': 0, 'update in batch': 10436, '/': 12375, 'loss': 8.44981575012207}\n",
+      "{'epoch': 0, 'update in batch': 10437, '/': 12375, 'loss': 8.338464736938477}\n",
+      "{'epoch': 0, 'update in batch': 10438, '/': 12375, 'loss': 7.696189880371094}\n",
+      "{'epoch': 0, 'update in batch': 10439, '/': 12375, 'loss': 8.14095401763916}\n",
+      "{'epoch': 0, 'update in batch': 10440, '/': 12375, 'loss': 7.7899489402771}\n",
+      "{'epoch': 0, 'update in batch': 10441, '/': 12375, 'loss': 7.5453009605407715}\n",
+      "{'epoch': 0, 'update in batch': 10442, '/': 12375, 'loss': 7.884122371673584}\n",
+      "{'epoch': 0, 'update in batch': 10443, '/': 12375, 'loss': 8.092442512512207}\n",
+      "{'epoch': 0, 'update in batch': 10444, '/': 12375, 'loss': 8.979584693908691}\n",
+      "{'epoch': 0, 'update in batch': 10445, '/': 12375, 'loss': 8.503064155578613}\n",
+      "{'epoch': 0, 'update in batch': 10446, '/': 12375, 'loss': 7.508549690246582}\n",
+      "{'epoch': 0, 'update in batch': 10447, '/': 12375, 'loss': 8.680567741394043}\n",
+      "{'epoch': 0, 'update in batch': 10448, '/': 12375, 'loss': 9.041342735290527}\n",
+      "{'epoch': 0, 'update in batch': 10449, '/': 12375, 'loss': 8.05710506439209}\n",
+      "{'epoch': 0, 'update in batch': 10450, '/': 12375, 'loss': 8.910540580749512}\n",
+      "{'epoch': 0, 'update in batch': 10451, '/': 12375, 'loss': 8.175532341003418}\n",
+      "{'epoch': 0, 'update in batch': 10452, '/': 12375, 'loss': 8.271307945251465}\n",
+      "{'epoch': 0, 'update in batch': 10453, '/': 12375, 'loss': 8.119623184204102}\n",
+      "{'epoch': 0, 'update in batch': 10454, '/': 12375, 'loss': 8.478826522827148}\n",
+      "{'epoch': 0, 'update in batch': 10455, '/': 12375, 'loss': 8.862133979797363}\n",
+      "{'epoch': 0, 'update in batch': 10456, '/': 12375, 'loss': 8.560839653015137}\n",
+      "{'epoch': 0, 'update in batch': 10457, '/': 12375, 'loss': 8.137089729309082}\n",
+      "{'epoch': 0, 'update in batch': 10458, '/': 12375, 'loss': 8.515718460083008}\n",
+      "{'epoch': 0, 'update in batch': 10459, '/': 12375, 'loss': 7.679491996765137}\n",
+      "{'epoch': 0, 'update in batch': 10460, '/': 12375, 'loss': 8.10734748840332}\n",
+      "{'epoch': 0, 'update in batch': 10461, '/': 12375, 'loss': 8.30730152130127}\n",
+      "{'epoch': 0, 'update in batch': 10462, '/': 12375, 'loss': 7.745108127593994}\n",
+      "{'epoch': 0, 'update in batch': 10463, '/': 12375, 'loss': 7.693018436431885}\n",
+      "{'epoch': 0, 'update in batch': 10464, '/': 12375, 'loss': 8.90002155303955}\n",
+      "{'epoch': 0, 'update in batch': 10465, '/': 12375, 'loss': 7.033575534820557}\n",
+      "{'epoch': 0, 'update in batch': 10466, '/': 12375, 'loss': 8.310907363891602}\n",
+      "{'epoch': 0, 'update in batch': 10467, '/': 12375, 'loss': 8.265348434448242}\n",
+      "{'epoch': 0, 'update in batch': 10468, '/': 12375, 'loss': 9.132715225219727}\n",
+      "{'epoch': 0, 'update in batch': 10469, '/': 12375, 'loss': 7.465559482574463}\n",
+      "{'epoch': 0, 'update in batch': 10470, '/': 12375, 'loss': 7.470953941345215}\n",
+      "{'epoch': 0, 'update in batch': 10471, '/': 12375, 'loss': 8.45598030090332}\n",
+      "{'epoch': 0, 'update in batch': 10472, '/': 12375, 'loss': 8.773773193359375}\n",
+      "{'epoch': 0, 'update in batch': 10473, '/': 12375, 'loss': 8.269088745117188}\n",
+      "{'epoch': 0, 'update in batch': 10474, '/': 12375, 'loss': 7.2928924560546875}\n",
+      "{'epoch': 0, 'update in batch': 10475, '/': 12375, 'loss': 7.391387939453125}\n",
+      "{'epoch': 0, 'update in batch': 10476, '/': 12375, 'loss': 8.465245246887207}\n",
+      "{'epoch': 0, 'update in batch': 10477, '/': 12375, 'loss': 7.735495090484619}\n",
+      "{'epoch': 0, 'update in batch': 10478, '/': 12375, 'loss': 7.453579902648926}\n",
+      "{'epoch': 0, 'update in batch': 10479, '/': 12375, 'loss': 6.888227939605713}\n",
+      "{'epoch': 0, 'update in batch': 10480, '/': 12375, 'loss': 6.898962497711182}\n",
+      "{'epoch': 0, 'update in batch': 10481, '/': 12375, 'loss': 7.583244323730469}\n",
+      "{'epoch': 0, 'update in batch': 10482, '/': 12375, 'loss': 7.96215295791626}\n",
+      "{'epoch': 0, 'update in batch': 10483, '/': 12375, 'loss': 8.59078311920166}\n",
+      "{'epoch': 0, 'update in batch': 10484, '/': 12375, 'loss': 8.397340774536133}\n",
+      "{'epoch': 0, 'update in batch': 10485, '/': 12375, 'loss': 8.21255874633789}\n",
+      "{'epoch': 0, 'update in batch': 10486, '/': 12375, 'loss': 8.534887313842773}\n",
+      "{'epoch': 0, 'update in batch': 10487, '/': 12375, 'loss': 9.007080078125}\n",
+      "{'epoch': 0, 'update in batch': 10488, '/': 12375, 'loss': 8.600391387939453}\n",
+      "{'epoch': 0, 'update in batch': 10489, '/': 12375, 'loss': 8.724342346191406}\n",
+      "{'epoch': 0, 'update in batch': 10490, '/': 12375, 'loss': 8.474210739135742}\n",
+      "{'epoch': 0, 'update in batch': 10491, '/': 12375, 'loss': 8.900426864624023}\n",
+      "{'epoch': 0, 'update in batch': 10492, '/': 12375, 'loss': 8.912337303161621}\n",
+      "{'epoch': 0, 'update in batch': 10493, '/': 12375, 'loss': 8.122088432312012}\n",
+      "{'epoch': 0, 'update in batch': 10494, '/': 12375, 'loss': 8.451316833496094}\n",
+      "{'epoch': 0, 'update in batch': 10495, '/': 12375, 'loss': 8.03999137878418}\n",
+      "{'epoch': 0, 'update in batch': 10496, '/': 12375, 'loss': 7.5128655433654785}\n",
+      "{'epoch': 0, 'update in batch': 10497, '/': 12375, 'loss': 7.732669830322266}\n",
+      "{'epoch': 0, 'update in batch': 10498, '/': 12375, 'loss': 7.3240251541137695}\n",
+      "{'epoch': 0, 'update in batch': 10499, '/': 12375, 'loss': 8.033178329467773}\n",
+      "{'epoch': 0, 'update in batch': 10500, '/': 12375, 'loss': 7.820731163024902}\n",
+      "{'epoch': 0, 'update in batch': 10501, '/': 12375, 'loss': 7.833294868469238}\n",
+      "{'epoch': 0, 'update in batch': 10502, '/': 12375, 'loss': 7.630697727203369}\n",
+      "{'epoch': 0, 'update in batch': 10503, '/': 12375, 'loss': 7.430609703063965}\n",
+      "{'epoch': 0, 'update in batch': 10504, '/': 12375, 'loss': 7.980820655822754}\n",
+      "{'epoch': 0, 'update in batch': 10505, '/': 12375, 'loss': 7.967988014221191}\n",
+      "{'epoch': 0, 'update in batch': 10506, '/': 12375, 'loss': 7.8285231590271}\n",
+      "{'epoch': 0, 'update in batch': 10507, '/': 12375, 'loss': 7.115683555603027}\n",
+      "{'epoch': 0, 'update in batch': 10508, '/': 12375, 'loss': 7.815981388092041}\n",
+      "{'epoch': 0, 'update in batch': 10509, '/': 12375, 'loss': 9.502344131469727}\n",
+      "{'epoch': 0, 'update in batch': 10510, '/': 12375, 'loss': 8.744094848632812}\n",
+      "{'epoch': 0, 'update in batch': 10511, '/': 12375, 'loss': 7.865581512451172}\n",
+      "{'epoch': 0, 'update in batch': 10512, '/': 12375, 'loss': 7.302425384521484}\n",
+      "{'epoch': 0, 'update in batch': 10513, '/': 12375, 'loss': 8.95002555847168}\n",
+      "{'epoch': 0, 'update in batch': 10514, '/': 12375, 'loss': 7.31101131439209}\n",
+      "{'epoch': 0, 'update in batch': 10515, '/': 12375, 'loss': 8.155511856079102}\n",
+      "{'epoch': 0, 'update in batch': 10516, '/': 12375, 'loss': 8.102538108825684}\n",
+      "{'epoch': 0, 'update in batch': 10517, '/': 12375, 'loss': 9.193496704101562}\n",
+      "{'epoch': 0, 'update in batch': 10518, '/': 12375, 'loss': 8.695508003234863}\n",
+      "{'epoch': 0, 'update in batch': 10519, '/': 12375, 'loss': 8.379281997680664}\n",
+      "{'epoch': 0, 'update in batch': 10520, '/': 12375, 'loss': 7.582839012145996}\n",
+      "{'epoch': 0, 'update in batch': 10521, '/': 12375, 'loss': 8.197197914123535}\n",
+      "{'epoch': 0, 'update in batch': 10522, '/': 12375, 'loss': 8.091317176818848}\n",
+      "{'epoch': 0, 'update in batch': 10523, '/': 12375, 'loss': 8.445782661437988}\n",
+      "{'epoch': 0, 'update in batch': 10524, '/': 12375, 'loss': 9.007599830627441}\n",
+      "{'epoch': 0, 'update in batch': 10525, '/': 12375, 'loss': 9.011253356933594}\n",
+      "{'epoch': 0, 'update in batch': 10526, '/': 12375, 'loss': 9.031755447387695}\n",
+      "{'epoch': 0, 'update in batch': 10527, '/': 12375, 'loss': 9.0674409866333}\n",
+      "{'epoch': 0, 'update in batch': 10528, '/': 12375, 'loss': 8.047616958618164}\n",
+      "{'epoch': 0, 'update in batch': 10529, '/': 12375, 'loss': 8.967421531677246}\n",
+      "{'epoch': 0, 'update in batch': 10530, '/': 12375, 'loss': 8.286749839782715}\n",
+      "{'epoch': 0, 'update in batch': 10531, '/': 12375, 'loss': 8.510467529296875}\n",
+      "{'epoch': 0, 'update in batch': 10532, '/': 12375, 'loss': 8.83958625793457}\n",
+      "{'epoch': 0, 'update in batch': 10533, '/': 12375, 'loss': 8.4473876953125}\n",
+      "{'epoch': 0, 'update in batch': 10534, '/': 12375, 'loss': 8.238335609436035}\n",
+      "{'epoch': 0, 'update in batch': 10535, '/': 12375, 'loss': 8.503836631774902}\n",
+      "{'epoch': 0, 'update in batch': 10536, '/': 12375, 'loss': 8.613347053527832}\n",
+      "{'epoch': 0, 'update in batch': 10537, '/': 12375, 'loss': 8.584003448486328}\n",
+      "{'epoch': 0, 'update in batch': 10538, '/': 12375, 'loss': 7.196297645568848}\n",
+      "{'epoch': 0, 'update in batch': 10539, '/': 12375, 'loss': 7.688149452209473}\n",
+      "{'epoch': 0, 'update in batch': 10540, '/': 12375, 'loss': 8.011323928833008}\n",
+      "{'epoch': 0, 'update in batch': 10541, '/': 12375, 'loss': 6.954334259033203}\n",
+      "{'epoch': 0, 'update in batch': 10542, '/': 12375, 'loss': 7.401015281677246}\n",
+      "{'epoch': 0, 'update in batch': 10543, '/': 12375, 'loss': 7.501783847808838}\n",
+      "{'epoch': 0, 'update in batch': 10544, '/': 12375, 'loss': 7.677969455718994}\n",
+      "{'epoch': 0, 'update in batch': 10545, '/': 12375, 'loss': 7.459796905517578}\n",
+      "{'epoch': 0, 'update in batch': 10546, '/': 12375, 'loss': 7.238641262054443}\n",
+      "{'epoch': 0, 'update in batch': 10547, '/': 12375, 'loss': 7.703555107116699}\n",
+      "{'epoch': 0, 'update in batch': 10548, '/': 12375, 'loss': 7.125466346740723}\n",
+      "{'epoch': 0, 'update in batch': 10549, '/': 12375, 'loss': 7.999835014343262}\n",
+      "{'epoch': 0, 'update in batch': 10550, '/': 12375, 'loss': 7.943019866943359}\n",
+      "{'epoch': 0, 'update in batch': 10551, '/': 12375, 'loss': 6.978232383728027}\n",
+      "{'epoch': 0, 'update in batch': 10552, '/': 12375, 'loss': 6.824187278747559}\n",
+      "{'epoch': 0, 'update in batch': 10553, '/': 12375, 'loss': 7.4247636795043945}\n",
+      "{'epoch': 0, 'update in batch': 10554, '/': 12375, 'loss': 7.407444000244141}\n",
+      "{'epoch': 0, 'update in batch': 10555, '/': 12375, 'loss': 7.713203430175781}\n",
+      "{'epoch': 0, 'update in batch': 10556, '/': 12375, 'loss': 7.5578508377075195}\n",
+      "{'epoch': 0, 'update in batch': 10557, '/': 12375, 'loss': 7.218348026275635}\n",
+      "{'epoch': 0, 'update in batch': 10558, '/': 12375, 'loss': 7.734963893890381}\n",
+      "{'epoch': 0, 'update in batch': 10559, '/': 12375, 'loss': 7.270763397216797}\n",
+      "{'epoch': 0, 'update in batch': 10560, '/': 12375, 'loss': 6.4207329750061035}\n",
+      "{'epoch': 0, 'update in batch': 10561, '/': 12375, 'loss': 6.86538028717041}\n",
+      "{'epoch': 0, 'update in batch': 10562, '/': 12375, 'loss': 7.408051490783691}\n",
+      "{'epoch': 0, 'update in batch': 10563, '/': 12375, 'loss': 7.946932792663574}\n",
+      "{'epoch': 0, 'update in batch': 10564, '/': 12375, 'loss': 8.05034065246582}\n",
+      "{'epoch': 0, 'update in batch': 10565, '/': 12375, 'loss': 7.627925872802734}\n",
+      "{'epoch': 0, 'update in batch': 10566, '/': 12375, 'loss': 6.910238742828369}\n",
+      "{'epoch': 0, 'update in batch': 10567, '/': 12375, 'loss': 6.946974277496338}\n",
+      "{'epoch': 0, 'update in batch': 10568, '/': 12375, 'loss': 8.518426895141602}\n",
+      "{'epoch': 0, 'update in batch': 10569, '/': 12375, 'loss': 7.7573747634887695}\n",
+      "{'epoch': 0, 'update in batch': 10570, '/': 12375, 'loss': 9.043068885803223}\n",
+      "{'epoch': 0, 'update in batch': 10571, '/': 12375, 'loss': 8.430729866027832}\n",
+      "{'epoch': 0, 'update in batch': 10572, '/': 12375, 'loss': 7.791358947753906}\n",
+      "{'epoch': 0, 'update in batch': 10573, '/': 12375, 'loss': 8.471173286437988}\n",
+      "{'epoch': 0, 'update in batch': 10574, '/': 12375, 'loss': 8.138428688049316}\n",
+      "{'epoch': 0, 'update in batch': 10575, '/': 12375, 'loss': 10.3784818649292}\n",
+      "{'epoch': 0, 'update in batch': 10576, '/': 12375, 'loss': 8.395745277404785}\n",
+      "{'epoch': 0, 'update in batch': 10577, '/': 12375, 'loss': 7.621679782867432}\n",
+      "{'epoch': 0, 'update in batch': 10578, '/': 12375, 'loss': 8.357359886169434}\n",
+      "{'epoch': 0, 'update in batch': 10579, '/': 12375, 'loss': 8.537156105041504}\n",
+      "{'epoch': 0, 'update in batch': 10580, '/': 12375, 'loss': 8.431560516357422}\n",
+      "{'epoch': 0, 'update in batch': 10581, '/': 12375, 'loss': 8.358949661254883}\n",
+      "{'epoch': 0, 'update in batch': 10582, '/': 12375, 'loss': 8.291436195373535}\n",
+      "{'epoch': 0, 'update in batch': 10583, '/': 12375, 'loss': 7.843796730041504}\n",
+      "{'epoch': 0, 'update in batch': 10584, '/': 12375, 'loss': 8.796096801757812}\n",
+      "{'epoch': 0, 'update in batch': 10585, '/': 12375, 'loss': 8.210553169250488}\n",
+      "{'epoch': 0, 'update in batch': 10586, '/': 12375, 'loss': 9.189901351928711}\n",
+      "{'epoch': 0, 'update in batch': 10587, '/': 12375, 'loss': 7.615268707275391}\n",
+      "{'epoch': 0, 'update in batch': 10588, '/': 12375, 'loss': 8.030631065368652}\n",
+      "{'epoch': 0, 'update in batch': 10589, '/': 12375, 'loss': 7.581523895263672}\n",
+      "{'epoch': 0, 'update in batch': 10590, '/': 12375, 'loss': 6.8975701332092285}\n",
+      "{'epoch': 0, 'update in batch': 10591, '/': 12375, 'loss': 8.100590705871582}\n",
+      "{'epoch': 0, 'update in batch': 10592, '/': 12375, 'loss': 6.819101810455322}\n",
+      "{'epoch': 0, 'update in batch': 10593, '/': 12375, 'loss': 7.881732940673828}\n",
+      "{'epoch': 0, 'update in batch': 10594, '/': 12375, 'loss': 7.423946380615234}\n",
+      "{'epoch': 0, 'update in batch': 10595, '/': 12375, 'loss': 7.703640937805176}\n",
+      "{'epoch': 0, 'update in batch': 10596, '/': 12375, 'loss': 7.340079307556152}\n",
+      "{'epoch': 0, 'update in batch': 10597, '/': 12375, 'loss': 7.7707109451293945}\n",
+      "{'epoch': 0, 'update in batch': 10598, '/': 12375, 'loss': 7.479977607727051}\n",
+      "{'epoch': 0, 'update in batch': 10599, '/': 12375, 'loss': 7.836810111999512}\n",
+      "{'epoch': 0, 'update in batch': 10600, '/': 12375, 'loss': 7.975965976715088}\n",
+      "{'epoch': 0, 'update in batch': 10601, '/': 12375, 'loss': 7.913641929626465}\n",
+      "{'epoch': 0, 'update in batch': 10602, '/': 12375, 'loss': 7.941988468170166}\n",
+      "{'epoch': 0, 'update in batch': 10603, '/': 12375, 'loss': 8.420146942138672}\n",
+      "{'epoch': 0, 'update in batch': 10604, '/': 12375, 'loss': 8.561869621276855}\n",
+      "{'epoch': 0, 'update in batch': 10605, '/': 12375, 'loss': 8.853048324584961}\n",
+      "{'epoch': 0, 'update in batch': 10606, '/': 12375, 'loss': 8.309514999389648}\n",
+      "{'epoch': 0, 'update in batch': 10607, '/': 12375, 'loss': 8.439434051513672}\n",
+      "{'epoch': 0, 'update in batch': 10608, '/': 12375, 'loss': 8.993227005004883}\n",
+      "{'epoch': 0, 'update in batch': 10609, '/': 12375, 'loss': 9.300705909729004}\n",
+      "{'epoch': 0, 'update in batch': 10610, '/': 12375, 'loss': 9.828866958618164}\n",
+      "{'epoch': 0, 'update in batch': 10611, '/': 12375, 'loss': 8.810051918029785}\n",
+      "{'epoch': 0, 'update in batch': 10612, '/': 12375, 'loss': 8.602928161621094}\n",
+      "{'epoch': 0, 'update in batch': 10613, '/': 12375, 'loss': 8.272055625915527}\n",
+      "{'epoch': 0, 'update in batch': 10614, '/': 12375, 'loss': 7.545056343078613}\n",
+      "{'epoch': 0, 'update in batch': 10615, '/': 12375, 'loss': 7.833788871765137}\n",
+      "{'epoch': 0, 'update in batch': 10616, '/': 12375, 'loss': 8.307069778442383}\n",
+      "{'epoch': 0, 'update in batch': 10617, '/': 12375, 'loss': 7.596991062164307}\n",
+      "{'epoch': 0, 'update in batch': 10618, '/': 12375, 'loss': 8.49140739440918}\n",
+      "{'epoch': 0, 'update in batch': 10619, '/': 12375, 'loss': 7.620690822601318}\n",
+      "{'epoch': 0, 'update in batch': 10620, '/': 12375, 'loss': 7.877947807312012}\n",
+      "{'epoch': 0, 'update in batch': 10621, '/': 12375, 'loss': 7.5190019607543945}\n",
+      "{'epoch': 0, 'update in batch': 10622, '/': 12375, 'loss': 8.951952934265137}\n",
+      "{'epoch': 0, 'update in batch': 10623, '/': 12375, 'loss': 7.630748748779297}\n",
+      "{'epoch': 0, 'update in batch': 10624, '/': 12375, 'loss': 7.973515510559082}\n",
+      "{'epoch': 0, 'update in batch': 10625, '/': 12375, 'loss': 7.512876033782959}\n",
+      "{'epoch': 0, 'update in batch': 10626, '/': 12375, 'loss': 7.750359535217285}\n",
+      "{'epoch': 0, 'update in batch': 10627, '/': 12375, 'loss': 7.59757137298584}\n",
+      "{'epoch': 0, 'update in batch': 10628, '/': 12375, 'loss': 8.353655815124512}\n",
+      "{'epoch': 0, 'update in batch': 10629, '/': 12375, 'loss': 8.199769973754883}\n",
+      "{'epoch': 0, 'update in batch': 10630, '/': 12375, 'loss': 7.44704532623291}\n",
+      "{'epoch': 0, 'update in batch': 10631, '/': 12375, 'loss': 7.760316371917725}\n",
+      "{'epoch': 0, 'update in batch': 10632, '/': 12375, 'loss': 8.23576831817627}\n",
+      "{'epoch': 0, 'update in batch': 10633, '/': 12375, 'loss': 7.590261936187744}\n",
+      "{'epoch': 0, 'update in batch': 10634, '/': 12375, 'loss': 7.428325653076172}\n",
+      "{'epoch': 0, 'update in batch': 10635, '/': 12375, 'loss': 6.909663200378418}\n",
+      "{'epoch': 0, 'update in batch': 10636, '/': 12375, 'loss': 8.05471134185791}\n",
+      "{'epoch': 0, 'update in batch': 10637, '/': 12375, 'loss': 8.090703010559082}\n",
+      "{'epoch': 0, 'update in batch': 10638, '/': 12375, 'loss': 7.830881595611572}\n",
+      "{'epoch': 0, 'update in batch': 10639, '/': 12375, 'loss': 8.420567512512207}\n",
+      "{'epoch': 0, 'update in batch': 10640, '/': 12375, 'loss': 7.518428802490234}\n",
+      "{'epoch': 0, 'update in batch': 10641, '/': 12375, 'loss': 7.158953666687012}\n",
+      "{'epoch': 0, 'update in batch': 10642, '/': 12375, 'loss': 7.231203556060791}\n",
+      "{'epoch': 0, 'update in batch': 10643, '/': 12375, 'loss': 6.3794169425964355}\n",
+      "{'epoch': 0, 'update in batch': 10644, '/': 12375, 'loss': 8.086336135864258}\n",
+      "{'epoch': 0, 'update in batch': 10645, '/': 12375, 'loss': 7.137148857116699}\n",
+      "{'epoch': 0, 'update in batch': 10646, '/': 12375, 'loss': 7.316863059997559}\n",
+      "{'epoch': 0, 'update in batch': 10647, '/': 12375, 'loss': 7.539571285247803}\n",
+      "{'epoch': 0, 'update in batch': 10648, '/': 12375, 'loss': 7.390725612640381}\n",
+      "{'epoch': 0, 'update in batch': 10649, '/': 12375, 'loss': 8.03752613067627}\n",
+      "{'epoch': 0, 'update in batch': 10650, '/': 12375, 'loss': 7.201104640960693}\n",
+      "{'epoch': 0, 'update in batch': 10651, '/': 12375, 'loss': 7.476325035095215}\n",
+      "{'epoch': 0, 'update in batch': 10652, '/': 12375, 'loss': 8.017178535461426}\n",
+      "{'epoch': 0, 'update in batch': 10653, '/': 12375, 'loss': 8.004027366638184}\n",
+      "{'epoch': 0, 'update in batch': 10654, '/': 12375, 'loss': 7.702993869781494}\n",
+      "{'epoch': 0, 'update in batch': 10655, '/': 12375, 'loss': 8.104257583618164}\n",
+      "{'epoch': 0, 'update in batch': 10656, '/': 12375, 'loss': 7.3040900230407715}\n",
+      "{'epoch': 0, 'update in batch': 10657, '/': 12375, 'loss': 8.008845329284668}\n",
+      "{'epoch': 0, 'update in batch': 10658, '/': 12375, 'loss': 7.565810203552246}\n",
+      "{'epoch': 0, 'update in batch': 10659, '/': 12375, 'loss': 7.5285773277282715}\n",
+      "{'epoch': 0, 'update in batch': 10660, '/': 12375, 'loss': 7.644761085510254}\n",
+      "{'epoch': 0, 'update in batch': 10661, '/': 12375, 'loss': 7.1917829513549805}\n",
+      "{'epoch': 0, 'update in batch': 10662, '/': 12375, 'loss': 7.49741268157959}\n",
+      "{'epoch': 0, 'update in batch': 10663, '/': 12375, 'loss': 7.691379547119141}\n",
+      "{'epoch': 0, 'update in batch': 10664, '/': 12375, 'loss': 8.522181510925293}\n",
+      "{'epoch': 0, 'update in batch': 10665, '/': 12375, 'loss': 7.691982269287109}\n",
+      "{'epoch': 0, 'update in batch': 10666, '/': 12375, 'loss': 7.019949436187744}\n",
+      "{'epoch': 0, 'update in batch': 10667, '/': 12375, 'loss': 7.2037458419799805}\n",
+      "{'epoch': 0, 'update in batch': 10668, '/': 12375, 'loss': 6.463334560394287}\n",
+      "{'epoch': 0, 'update in batch': 10669, '/': 12375, 'loss': 7.391426086425781}\n",
+      "{'epoch': 0, 'update in batch': 10670, '/': 12375, 'loss': 7.030377388000488}\n",
+      "{'epoch': 0, 'update in batch': 10671, '/': 12375, 'loss': 7.03458309173584}\n",
+      "{'epoch': 0, 'update in batch': 10672, '/': 12375, 'loss': 7.088953495025635}\n",
+      "{'epoch': 0, 'update in batch': 10673, '/': 12375, 'loss': 6.425765037536621}\n",
+      "{'epoch': 0, 'update in batch': 10674, '/': 12375, 'loss': 7.506320953369141}\n",
+      "{'epoch': 0, 'update in batch': 10675, '/': 12375, 'loss': 6.239809036254883}\n",
+      "{'epoch': 0, 'update in batch': 10676, '/': 12375, 'loss': 7.262738227844238}\n",
+      "{'epoch': 0, 'update in batch': 10677, '/': 12375, 'loss': 6.989449501037598}\n",
+      "{'epoch': 0, 'update in batch': 10678, '/': 12375, 'loss': 7.199320316314697}\n",
+      "{'epoch': 0, 'update in batch': 10679, '/': 12375, 'loss': 6.712255001068115}\n",
+      "{'epoch': 0, 'update in batch': 10680, '/': 12375, 'loss': 7.15347146987915}\n",
+      "{'epoch': 0, 'update in batch': 10681, '/': 12375, 'loss': 6.350564479827881}\n",
+      "{'epoch': 0, 'update in batch': 10682, '/': 12375, 'loss': 7.1202592849731445}\n",
+      "{'epoch': 0, 'update in batch': 10683, '/': 12375, 'loss': 6.8156585693359375}\n",
+      "{'epoch': 0, 'update in batch': 10684, '/': 12375, 'loss': 5.67331600189209}\n",
+      "{'epoch': 0, 'update in batch': 10685, '/': 12375, 'loss': 7.33281946182251}\n",
+      "{'epoch': 0, 'update in batch': 10686, '/': 12375, 'loss': 7.1981072425842285}\n",
+      "{'epoch': 0, 'update in batch': 10687, '/': 12375, 'loss': 7.627957820892334}\n",
+      "{'epoch': 0, 'update in batch': 10688, '/': 12375, 'loss': 6.10818338394165}\n",
+      "{'epoch': 0, 'update in batch': 10689, '/': 12375, 'loss': 7.154223442077637}\n",
+      "{'epoch': 0, 'update in batch': 10690, '/': 12375, 'loss': 7.555035591125488}\n",
+      "{'epoch': 0, 'update in batch': 10691, '/': 12375, 'loss': 6.406407356262207}\n",
+      "{'epoch': 0, 'update in batch': 10692, '/': 12375, 'loss': 7.592398166656494}\n",
+      "{'epoch': 0, 'update in batch': 10693, '/': 12375, 'loss': 7.922807216644287}\n",
+      "{'epoch': 0, 'update in batch': 10694, '/': 12375, 'loss': 6.5732269287109375}\n",
+      "{'epoch': 0, 'update in batch': 10695, '/': 12375, 'loss': 7.346696376800537}\n",
+      "{'epoch': 0, 'update in batch': 10696, '/': 12375, 'loss': 7.847832679748535}\n",
+      "{'epoch': 0, 'update in batch': 10697, '/': 12375, 'loss': 8.060359954833984}\n",
+      "{'epoch': 0, 'update in batch': 10698, '/': 12375, 'loss': 6.701911926269531}\n",
+      "{'epoch': 0, 'update in batch': 10699, '/': 12375, 'loss': 7.697153568267822}\n",
+      "{'epoch': 0, 'update in batch': 10700, '/': 12375, 'loss': 6.897635459899902}\n",
+      "{'epoch': 0, 'update in batch': 10701, '/': 12375, 'loss': 6.368924140930176}\n",
+      "{'epoch': 0, 'update in batch': 10702, '/': 12375, 'loss': 7.0847296714782715}\n",
+      "{'epoch': 0, 'update in batch': 10703, '/': 12375, 'loss': 6.807338714599609}\n",
+      "{'epoch': 0, 'update in batch': 10704, '/': 12375, 'loss': 7.540457248687744}\n",
+      "{'epoch': 0, 'update in batch': 10705, '/': 12375, 'loss': 6.822030544281006}\n",
+      "{'epoch': 0, 'update in batch': 10706, '/': 12375, 'loss': 7.1717939376831055}\n",
+      "{'epoch': 0, 'update in batch': 10707, '/': 12375, 'loss': 7.111806392669678}\n",
+      "{'epoch': 0, 'update in batch': 10708, '/': 12375, 'loss': 6.791149139404297}\n",
+      "{'epoch': 0, 'update in batch': 10709, '/': 12375, 'loss': 6.921639442443848}\n",
+      "{'epoch': 0, 'update in batch': 10710, '/': 12375, 'loss': 6.873745918273926}\n",
+      "{'epoch': 0, 'update in batch': 10711, '/': 12375, 'loss': 7.204563140869141}\n",
+      "{'epoch': 0, 'update in batch': 10712, '/': 12375, 'loss': 7.413393497467041}\n",
+      "{'epoch': 0, 'update in batch': 10713, '/': 12375, 'loss': 7.237281799316406}\n",
+      "{'epoch': 0, 'update in batch': 10714, '/': 12375, 'loss': 7.48122501373291}\n",
+      "{'epoch': 0, 'update in batch': 10715, '/': 12375, 'loss': 7.444732666015625}\n",
+      "{'epoch': 0, 'update in batch': 10716, '/': 12375, 'loss': 7.882355690002441}\n",
+      "{'epoch': 0, 'update in batch': 10717, '/': 12375, 'loss': 7.519061088562012}\n",
+      "{'epoch': 0, 'update in batch': 10718, '/': 12375, 'loss': 7.392928123474121}\n",
+      "{'epoch': 0, 'update in batch': 10719, '/': 12375, 'loss': 6.904123783111572}\n",
+      "{'epoch': 0, 'update in batch': 10720, '/': 12375, 'loss': 6.833311557769775}\n",
+      "{'epoch': 0, 'update in batch': 10721, '/': 12375, 'loss': 7.430450439453125}\n",
+      "{'epoch': 0, 'update in batch': 10722, '/': 12375, 'loss': 7.146624565124512}\n",
+      "{'epoch': 0, 'update in batch': 10723, '/': 12375, 'loss': 7.148215293884277}\n",
+      "{'epoch': 0, 'update in batch': 10724, '/': 12375, 'loss': 6.582261085510254}\n",
+      "{'epoch': 0, 'update in batch': 10725, '/': 12375, 'loss': 7.083200931549072}\n",
+      "{'epoch': 0, 'update in batch': 10726, '/': 12375, 'loss': 7.366007328033447}\n",
+      "{'epoch': 0, 'update in batch': 10727, '/': 12375, 'loss': 7.166497230529785}\n",
+      "{'epoch': 0, 'update in batch': 10728, '/': 12375, 'loss': 7.4181060791015625}\n",
+      "{'epoch': 0, 'update in batch': 10729, '/': 12375, 'loss': 7.012856960296631}\n",
+      "{'epoch': 0, 'update in batch': 10730, '/': 12375, 'loss': 7.095536708831787}\n",
+      "{'epoch': 0, 'update in batch': 10731, '/': 12375, 'loss': 6.860894203186035}\n",
+      "{'epoch': 0, 'update in batch': 10732, '/': 12375, 'loss': 6.551877021789551}\n",
+      "{'epoch': 0, 'update in batch': 10733, '/': 12375, 'loss': 7.359068393707275}\n",
+      "{'epoch': 0, 'update in batch': 10734, '/': 12375, 'loss': 7.00412130355835}\n",
+      "{'epoch': 0, 'update in batch': 10735, '/': 12375, 'loss': 7.569973945617676}\n",
+      "{'epoch': 0, 'update in batch': 10736, '/': 12375, 'loss': 7.237809658050537}\n",
+      "{'epoch': 0, 'update in batch': 10737, '/': 12375, 'loss': 6.845323085784912}\n",
+      "{'epoch': 0, 'update in batch': 10738, '/': 12375, 'loss': 6.941763877868652}\n",
+      "{'epoch': 0, 'update in batch': 10739, '/': 12375, 'loss': 7.269357204437256}\n",
+      "{'epoch': 0, 'update in batch': 10740, '/': 12375, 'loss': 6.986353874206543}\n",
+      "{'epoch': 0, 'update in batch': 10741, '/': 12375, 'loss': 8.207385063171387}\n",
+      "{'epoch': 0, 'update in batch': 10742, '/': 12375, 'loss': 7.528533935546875}\n",
+      "{'epoch': 0, 'update in batch': 10743, '/': 12375, 'loss': 8.547940254211426}\n",
+      "{'epoch': 0, 'update in batch': 10744, '/': 12375, 'loss': 7.851258277893066}\n",
+      "{'epoch': 0, 'update in batch': 10745, '/': 12375, 'loss': 7.505812168121338}\n",
+      "{'epoch': 0, 'update in batch': 10746, '/': 12375, 'loss': 7.834347724914551}\n",
+      "{'epoch': 0, 'update in batch': 10747, '/': 12375, 'loss': 7.453704833984375}\n",
+      "{'epoch': 0, 'update in batch': 10748, '/': 12375, 'loss': 7.366639614105225}\n",
+      "{'epoch': 0, 'update in batch': 10749, '/': 12375, 'loss': 7.501821041107178}\n",
+      "{'epoch': 0, 'update in batch': 10750, '/': 12375, 'loss': 7.496102333068848}\n",
+      "{'epoch': 0, 'update in batch': 10751, '/': 12375, 'loss': 7.235650539398193}\n",
+      "{'epoch': 0, 'update in batch': 10752, '/': 12375, 'loss': 7.497283935546875}\n",
+      "{'epoch': 0, 'update in batch': 10753, '/': 12375, 'loss': 7.3826704025268555}\n",
+      "{'epoch': 0, 'update in batch': 10754, '/': 12375, 'loss': 7.337125301361084}\n",
+      "{'epoch': 0, 'update in batch': 10755, '/': 12375, 'loss': 7.3724684715271}\n",
+      "{'epoch': 0, 'update in batch': 10756, '/': 12375, 'loss': 7.048356056213379}\n",
+      "{'epoch': 0, 'update in batch': 10757, '/': 12375, 'loss': 6.750373840332031}\n",
+      "{'epoch': 0, 'update in batch': 10758, '/': 12375, 'loss': 7.359243869781494}\n",
+      "{'epoch': 0, 'update in batch': 10759, '/': 12375, 'loss': 7.418248176574707}\n",
+      "{'epoch': 0, 'update in batch': 10760, '/': 12375, 'loss': 7.37600564956665}\n",
+      "{'epoch': 0, 'update in batch': 10761, '/': 12375, 'loss': 6.829102516174316}\n",
+      "{'epoch': 0, 'update in batch': 10762, '/': 12375, 'loss': 7.333795070648193}\n",
+      "{'epoch': 0, 'update in batch': 10763, '/': 12375, 'loss': 8.158931732177734}\n",
+      "{'epoch': 0, 'update in batch': 10764, '/': 12375, 'loss': 7.71536111831665}\n",
+      "{'epoch': 0, 'update in batch': 10765, '/': 12375, 'loss': 7.316799163818359}\n",
+      "{'epoch': 0, 'update in batch': 10766, '/': 12375, 'loss': 7.250186920166016}\n",
+      "{'epoch': 0, 'update in batch': 10767, '/': 12375, 'loss': 7.071440696716309}\n",
+      "{'epoch': 0, 'update in batch': 10768, '/': 12375, 'loss': 7.430865287780762}\n",
+      "{'epoch': 0, 'update in batch': 10769, '/': 12375, 'loss': 7.645073890686035}\n",
+      "{'epoch': 0, 'update in batch': 10770, '/': 12375, 'loss': 7.710859775543213}\n",
+      "{'epoch': 0, 'update in batch': 10771, '/': 12375, 'loss': 6.893651485443115}\n",
+      "{'epoch': 0, 'update in batch': 10772, '/': 12375, 'loss': 7.082682132720947}\n",
+      "{'epoch': 0, 'update in batch': 10773, '/': 12375, 'loss': 7.397695064544678}\n",
+      "{'epoch': 0, 'update in batch': 10774, '/': 12375, 'loss': 6.509215354919434}\n",
+      "{'epoch': 0, 'update in batch': 10775, '/': 12375, 'loss': 7.410072326660156}\n",
+      "{'epoch': 0, 'update in batch': 10776, '/': 12375, 'loss': 7.530501365661621}\n",
+      "{'epoch': 0, 'update in batch': 10777, '/': 12375, 'loss': 7.040655612945557}\n",
+      "{'epoch': 0, 'update in batch': 10778, '/': 12375, 'loss': 7.277947425842285}\n",
+      "{'epoch': 0, 'update in batch': 10779, '/': 12375, 'loss': 7.152929782867432}\n",
+      "{'epoch': 0, 'update in batch': 10780, '/': 12375, 'loss': 7.055412292480469}\n",
+      "{'epoch': 0, 'update in batch': 10781, '/': 12375, 'loss': 6.884852409362793}\n",
+      "{'epoch': 0, 'update in batch': 10782, '/': 12375, 'loss': 7.677313327789307}\n",
+      "{'epoch': 0, 'update in batch': 10783, '/': 12375, 'loss': 7.264531135559082}\n",
+      "{'epoch': 0, 'update in batch': 10784, '/': 12375, 'loss': 7.577123165130615}\n",
+      "{'epoch': 0, 'update in batch': 10785, '/': 12375, 'loss': 6.995230197906494}\n",
+      "{'epoch': 0, 'update in batch': 10786, '/': 12375, 'loss': 7.225338935852051}\n",
+      "{'epoch': 0, 'update in batch': 10787, '/': 12375, 'loss': 7.664486885070801}\n",
+      "{'epoch': 0, 'update in batch': 10788, '/': 12375, 'loss': 7.102963447570801}\n",
+      "{'epoch': 0, 'update in batch': 10789, '/': 12375, 'loss': 7.382706642150879}\n",
+      "{'epoch': 0, 'update in batch': 10790, '/': 12375, 'loss': 7.172868251800537}\n",
+      "{'epoch': 0, 'update in batch': 10791, '/': 12375, 'loss': 7.148068428039551}\n",
+      "{'epoch': 0, 'update in batch': 10792, '/': 12375, 'loss': 7.147791385650635}\n",
+      "{'epoch': 0, 'update in batch': 10793, '/': 12375, 'loss': 7.7839860916137695}\n",
+      "{'epoch': 0, 'update in batch': 10794, '/': 12375, 'loss': 7.369062900543213}\n",
+      "{'epoch': 0, 'update in batch': 10795, '/': 12375, 'loss': 7.059140682220459}\n",
+      "{'epoch': 0, 'update in batch': 10796, '/': 12375, 'loss': 7.402522087097168}\n",
+      "{'epoch': 0, 'update in batch': 10797, '/': 12375, 'loss': 7.411196708679199}\n",
+      "{'epoch': 0, 'update in batch': 10798, '/': 12375, 'loss': 7.08098840713501}\n",
+      "{'epoch': 0, 'update in batch': 10799, '/': 12375, 'loss': 7.318517208099365}\n",
+      "{'epoch': 0, 'update in batch': 10800, '/': 12375, 'loss': 6.879565238952637}\n",
+      "{'epoch': 0, 'update in batch': 10801, '/': 12375, 'loss': 7.05841588973999}\n",
+      "{'epoch': 0, 'update in batch': 10802, '/': 12375, 'loss': 6.54073429107666}\n",
+      "{'epoch': 0, 'update in batch': 10803, '/': 12375, 'loss': 7.3586907386779785}\n",
+      "{'epoch': 0, 'update in batch': 10804, '/': 12375, 'loss': 6.8070173263549805}\n",
+      "{'epoch': 0, 'update in batch': 10805, '/': 12375, 'loss': 7.297551155090332}\n",
+      "{'epoch': 0, 'update in batch': 10806, '/': 12375, 'loss': 7.298938751220703}\n",
+      "{'epoch': 0, 'update in batch': 10807, '/': 12375, 'loss': 7.125207424163818}\n",
+      "{'epoch': 0, 'update in batch': 10808, '/': 12375, 'loss': 7.9345855712890625}\n",
+      "{'epoch': 0, 'update in batch': 10809, '/': 12375, 'loss': 7.975335597991943}\n",
+      "{'epoch': 0, 'update in batch': 10810, '/': 12375, 'loss': 7.484670162200928}\n",
+      "{'epoch': 0, 'update in batch': 10811, '/': 12375, 'loss': 7.030900478363037}\n",
+      "{'epoch': 0, 'update in batch': 10812, '/': 12375, 'loss': 7.5332536697387695}\n",
+      "{'epoch': 0, 'update in batch': 10813, '/': 12375, 'loss': 7.2996110916137695}\n",
+      "{'epoch': 0, 'update in batch': 10814, '/': 12375, 'loss': 7.0961594581604}\n",
+      "{'epoch': 0, 'update in batch': 10815, '/': 12375, 'loss': 7.300673007965088}\n",
+      "{'epoch': 0, 'update in batch': 10816, '/': 12375, 'loss': 7.773944854736328}\n",
+      "{'epoch': 0, 'update in batch': 10817, '/': 12375, 'loss': 7.023504734039307}\n",
+      "{'epoch': 0, 'update in batch': 10818, '/': 12375, 'loss': 7.1281023025512695}\n",
+      "{'epoch': 0, 'update in batch': 10819, '/': 12375, 'loss': 7.074515342712402}\n",
+      "{'epoch': 0, 'update in batch': 10820, '/': 12375, 'loss': 7.239434242248535}\n",
+      "{'epoch': 0, 'update in batch': 10821, '/': 12375, 'loss': 6.5541582107543945}\n",
+      "{'epoch': 0, 'update in batch': 10822, '/': 12375, 'loss': 6.665043830871582}\n",
+      "{'epoch': 0, 'update in batch': 10823, '/': 12375, 'loss': 6.71474552154541}\n",
+      "{'epoch': 0, 'update in batch': 10824, '/': 12375, 'loss': 6.8615522384643555}\n",
+      "{'epoch': 0, 'update in batch': 10825, '/': 12375, 'loss': 7.4833197593688965}\n",
+      "{'epoch': 0, 'update in batch': 10826, '/': 12375, 'loss': 7.3027520179748535}\n",
+      "{'epoch': 0, 'update in batch': 10827, '/': 12375, 'loss': 7.049627780914307}\n",
+      "{'epoch': 0, 'update in batch': 10828, '/': 12375, 'loss': 7.764911651611328}\n",
+      "{'epoch': 0, 'update in batch': 10829, '/': 12375, 'loss': 7.179308891296387}\n",
+      "{'epoch': 0, 'update in batch': 10830, '/': 12375, 'loss': 7.4734673500061035}\n",
+      "{'epoch': 0, 'update in batch': 10831, '/': 12375, 'loss': 6.540791988372803}\n",
+      "{'epoch': 0, 'update in batch': 10832, '/': 12375, 'loss': 6.891808986663818}\n",
+      "{'epoch': 0, 'update in batch': 10833, '/': 12375, 'loss': 7.78383731842041}\n",
+      "{'epoch': 0, 'update in batch': 10834, '/': 12375, 'loss': 7.491929054260254}\n",
+      "{'epoch': 0, 'update in batch': 10835, '/': 12375, 'loss': 7.412939548492432}\n",
+      "{'epoch': 0, 'update in batch': 10836, '/': 12375, 'loss': 6.869298458099365}\n",
+      "{'epoch': 0, 'update in batch': 10837, '/': 12375, 'loss': 6.973091125488281}\n",
+      "{'epoch': 0, 'update in batch': 10838, '/': 12375, 'loss': 6.306713581085205}\n",
+      "{'epoch': 0, 'update in batch': 10839, '/': 12375, 'loss': 7.241748809814453}\n",
+      "{'epoch': 0, 'update in batch': 10840, '/': 12375, 'loss': 6.740487575531006}\n",
+      "{'epoch': 0, 'update in batch': 10841, '/': 12375, 'loss': 7.143902778625488}\n",
+      "{'epoch': 0, 'update in batch': 10842, '/': 12375, 'loss': 7.276463985443115}\n",
+      "{'epoch': 0, 'update in batch': 10843, '/': 12375, 'loss': 5.966524600982666}\n",
+      "{'epoch': 0, 'update in batch': 10844, '/': 12375, 'loss': 6.700509071350098}\n",
+      "{'epoch': 0, 'update in batch': 10845, '/': 12375, 'loss': 7.013525485992432}\n",
+      "{'epoch': 0, 'update in batch': 10846, '/': 12375, 'loss': 6.572471618652344}\n",
+      "{'epoch': 0, 'update in batch': 10847, '/': 12375, 'loss': 6.489989280700684}\n",
+      "{'epoch': 0, 'update in batch': 10848, '/': 12375, 'loss': 6.300273895263672}\n",
+      "{'epoch': 0, 'update in batch': 10849, '/': 12375, 'loss': 6.845813751220703}\n",
+      "{'epoch': 0, 'update in batch': 10850, '/': 12375, 'loss': 6.274857044219971}\n",
+      "{'epoch': 0, 'update in batch': 10851, '/': 12375, 'loss': 7.574633598327637}\n",
+      "{'epoch': 0, 'update in batch': 10852, '/': 12375, 'loss': 6.781713962554932}\n",
+      "{'epoch': 0, 'update in batch': 10853, '/': 12375, 'loss': 6.947415351867676}\n",
+      "{'epoch': 0, 'update in batch': 10854, '/': 12375, 'loss': 6.740994930267334}\n",
+      "{'epoch': 0, 'update in batch': 10855, '/': 12375, 'loss': 6.663355827331543}\n",
+      "{'epoch': 0, 'update in batch': 10856, '/': 12375, 'loss': 6.794039249420166}\n",
+      "{'epoch': 0, 'update in batch': 10857, '/': 12375, 'loss': 6.662731170654297}\n",
+      "{'epoch': 0, 'update in batch': 10858, '/': 12375, 'loss': 7.446524143218994}\n",
+      "{'epoch': 0, 'update in batch': 10859, '/': 12375, 'loss': 6.192642688751221}\n",
+      "{'epoch': 0, 'update in batch': 10860, '/': 12375, 'loss': 6.677048683166504}\n",
+      "{'epoch': 0, 'update in batch': 10861, '/': 12375, 'loss': 6.599745273590088}\n",
+      "{'epoch': 0, 'update in batch': 10862, '/': 12375, 'loss': 6.62530517578125}\n",
+      "{'epoch': 0, 'update in batch': 10863, '/': 12375, 'loss': 6.970734596252441}\n",
+      "{'epoch': 0, 'update in batch': 10864, '/': 12375, 'loss': 6.828680515289307}\n",
+      "{'epoch': 0, 'update in batch': 10865, '/': 12375, 'loss': 7.642060279846191}\n",
+      "{'epoch': 0, 'update in batch': 10866, '/': 12375, 'loss': 7.5260725021362305}\n",
+      "{'epoch': 0, 'update in batch': 10867, '/': 12375, 'loss': 7.3008832931518555}\n",
+      "{'epoch': 0, 'update in batch': 10868, '/': 12375, 'loss': 7.42432165145874}\n",
+      "{'epoch': 0, 'update in batch': 10869, '/': 12375, 'loss': 7.190107822418213}\n",
+      "{'epoch': 0, 'update in batch': 10870, '/': 12375, 'loss': 7.46551513671875}\n",
+      "{'epoch': 0, 'update in batch': 10871, '/': 12375, 'loss': 6.718783378601074}\n",
+      "{'epoch': 0, 'update in batch': 10872, '/': 12375, 'loss': 6.136853218078613}\n",
+      "{'epoch': 0, 'update in batch': 10873, '/': 12375, 'loss': 6.655638694763184}\n",
+      "{'epoch': 0, 'update in batch': 10874, '/': 12375, 'loss': 6.8922319412231445}\n",
+      "{'epoch': 0, 'update in batch': 10875, '/': 12375, 'loss': 7.40121603012085}\n",
+      "{'epoch': 0, 'update in batch': 10876, '/': 12375, 'loss': 6.850133419036865}\n",
+      "{'epoch': 0, 'update in batch': 10877, '/': 12375, 'loss': 7.5908379554748535}\n",
+      "{'epoch': 0, 'update in batch': 10878, '/': 12375, 'loss': 7.429274559020996}\n",
+      "{'epoch': 0, 'update in batch': 10879, '/': 12375, 'loss': 7.298554420471191}\n",
+      "{'epoch': 0, 'update in batch': 10880, '/': 12375, 'loss': 7.7843828201293945}\n",
+      "{'epoch': 0, 'update in batch': 10881, '/': 12375, 'loss': 6.920269966125488}\n",
+      "{'epoch': 0, 'update in batch': 10882, '/': 12375, 'loss': 6.7539167404174805}\n",
+      "{'epoch': 0, 'update in batch': 10883, '/': 12375, 'loss': 7.4731879234313965}\n",
+      "{'epoch': 0, 'update in batch': 10884, '/': 12375, 'loss': 6.932285308837891}\n",
+      "{'epoch': 0, 'update in batch': 10885, '/': 12375, 'loss': 7.8887939453125}\n",
+      "{'epoch': 0, 'update in batch': 10886, '/': 12375, 'loss': 7.8205060958862305}\n",
+      "{'epoch': 0, 'update in batch': 10887, '/': 12375, 'loss': 7.423091888427734}\n",
+      "{'epoch': 0, 'update in batch': 10888, '/': 12375, 'loss': 7.251153469085693}\n",
+      "{'epoch': 0, 'update in batch': 10889, '/': 12375, 'loss': 6.1209516525268555}\n",
+      "{'epoch': 0, 'update in batch': 10890, '/': 12375, 'loss': 6.922326564788818}\n",
+      "{'epoch': 0, 'update in batch': 10891, '/': 12375, 'loss': 6.750906944274902}\n",
+      "{'epoch': 0, 'update in batch': 10892, '/': 12375, 'loss': 6.037327289581299}\n",
+      "{'epoch': 0, 'update in batch': 10893, '/': 12375, 'loss': 6.425687313079834}\n",
+      "{'epoch': 0, 'update in batch': 10894, '/': 12375, 'loss': 6.431333065032959}\n",
+      "{'epoch': 0, 'update in batch': 10895, '/': 12375, 'loss': 6.412247657775879}\n",
+      "{'epoch': 0, 'update in batch': 10896, '/': 12375, 'loss': 6.440649509429932}\n",
+      "{'epoch': 0, 'update in batch': 10897, '/': 12375, 'loss': 6.534277439117432}\n",
+      "{'epoch': 0, 'update in batch': 10898, '/': 12375, 'loss': 7.151850700378418}\n",
+      "{'epoch': 0, 'update in batch': 10899, '/': 12375, 'loss': 7.017561435699463}\n",
+      "{'epoch': 0, 'update in batch': 10900, '/': 12375, 'loss': 6.9124884605407715}\n",
+      "{'epoch': 0, 'update in batch': 10901, '/': 12375, 'loss': 6.7596869468688965}\n",
+      "{'epoch': 0, 'update in batch': 10902, '/': 12375, 'loss': 7.430067539215088}\n",
+      "{'epoch': 0, 'update in batch': 10903, '/': 12375, 'loss': 6.851999759674072}\n",
+      "{'epoch': 0, 'update in batch': 10904, '/': 12375, 'loss': 7.46149206161499}\n",
+      "{'epoch': 0, 'update in batch': 10905, '/': 12375, 'loss': 7.470228672027588}\n",
+      "{'epoch': 0, 'update in batch': 10906, '/': 12375, 'loss': 7.400633335113525}\n",
+      "{'epoch': 0, 'update in batch': 10907, '/': 12375, 'loss': 7.406129360198975}\n",
+      "{'epoch': 0, 'update in batch': 10908, '/': 12375, 'loss': 7.289571285247803}\n",
+      "{'epoch': 0, 'update in batch': 10909, '/': 12375, 'loss': 7.480129241943359}\n",
+      "{'epoch': 0, 'update in batch': 10910, '/': 12375, 'loss': 7.479052543640137}\n",
+      "{'epoch': 0, 'update in batch': 10911, '/': 12375, 'loss': 7.748200416564941}\n",
+      "{'epoch': 0, 'update in batch': 10912, '/': 12375, 'loss': 7.099539279937744}\n",
+      "{'epoch': 0, 'update in batch': 10913, '/': 12375, 'loss': 6.551401615142822}\n",
+      "{'epoch': 0, 'update in batch': 10914, '/': 12375, 'loss': 6.233794212341309}\n",
+      "{'epoch': 0, 'update in batch': 10915, '/': 12375, 'loss': 7.287515163421631}\n",
+      "{'epoch': 0, 'update in batch': 10916, '/': 12375, 'loss': 7.001613616943359}\n",
+      "{'epoch': 0, 'update in batch': 10917, '/': 12375, 'loss': 7.630775451660156}\n",
+      "{'epoch': 0, 'update in batch': 10918, '/': 12375, 'loss': 7.415668487548828}\n",
+      "{'epoch': 0, 'update in batch': 10919, '/': 12375, 'loss': 7.273818016052246}\n",
+      "{'epoch': 0, 'update in batch': 10920, '/': 12375, 'loss': 7.6388750076293945}\n",
+      "{'epoch': 0, 'update in batch': 10921, '/': 12375, 'loss': 7.049759864807129}\n",
+      "{'epoch': 0, 'update in batch': 10922, '/': 12375, 'loss': 6.455613613128662}\n",
+      "{'epoch': 0, 'update in batch': 10923, '/': 12375, 'loss': 7.02709436416626}\n",
+      "{'epoch': 0, 'update in batch': 10924, '/': 12375, 'loss': 6.911460876464844}\n",
+      "{'epoch': 0, 'update in batch': 10925, '/': 12375, 'loss': 7.272468566894531}\n",
+      "{'epoch': 0, 'update in batch': 10926, '/': 12375, 'loss': 7.2946577072143555}\n",
+      "{'epoch': 0, 'update in batch': 10927, '/': 12375, 'loss': 7.361047267913818}\n",
+      "{'epoch': 0, 'update in batch': 10928, '/': 12375, 'loss': 7.076296329498291}\n",
+      "{'epoch': 0, 'update in batch': 10929, '/': 12375, 'loss': 7.3025665283203125}\n",
+      "{'epoch': 0, 'update in batch': 10930, '/': 12375, 'loss': 7.509657859802246}\n",
+      "{'epoch': 0, 'update in batch': 10931, '/': 12375, 'loss': 7.034661769866943}\n",
+      "{'epoch': 0, 'update in batch': 10932, '/': 12375, 'loss': 6.9153852462768555}\n",
+      "{'epoch': 0, 'update in batch': 10933, '/': 12375, 'loss': 7.079947471618652}\n",
+      "{'epoch': 0, 'update in batch': 10934, '/': 12375, 'loss': 7.053200721740723}\n",
+      "{'epoch': 0, 'update in batch': 10935, '/': 12375, 'loss': 7.181231498718262}\n",
+      "{'epoch': 0, 'update in batch': 10936, '/': 12375, 'loss': 7.405770778656006}\n",
+      "{'epoch': 0, 'update in batch': 10937, '/': 12375, 'loss': 6.594625949859619}\n",
+      "{'epoch': 0, 'update in batch': 10938, '/': 12375, 'loss': 7.255514621734619}\n",
+      "{'epoch': 0, 'update in batch': 10939, '/': 12375, 'loss': 7.074864864349365}\n",
+      "{'epoch': 0, 'update in batch': 10940, '/': 12375, 'loss': 6.354016304016113}\n",
+      "{'epoch': 0, 'update in batch': 10941, '/': 12375, 'loss': 7.202569484710693}\n",
+      "{'epoch': 0, 'update in batch': 10942, '/': 12375, 'loss': 7.488497257232666}\n",
+      "{'epoch': 0, 'update in batch': 10943, '/': 12375, 'loss': 7.4733147621154785}\n",
+      "{'epoch': 0, 'update in batch': 10944, '/': 12375, 'loss': 7.7819719314575195}\n",
+      "{'epoch': 0, 'update in batch': 10945, '/': 12375, 'loss': 7.244998931884766}\n",
+      "{'epoch': 0, 'update in batch': 10946, '/': 12375, 'loss': 7.479550838470459}\n",
+      "{'epoch': 0, 'update in batch': 10947, '/': 12375, 'loss': 7.352516174316406}\n",
+      "{'epoch': 0, 'update in batch': 10948, '/': 12375, 'loss': 7.401141166687012}\n",
+      "{'epoch': 0, 'update in batch': 10949, '/': 12375, 'loss': 7.479198455810547}\n",
+      "{'epoch': 0, 'update in batch': 10950, '/': 12375, 'loss': 7.219587802886963}\n",
+      "{'epoch': 0, 'update in batch': 10951, '/': 12375, 'loss': 7.310418605804443}\n",
+      "{'epoch': 0, 'update in batch': 10952, '/': 12375, 'loss': 6.56918478012085}\n",
+      "{'epoch': 0, 'update in batch': 10953, '/': 12375, 'loss': 6.436947822570801}\n",
+      "{'epoch': 0, 'update in batch': 10954, '/': 12375, 'loss': 6.464366912841797}\n",
+      "{'epoch': 0, 'update in batch': 10955, '/': 12375, 'loss': 7.344082832336426}\n",
+      "{'epoch': 0, 'update in batch': 10956, '/': 12375, 'loss': 8.293163299560547}\n",
+      "{'epoch': 0, 'update in batch': 10957, '/': 12375, 'loss': 6.4247260093688965}\n",
+      "{'epoch': 0, 'update in batch': 10958, '/': 12375, 'loss': 7.121373176574707}\n",
+      "{'epoch': 0, 'update in batch': 10959, '/': 12375, 'loss': 6.112454891204834}\n",
+      "{'epoch': 0, 'update in batch': 10960, '/': 12375, 'loss': 6.316429615020752}\n",
+      "{'epoch': 0, 'update in batch': 10961, '/': 12375, 'loss': 7.187384605407715}\n",
+      "{'epoch': 0, 'update in batch': 10962, '/': 12375, 'loss': 6.8297905921936035}\n",
+      "{'epoch': 0, 'update in batch': 10963, '/': 12375, 'loss': 6.833769798278809}\n",
+      "{'epoch': 0, 'update in batch': 10964, '/': 12375, 'loss': 6.546689033508301}\n",
+      "{'epoch': 0, 'update in batch': 10965, '/': 12375, 'loss': 6.791248321533203}\n",
+      "{'epoch': 0, 'update in batch': 10966, '/': 12375, 'loss': 6.760428428649902}\n",
+      "{'epoch': 0, 'update in batch': 10967, '/': 12375, 'loss': 6.811577796936035}\n",
+      "{'epoch': 0, 'update in batch': 10968, '/': 12375, 'loss': 7.475438594818115}\n",
+      "{'epoch': 0, 'update in batch': 10969, '/': 12375, 'loss': 7.784226894378662}\n",
+      "{'epoch': 0, 'update in batch': 10970, '/': 12375, 'loss': 6.935208320617676}\n",
+      "{'epoch': 0, 'update in batch': 10971, '/': 12375, 'loss': 6.827885627746582}\n",
+      "{'epoch': 0, 'update in batch': 10972, '/': 12375, 'loss': 6.961123466491699}\n",
+      "{'epoch': 0, 'update in batch': 10973, '/': 12375, 'loss': 6.767276763916016}\n",
+      "{'epoch': 0, 'update in batch': 10974, '/': 12375, 'loss': 6.759525299072266}\n",
+      "{'epoch': 0, 'update in batch': 10975, '/': 12375, 'loss': 7.186598300933838}\n",
+      "{'epoch': 0, 'update in batch': 10976, '/': 12375, 'loss': 7.393434047698975}\n",
+      "{'epoch': 0, 'update in batch': 10977, '/': 12375, 'loss': 6.942858695983887}\n",
+      "{'epoch': 0, 'update in batch': 10978, '/': 12375, 'loss': 7.181310176849365}\n",
+      "{'epoch': 0, 'update in batch': 10979, '/': 12375, 'loss': 6.957343101501465}\n",
+      "{'epoch': 0, 'update in batch': 10980, '/': 12375, 'loss': 7.216771602630615}\n",
+      "{'epoch': 0, 'update in batch': 10981, '/': 12375, 'loss': 7.884481906890869}\n",
+      "{'epoch': 0, 'update in batch': 10982, '/': 12375, 'loss': 7.376014709472656}\n",
+      "{'epoch': 0, 'update in batch': 10983, '/': 12375, 'loss': 6.789599418640137}\n",
+      "{'epoch': 0, 'update in batch': 10984, '/': 12375, 'loss': 6.8722710609436035}\n",
+      "{'epoch': 0, 'update in batch': 10985, '/': 12375, 'loss': 6.464284420013428}\n",
+      "{'epoch': 0, 'update in batch': 10986, '/': 12375, 'loss': 6.707688808441162}\n",
+      "{'epoch': 0, 'update in batch': 10987, '/': 12375, 'loss': 6.5583672523498535}\n",
+      "{'epoch': 0, 'update in batch': 10988, '/': 12375, 'loss': 6.831974983215332}\n",
+      "{'epoch': 0, 'update in batch': 10989, '/': 12375, 'loss': 7.259438514709473}\n",
+      "{'epoch': 0, 'update in batch': 10990, '/': 12375, 'loss': 7.215994358062744}\n",
+      "{'epoch': 0, 'update in batch': 10991, '/': 12375, 'loss': 6.587978363037109}\n",
+      "{'epoch': 0, 'update in batch': 10992, '/': 12375, 'loss': 6.567751884460449}\n",
+      "{'epoch': 0, 'update in batch': 10993, '/': 12375, 'loss': 6.572175025939941}\n",
+      "{'epoch': 0, 'update in batch': 10994, '/': 12375, 'loss': 6.238400459289551}\n",
+      "{'epoch': 0, 'update in batch': 10995, '/': 12375, 'loss': 6.989485263824463}\n",
+      "{'epoch': 0, 'update in batch': 10996, '/': 12375, 'loss': 5.892546653747559}\n",
+      "{'epoch': 0, 'update in batch': 10997, '/': 12375, 'loss': 6.635498046875}\n",
+      "{'epoch': 0, 'update in batch': 10998, '/': 12375, 'loss': 7.17996883392334}\n",
+      "{'epoch': 0, 'update in batch': 10999, '/': 12375, 'loss': 7.301398277282715}\n",
+      "{'epoch': 0, 'update in batch': 11000, '/': 12375, 'loss': 6.494670867919922}\n",
+      "{'epoch': 0, 'update in batch': 11001, '/': 12375, 'loss': 6.710169792175293}\n",
+      "{'epoch': 0, 'update in batch': 11002, '/': 12375, 'loss': 6.50113582611084}\n",
+      "{'epoch': 0, 'update in batch': 11003, '/': 12375, 'loss': 6.446650505065918}\n",
+      "{'epoch': 0, 'update in batch': 11004, '/': 12375, 'loss': 6.711228847503662}\n",
+      "{'epoch': 0, 'update in batch': 11005, '/': 12375, 'loss': 6.680891990661621}\n",
+      "{'epoch': 0, 'update in batch': 11006, '/': 12375, 'loss': 6.778241157531738}\n",
+      "{'epoch': 0, 'update in batch': 11007, '/': 12375, 'loss': 5.409485816955566}\n",
+      "{'epoch': 0, 'update in batch': 11008, '/': 12375, 'loss': 6.282106876373291}\n",
+      "{'epoch': 0, 'update in batch': 11009, '/': 12375, 'loss': 6.185831546783447}\n",
+      "{'epoch': 0, 'update in batch': 11010, '/': 12375, 'loss': 6.4290056228637695}\n",
+      "{'epoch': 0, 'update in batch': 11011, '/': 12375, 'loss': 6.854182243347168}\n",
+      "{'epoch': 0, 'update in batch': 11012, '/': 12375, 'loss': 6.145787239074707}\n",
+      "{'epoch': 0, 'update in batch': 11013, '/': 12375, 'loss': 7.481605529785156}\n",
+      "{'epoch': 0, 'update in batch': 11014, '/': 12375, 'loss': 6.627488613128662}\n",
+      "{'epoch': 0, 'update in batch': 11015, '/': 12375, 'loss': 6.30764102935791}\n",
+      "{'epoch': 0, 'update in batch': 11016, '/': 12375, 'loss': 7.094407081604004}\n",
+      "{'epoch': 0, 'update in batch': 11017, '/': 12375, 'loss': 6.299892425537109}\n",
+      "{'epoch': 0, 'update in batch': 11018, '/': 12375, 'loss': 7.498353004455566}\n",
+      "{'epoch': 0, 'update in batch': 11019, '/': 12375, 'loss': 7.378155708312988}\n",
+      "{'epoch': 0, 'update in batch': 11020, '/': 12375, 'loss': 6.741584777832031}\n",
+      "{'epoch': 0, 'update in batch': 11021, '/': 12375, 'loss': 7.062117576599121}\n",
+      "{'epoch': 0, 'update in batch': 11022, '/': 12375, 'loss': 7.2043633460998535}\n",
+      "{'epoch': 0, 'update in batch': 11023, '/': 12375, 'loss': 7.0387444496154785}\n",
+      "{'epoch': 0, 'update in batch': 11024, '/': 12375, 'loss': 6.876061916351318}\n",
+      "{'epoch': 0, 'update in batch': 11025, '/': 12375, 'loss': 7.3162841796875}\n",
+      "{'epoch': 0, 'update in batch': 11026, '/': 12375, 'loss': 7.058497428894043}\n",
+      "{'epoch': 0, 'update in batch': 11027, '/': 12375, 'loss': 6.195256233215332}\n",
+      "{'epoch': 0, 'update in batch': 11028, '/': 12375, 'loss': 7.704718112945557}\n",
+      "{'epoch': 0, 'update in batch': 11029, '/': 12375, 'loss': 6.8971710205078125}\n",
+      "{'epoch': 0, 'update in batch': 11030, '/': 12375, 'loss': 6.637761116027832}\n",
+      "{'epoch': 0, 'update in batch': 11031, '/': 12375, 'loss': 7.519190788269043}\n",
+      "{'epoch': 0, 'update in batch': 11032, '/': 12375, 'loss': 7.049027442932129}\n",
+      "{'epoch': 0, 'update in batch': 11033, '/': 12375, 'loss': 6.897000312805176}\n",
+      "{'epoch': 0, 'update in batch': 11034, '/': 12375, 'loss': 7.613928318023682}\n",
+      "{'epoch': 0, 'update in batch': 11035, '/': 12375, 'loss': 6.5729265213012695}\n",
+      "{'epoch': 0, 'update in batch': 11036, '/': 12375, 'loss': 6.600978851318359}\n",
+      "{'epoch': 0, 'update in batch': 11037, '/': 12375, 'loss': 6.184346675872803}\n",
+      "{'epoch': 0, 'update in batch': 11038, '/': 12375, 'loss': 6.523599147796631}\n",
+      "{'epoch': 0, 'update in batch': 11039, '/': 12375, 'loss': 7.2560858726501465}\n",
+      "{'epoch': 0, 'update in batch': 11040, '/': 12375, 'loss': 7.355166435241699}\n",
+      "{'epoch': 0, 'update in batch': 11041, '/': 12375, 'loss': 6.185799598693848}\n",
+      "{'epoch': 0, 'update in batch': 11042, '/': 12375, 'loss': 7.23694372177124}\n",
+      "{'epoch': 0, 'update in batch': 11043, '/': 12375, 'loss': 6.558152198791504}\n",
+      "{'epoch': 0, 'update in batch': 11044, '/': 12375, 'loss': 8.35209846496582}\n",
+      "{'epoch': 0, 'update in batch': 11045, '/': 12375, 'loss': 7.511410713195801}\n",
+      "{'epoch': 0, 'update in batch': 11046, '/': 12375, 'loss': 7.203338623046875}\n",
+      "{'epoch': 0, 'update in batch': 11047, '/': 12375, 'loss': 7.183557033538818}\n",
+      "{'epoch': 0, 'update in batch': 11048, '/': 12375, 'loss': 6.8618597984313965}\n",
+      "{'epoch': 0, 'update in batch': 11049, '/': 12375, 'loss': 6.093024730682373}\n",
+      "{'epoch': 0, 'update in batch': 11050, '/': 12375, 'loss': 7.02779483795166}\n",
+      "{'epoch': 0, 'update in batch': 11051, '/': 12375, 'loss': 7.445592403411865}\n",
+      "{'epoch': 0, 'update in batch': 11052, '/': 12375, 'loss': 7.154038906097412}\n",
+      "{'epoch': 0, 'update in batch': 11053, '/': 12375, 'loss': 7.5297417640686035}\n",
+      "{'epoch': 0, 'update in batch': 11054, '/': 12375, 'loss': 7.692601203918457}\n",
+      "{'epoch': 0, 'update in batch': 11055, '/': 12375, 'loss': 7.727364540100098}\n",
+      "{'epoch': 0, 'update in batch': 11056, '/': 12375, 'loss': 6.704775333404541}\n",
+      "{'epoch': 0, 'update in batch': 11057, '/': 12375, 'loss': 7.046014308929443}\n",
+      "{'epoch': 0, 'update in batch': 11058, '/': 12375, 'loss': 6.6016082763671875}\n",
+      "{'epoch': 0, 'update in batch': 11059, '/': 12375, 'loss': 6.839419364929199}\n",
+      "{'epoch': 0, 'update in batch': 11060, '/': 12375, 'loss': 6.608898162841797}\n",
+      "{'epoch': 0, 'update in batch': 11061, '/': 12375, 'loss': 6.2651262283325195}\n",
+      "{'epoch': 0, 'update in batch': 11062, '/': 12375, 'loss': 6.443650245666504}\n",
+      "{'epoch': 0, 'update in batch': 11063, '/': 12375, 'loss': 7.416384696960449}\n",
+      "{'epoch': 0, 'update in batch': 11064, '/': 12375, 'loss': 5.970149993896484}\n",
+      "{'epoch': 0, 'update in batch': 11065, '/': 12375, 'loss': 6.3706769943237305}\n",
+      "{'epoch': 0, 'update in batch': 11066, '/': 12375, 'loss': 6.321263790130615}\n",
+      "{'epoch': 0, 'update in batch': 11067, '/': 12375, 'loss': 7.014817714691162}\n",
+      "{'epoch': 0, 'update in batch': 11068, '/': 12375, 'loss': 7.745811462402344}\n",
+      "{'epoch': 0, 'update in batch': 11069, '/': 12375, 'loss': 6.292352676391602}\n",
+      "{'epoch': 0, 'update in batch': 11070, '/': 12375, 'loss': 7.669715881347656}\n",
+      "{'epoch': 0, 'update in batch': 11071, '/': 12375, 'loss': 7.151400566101074}\n",
+      "{'epoch': 0, 'update in batch': 11072, '/': 12375, 'loss': 6.911445617675781}\n",
+      "{'epoch': 0, 'update in batch': 11073, '/': 12375, 'loss': 7.026359558105469}\n",
+      "{'epoch': 0, 'update in batch': 11074, '/': 12375, 'loss': 7.363844394683838}\n",
+      "{'epoch': 0, 'update in batch': 11075, '/': 12375, 'loss': 7.703618049621582}\n",
+      "{'epoch': 0, 'update in batch': 11076, '/': 12375, 'loss': 7.62230920791626}\n",
+      "{'epoch': 0, 'update in batch': 11077, '/': 12375, 'loss': 7.5244269371032715}\n",
+      "{'epoch': 0, 'update in batch': 11078, '/': 12375, 'loss': 7.101980686187744}\n",
+      "{'epoch': 0, 'update in batch': 11079, '/': 12375, 'loss': 7.1368727684021}\n",
+      "{'epoch': 0, 'update in batch': 11080, '/': 12375, 'loss': 7.088803768157959}\n",
+      "{'epoch': 0, 'update in batch': 11081, '/': 12375, 'loss': 7.803526401519775}\n",
+      "{'epoch': 0, 'update in batch': 11082, '/': 12375, 'loss': 7.359753608703613}\n",
+      "{'epoch': 0, 'update in batch': 11083, '/': 12375, 'loss': 7.431475639343262}\n",
+      "{'epoch': 0, 'update in batch': 11084, '/': 12375, 'loss': 7.266608238220215}\n",
+      "{'epoch': 0, 'update in batch': 11085, '/': 12375, 'loss': 7.51726770401001}\n",
+      "{'epoch': 0, 'update in batch': 11086, '/': 12375, 'loss': 7.5406293869018555}\n",
+      "{'epoch': 0, 'update in batch': 11087, '/': 12375, 'loss': 7.506147861480713}\n",
+      "{'epoch': 0, 'update in batch': 11088, '/': 12375, 'loss': 6.454930305480957}\n",
+      "{'epoch': 0, 'update in batch': 11089, '/': 12375, 'loss': 7.1259636878967285}\n",
+      "{'epoch': 0, 'update in batch': 11090, '/': 12375, 'loss': 7.195155143737793}\n",
+      "{'epoch': 0, 'update in batch': 11091, '/': 12375, 'loss': 7.152860164642334}\n",
+      "{'epoch': 0, 'update in batch': 11092, '/': 12375, 'loss': 7.163200378417969}\n",
+      "{'epoch': 0, 'update in batch': 11093, '/': 12375, 'loss': 6.983155250549316}\n",
+      "{'epoch': 0, 'update in batch': 11094, '/': 12375, 'loss': 7.2094268798828125}\n",
+      "{'epoch': 0, 'update in batch': 11095, '/': 12375, 'loss': 7.139527320861816}\n",
+      "{'epoch': 0, 'update in batch': 11096, '/': 12375, 'loss': 6.507758140563965}\n",
+      "{'epoch': 0, 'update in batch': 11097, '/': 12375, 'loss': 6.640538692474365}\n",
+      "{'epoch': 0, 'update in batch': 11098, '/': 12375, 'loss': 7.095428466796875}\n",
+      "{'epoch': 0, 'update in batch': 11099, '/': 12375, 'loss': 6.7995123863220215}\n",
+      "{'epoch': 0, 'update in batch': 11100, '/': 12375, 'loss': 6.757031440734863}\n",
+      "{'epoch': 0, 'update in batch': 11101, '/': 12375, 'loss': 7.311592102050781}\n",
+      "{'epoch': 0, 'update in batch': 11102, '/': 12375, 'loss': 6.808968544006348}\n",
+      "{'epoch': 0, 'update in batch': 11103, '/': 12375, 'loss': 6.850231170654297}\n",
+      "{'epoch': 0, 'update in batch': 11104, '/': 12375, 'loss': 6.739704132080078}\n",
+      "{'epoch': 0, 'update in batch': 11105, '/': 12375, 'loss': 7.28131103515625}\n",
+      "{'epoch': 0, 'update in batch': 11106, '/': 12375, 'loss': 7.199287414550781}\n",
+      "{'epoch': 0, 'update in batch': 11107, '/': 12375, 'loss': 7.037896156311035}\n",
+      "{'epoch': 0, 'update in batch': 11108, '/': 12375, 'loss': 7.3916120529174805}\n",
+      "{'epoch': 0, 'update in batch': 11109, '/': 12375, 'loss': 6.619580268859863}\n",
+      "{'epoch': 0, 'update in batch': 11110, '/': 12375, 'loss': 6.203426837921143}\n",
+      "{'epoch': 0, 'update in batch': 11111, '/': 12375, 'loss': 7.16698694229126}\n",
+      "{'epoch': 0, 'update in batch': 11112, '/': 12375, 'loss': 7.14667272567749}\n",
+      "{'epoch': 0, 'update in batch': 11113, '/': 12375, 'loss': 7.421164512634277}\n",
+      "{'epoch': 0, 'update in batch': 11114, '/': 12375, 'loss': 7.336860656738281}\n",
+      "{'epoch': 0, 'update in batch': 11115, '/': 12375, 'loss': 6.8636016845703125}\n",
+      "{'epoch': 0, 'update in batch': 11116, '/': 12375, 'loss': 7.256472587585449}\n",
+      "{'epoch': 0, 'update in batch': 11117, '/': 12375, 'loss': 7.241543769836426}\n",
+      "{'epoch': 0, 'update in batch': 11118, '/': 12375, 'loss': 7.407238960266113}\n",
+      "{'epoch': 0, 'update in batch': 11119, '/': 12375, 'loss': 7.233379364013672}\n",
+      "{'epoch': 0, 'update in batch': 11120, '/': 12375, 'loss': 6.853647708892822}\n",
+      "{'epoch': 0, 'update in batch': 11121, '/': 12375, 'loss': 6.382944107055664}\n",
+      "{'epoch': 0, 'update in batch': 11122, '/': 12375, 'loss': 7.080833435058594}\n",
+      "{'epoch': 0, 'update in batch': 11123, '/': 12375, 'loss': 6.832350730895996}\n",
+      "{'epoch': 0, 'update in batch': 11124, '/': 12375, 'loss': 7.028194427490234}\n",
+      "{'epoch': 0, 'update in batch': 11125, '/': 12375, 'loss': 6.6067214012146}\n",
+      "{'epoch': 0, 'update in batch': 11126, '/': 12375, 'loss': 7.1126909255981445}\n",
+      "{'epoch': 0, 'update in batch': 11127, '/': 12375, 'loss': 6.969638824462891}\n",
+      "{'epoch': 0, 'update in batch': 11128, '/': 12375, 'loss': 7.232153415679932}\n",
+      "{'epoch': 0, 'update in batch': 11129, '/': 12375, 'loss': 7.280374050140381}\n",
+      "{'epoch': 0, 'update in batch': 11130, '/': 12375, 'loss': 7.097378730773926}\n",
+      "{'epoch': 0, 'update in batch': 11131, '/': 12375, 'loss': 7.609857082366943}\n",
+      "{'epoch': 0, 'update in batch': 11132, '/': 12375, 'loss': 7.930227756500244}\n",
+      "{'epoch': 0, 'update in batch': 11133, '/': 12375, 'loss': 7.282261848449707}\n",
+      "{'epoch': 0, 'update in batch': 11134, '/': 12375, 'loss': 7.714621067047119}\n",
+      "{'epoch': 0, 'update in batch': 11135, '/': 12375, 'loss': 7.109494686126709}\n",
+      "{'epoch': 0, 'update in batch': 11136, '/': 12375, 'loss': 7.568240165710449}\n",
+      "{'epoch': 0, 'update in batch': 11137, '/': 12375, 'loss': 7.692579746246338}\n",
+      "{'epoch': 0, 'update in batch': 11138, '/': 12375, 'loss': 7.0544939041137695}\n",
+      "{'epoch': 0, 'update in batch': 11139, '/': 12375, 'loss': 7.715273380279541}\n",
+      "{'epoch': 0, 'update in batch': 11140, '/': 12375, 'loss': 8.17044734954834}\n",
+      "{'epoch': 0, 'update in batch': 11141, '/': 12375, 'loss': 7.682214260101318}\n",
+      "{'epoch': 0, 'update in batch': 11142, '/': 12375, 'loss': 7.294478416442871}\n",
+      "{'epoch': 0, 'update in batch': 11143, '/': 12375, 'loss': 7.183079719543457}\n",
+      "{'epoch': 0, 'update in batch': 11144, '/': 12375, 'loss': 7.5080976486206055}\n",
+      "{'epoch': 0, 'update in batch': 11145, '/': 12375, 'loss': 7.6703033447265625}\n",
+      "{'epoch': 0, 'update in batch': 11146, '/': 12375, 'loss': 7.030386447906494}\n",
+      "{'epoch': 0, 'update in batch': 11147, '/': 12375, 'loss': 6.264308452606201}\n",
+      "{'epoch': 0, 'update in batch': 11148, '/': 12375, 'loss': 7.214754581451416}\n",
+      "{'epoch': 0, 'update in batch': 11149, '/': 12375, 'loss': 7.4938788414001465}\n",
+      "{'epoch': 0, 'update in batch': 11150, '/': 12375, 'loss': 6.584986209869385}\n",
+      "{'epoch': 0, 'update in batch': 11151, '/': 12375, 'loss': 6.649545192718506}\n",
+      "{'epoch': 0, 'update in batch': 11152, '/': 12375, 'loss': 6.986271858215332}\n",
+      "{'epoch': 0, 'update in batch': 11153, '/': 12375, 'loss': 7.234738826751709}\n",
+      "{'epoch': 0, 'update in batch': 11154, '/': 12375, 'loss': 7.054209232330322}\n",
+      "{'epoch': 0, 'update in batch': 11155, '/': 12375, 'loss': 6.986607551574707}\n",
+      "{'epoch': 0, 'update in batch': 11156, '/': 12375, 'loss': 6.864696502685547}\n",
+      "{'epoch': 0, 'update in batch': 11157, '/': 12375, 'loss': 6.632574558258057}\n",
+      "{'epoch': 0, 'update in batch': 11158, '/': 12375, 'loss': 7.204164028167725}\n",
+      "{'epoch': 0, 'update in batch': 11159, '/': 12375, 'loss': 6.60275936126709}\n",
+      "{'epoch': 0, 'update in batch': 11160, '/': 12375, 'loss': 6.439198970794678}\n",
+      "{'epoch': 0, 'update in batch': 11161, '/': 12375, 'loss': 6.276434898376465}\n",
+      "{'epoch': 0, 'update in batch': 11162, '/': 12375, 'loss': 5.9592366218566895}\n",
+      "{'epoch': 0, 'update in batch': 11163, '/': 12375, 'loss': 6.436680793762207}\n",
+      "{'epoch': 0, 'update in batch': 11164, '/': 12375, 'loss': 6.0953474044799805}\n",
+      "{'epoch': 0, 'update in batch': 11165, '/': 12375, 'loss': 5.853756904602051}\n",
+      "{'epoch': 0, 'update in batch': 11166, '/': 12375, 'loss': 6.810082912445068}\n",
+      "{'epoch': 0, 'update in batch': 11167, '/': 12375, 'loss': 6.302123546600342}\n",
+      "{'epoch': 0, 'update in batch': 11168, '/': 12375, 'loss': 6.665355682373047}\n",
+      "{'epoch': 0, 'update in batch': 11169, '/': 12375, 'loss': 6.580931663513184}\n",
+      "{'epoch': 0, 'update in batch': 11170, '/': 12375, 'loss': 6.449986457824707}\n",
+      "{'epoch': 0, 'update in batch': 11171, '/': 12375, 'loss': 6.772188663482666}\n",
+      "{'epoch': 0, 'update in batch': 11172, '/': 12375, 'loss': 6.949830055236816}\n",
+      "{'epoch': 0, 'update in batch': 11173, '/': 12375, 'loss': 5.883284568786621}\n",
+      "{'epoch': 0, 'update in batch': 11174, '/': 12375, 'loss': 7.0133867263793945}\n",
+      "{'epoch': 0, 'update in batch': 11175, '/': 12375, 'loss': 6.655067443847656}\n",
+      "{'epoch': 0, 'update in batch': 11176, '/': 12375, 'loss': 6.960928440093994}\n",
+      "{'epoch': 0, 'update in batch': 11177, '/': 12375, 'loss': 6.467510223388672}\n",
+      "{'epoch': 0, 'update in batch': 11178, '/': 12375, 'loss': 6.924220085144043}\n",
+      "{'epoch': 0, 'update in batch': 11179, '/': 12375, 'loss': 7.463974952697754}\n",
+      "{'epoch': 0, 'update in batch': 11180, '/': 12375, 'loss': 6.153270721435547}\n",
+      "{'epoch': 0, 'update in batch': 11181, '/': 12375, 'loss': 5.918485164642334}\n",
+      "{'epoch': 0, 'update in batch': 11182, '/': 12375, 'loss': 6.742218971252441}\n",
+      "{'epoch': 0, 'update in batch': 11183, '/': 12375, 'loss': 6.072707176208496}\n",
+      "{'epoch': 0, 'update in batch': 11184, '/': 12375, 'loss': 6.771653175354004}\n",
+      "{'epoch': 0, 'update in batch': 11185, '/': 12375, 'loss': 6.406523704528809}\n",
+      "{'epoch': 0, 'update in batch': 11186, '/': 12375, 'loss': 6.73482608795166}\n",
+      "{'epoch': 0, 'update in batch': 11187, '/': 12375, 'loss': 7.456761837005615}\n",
+      "{'epoch': 0, 'update in batch': 11188, '/': 12375, 'loss': 6.94901180267334}\n",
+      "{'epoch': 0, 'update in batch': 11189, '/': 12375, 'loss': 7.087704658508301}\n",
+      "{'epoch': 0, 'update in batch': 11190, '/': 12375, 'loss': 7.447789192199707}\n",
+      "{'epoch': 0, 'update in batch': 11191, '/': 12375, 'loss': 6.941688537597656}\n",
+      "{'epoch': 0, 'update in batch': 11192, '/': 12375, 'loss': 6.474648475646973}\n",
+      "{'epoch': 0, 'update in batch': 11193, '/': 12375, 'loss': 7.147261142730713}\n",
+      "{'epoch': 0, 'update in batch': 11194, '/': 12375, 'loss': 7.231776237487793}\n",
+      "{'epoch': 0, 'update in batch': 11195, '/': 12375, 'loss': 7.340785980224609}\n",
+      "{'epoch': 0, 'update in batch': 11196, '/': 12375, 'loss': 7.361181735992432}\n",
+      "{'epoch': 0, 'update in batch': 11197, '/': 12375, 'loss': 7.595592498779297}\n",
+      "{'epoch': 0, 'update in batch': 11198, '/': 12375, 'loss': 7.291576385498047}\n",
+      "{'epoch': 0, 'update in batch': 11199, '/': 12375, 'loss': 7.151257514953613}\n",
+      "{'epoch': 0, 'update in batch': 11200, '/': 12375, 'loss': 6.700722694396973}\n",
+      "{'epoch': 0, 'update in batch': 11201, '/': 12375, 'loss': 7.627282619476318}\n",
+      "{'epoch': 0, 'update in batch': 11202, '/': 12375, 'loss': 7.914828300476074}\n",
+      "{'epoch': 0, 'update in batch': 11203, '/': 12375, 'loss': 7.756120204925537}\n",
+      "{'epoch': 0, 'update in batch': 11204, '/': 12375, 'loss': 7.381344795227051}\n",
+      "{'epoch': 0, 'update in batch': 11205, '/': 12375, 'loss': 7.509731292724609}\n",
+      "{'epoch': 0, 'update in batch': 11206, '/': 12375, 'loss': 7.160081386566162}\n",
+      "{'epoch': 0, 'update in batch': 11207, '/': 12375, 'loss': 7.700219631195068}\n",
+      "{'epoch': 0, 'update in batch': 11208, '/': 12375, 'loss': 8.032735824584961}\n",
+      "{'epoch': 0, 'update in batch': 11209, '/': 12375, 'loss': 7.8330512046813965}\n",
+      "{'epoch': 0, 'update in batch': 11210, '/': 12375, 'loss': 7.415407657623291}\n",
+      "{'epoch': 0, 'update in batch': 11211, '/': 12375, 'loss': 7.189724922180176}\n",
+      "{'epoch': 0, 'update in batch': 11212, '/': 12375, 'loss': 7.488917350769043}\n",
+      "{'epoch': 0, 'update in batch': 11213, '/': 12375, 'loss': 7.307845115661621}\n",
+      "{'epoch': 0, 'update in batch': 11214, '/': 12375, 'loss': 6.7888054847717285}\n",
+      "{'epoch': 0, 'update in batch': 11215, '/': 12375, 'loss': 6.505684852600098}\n",
+      "{'epoch': 0, 'update in batch': 11216, '/': 12375, 'loss': 7.353762149810791}\n",
+      "{'epoch': 0, 'update in batch': 11217, '/': 12375, 'loss': 7.185217380523682}\n",
+      "{'epoch': 0, 'update in batch': 11218, '/': 12375, 'loss': 7.206254482269287}\n",
+      "{'epoch': 0, 'update in batch': 11219, '/': 12375, 'loss': 6.763361930847168}\n",
+      "{'epoch': 0, 'update in batch': 11220, '/': 12375, 'loss': 7.396485328674316}\n",
+      "{'epoch': 0, 'update in batch': 11221, '/': 12375, 'loss': 7.279094696044922}\n",
+      "{'epoch': 0, 'update in batch': 11222, '/': 12375, 'loss': 7.460082054138184}\n",
+      "{'epoch': 0, 'update in batch': 11223, '/': 12375, 'loss': 7.77561092376709}\n",
+      "{'epoch': 0, 'update in batch': 11224, '/': 12375, 'loss': 7.919707298278809}\n",
+      "{'epoch': 0, 'update in batch': 11225, '/': 12375, 'loss': 7.575648307800293}\n",
+      "{'epoch': 0, 'update in batch': 11226, '/': 12375, 'loss': 7.341625213623047}\n",
+      "{'epoch': 0, 'update in batch': 11227, '/': 12375, 'loss': 7.344327449798584}\n",
+      "{'epoch': 0, 'update in batch': 11228, '/': 12375, 'loss': 7.39569616317749}\n",
+      "{'epoch': 0, 'update in batch': 11229, '/': 12375, 'loss': 7.341771602630615}\n",
+      "{'epoch': 0, 'update in batch': 11230, '/': 12375, 'loss': 6.299738883972168}\n",
+      "{'epoch': 0, 'update in batch': 11231, '/': 12375, 'loss': 6.2747907638549805}\n",
+      "{'epoch': 0, 'update in batch': 11232, '/': 12375, 'loss': 6.616479396820068}\n",
+      "{'epoch': 0, 'update in batch': 11233, '/': 12375, 'loss': 6.493419647216797}\n",
+      "{'epoch': 0, 'update in batch': 11234, '/': 12375, 'loss': 7.165224552154541}\n",
+      "{'epoch': 0, 'update in batch': 11235, '/': 12375, 'loss': 6.14514684677124}\n",
+      "{'epoch': 0, 'update in batch': 11236, '/': 12375, 'loss': 5.98101806640625}\n",
+      "{'epoch': 0, 'update in batch': 11237, '/': 12375, 'loss': 7.012017250061035}\n",
+      "{'epoch': 0, 'update in batch': 11238, '/': 12375, 'loss': 6.710859775543213}\n",
+      "{'epoch': 0, 'update in batch': 11239, '/': 12375, 'loss': 6.391858100891113}\n",
+      "{'epoch': 0, 'update in batch': 11240, '/': 12375, 'loss': 6.927661895751953}\n",
+      "{'epoch': 0, 'update in batch': 11241, '/': 12375, 'loss': 7.187947750091553}\n",
+      "{'epoch': 0, 'update in batch': 11242, '/': 12375, 'loss': 6.642319679260254}\n",
+      "{'epoch': 0, 'update in batch': 11243, '/': 12375, 'loss': 6.98544454574585}\n",
+      "{'epoch': 0, 'update in batch': 11244, '/': 12375, 'loss': 7.190255165100098}\n",
+      "{'epoch': 0, 'update in batch': 11245, '/': 12375, 'loss': 7.6832594871521}\n",
+      "{'epoch': 0, 'update in batch': 11246, '/': 12375, 'loss': 7.148348331451416}\n",
+      "{'epoch': 0, 'update in batch': 11247, '/': 12375, 'loss': 6.9732513427734375}\n",
+      "{'epoch': 0, 'update in batch': 11248, '/': 12375, 'loss': 7.10708475112915}\n",
+      "{'epoch': 0, 'update in batch': 11249, '/': 12375, 'loss': 7.283298492431641}\n",
+      "{'epoch': 0, 'update in batch': 11250, '/': 12375, 'loss': 7.621168613433838}\n",
+      "{'epoch': 0, 'update in batch': 11251, '/': 12375, 'loss': 7.046220302581787}\n",
+      "{'epoch': 0, 'update in batch': 11252, '/': 12375, 'loss': 7.163487911224365}\n",
+      "{'epoch': 0, 'update in batch': 11253, '/': 12375, 'loss': 7.356507778167725}\n",
+      "{'epoch': 0, 'update in batch': 11254, '/': 12375, 'loss': 7.3829545974731445}\n",
+      "{'epoch': 0, 'update in batch': 11255, '/': 12375, 'loss': 7.38751220703125}\n",
+      "{'epoch': 0, 'update in batch': 11256, '/': 12375, 'loss': 7.02392053604126}\n",
+      "{'epoch': 0, 'update in batch': 11257, '/': 12375, 'loss': 7.649986267089844}\n",
+      "{'epoch': 0, 'update in batch': 11258, '/': 12375, 'loss': 7.17212438583374}\n",
+      "{'epoch': 0, 'update in batch': 11259, '/': 12375, 'loss': 7.473672389984131}\n",
+      "{'epoch': 0, 'update in batch': 11260, '/': 12375, 'loss': 6.712018013000488}\n",
+      "{'epoch': 0, 'update in batch': 11261, '/': 12375, 'loss': 7.484529972076416}\n",
+      "{'epoch': 0, 'update in batch': 11262, '/': 12375, 'loss': 7.716763973236084}\n",
+      "{'epoch': 0, 'update in batch': 11263, '/': 12375, 'loss': 7.352416038513184}\n",
+      "{'epoch': 0, 'update in batch': 11264, '/': 12375, 'loss': 6.7855119705200195}\n",
+      "{'epoch': 0, 'update in batch': 11265, '/': 12375, 'loss': 7.4530839920043945}\n",
+      "{'epoch': 0, 'update in batch': 11266, '/': 12375, 'loss': 6.985191345214844}\n",
+      "{'epoch': 0, 'update in batch': 11267, '/': 12375, 'loss': 6.666787147521973}\n",
+      "{'epoch': 0, 'update in batch': 11268, '/': 12375, 'loss': 6.0455451011657715}\n",
+      "{'epoch': 0, 'update in batch': 11269, '/': 12375, 'loss': 6.701703071594238}\n",
+      "{'epoch': 0, 'update in batch': 11270, '/': 12375, 'loss': 6.875303745269775}\n",
+      "{'epoch': 0, 'update in batch': 11271, '/': 12375, 'loss': 7.004701137542725}\n",
+      "{'epoch': 0, 'update in batch': 11272, '/': 12375, 'loss': 6.190657138824463}\n",
+      "{'epoch': 0, 'update in batch': 11273, '/': 12375, 'loss': 6.954291343688965}\n",
+      "{'epoch': 0, 'update in batch': 11274, '/': 12375, 'loss': 6.949213981628418}\n",
+      "{'epoch': 0, 'update in batch': 11275, '/': 12375, 'loss': 6.108246326446533}\n",
+      "{'epoch': 0, 'update in batch': 11276, '/': 12375, 'loss': 6.524191856384277}\n",
+      "{'epoch': 0, 'update in batch': 11277, '/': 12375, 'loss': 7.217342376708984}\n",
+      "{'epoch': 0, 'update in batch': 11278, '/': 12375, 'loss': 5.893795967102051}\n",
+      "{'epoch': 0, 'update in batch': 11279, '/': 12375, 'loss': 7.491751194000244}\n",
+      "{'epoch': 0, 'update in batch': 11280, '/': 12375, 'loss': 6.153256893157959}\n",
+      "{'epoch': 0, 'update in batch': 11281, '/': 12375, 'loss': 7.73275089263916}\n",
+      "{'epoch': 0, 'update in batch': 11282, '/': 12375, 'loss': 7.045395851135254}\n",
+      "{'epoch': 0, 'update in batch': 11283, '/': 12375, 'loss': 7.6469526290893555}\n",
+      "{'epoch': 0, 'update in batch': 11284, '/': 12375, 'loss': 7.9708147048950195}\n",
+      "{'epoch': 0, 'update in batch': 11285, '/': 12375, 'loss': 7.899720668792725}\n",
+      "{'epoch': 0, 'update in batch': 11286, '/': 12375, 'loss': 8.379247665405273}\n",
+      "{'epoch': 0, 'update in batch': 11287, '/': 12375, 'loss': 7.420786380767822}\n",
+      "{'epoch': 0, 'update in batch': 11288, '/': 12375, 'loss': 7.78809118270874}\n",
+      "{'epoch': 0, 'update in batch': 11289, '/': 12375, 'loss': 7.508698463439941}\n",
+      "{'epoch': 0, 'update in batch': 11290, '/': 12375, 'loss': 7.234461784362793}\n",
+      "{'epoch': 0, 'update in batch': 11291, '/': 12375, 'loss': 6.503617763519287}\n",
+      "{'epoch': 0, 'update in batch': 11292, '/': 12375, 'loss': 7.277078151702881}\n",
+      "{'epoch': 0, 'update in batch': 11293, '/': 12375, 'loss': 7.861536979675293}\n",
+      "{'epoch': 0, 'update in batch': 11294, '/': 12375, 'loss': 7.778833866119385}\n",
+      "{'epoch': 0, 'update in batch': 11295, '/': 12375, 'loss': 7.603721618652344}\n",
+      "{'epoch': 0, 'update in batch': 11296, '/': 12375, 'loss': 7.853819370269775}\n",
+      "{'epoch': 0, 'update in batch': 11297, '/': 12375, 'loss': 7.634623050689697}\n",
+      "{'epoch': 0, 'update in batch': 11298, '/': 12375, 'loss': 7.800454139709473}\n",
+      "{'epoch': 0, 'update in batch': 11299, '/': 12375, 'loss': 7.30899715423584}\n",
+      "{'epoch': 0, 'update in batch': 11300, '/': 12375, 'loss': 8.290704727172852}\n",
+      "{'epoch': 0, 'update in batch': 11301, '/': 12375, 'loss': 7.2228546142578125}\n",
+      "{'epoch': 0, 'update in batch': 11302, '/': 12375, 'loss': 8.658576011657715}\n",
+      "{'epoch': 0, 'update in batch': 11303, '/': 12375, 'loss': 7.829765319824219}\n",
+      "{'epoch': 0, 'update in batch': 11304, '/': 12375, 'loss': 7.503573417663574}\n",
+      "{'epoch': 0, 'update in batch': 11305, '/': 12375, 'loss': 8.025972366333008}\n",
+      "{'epoch': 0, 'update in batch': 11306, '/': 12375, 'loss': 8.283540725708008}\n",
+      "{'epoch': 0, 'update in batch': 11307, '/': 12375, 'loss': 7.562447547912598}\n",
+      "{'epoch': 0, 'update in batch': 11308, '/': 12375, 'loss': 7.795168399810791}\n",
+      "{'epoch': 0, 'update in batch': 11309, '/': 12375, 'loss': 7.7636613845825195}\n",
+      "{'epoch': 0, 'update in batch': 11310, '/': 12375, 'loss': 6.650195121765137}\n",
+      "{'epoch': 0, 'update in batch': 11311, '/': 12375, 'loss': 7.665659427642822}\n",
+      "{'epoch': 0, 'update in batch': 11312, '/': 12375, 'loss': 7.618182182312012}\n",
+      "{'epoch': 0, 'update in batch': 11313, '/': 12375, 'loss': 7.508190155029297}\n",
+      "{'epoch': 0, 'update in batch': 11314, '/': 12375, 'loss': 8.010916709899902}\n",
+      "{'epoch': 0, 'update in batch': 11315, '/': 12375, 'loss': 7.4527788162231445}\n",
+      "{'epoch': 0, 'update in batch': 11316, '/': 12375, 'loss': 6.6136932373046875}\n",
+      "{'epoch': 0, 'update in batch': 11317, '/': 12375, 'loss': 7.134036064147949}\n",
+      "{'epoch': 0, 'update in batch': 11318, '/': 12375, 'loss': 6.467465877532959}\n",
+      "{'epoch': 0, 'update in batch': 11319, '/': 12375, 'loss': 7.526436805725098}\n",
+      "{'epoch': 0, 'update in batch': 11320, '/': 12375, 'loss': 7.222148895263672}\n",
+      "{'epoch': 0, 'update in batch': 11321, '/': 12375, 'loss': 7.076235294342041}\n",
+      "{'epoch': 0, 'update in batch': 11322, '/': 12375, 'loss': 7.035785675048828}\n",
+      "{'epoch': 0, 'update in batch': 11323, '/': 12375, 'loss': 6.416271209716797}\n",
+      "{'epoch': 0, 'update in batch': 11324, '/': 12375, 'loss': 7.300262451171875}\n",
+      "{'epoch': 0, 'update in batch': 11325, '/': 12375, 'loss': 7.336695671081543}\n",
+      "{'epoch': 0, 'update in batch': 11326, '/': 12375, 'loss': 6.326905727386475}\n",
+      "{'epoch': 0, 'update in batch': 11327, '/': 12375, 'loss': 7.38992166519165}\n",
+      "{'epoch': 0, 'update in batch': 11328, '/': 12375, 'loss': 5.8400750160217285}\n",
+      "{'epoch': 0, 'update in batch': 11329, '/': 12375, 'loss': 6.700379848480225}\n",
+      "{'epoch': 0, 'update in batch': 11330, '/': 12375, 'loss': 7.095674991607666}\n",
+      "{'epoch': 0, 'update in batch': 11331, '/': 12375, 'loss': 6.54688024520874}\n",
+      "{'epoch': 0, 'update in batch': 11332, '/': 12375, 'loss': 7.6042799949646}\n",
+      "{'epoch': 0, 'update in batch': 11333, '/': 12375, 'loss': 6.690216064453125}\n",
+      "{'epoch': 0, 'update in batch': 11334, '/': 12375, 'loss': 6.735232353210449}\n",
+      "{'epoch': 0, 'update in batch': 11335, '/': 12375, 'loss': 7.88635778427124}\n",
+      "{'epoch': 0, 'update in batch': 11336, '/': 12375, 'loss': 7.3252058029174805}\n",
+      "{'epoch': 0, 'update in batch': 11337, '/': 12375, 'loss': 7.5732316970825195}\n",
+      "{'epoch': 0, 'update in batch': 11338, '/': 12375, 'loss': 7.303508758544922}\n",
+      "{'epoch': 0, 'update in batch': 11339, '/': 12375, 'loss': 7.907855033874512}\n",
+      "{'epoch': 0, 'update in batch': 11340, '/': 12375, 'loss': 6.3310866355896}\n",
+      "{'epoch': 0, 'update in batch': 11341, '/': 12375, 'loss': 6.698051452636719}\n",
+      "{'epoch': 0, 'update in batch': 11342, '/': 12375, 'loss': 6.22650146484375}\n",
+      "{'epoch': 0, 'update in batch': 11343, '/': 12375, 'loss': 6.363445281982422}\n",
+      "{'epoch': 0, 'update in batch': 11344, '/': 12375, 'loss': 7.665454864501953}\n",
+      "{'epoch': 0, 'update in batch': 11345, '/': 12375, 'loss': 7.51593542098999}\n",
+      "{'epoch': 0, 'update in batch': 11346, '/': 12375, 'loss': 6.9745941162109375}\n",
+      "{'epoch': 0, 'update in batch': 11347, '/': 12375, 'loss': 6.854147434234619}\n",
+      "{'epoch': 0, 'update in batch': 11348, '/': 12375, 'loss': 6.941397190093994}\n",
+      "{'epoch': 0, 'update in batch': 11349, '/': 12375, 'loss': 6.867953300476074}\n",
+      "{'epoch': 0, 'update in batch': 11350, '/': 12375, 'loss': 7.616909027099609}\n",
+      "{'epoch': 0, 'update in batch': 11351, '/': 12375, 'loss': 6.752718448638916}\n",
+      "{'epoch': 0, 'update in batch': 11352, '/': 12375, 'loss': 7.764355659484863}\n",
+      "{'epoch': 0, 'update in batch': 11353, '/': 12375, 'loss': 6.406548976898193}\n",
+      "{'epoch': 0, 'update in batch': 11354, '/': 12375, 'loss': 7.546517848968506}\n",
+      "{'epoch': 0, 'update in batch': 11355, '/': 12375, 'loss': 7.200228214263916}\n",
+      "{'epoch': 0, 'update in batch': 11356, '/': 12375, 'loss': 7.607180595397949}\n",
+      "{'epoch': 0, 'update in batch': 11357, '/': 12375, 'loss': 7.431968688964844}\n",
+      "{'epoch': 0, 'update in batch': 11358, '/': 12375, 'loss': 6.411908149719238}\n",
+      "{'epoch': 0, 'update in batch': 11359, '/': 12375, 'loss': 6.882139682769775}\n",
+      "{'epoch': 0, 'update in batch': 11360, '/': 12375, 'loss': 7.4779534339904785}\n",
+      "{'epoch': 0, 'update in batch': 11361, '/': 12375, 'loss': 7.1456499099731445}\n",
+      "{'epoch': 0, 'update in batch': 11362, '/': 12375, 'loss': 6.918875217437744}\n",
+      "{'epoch': 0, 'update in batch': 11363, '/': 12375, 'loss': 7.353686332702637}\n",
+      "{'epoch': 0, 'update in batch': 11364, '/': 12375, 'loss': 5.82719612121582}\n",
+      "{'epoch': 0, 'update in batch': 11365, '/': 12375, 'loss': 7.43227481842041}\n",
+      "{'epoch': 0, 'update in batch': 11366, '/': 12375, 'loss': 6.252602577209473}\n",
+      "{'epoch': 0, 'update in batch': 11367, '/': 12375, 'loss': 7.411478519439697}\n",
+      "{'epoch': 0, 'update in batch': 11368, '/': 12375, 'loss': 7.075482368469238}\n",
+      "{'epoch': 0, 'update in batch': 11369, '/': 12375, 'loss': 7.0780348777771}\n",
+      "{'epoch': 0, 'update in batch': 11370, '/': 12375, 'loss': 6.788107395172119}\n",
+      "{'epoch': 0, 'update in batch': 11371, '/': 12375, 'loss': 6.366035461425781}\n",
+      "{'epoch': 0, 'update in batch': 11372, '/': 12375, 'loss': 7.09958028793335}\n",
+      "{'epoch': 0, 'update in batch': 11373, '/': 12375, 'loss': 7.071577548980713}\n",
+      "{'epoch': 0, 'update in batch': 11374, '/': 12375, 'loss': 6.893894195556641}\n",
+      "{'epoch': 0, 'update in batch': 11375, '/': 12375, 'loss': 6.791557312011719}\n",
+      "{'epoch': 0, 'update in batch': 11376, '/': 12375, 'loss': 5.921268939971924}\n",
+      "{'epoch': 0, 'update in batch': 11377, '/': 12375, 'loss': 6.381848335266113}\n",
+      "{'epoch': 0, 'update in batch': 11378, '/': 12375, 'loss': 6.831605434417725}\n",
+      "{'epoch': 0, 'update in batch': 11379, '/': 12375, 'loss': 6.869956970214844}\n",
+      "{'epoch': 0, 'update in batch': 11380, '/': 12375, 'loss': 7.228335380554199}\n",
+      "{'epoch': 0, 'update in batch': 11381, '/': 12375, 'loss': 7.105271339416504}\n",
+      "{'epoch': 0, 'update in batch': 11382, '/': 12375, 'loss': 7.195819854736328}\n",
+      "{'epoch': 0, 'update in batch': 11383, '/': 12375, 'loss': 8.199335098266602}\n",
+      "{'epoch': 0, 'update in batch': 11384, '/': 12375, 'loss': 7.90286922454834}\n",
+      "{'epoch': 0, 'update in batch': 11385, '/': 12375, 'loss': 8.123563766479492}\n",
+      "{'epoch': 0, 'update in batch': 11386, '/': 12375, 'loss': 7.691414833068848}\n",
+      "{'epoch': 0, 'update in batch': 11387, '/': 12375, 'loss': 7.74957275390625}\n",
+      "{'epoch': 0, 'update in batch': 11388, '/': 12375, 'loss': 7.728581428527832}\n",
+      "{'epoch': 0, 'update in batch': 11389, '/': 12375, 'loss': 7.722830295562744}\n",
+      "{'epoch': 0, 'update in batch': 11390, '/': 12375, 'loss': 7.407745361328125}\n",
+      "{'epoch': 0, 'update in batch': 11391, '/': 12375, 'loss': 7.869056701660156}\n",
+      "{'epoch': 0, 'update in batch': 11392, '/': 12375, 'loss': 7.619244575500488}\n",
+      "{'epoch': 0, 'update in batch': 11393, '/': 12375, 'loss': 7.0641188621521}\n",
+      "{'epoch': 0, 'update in batch': 11394, '/': 12375, 'loss': 6.776029109954834}\n",
+      "{'epoch': 0, 'update in batch': 11395, '/': 12375, 'loss': 7.139451503753662}\n",
+      "{'epoch': 0, 'update in batch': 11396, '/': 12375, 'loss': 7.96145486831665}\n",
+      "{'epoch': 0, 'update in batch': 11397, '/': 12375, 'loss': 7.482614994049072}\n",
+      "{'epoch': 0, 'update in batch': 11398, '/': 12375, 'loss': 7.979578971862793}\n",
+      "{'epoch': 0, 'update in batch': 11399, '/': 12375, 'loss': 7.692481994628906}\n",
+      "{'epoch': 0, 'update in batch': 11400, '/': 12375, 'loss': 7.421404838562012}\n",
+      "{'epoch': 0, 'update in batch': 11401, '/': 12375, 'loss': 7.72735595703125}\n",
+      "{'epoch': 0, 'update in batch': 11402, '/': 12375, 'loss': 8.06772518157959}\n",
+      "{'epoch': 0, 'update in batch': 11403, '/': 12375, 'loss': 7.764153957366943}\n",
+      "{'epoch': 0, 'update in batch': 11404, '/': 12375, 'loss': 7.8260650634765625}\n",
+      "{'epoch': 0, 'update in batch': 11405, '/': 12375, 'loss': 7.561587333679199}\n",
+      "{'epoch': 0, 'update in batch': 11406, '/': 12375, 'loss': 7.775107383728027}\n",
+      "{'epoch': 0, 'update in batch': 11407, '/': 12375, 'loss': 7.653743743896484}\n",
+      "{'epoch': 0, 'update in batch': 11408, '/': 12375, 'loss': 7.447999477386475}\n",
+      "{'epoch': 0, 'update in batch': 11409, '/': 12375, 'loss': 7.736645698547363}\n",
+      "{'epoch': 0, 'update in batch': 11410, '/': 12375, 'loss': 7.734189033508301}\n",
+      "{'epoch': 0, 'update in batch': 11411, '/': 12375, 'loss': 7.46172571182251}\n",
+      "{'epoch': 0, 'update in batch': 11412, '/': 12375, 'loss': 7.180424690246582}\n",
+      "{'epoch': 0, 'update in batch': 11413, '/': 12375, 'loss': 7.535515785217285}\n",
+      "{'epoch': 0, 'update in batch': 11414, '/': 12375, 'loss': 7.044774055480957}\n",
+      "{'epoch': 0, 'update in batch': 11415, '/': 12375, 'loss': 6.345133304595947}\n",
+      "{'epoch': 0, 'update in batch': 11416, '/': 12375, 'loss': 7.6023125648498535}\n",
+      "{'epoch': 0, 'update in batch': 11417, '/': 12375, 'loss': 6.584508419036865}\n",
+      "{'epoch': 0, 'update in batch': 11418, '/': 12375, 'loss': 7.072035312652588}\n",
+      "{'epoch': 0, 'update in batch': 11419, '/': 12375, 'loss': 8.369345664978027}\n",
+      "{'epoch': 0, 'update in batch': 11420, '/': 12375, 'loss': 8.34847640991211}\n",
+      "{'epoch': 0, 'update in batch': 11421, '/': 12375, 'loss': 7.906541347503662}\n",
+      "{'epoch': 0, 'update in batch': 11422, '/': 12375, 'loss': 6.877128601074219}\n",
+      "{'epoch': 0, 'update in batch': 11423, '/': 12375, 'loss': 6.974278450012207}\n",
+      "{'epoch': 0, 'update in batch': 11424, '/': 12375, 'loss': 7.222716331481934}\n",
+      "{'epoch': 0, 'update in batch': 11425, '/': 12375, 'loss': 7.5808305740356445}\n",
+      "{'epoch': 0, 'update in batch': 11426, '/': 12375, 'loss': 7.836094856262207}\n",
+      "{'epoch': 0, 'update in batch': 11427, '/': 12375, 'loss': 7.30267858505249}\n",
+      "{'epoch': 0, 'update in batch': 11428, '/': 12375, 'loss': 7.783998966217041}\n",
+      "{'epoch': 0, 'update in batch': 11429, '/': 12375, 'loss': 7.819792747497559}\n",
+      "{'epoch': 0, 'update in batch': 11430, '/': 12375, 'loss': 7.921419620513916}\n",
+      "{'epoch': 0, 'update in batch': 11431, '/': 12375, 'loss': 7.855654716491699}\n",
+      "{'epoch': 0, 'update in batch': 11432, '/': 12375, 'loss': 7.527295112609863}\n",
+      "{'epoch': 0, 'update in batch': 11433, '/': 12375, 'loss': 8.11406421661377}\n",
+      "{'epoch': 0, 'update in batch': 11434, '/': 12375, 'loss': 7.546021461486816}\n",
+      "{'epoch': 0, 'update in batch': 11435, '/': 12375, 'loss': 7.345455169677734}\n",
+      "{'epoch': 0, 'update in batch': 11436, '/': 12375, 'loss': 6.869769096374512}\n",
+      "{'epoch': 0, 'update in batch': 11437, '/': 12375, 'loss': 6.5760498046875}\n",
+      "{'epoch': 0, 'update in batch': 11438, '/': 12375, 'loss': 7.788618564605713}\n",
+      "{'epoch': 0, 'update in batch': 11439, '/': 12375, 'loss': 7.255986213684082}\n",
+      "{'epoch': 0, 'update in batch': 11440, '/': 12375, 'loss': 7.751875877380371}\n",
+      "{'epoch': 0, 'update in batch': 11441, '/': 12375, 'loss': 9.097089767456055}\n",
+      "{'epoch': 0, 'update in batch': 11442, '/': 12375, 'loss': 8.491987228393555}\n",
+      "{'epoch': 0, 'update in batch': 11443, '/': 12375, 'loss': 7.517236232757568}\n",
+      "{'epoch': 0, 'update in batch': 11444, '/': 12375, 'loss': 7.088474273681641}\n",
+      "{'epoch': 0, 'update in batch': 11445, '/': 12375, 'loss': 7.82336950302124}\n",
+      "{'epoch': 0, 'update in batch': 11446, '/': 12375, 'loss': 7.665785789489746}\n",
+      "{'epoch': 0, 'update in batch': 11447, '/': 12375, 'loss': 7.693442344665527}\n",
+      "{'epoch': 0, 'update in batch': 11448, '/': 12375, 'loss': 7.597906589508057}\n",
+      "{'epoch': 0, 'update in batch': 11449, '/': 12375, 'loss': 7.778207302093506}\n",
+      "{'epoch': 0, 'update in batch': 11450, '/': 12375, 'loss': 7.000931739807129}\n",
+      "{'epoch': 0, 'update in batch': 11451, '/': 12375, 'loss': 7.418047904968262}\n",
+      "{'epoch': 0, 'update in batch': 11452, '/': 12375, 'loss': 7.274320125579834}\n",
+      "{'epoch': 0, 'update in batch': 11453, '/': 12375, 'loss': 7.425282955169678}\n",
+      "{'epoch': 0, 'update in batch': 11454, '/': 12375, 'loss': 6.6312255859375}\n",
+      "{'epoch': 0, 'update in batch': 11455, '/': 12375, 'loss': 6.396330833435059}\n",
+      "{'epoch': 0, 'update in batch': 11456, '/': 12375, 'loss': 7.1320295333862305}\n",
+      "{'epoch': 0, 'update in batch': 11457, '/': 12375, 'loss': 6.637646675109863}\n",
+      "{'epoch': 0, 'update in batch': 11458, '/': 12375, 'loss': 6.171582221984863}\n",
+      "{'epoch': 0, 'update in batch': 11459, '/': 12375, 'loss': 6.321854591369629}\n",
+      "{'epoch': 0, 'update in batch': 11460, '/': 12375, 'loss': 7.814744472503662}\n",
+      "{'epoch': 0, 'update in batch': 11461, '/': 12375, 'loss': 6.62819766998291}\n",
+      "{'epoch': 0, 'update in batch': 11462, '/': 12375, 'loss': 7.026015281677246}\n",
+      "{'epoch': 0, 'update in batch': 11463, '/': 12375, 'loss': 6.966425895690918}\n",
+      "{'epoch': 0, 'update in batch': 11464, '/': 12375, 'loss': 6.902085304260254}\n",
+      "{'epoch': 0, 'update in batch': 11465, '/': 12375, 'loss': 7.0281081199646}\n",
+      "{'epoch': 0, 'update in batch': 11466, '/': 12375, 'loss': 7.944793701171875}\n",
+      "{'epoch': 0, 'update in batch': 11467, '/': 12375, 'loss': 7.805322170257568}\n",
+      "{'epoch': 0, 'update in batch': 11468, '/': 12375, 'loss': 8.030952453613281}\n",
+      "{'epoch': 0, 'update in batch': 11469, '/': 12375, 'loss': 7.675134181976318}\n",
+      "{'epoch': 0, 'update in batch': 11470, '/': 12375, 'loss': 7.105424404144287}\n",
+      "{'epoch': 0, 'update in batch': 11471, '/': 12375, 'loss': 7.66498327255249}\n",
+      "{'epoch': 0, 'update in batch': 11472, '/': 12375, 'loss': 7.702115058898926}\n",
+      "{'epoch': 0, 'update in batch': 11473, '/': 12375, 'loss': 7.8309221267700195}\n",
+      "{'epoch': 0, 'update in batch': 11474, '/': 12375, 'loss': 7.628498077392578}\n",
+      "{'epoch': 0, 'update in batch': 11475, '/': 12375, 'loss': 8.016267776489258}\n",
+      "{'epoch': 0, 'update in batch': 11476, '/': 12375, 'loss': 7.889969825744629}\n",
+      "{'epoch': 0, 'update in batch': 11477, '/': 12375, 'loss': 8.396899223327637}\n",
+      "{'epoch': 0, 'update in batch': 11478, '/': 12375, 'loss': 7.053930759429932}\n",
+      "{'epoch': 0, 'update in batch': 11479, '/': 12375, 'loss': 7.556883811950684}\n",
+      "{'epoch': 0, 'update in batch': 11480, '/': 12375, 'loss': 8.335440635681152}\n",
+      "{'epoch': 0, 'update in batch': 11481, '/': 12375, 'loss': 8.042387962341309}\n",
+      "{'epoch': 0, 'update in batch': 11482, '/': 12375, 'loss': 8.079014778137207}\n",
+      "{'epoch': 0, 'update in batch': 11483, '/': 12375, 'loss': 7.382955074310303}\n",
+      "{'epoch': 0, 'update in batch': 11484, '/': 12375, 'loss': 7.5302534103393555}\n",
+      "{'epoch': 0, 'update in batch': 11485, '/': 12375, 'loss': 7.911004066467285}\n",
+      "{'epoch': 0, 'update in batch': 11486, '/': 12375, 'loss': 7.974123477935791}\n",
+      "{'epoch': 0, 'update in batch': 11487, '/': 12375, 'loss': 7.464276313781738}\n",
+      "{'epoch': 0, 'update in batch': 11488, '/': 12375, 'loss': 7.663370609283447}\n",
+      "{'epoch': 0, 'update in batch': 11489, '/': 12375, 'loss': 7.923728942871094}\n",
+      "{'epoch': 0, 'update in batch': 11490, '/': 12375, 'loss': 8.812541961669922}\n",
+      "{'epoch': 0, 'update in batch': 11491, '/': 12375, 'loss': 7.574172019958496}\n",
+      "{'epoch': 0, 'update in batch': 11492, '/': 12375, 'loss': 7.706577301025391}\n",
+      "{'epoch': 0, 'update in batch': 11493, '/': 12375, 'loss': 7.49807071685791}\n",
+      "{'epoch': 0, 'update in batch': 11494, '/': 12375, 'loss': 7.312561988830566}\n",
+      "{'epoch': 0, 'update in batch': 11495, '/': 12375, 'loss': 7.030936241149902}\n",
+      "{'epoch': 0, 'update in batch': 11496, '/': 12375, 'loss': 7.816512107849121}\n",
+      "{'epoch': 0, 'update in batch': 11497, '/': 12375, 'loss': 7.189875602722168}\n",
+      "{'epoch': 0, 'update in batch': 11498, '/': 12375, 'loss': 7.6200127601623535}\n",
+      "{'epoch': 0, 'update in batch': 11499, '/': 12375, 'loss': 7.074599266052246}\n",
+      "{'epoch': 0, 'update in batch': 11500, '/': 12375, 'loss': 7.311192512512207}\n",
+      "{'epoch': 0, 'update in batch': 11501, '/': 12375, 'loss': 7.383587837219238}\n",
+      "{'epoch': 0, 'update in batch': 11502, '/': 12375, 'loss': 6.992640495300293}\n",
+      "{'epoch': 0, 'update in batch': 11503, '/': 12375, 'loss': 7.28701114654541}\n",
+      "{'epoch': 0, 'update in batch': 11504, '/': 12375, 'loss': 7.278304100036621}\n",
+      "{'epoch': 0, 'update in batch': 11505, '/': 12375, 'loss': 7.222811698913574}\n",
+      "{'epoch': 0, 'update in batch': 11506, '/': 12375, 'loss': 7.014317512512207}\n",
+      "{'epoch': 0, 'update in batch': 11507, '/': 12375, 'loss': 7.7135467529296875}\n",
+      "{'epoch': 0, 'update in batch': 11508, '/': 12375, 'loss': 7.19259786605835}\n",
+      "{'epoch': 0, 'update in batch': 11509, '/': 12375, 'loss': 7.1972832679748535}\n",
+      "{'epoch': 0, 'update in batch': 11510, '/': 12375, 'loss': 7.197331428527832}\n",
+      "{'epoch': 0, 'update in batch': 11511, '/': 12375, 'loss': 6.985743045806885}\n",
+      "{'epoch': 0, 'update in batch': 11512, '/': 12375, 'loss': 6.946854591369629}\n",
+      "{'epoch': 0, 'update in batch': 11513, '/': 12375, 'loss': 7.070984840393066}\n",
+      "{'epoch': 0, 'update in batch': 11514, '/': 12375, 'loss': 7.587449550628662}\n",
+      "{'epoch': 0, 'update in batch': 11515, '/': 12375, 'loss': 6.3305230140686035}\n",
+      "{'epoch': 0, 'update in batch': 11516, '/': 12375, 'loss': 6.754260063171387}\n",
+      "{'epoch': 0, 'update in batch': 11517, '/': 12375, 'loss': 7.149655818939209}\n",
+      "{'epoch': 0, 'update in batch': 11518, '/': 12375, 'loss': 7.305960178375244}\n",
+      "{'epoch': 0, 'update in batch': 11519, '/': 12375, 'loss': 7.381707191467285}\n",
+      "{'epoch': 0, 'update in batch': 11520, '/': 12375, 'loss': 8.058826446533203}\n",
+      "{'epoch': 0, 'update in batch': 11521, '/': 12375, 'loss': 6.696410179138184}\n",
+      "{'epoch': 0, 'update in batch': 11522, '/': 12375, 'loss': 6.598580837249756}\n",
+      "{'epoch': 0, 'update in batch': 11523, '/': 12375, 'loss': 6.753243923187256}\n",
+      "{'epoch': 0, 'update in batch': 11524, '/': 12375, 'loss': 7.051094055175781}\n",
+      "{'epoch': 0, 'update in batch': 11525, '/': 12375, 'loss': 6.372039794921875}\n",
+      "{'epoch': 0, 'update in batch': 11526, '/': 12375, 'loss': 6.825829982757568}\n",
+      "{'epoch': 0, 'update in batch': 11527, '/': 12375, 'loss': 6.276984214782715}\n",
+      "{'epoch': 0, 'update in batch': 11528, '/': 12375, 'loss': 7.803323268890381}\n",
+      "{'epoch': 0, 'update in batch': 11529, '/': 12375, 'loss': 7.5070977210998535}\n",
+      "{'epoch': 0, 'update in batch': 11530, '/': 12375, 'loss': 7.4672112464904785}\n",
+      "{'epoch': 0, 'update in batch': 11531, '/': 12375, 'loss': 7.160335540771484}\n",
+      "{'epoch': 0, 'update in batch': 11532, '/': 12375, 'loss': 7.64931583404541}\n",
+      "{'epoch': 0, 'update in batch': 11533, '/': 12375, 'loss': 7.126997947692871}\n",
+      "{'epoch': 0, 'update in batch': 11534, '/': 12375, 'loss': 7.734517574310303}\n",
+      "{'epoch': 0, 'update in batch': 11535, '/': 12375, 'loss': 7.264683723449707}\n",
+      "{'epoch': 0, 'update in batch': 11536, '/': 12375, 'loss': 7.371823310852051}\n",
+      "{'epoch': 0, 'update in batch': 11537, '/': 12375, 'loss': 7.276431083679199}\n",
+      "{'epoch': 0, 'update in batch': 11538, '/': 12375, 'loss': 7.072409629821777}\n",
+      "{'epoch': 0, 'update in batch': 11539, '/': 12375, 'loss': 7.821663856506348}\n",
+      "{'epoch': 0, 'update in batch': 11540, '/': 12375, 'loss': 6.34151029586792}\n",
+      "{'epoch': 0, 'update in batch': 11541, '/': 12375, 'loss': 7.2871856689453125}\n",
+      "{'epoch': 0, 'update in batch': 11542, '/': 12375, 'loss': 7.415793418884277}\n",
+      "{'epoch': 0, 'update in batch': 11543, '/': 12375, 'loss': 7.528083801269531}\n",
+      "{'epoch': 0, 'update in batch': 11544, '/': 12375, 'loss': 7.0214409828186035}\n",
+      "{'epoch': 0, 'update in batch': 11545, '/': 12375, 'loss': 7.17620849609375}\n",
+      "{'epoch': 0, 'update in batch': 11546, '/': 12375, 'loss': 7.37603235244751}\n",
+      "{'epoch': 0, 'update in batch': 11547, '/': 12375, 'loss': 7.219007968902588}\n",
+      "{'epoch': 0, 'update in batch': 11548, '/': 12375, 'loss': 6.956797122955322}\n",
+      "{'epoch': 0, 'update in batch': 11549, '/': 12375, 'loss': 7.392426490783691}\n",
+      "{'epoch': 0, 'update in batch': 11550, '/': 12375, 'loss': 7.301751613616943}\n",
+      "{'epoch': 0, 'update in batch': 11551, '/': 12375, 'loss': 7.529919624328613}\n",
+      "{'epoch': 0, 'update in batch': 11552, '/': 12375, 'loss': 6.799031734466553}\n",
+      "{'epoch': 0, 'update in batch': 11553, '/': 12375, 'loss': 7.327246189117432}\n",
+      "{'epoch': 0, 'update in batch': 11554, '/': 12375, 'loss': 6.689178466796875}\n",
+      "{'epoch': 0, 'update in batch': 11555, '/': 12375, 'loss': 6.79587459564209}\n",
+      "{'epoch': 0, 'update in batch': 11556, '/': 12375, 'loss': 6.7453293800354}\n",
+      "{'epoch': 0, 'update in batch': 11557, '/': 12375, 'loss': 7.395787239074707}\n",
+      "{'epoch': 0, 'update in batch': 11558, '/': 12375, 'loss': 7.046464443206787}\n",
+      "{'epoch': 0, 'update in batch': 11559, '/': 12375, 'loss': 7.929089546203613}\n",
+      "{'epoch': 0, 'update in batch': 11560, '/': 12375, 'loss': 7.150717258453369}\n",
+      "{'epoch': 0, 'update in batch': 11561, '/': 12375, 'loss': 7.109902858734131}\n",
+      "{'epoch': 0, 'update in batch': 11562, '/': 12375, 'loss': 7.720371246337891}\n",
+      "{'epoch': 0, 'update in batch': 11563, '/': 12375, 'loss': 7.439801216125488}\n",
+      "{'epoch': 0, 'update in batch': 11564, '/': 12375, 'loss': 6.964949607849121}\n",
+      "{'epoch': 0, 'update in batch': 11565, '/': 12375, 'loss': 6.4967193603515625}\n",
+      "{'epoch': 0, 'update in batch': 11566, '/': 12375, 'loss': 7.198750972747803}\n",
+      "{'epoch': 0, 'update in batch': 11567, '/': 12375, 'loss': 7.630417823791504}\n",
+      "{'epoch': 0, 'update in batch': 11568, '/': 12375, 'loss': 7.351462364196777}\n",
+      "{'epoch': 0, 'update in batch': 11569, '/': 12375, 'loss': 6.947798728942871}\n",
+      "{'epoch': 0, 'update in batch': 11570, '/': 12375, 'loss': 6.569255828857422}\n",
+      "{'epoch': 0, 'update in batch': 11571, '/': 12375, 'loss': 6.916825294494629}\n",
+      "{'epoch': 0, 'update in batch': 11572, '/': 12375, 'loss': 6.845552921295166}\n",
+      "{'epoch': 0, 'update in batch': 11573, '/': 12375, 'loss': 7.490326881408691}\n",
+      "{'epoch': 0, 'update in batch': 11574, '/': 12375, 'loss': 7.613674163818359}\n",
+      "{'epoch': 0, 'update in batch': 11575, '/': 12375, 'loss': 8.056147575378418}\n",
+      "{'epoch': 0, 'update in batch': 11576, '/': 12375, 'loss': 7.404380798339844}\n",
+      "{'epoch': 0, 'update in batch': 11577, '/': 12375, 'loss': 6.478266716003418}\n",
+      "{'epoch': 0, 'update in batch': 11578, '/': 12375, 'loss': 6.984795570373535}\n",
+      "{'epoch': 0, 'update in batch': 11579, '/': 12375, 'loss': 7.031152248382568}\n",
+      "{'epoch': 0, 'update in batch': 11580, '/': 12375, 'loss': 7.359543800354004}\n",
+      "{'epoch': 0, 'update in batch': 11581, '/': 12375, 'loss': 6.677683353424072}\n",
+      "{'epoch': 0, 'update in batch': 11582, '/': 12375, 'loss': 6.7037482261657715}\n",
+      "{'epoch': 0, 'update in batch': 11583, '/': 12375, 'loss': 7.012923240661621}\n",
+      "{'epoch': 0, 'update in batch': 11584, '/': 12375, 'loss': 7.096532344818115}\n",
+      "{'epoch': 0, 'update in batch': 11585, '/': 12375, 'loss': 6.585093021392822}\n",
+      "{'epoch': 0, 'update in batch': 11586, '/': 12375, 'loss': 6.0412163734436035}\n",
+      "{'epoch': 0, 'update in batch': 11587, '/': 12375, 'loss': 7.317829132080078}\n",
+      "{'epoch': 0, 'update in batch': 11588, '/': 12375, 'loss': 6.562583923339844}\n",
+      "{'epoch': 0, 'update in batch': 11589, '/': 12375, 'loss': 6.423520088195801}\n",
+      "{'epoch': 0, 'update in batch': 11590, '/': 12375, 'loss': 6.238738059997559}\n",
+      "{'epoch': 0, 'update in batch': 11591, '/': 12375, 'loss': 6.936980247497559}\n",
+      "{'epoch': 0, 'update in batch': 11592, '/': 12375, 'loss': 6.8463239669799805}\n",
+      "{'epoch': 0, 'update in batch': 11593, '/': 12375, 'loss': 7.06821346282959}\n",
+      "{'epoch': 0, 'update in batch': 11594, '/': 12375, 'loss': 6.747220039367676}\n",
+      "{'epoch': 0, 'update in batch': 11595, '/': 12375, 'loss': 7.45461893081665}\n",
+      "{'epoch': 0, 'update in batch': 11596, '/': 12375, 'loss': 6.975608825683594}\n",
+      "{'epoch': 0, 'update in batch': 11597, '/': 12375, 'loss': 6.625742435455322}\n",
+      "{'epoch': 0, 'update in batch': 11598, '/': 12375, 'loss': 7.022284030914307}\n",
+      "{'epoch': 0, 'update in batch': 11599, '/': 12375, 'loss': 7.8188910484313965}\n",
+      "{'epoch': 0, 'update in batch': 11600, '/': 12375, 'loss': 6.493372440338135}\n",
+      "{'epoch': 0, 'update in batch': 11601, '/': 12375, 'loss': 6.760416507720947}\n",
+      "{'epoch': 0, 'update in batch': 11602, '/': 12375, 'loss': 7.358101844787598}\n",
+      "{'epoch': 0, 'update in batch': 11603, '/': 12375, 'loss': 6.540365695953369}\n",
+      "{'epoch': 0, 'update in batch': 11604, '/': 12375, 'loss': 6.964620113372803}\n",
+      "{'epoch': 0, 'update in batch': 11605, '/': 12375, 'loss': 7.241957664489746}\n",
+      "{'epoch': 0, 'update in batch': 11606, '/': 12375, 'loss': 6.782310485839844}\n",
+      "{'epoch': 0, 'update in batch': 11607, '/': 12375, 'loss': 7.4260573387146}\n",
+      "{'epoch': 0, 'update in batch': 11608, '/': 12375, 'loss': 7.505260467529297}\n",
+      "{'epoch': 0, 'update in batch': 11609, '/': 12375, 'loss': 6.564311981201172}\n",
+      "{'epoch': 0, 'update in batch': 11610, '/': 12375, 'loss': 6.550296783447266}\n",
+      "{'epoch': 0, 'update in batch': 11611, '/': 12375, 'loss': 6.614468574523926}\n",
+      "{'epoch': 0, 'update in batch': 11612, '/': 12375, 'loss': 7.3410325050354}\n",
+      "{'epoch': 0, 'update in batch': 11613, '/': 12375, 'loss': 6.969840049743652}\n",
+      "{'epoch': 0, 'update in batch': 11614, '/': 12375, 'loss': 6.759428977966309}\n",
+      "{'epoch': 0, 'update in batch': 11615, '/': 12375, 'loss': 6.72210693359375}\n",
+      "{'epoch': 0, 'update in batch': 11616, '/': 12375, 'loss': 7.132105827331543}\n",
+      "{'epoch': 0, 'update in batch': 11617, '/': 12375, 'loss': 7.212203025817871}\n",
+      "{'epoch': 0, 'update in batch': 11618, '/': 12375, 'loss': 6.906795501708984}\n",
+      "{'epoch': 0, 'update in batch': 11619, '/': 12375, 'loss': 6.571849822998047}\n",
+      "{'epoch': 0, 'update in batch': 11620, '/': 12375, 'loss': 7.299978733062744}\n",
+      "{'epoch': 0, 'update in batch': 11621, '/': 12375, 'loss': 7.5617356300354}\n",
+      "{'epoch': 0, 'update in batch': 11622, '/': 12375, 'loss': 7.357478141784668}\n",
+      "{'epoch': 0, 'update in batch': 11623, '/': 12375, 'loss': 7.535910129547119}\n",
+      "{'epoch': 0, 'update in batch': 11624, '/': 12375, 'loss': 6.922557830810547}\n",
+      "{'epoch': 0, 'update in batch': 11625, '/': 12375, 'loss': 7.279644966125488}\n",
+      "{'epoch': 0, 'update in batch': 11626, '/': 12375, 'loss': 6.5343337059021}\n",
+      "{'epoch': 0, 'update in batch': 11627, '/': 12375, 'loss': 6.635856628417969}\n",
+      "{'epoch': 0, 'update in batch': 11628, '/': 12375, 'loss': 6.691270351409912}\n",
+      "{'epoch': 0, 'update in batch': 11629, '/': 12375, 'loss': 7.22402286529541}\n",
+      "{'epoch': 0, 'update in batch': 11630, '/': 12375, 'loss': 6.6217942237854}\n",
+      "{'epoch': 0, 'update in batch': 11631, '/': 12375, 'loss': 7.049142360687256}\n",
+      "{'epoch': 0, 'update in batch': 11632, '/': 12375, 'loss': 7.5478315353393555}\n",
+      "{'epoch': 0, 'update in batch': 11633, '/': 12375, 'loss': 6.530074119567871}\n",
+      "{'epoch': 0, 'update in batch': 11634, '/': 12375, 'loss': 7.102578639984131}\n",
+      "{'epoch': 0, 'update in batch': 11635, '/': 12375, 'loss': 6.789857387542725}\n",
+      "{'epoch': 0, 'update in batch': 11636, '/': 12375, 'loss': 7.492592811584473}\n",
+      "{'epoch': 0, 'update in batch': 11637, '/': 12375, 'loss': 6.863029479980469}\n",
+      "{'epoch': 0, 'update in batch': 11638, '/': 12375, 'loss': 6.640512943267822}\n",
+      "{'epoch': 0, 'update in batch': 11639, '/': 12375, 'loss': 7.2477874755859375}\n",
+      "{'epoch': 0, 'update in batch': 11640, '/': 12375, 'loss': 7.117881774902344}\n",
+      "{'epoch': 0, 'update in batch': 11641, '/': 12375, 'loss': 7.892981052398682}\n",
+      "{'epoch': 0, 'update in batch': 11642, '/': 12375, 'loss': 6.354562282562256}\n",
+      "{'epoch': 0, 'update in batch': 11643, '/': 12375, 'loss': 6.659010887145996}\n",
+      "{'epoch': 0, 'update in batch': 11644, '/': 12375, 'loss': 6.835941314697266}\n",
+      "{'epoch': 0, 'update in batch': 11645, '/': 12375, 'loss': 6.464270114898682}\n",
+      "{'epoch': 0, 'update in batch': 11646, '/': 12375, 'loss': 5.903957366943359}\n",
+      "{'epoch': 0, 'update in batch': 11647, '/': 12375, 'loss': 6.7114973068237305}\n",
+      "{'epoch': 0, 'update in batch': 11648, '/': 12375, 'loss': 7.390759468078613}\n",
+      "{'epoch': 0, 'update in batch': 11649, '/': 12375, 'loss': 7.245584011077881}\n",
+      "{'epoch': 0, 'update in batch': 11650, '/': 12375, 'loss': 7.297604560852051}\n",
+      "{'epoch': 0, 'update in batch': 11651, '/': 12375, 'loss': 6.873429775238037}\n",
+      "{'epoch': 0, 'update in batch': 11652, '/': 12375, 'loss': 7.104580879211426}\n",
+      "{'epoch': 0, 'update in batch': 11653, '/': 12375, 'loss': 6.502076148986816}\n",
+      "{'epoch': 0, 'update in batch': 11654, '/': 12375, 'loss': 6.632578372955322}\n",
+      "{'epoch': 0, 'update in batch': 11655, '/': 12375, 'loss': 7.1985368728637695}\n",
+      "{'epoch': 0, 'update in batch': 11656, '/': 12375, 'loss': 6.13218355178833}\n",
+      "{'epoch': 0, 'update in batch': 11657, '/': 12375, 'loss': 6.351989269256592}\n",
+      "{'epoch': 0, 'update in batch': 11658, '/': 12375, 'loss': 5.794511795043945}\n",
+      "{'epoch': 0, 'update in batch': 11659, '/': 12375, 'loss': 6.489459037780762}\n",
+      "{'epoch': 0, 'update in batch': 11660, '/': 12375, 'loss': 6.694703578948975}\n",
+      "{'epoch': 0, 'update in batch': 11661, '/': 12375, 'loss': 7.0601959228515625}\n",
+      "{'epoch': 0, 'update in batch': 11662, '/': 12375, 'loss': 6.932242393493652}\n",
+      "{'epoch': 0, 'update in batch': 11663, '/': 12375, 'loss': 7.115359306335449}\n",
+      "{'epoch': 0, 'update in batch': 11664, '/': 12375, 'loss': 6.597200870513916}\n",
+      "{'epoch': 0, 'update in batch': 11665, '/': 12375, 'loss': 7.018422603607178}\n",
+      "{'epoch': 0, 'update in batch': 11666, '/': 12375, 'loss': 6.828885555267334}\n",
+      "{'epoch': 0, 'update in batch': 11667, '/': 12375, 'loss': 7.255318641662598}\n",
+      "{'epoch': 0, 'update in batch': 11668, '/': 12375, 'loss': 7.2694993019104}\n",
+      "{'epoch': 0, 'update in batch': 11669, '/': 12375, 'loss': 6.963388919830322}\n",
+      "{'epoch': 0, 'update in batch': 11670, '/': 12375, 'loss': 6.890048980712891}\n",
+      "{'epoch': 0, 'update in batch': 11671, '/': 12375, 'loss': 7.325896263122559}\n",
+      "{'epoch': 0, 'update in batch': 11672, '/': 12375, 'loss': 6.725090980529785}\n",
+      "{'epoch': 0, 'update in batch': 11673, '/': 12375, 'loss': 7.162249565124512}\n",
+      "{'epoch': 0, 'update in batch': 11674, '/': 12375, 'loss': 6.692240238189697}\n",
+      "{'epoch': 0, 'update in batch': 11675, '/': 12375, 'loss': 7.093328952789307}\n",
+      "{'epoch': 0, 'update in batch': 11676, '/': 12375, 'loss': 7.162011623382568}\n",
+      "{'epoch': 0, 'update in batch': 11677, '/': 12375, 'loss': 7.30526876449585}\n",
+      "{'epoch': 0, 'update in batch': 11678, '/': 12375, 'loss': 7.609457969665527}\n",
+      "{'epoch': 0, 'update in batch': 11679, '/': 12375, 'loss': 7.6168694496154785}\n",
+      "{'epoch': 0, 'update in batch': 11680, '/': 12375, 'loss': 7.347145080566406}\n",
+      "{'epoch': 0, 'update in batch': 11681, '/': 12375, 'loss': 7.00909948348999}\n",
+      "{'epoch': 0, 'update in batch': 11682, '/': 12375, 'loss': 6.769047737121582}\n",
+      "{'epoch': 0, 'update in batch': 11683, '/': 12375, 'loss': 7.405312538146973}\n",
+      "{'epoch': 0, 'update in batch': 11684, '/': 12375, 'loss': 7.455257415771484}\n",
+      "{'epoch': 0, 'update in batch': 11685, '/': 12375, 'loss': 6.650612831115723}\n",
+      "{'epoch': 0, 'update in batch': 11686, '/': 12375, 'loss': 6.911646366119385}\n",
+      "{'epoch': 0, 'update in batch': 11687, '/': 12375, 'loss': 6.994463920593262}\n",
+      "{'epoch': 0, 'update in batch': 11688, '/': 12375, 'loss': 6.625802516937256}\n",
+      "{'epoch': 0, 'update in batch': 11689, '/': 12375, 'loss': 7.360766410827637}\n",
+      "{'epoch': 0, 'update in batch': 11690, '/': 12375, 'loss': 6.465812683105469}\n",
+      "{'epoch': 0, 'update in batch': 11691, '/': 12375, 'loss': 6.943966865539551}\n",
+      "{'epoch': 0, 'update in batch': 11692, '/': 12375, 'loss': 6.941516876220703}\n",
+      "{'epoch': 0, 'update in batch': 11693, '/': 12375, 'loss': 6.831109046936035}\n",
+      "{'epoch': 0, 'update in batch': 11694, '/': 12375, 'loss': 6.898229122161865}\n",
+      "{'epoch': 0, 'update in batch': 11695, '/': 12375, 'loss': 7.214038848876953}\n",
+      "{'epoch': 0, 'update in batch': 11696, '/': 12375, 'loss': 7.4540300369262695}\n",
+      "{'epoch': 0, 'update in batch': 11697, '/': 12375, 'loss': 8.159322738647461}\n",
+      "{'epoch': 0, 'update in batch': 11698, '/': 12375, 'loss': 5.992598533630371}\n",
+      "{'epoch': 0, 'update in batch': 11699, '/': 12375, 'loss': 6.876216888427734}\n",
+      "{'epoch': 0, 'update in batch': 11700, '/': 12375, 'loss': 7.661847114562988}\n",
+      "{'epoch': 0, 'update in batch': 11701, '/': 12375, 'loss': 6.522724151611328}\n",
+      "{'epoch': 0, 'update in batch': 11702, '/': 12375, 'loss': 6.536956787109375}\n",
+      "{'epoch': 0, 'update in batch': 11703, '/': 12375, 'loss': 7.357129096984863}\n",
+      "{'epoch': 0, 'update in batch': 11704, '/': 12375, 'loss': 7.159686088562012}\n",
+      "{'epoch': 0, 'update in batch': 11705, '/': 12375, 'loss': 6.403897762298584}\n",
+      "{'epoch': 0, 'update in batch': 11706, '/': 12375, 'loss': 6.775153160095215}\n",
+      "{'epoch': 0, 'update in batch': 11707, '/': 12375, 'loss': 7.057056427001953}\n",
+      "{'epoch': 0, 'update in batch': 11708, '/': 12375, 'loss': 7.120044708251953}\n",
+      "{'epoch': 0, 'update in batch': 11709, '/': 12375, 'loss': 7.824240684509277}\n",
+      "{'epoch': 0, 'update in batch': 11710, '/': 12375, 'loss': 7.271576881408691}\n",
+      "{'epoch': 0, 'update in batch': 11711, '/': 12375, 'loss': 7.468263149261475}\n",
+      "{'epoch': 0, 'update in batch': 11712, '/': 12375, 'loss': 7.384743690490723}\n",
+      "{'epoch': 0, 'update in batch': 11713, '/': 12375, 'loss': 7.2568359375}\n",
+      "{'epoch': 0, 'update in batch': 11714, '/': 12375, 'loss': 8.50756549835205}\n",
+      "{'epoch': 0, 'update in batch': 11715, '/': 12375, 'loss': 6.474198341369629}\n",
+      "{'epoch': 0, 'update in batch': 11716, '/': 12375, 'loss': 7.170774936676025}\n",
+      "{'epoch': 0, 'update in batch': 11717, '/': 12375, 'loss': 7.359499931335449}\n",
+      "{'epoch': 0, 'update in batch': 11718, '/': 12375, 'loss': 7.657304286956787}\n",
+      "{'epoch': 0, 'update in batch': 11719, '/': 12375, 'loss': 7.315433502197266}\n",
+      "{'epoch': 0, 'update in batch': 11720, '/': 12375, 'loss': 7.458719730377197}\n",
+      "{'epoch': 0, 'update in batch': 11721, '/': 12375, 'loss': 6.464453220367432}\n",
+      "{'epoch': 0, 'update in batch': 11722, '/': 12375, 'loss': 7.244294166564941}\n",
+      "{'epoch': 0, 'update in batch': 11723, '/': 12375, 'loss': 7.096357822418213}\n",
+      "{'epoch': 0, 'update in batch': 11724, '/': 12375, 'loss': 7.25496768951416}\n",
+      "{'epoch': 0, 'update in batch': 11725, '/': 12375, 'loss': 6.385389804840088}\n",
+      "{'epoch': 0, 'update in batch': 11726, '/': 12375, 'loss': 6.228417873382568}\n",
+      "{'epoch': 0, 'update in batch': 11727, '/': 12375, 'loss': 6.416958808898926}\n",
+      "{'epoch': 0, 'update in batch': 11728, '/': 12375, 'loss': 6.613189697265625}\n",
+      "{'epoch': 0, 'update in batch': 11729, '/': 12375, 'loss': 6.8768815994262695}\n",
+      "{'epoch': 0, 'update in batch': 11730, '/': 12375, 'loss': 6.134519577026367}\n",
+      "{'epoch': 0, 'update in batch': 11731, '/': 12375, 'loss': 6.38533878326416}\n",
+      "{'epoch': 0, 'update in batch': 11732, '/': 12375, 'loss': 5.561980247497559}\n",
+      "{'epoch': 0, 'update in batch': 11733, '/': 12375, 'loss': 6.634882926940918}\n",
+      "{'epoch': 0, 'update in batch': 11734, '/': 12375, 'loss': 7.11156702041626}\n",
+      "{'epoch': 0, 'update in batch': 11735, '/': 12375, 'loss': 5.859209060668945}\n",
+      "{'epoch': 0, 'update in batch': 11736, '/': 12375, 'loss': 6.206229209899902}\n",
+      "{'epoch': 0, 'update in batch': 11737, '/': 12375, 'loss': 6.795522212982178}\n",
+      "{'epoch': 0, 'update in batch': 11738, '/': 12375, 'loss': 6.412222385406494}\n",
+      "{'epoch': 0, 'update in batch': 11739, '/': 12375, 'loss': 6.585831642150879}\n",
+      "{'epoch': 0, 'update in batch': 11740, '/': 12375, 'loss': 5.795652866363525}\n",
+      "{'epoch': 0, 'update in batch': 11741, '/': 12375, 'loss': 6.496190547943115}\n",
+      "{'epoch': 0, 'update in batch': 11742, '/': 12375, 'loss': 6.586128234863281}\n",
+      "{'epoch': 0, 'update in batch': 11743, '/': 12375, 'loss': 7.026525020599365}\n",
+      "{'epoch': 0, 'update in batch': 11744, '/': 12375, 'loss': 6.615880489349365}\n",
+      "{'epoch': 0, 'update in batch': 11745, '/': 12375, 'loss': 8.12237548828125}\n",
+      "{'epoch': 0, 'update in batch': 11746, '/': 12375, 'loss': 8.251416206359863}\n",
+      "{'epoch': 0, 'update in batch': 11747, '/': 12375, 'loss': 7.354525566101074}\n",
+      "{'epoch': 0, 'update in batch': 11748, '/': 12375, 'loss': 7.699171543121338}\n",
+      "{'epoch': 0, 'update in batch': 11749, '/': 12375, 'loss': 6.803509712219238}\n",
+      "{'epoch': 0, 'update in batch': 11750, '/': 12375, 'loss': 6.865529537200928}\n",
+      "{'epoch': 0, 'update in batch': 11751, '/': 12375, 'loss': 7.358259677886963}\n",
+      "{'epoch': 0, 'update in batch': 11752, '/': 12375, 'loss': 7.130929470062256}\n",
+      "{'epoch': 0, 'update in batch': 11753, '/': 12375, 'loss': 6.833110809326172}\n",
+      "{'epoch': 0, 'update in batch': 11754, '/': 12375, 'loss': 6.649684906005859}\n",
+      "{'epoch': 0, 'update in batch': 11755, '/': 12375, 'loss': 7.180091857910156}\n",
+      "{'epoch': 0, 'update in batch': 11756, '/': 12375, 'loss': 6.3213934898376465}\n",
+      "{'epoch': 0, 'update in batch': 11757, '/': 12375, 'loss': 6.236903667449951}\n",
+      "{'epoch': 0, 'update in batch': 11758, '/': 12375, 'loss': 7.46701192855835}\n",
+      "{'epoch': 0, 'update in batch': 11759, '/': 12375, 'loss': 7.594080448150635}\n",
+      "{'epoch': 0, 'update in batch': 11760, '/': 12375, 'loss': 7.881566524505615}\n",
+      "{'epoch': 0, 'update in batch': 11761, '/': 12375, 'loss': 6.719754219055176}\n",
+      "{'epoch': 0, 'update in batch': 11762, '/': 12375, 'loss': 6.806687831878662}\n",
+      "{'epoch': 0, 'update in batch': 11763, '/': 12375, 'loss': 7.216245174407959}\n",
+      "{'epoch': 0, 'update in batch': 11764, '/': 12375, 'loss': 6.958268165588379}\n",
+      "{'epoch': 0, 'update in batch': 11765, '/': 12375, 'loss': 7.255155086517334}\n",
+      "{'epoch': 0, 'update in batch': 11766, '/': 12375, 'loss': 7.065478324890137}\n",
+      "{'epoch': 0, 'update in batch': 11767, '/': 12375, 'loss': 6.6731438636779785}\n",
+      "{'epoch': 0, 'update in batch': 11768, '/': 12375, 'loss': 7.119290828704834}\n",
+      "{'epoch': 0, 'update in batch': 11769, '/': 12375, 'loss': 7.105259895324707}\n",
+      "{'epoch': 0, 'update in batch': 11770, '/': 12375, 'loss': 6.96402645111084}\n",
+      "{'epoch': 0, 'update in batch': 11771, '/': 12375, 'loss': 7.752209663391113}\n",
+      "{'epoch': 0, 'update in batch': 11772, '/': 12375, 'loss': 7.460286617279053}\n",
+      "{'epoch': 0, 'update in batch': 11773, '/': 12375, 'loss': 7.154537200927734}\n",
+      "{'epoch': 0, 'update in batch': 11774, '/': 12375, 'loss': 7.195322513580322}\n",
+      "{'epoch': 0, 'update in batch': 11775, '/': 12375, 'loss': 6.934990882873535}\n",
+      "{'epoch': 0, 'update in batch': 11776, '/': 12375, 'loss': 7.690405368804932}\n",
+      "{'epoch': 0, 'update in batch': 11777, '/': 12375, 'loss': 7.311614036560059}\n",
+      "{'epoch': 0, 'update in batch': 11778, '/': 12375, 'loss': 7.401712894439697}\n",
+      "{'epoch': 0, 'update in batch': 11779, '/': 12375, 'loss': 7.627707004547119}\n",
+      "{'epoch': 0, 'update in batch': 11780, '/': 12375, 'loss': 7.231587886810303}\n",
+      "{'epoch': 0, 'update in batch': 11781, '/': 12375, 'loss': 6.269351005554199}\n",
+      "{'epoch': 0, 'update in batch': 11782, '/': 12375, 'loss': 6.653196811676025}\n",
+      "{'epoch': 0, 'update in batch': 11783, '/': 12375, 'loss': 6.904905796051025}\n",
+      "{'epoch': 0, 'update in batch': 11784, '/': 12375, 'loss': 7.190802097320557}\n",
+      "{'epoch': 0, 'update in batch': 11785, '/': 12375, 'loss': 7.5804877281188965}\n",
+      "{'epoch': 0, 'update in batch': 11786, '/': 12375, 'loss': 7.92209529876709}\n",
+      "{'epoch': 0, 'update in batch': 11787, '/': 12375, 'loss': 6.294390678405762}\n",
+      "{'epoch': 0, 'update in batch': 11788, '/': 12375, 'loss': 7.070335388183594}\n",
+      "{'epoch': 0, 'update in batch': 11789, '/': 12375, 'loss': 7.0296807289123535}\n",
+      "{'epoch': 0, 'update in batch': 11790, '/': 12375, 'loss': 7.16436767578125}\n",
+      "{'epoch': 0, 'update in batch': 11791, '/': 12375, 'loss': 6.7770819664001465}\n",
+      "{'epoch': 0, 'update in batch': 11792, '/': 12375, 'loss': 7.397887229919434}\n",
+      "{'epoch': 0, 'update in batch': 11793, '/': 12375, 'loss': 7.3514299392700195}\n",
+      "{'epoch': 0, 'update in batch': 11794, '/': 12375, 'loss': 7.833359718322754}\n",
+      "{'epoch': 0, 'update in batch': 11795, '/': 12375, 'loss': 6.445255279541016}\n",
+      "{'epoch': 0, 'update in batch': 11796, '/': 12375, 'loss': 6.6210432052612305}\n",
+      "{'epoch': 0, 'update in batch': 11797, '/': 12375, 'loss': 6.9326300621032715}\n",
+      "{'epoch': 0, 'update in batch': 11798, '/': 12375, 'loss': 7.4188666343688965}\n",
+      "{'epoch': 0, 'update in batch': 11799, '/': 12375, 'loss': 7.274702548980713}\n",
+      "{'epoch': 0, 'update in batch': 11800, '/': 12375, 'loss': 7.133574485778809}\n",
+      "{'epoch': 0, 'update in batch': 11801, '/': 12375, 'loss': 7.325060844421387}\n",
+      "{'epoch': 0, 'update in batch': 11802, '/': 12375, 'loss': 7.254634857177734}\n",
+      "{'epoch': 0, 'update in batch': 11803, '/': 12375, 'loss': 7.425774574279785}\n",
+      "{'epoch': 0, 'update in batch': 11804, '/': 12375, 'loss': 7.229177951812744}\n",
+      "{'epoch': 0, 'update in batch': 11805, '/': 12375, 'loss': 6.885860443115234}\n",
+      "{'epoch': 0, 'update in batch': 11806, '/': 12375, 'loss': 7.8185858726501465}\n",
+      "{'epoch': 0, 'update in batch': 11807, '/': 12375, 'loss': 6.676206111907959}\n",
+      "{'epoch': 0, 'update in batch': 11808, '/': 12375, 'loss': 6.663716793060303}\n",
+      "{'epoch': 0, 'update in batch': 11809, '/': 12375, 'loss': 6.355888843536377}\n",
+      "{'epoch': 0, 'update in batch': 11810, '/': 12375, 'loss': 7.500553131103516}\n",
+      "{'epoch': 0, 'update in batch': 11811, '/': 12375, 'loss': 6.812956809997559}\n",
+      "{'epoch': 0, 'update in batch': 11812, '/': 12375, 'loss': 7.54154109954834}\n",
+      "{'epoch': 0, 'update in batch': 11813, '/': 12375, 'loss': 7.684272766113281}\n",
+      "{'epoch': 0, 'update in batch': 11814, '/': 12375, 'loss': 7.284329414367676}\n",
+      "{'epoch': 0, 'update in batch': 11815, '/': 12375, 'loss': 7.072449684143066}\n",
+      "{'epoch': 0, 'update in batch': 11816, '/': 12375, 'loss': 6.99627685546875}\n",
+      "{'epoch': 0, 'update in batch': 11817, '/': 12375, 'loss': 6.266601085662842}\n",
+      "{'epoch': 0, 'update in batch': 11818, '/': 12375, 'loss': 7.783600807189941}\n",
+      "{'epoch': 0, 'update in batch': 11819, '/': 12375, 'loss': 7.261486053466797}\n",
+      "{'epoch': 0, 'update in batch': 11820, '/': 12375, 'loss': 6.3852972984313965}\n",
+      "{'epoch': 0, 'update in batch': 11821, '/': 12375, 'loss': 6.8547258377075195}\n",
+      "{'epoch': 0, 'update in batch': 11822, '/': 12375, 'loss': 6.735547065734863}\n",
+      "{'epoch': 0, 'update in batch': 11823, '/': 12375, 'loss': 6.7297515869140625}\n",
+      "{'epoch': 0, 'update in batch': 11824, '/': 12375, 'loss': 7.524922847747803}\n",
+      "{'epoch': 0, 'update in batch': 11825, '/': 12375, 'loss': 7.593362331390381}\n",
+      "{'epoch': 0, 'update in batch': 11826, '/': 12375, 'loss': 7.196427822113037}\n",
+      "{'epoch': 0, 'update in batch': 11827, '/': 12375, 'loss': 7.008275508880615}\n",
+      "{'epoch': 0, 'update in batch': 11828, '/': 12375, 'loss': 7.455380439758301}\n",
+      "{'epoch': 0, 'update in batch': 11829, '/': 12375, 'loss': 7.496448516845703}\n",
+      "{'epoch': 0, 'update in batch': 11830, '/': 12375, 'loss': 6.982213020324707}\n",
+      "{'epoch': 0, 'update in batch': 11831, '/': 12375, 'loss': 7.139865875244141}\n",
+      "{'epoch': 0, 'update in batch': 11832, '/': 12375, 'loss': 6.532906532287598}\n",
+      "{'epoch': 0, 'update in batch': 11833, '/': 12375, 'loss': 8.005739212036133}\n",
+      "{'epoch': 0, 'update in batch': 11834, '/': 12375, 'loss': 6.7610039710998535}\n",
+      "{'epoch': 0, 'update in batch': 11835, '/': 12375, 'loss': 6.911162376403809}\n",
+      "{'epoch': 0, 'update in batch': 11836, '/': 12375, 'loss': 7.301290035247803}\n",
+      "{'epoch': 0, 'update in batch': 11837, '/': 12375, 'loss': 7.1581220626831055}\n",
+      "{'epoch': 0, 'update in batch': 11838, '/': 12375, 'loss': 7.355916500091553}\n",
+      "{'epoch': 0, 'update in batch': 11839, '/': 12375, 'loss': 7.352173805236816}\n",
+      "{'epoch': 0, 'update in batch': 11840, '/': 12375, 'loss': 7.533787727355957}\n",
+      "{'epoch': 0, 'update in batch': 11841, '/': 12375, 'loss': 7.722039222717285}\n",
+      "{'epoch': 0, 'update in batch': 11842, '/': 12375, 'loss': 7.178524017333984}\n",
+      "{'epoch': 0, 'update in batch': 11843, '/': 12375, 'loss': 7.661754608154297}\n",
+      "{'epoch': 0, 'update in batch': 11844, '/': 12375, 'loss': 7.655329704284668}\n",
+      "{'epoch': 0, 'update in batch': 11845, '/': 12375, 'loss': 7.897217750549316}\n",
+      "{'epoch': 0, 'update in batch': 11846, '/': 12375, 'loss': 7.892483711242676}\n",
+      "{'epoch': 0, 'update in batch': 11847, '/': 12375, 'loss': 7.961949825286865}\n",
+      "{'epoch': 0, 'update in batch': 11848, '/': 12375, 'loss': 7.4292168617248535}\n",
+      "{'epoch': 0, 'update in batch': 11849, '/': 12375, 'loss': 7.488215446472168}\n",
+      "{'epoch': 0, 'update in batch': 11850, '/': 12375, 'loss': 6.959779262542725}\n",
+      "{'epoch': 0, 'update in batch': 11851, '/': 12375, 'loss': 7.4084672927856445}\n",
+      "{'epoch': 0, 'update in batch': 11852, '/': 12375, 'loss': 7.231001377105713}\n",
+      "{'epoch': 0, 'update in batch': 11853, '/': 12375, 'loss': 7.382973670959473}\n",
+      "{'epoch': 0, 'update in batch': 11854, '/': 12375, 'loss': 7.470778465270996}\n",
+      "{'epoch': 0, 'update in batch': 11855, '/': 12375, 'loss': 6.622546195983887}\n",
+      "{'epoch': 0, 'update in batch': 11856, '/': 12375, 'loss': 7.279897212982178}\n",
+      "{'epoch': 0, 'update in batch': 11857, '/': 12375, 'loss': 7.833151817321777}\n",
+      "{'epoch': 0, 'update in batch': 11858, '/': 12375, 'loss': 7.314388275146484}\n",
+      "{'epoch': 0, 'update in batch': 11859, '/': 12375, 'loss': 7.520659446716309}\n",
+      "{'epoch': 0, 'update in batch': 11860, '/': 12375, 'loss': 7.301621437072754}\n",
+      "{'epoch': 0, 'update in batch': 11861, '/': 12375, 'loss': 7.182655334472656}\n",
+      "{'epoch': 0, 'update in batch': 11862, '/': 12375, 'loss': 6.732358455657959}\n",
+      "{'epoch': 0, 'update in batch': 11863, '/': 12375, 'loss': 6.558623313903809}\n",
+      "{'epoch': 0, 'update in batch': 11864, '/': 12375, 'loss': 6.432610511779785}\n",
+      "{'epoch': 0, 'update in batch': 11865, '/': 12375, 'loss': 7.101877689361572}\n",
+      "{'epoch': 0, 'update in batch': 11866, '/': 12375, 'loss': 7.266050815582275}\n",
+      "{'epoch': 0, 'update in batch': 11867, '/': 12375, 'loss': 6.587045192718506}\n",
+      "{'epoch': 0, 'update in batch': 11868, '/': 12375, 'loss': 7.000756740570068}\n",
+      "{'epoch': 0, 'update in batch': 11869, '/': 12375, 'loss': 6.8671698570251465}\n",
+      "{'epoch': 0, 'update in batch': 11870, '/': 12375, 'loss': 6.956109046936035}\n",
+      "{'epoch': 0, 'update in batch': 11871, '/': 12375, 'loss': 7.254410743713379}\n",
+      "{'epoch': 0, 'update in batch': 11872, '/': 12375, 'loss': 6.7929511070251465}\n",
+      "{'epoch': 0, 'update in batch': 11873, '/': 12375, 'loss': 7.0109686851501465}\n",
+      "{'epoch': 0, 'update in batch': 11874, '/': 12375, 'loss': 7.311905860900879}\n",
+      "{'epoch': 0, 'update in batch': 11875, '/': 12375, 'loss': 6.845004081726074}\n",
+      "{'epoch': 0, 'update in batch': 11876, '/': 12375, 'loss': 7.26969051361084}\n",
+      "{'epoch': 0, 'update in batch': 11877, '/': 12375, 'loss': 7.727367401123047}\n",
+      "{'epoch': 0, 'update in batch': 11878, '/': 12375, 'loss': 7.34926700592041}\n",
+      "{'epoch': 0, 'update in batch': 11879, '/': 12375, 'loss': 6.828221797943115}\n",
+      "{'epoch': 0, 'update in batch': 11880, '/': 12375, 'loss': 6.998631954193115}\n",
+      "{'epoch': 0, 'update in batch': 11881, '/': 12375, 'loss': 6.77746057510376}\n",
+      "{'epoch': 0, 'update in batch': 11882, '/': 12375, 'loss': 7.182398319244385}\n",
+      "{'epoch': 0, 'update in batch': 11883, '/': 12375, 'loss': 7.556443214416504}\n",
+      "{'epoch': 0, 'update in batch': 11884, '/': 12375, 'loss': 7.263655185699463}\n",
+      "{'epoch': 0, 'update in batch': 11885, '/': 12375, 'loss': 6.725364685058594}\n",
+      "{'epoch': 0, 'update in batch': 11886, '/': 12375, 'loss': 7.342148780822754}\n",
+      "{'epoch': 0, 'update in batch': 11887, '/': 12375, 'loss': 6.956923484802246}\n",
+      "{'epoch': 0, 'update in batch': 11888, '/': 12375, 'loss': 7.241865634918213}\n",
+      "{'epoch': 0, 'update in batch': 11889, '/': 12375, 'loss': 7.223283290863037}\n",
+      "{'epoch': 0, 'update in batch': 11890, '/': 12375, 'loss': 6.953053951263428}\n",
+      "{'epoch': 0, 'update in batch': 11891, '/': 12375, 'loss': 7.161048889160156}\n",
+      "{'epoch': 0, 'update in batch': 11892, '/': 12375, 'loss': 7.040482997894287}\n",
+      "{'epoch': 0, 'update in batch': 11893, '/': 12375, 'loss': 6.719146728515625}\n",
+      "{'epoch': 0, 'update in batch': 11894, '/': 12375, 'loss': 7.289525032043457}\n",
+      "{'epoch': 0, 'update in batch': 11895, '/': 12375, 'loss': 6.959153652191162}\n",
+      "{'epoch': 0, 'update in batch': 11896, '/': 12375, 'loss': 7.207604885101318}\n",
+      "{'epoch': 0, 'update in batch': 11897, '/': 12375, 'loss': 7.493985652923584}\n",
+      "{'epoch': 0, 'update in batch': 11898, '/': 12375, 'loss': 7.373835563659668}\n",
+      "{'epoch': 0, 'update in batch': 11899, '/': 12375, 'loss': 6.844779968261719}\n",
+      "{'epoch': 0, 'update in batch': 11900, '/': 12375, 'loss': 7.440690040588379}\n",
+      "{'epoch': 0, 'update in batch': 11901, '/': 12375, 'loss': 7.461139678955078}\n",
+      "{'epoch': 0, 'update in batch': 11902, '/': 12375, 'loss': 7.231414794921875}\n",
+      "{'epoch': 0, 'update in batch': 11903, '/': 12375, 'loss': 7.545924186706543}\n",
+      "{'epoch': 0, 'update in batch': 11904, '/': 12375, 'loss': 7.147919654846191}\n",
+      "{'epoch': 0, 'update in batch': 11905, '/': 12375, 'loss': 7.355755805969238}\n",
+      "{'epoch': 0, 'update in batch': 11906, '/': 12375, 'loss': 7.128115653991699}\n",
+      "{'epoch': 0, 'update in batch': 11907, '/': 12375, 'loss': 7.735323429107666}\n",
+      "{'epoch': 0, 'update in batch': 11908, '/': 12375, 'loss': 7.1126203536987305}\n",
+      "{'epoch': 0, 'update in batch': 11909, '/': 12375, 'loss': 7.570908546447754}\n",
+      "{'epoch': 0, 'update in batch': 11910, '/': 12375, 'loss': 7.24600887298584}\n",
+      "{'epoch': 0, 'update in batch': 11911, '/': 12375, 'loss': 7.18378210067749}\n",
+      "{'epoch': 0, 'update in batch': 11912, '/': 12375, 'loss': 7.083792209625244}\n",
+      "{'epoch': 0, 'update in batch': 11913, '/': 12375, 'loss': 7.401371002197266}\n",
+      "{'epoch': 0, 'update in batch': 11914, '/': 12375, 'loss': 7.930741310119629}\n",
+      "{'epoch': 0, 'update in batch': 11915, '/': 12375, 'loss': 7.970831871032715}\n",
+      "{'epoch': 0, 'update in batch': 11916, '/': 12375, 'loss': 6.695336818695068}\n",
+      "{'epoch': 0, 'update in batch': 11917, '/': 12375, 'loss': 6.902188777923584}\n",
+      "{'epoch': 0, 'update in batch': 11918, '/': 12375, 'loss': 6.922202110290527}\n",
+      "{'epoch': 0, 'update in batch': 11919, '/': 12375, 'loss': 6.81887674331665}\n",
+      "{'epoch': 0, 'update in batch': 11920, '/': 12375, 'loss': 7.715179443359375}\n",
+      "{'epoch': 0, 'update in batch': 11921, '/': 12375, 'loss': 6.686048984527588}\n",
+      "{'epoch': 0, 'update in batch': 11922, '/': 12375, 'loss': 7.188969612121582}\n",
+      "{'epoch': 0, 'update in batch': 11923, '/': 12375, 'loss': 6.770749568939209}\n",
+      "{'epoch': 0, 'update in batch': 11924, '/': 12375, 'loss': 7.078277587890625}\n",
+      "{'epoch': 0, 'update in batch': 11925, '/': 12375, 'loss': 7.8620734214782715}\n",
+      "{'epoch': 0, 'update in batch': 11926, '/': 12375, 'loss': 7.393368721008301}\n",
+      "{'epoch': 0, 'update in batch': 11927, '/': 12375, 'loss': 7.386667728424072}\n",
+      "{'epoch': 0, 'update in batch': 11928, '/': 12375, 'loss': 7.23906946182251}\n",
+      "{'epoch': 0, 'update in batch': 11929, '/': 12375, 'loss': 7.585395812988281}\n",
+      "{'epoch': 0, 'update in batch': 11930, '/': 12375, 'loss': 7.203614234924316}\n",
+      "{'epoch': 0, 'update in batch': 11931, '/': 12375, 'loss': 7.604273796081543}\n",
+      "{'epoch': 0, 'update in batch': 11932, '/': 12375, 'loss': 7.337775230407715}\n",
+      "{'epoch': 0, 'update in batch': 11933, '/': 12375, 'loss': 7.576490879058838}\n",
+      "{'epoch': 0, 'update in batch': 11934, '/': 12375, 'loss': 7.5114641189575195}\n",
+      "{'epoch': 0, 'update in batch': 11935, '/': 12375, 'loss': 6.7989397048950195}\n",
+      "{'epoch': 0, 'update in batch': 11936, '/': 12375, 'loss': 7.127784729003906}\n",
+      "{'epoch': 0, 'update in batch': 11937, '/': 12375, 'loss': 7.233532905578613}\n",
+      "{'epoch': 0, 'update in batch': 11938, '/': 12375, 'loss': 6.219149589538574}\n",
+      "{'epoch': 0, 'update in batch': 11939, '/': 12375, 'loss': 6.524643898010254}\n",
+      "{'epoch': 0, 'update in batch': 11940, '/': 12375, 'loss': 7.642625331878662}\n",
+      "{'epoch': 0, 'update in batch': 11941, '/': 12375, 'loss': 7.140697479248047}\n",
+      "{'epoch': 0, 'update in batch': 11942, '/': 12375, 'loss': 7.728437900543213}\n",
+      "{'epoch': 0, 'update in batch': 11943, '/': 12375, 'loss': 6.724819183349609}\n",
+      "{'epoch': 0, 'update in batch': 11944, '/': 12375, 'loss': 8.067770004272461}\n",
+      "{'epoch': 0, 'update in batch': 11945, '/': 12375, 'loss': 6.6163482666015625}\n",
+      "{'epoch': 0, 'update in batch': 11946, '/': 12375, 'loss': 6.913809776306152}\n",
+      "{'epoch': 0, 'update in batch': 11947, '/': 12375, 'loss': 6.6801910400390625}\n",
+      "{'epoch': 0, 'update in batch': 11948, '/': 12375, 'loss': 6.76391077041626}\n",
+      "{'epoch': 0, 'update in batch': 11949, '/': 12375, 'loss': 7.508326530456543}\n",
+      "{'epoch': 0, 'update in batch': 11950, '/': 12375, 'loss': 7.534853458404541}\n",
+      "{'epoch': 0, 'update in batch': 11951, '/': 12375, 'loss': 6.485658168792725}\n",
+      "{'epoch': 0, 'update in batch': 11952, '/': 12375, 'loss': 6.828187465667725}\n",
+      "{'epoch': 0, 'update in batch': 11953, '/': 12375, 'loss': 6.6417236328125}\n",
+      "{'epoch': 0, 'update in batch': 11954, '/': 12375, 'loss': 6.481114864349365}\n",
+      "{'epoch': 0, 'update in batch': 11955, '/': 12375, 'loss': 6.723927974700928}\n",
+      "{'epoch': 0, 'update in batch': 11956, '/': 12375, 'loss': 7.297749996185303}\n",
+      "{'epoch': 0, 'update in batch': 11957, '/': 12375, 'loss': 7.75302267074585}\n",
+      "{'epoch': 0, 'update in batch': 11958, '/': 12375, 'loss': 7.428831577301025}\n",
+      "{'epoch': 0, 'update in batch': 11959, '/': 12375, 'loss': 7.1512861251831055}\n",
+      "{'epoch': 0, 'update in batch': 11960, '/': 12375, 'loss': 8.144794464111328}\n",
+      "{'epoch': 0, 'update in batch': 11961, '/': 12375, 'loss': 8.210521697998047}\n",
+      "{'epoch': 0, 'update in batch': 11962, '/': 12375, 'loss': 7.727721214294434}\n",
+      "{'epoch': 0, 'update in batch': 11963, '/': 12375, 'loss': 7.627571105957031}\n",
+      "{'epoch': 0, 'update in batch': 11964, '/': 12375, 'loss': 7.373522758483887}\n",
+      "{'epoch': 0, 'update in batch': 11965, '/': 12375, 'loss': 7.615048408508301}\n",
+      "{'epoch': 0, 'update in batch': 11966, '/': 12375, 'loss': 7.444903373718262}\n",
+      "{'epoch': 0, 'update in batch': 11967, '/': 12375, 'loss': 7.274014472961426}\n",
+      "{'epoch': 0, 'update in batch': 11968, '/': 12375, 'loss': 7.003369331359863}\n",
+      "{'epoch': 0, 'update in batch': 11969, '/': 12375, 'loss': 7.201816558837891}\n",
+      "{'epoch': 0, 'update in batch': 11970, '/': 12375, 'loss': 7.526898384094238}\n",
+      "{'epoch': 0, 'update in batch': 11971, '/': 12375, 'loss': 6.914163112640381}\n",
+      "{'epoch': 0, 'update in batch': 11972, '/': 12375, 'loss': 7.326200008392334}\n",
+      "{'epoch': 0, 'update in batch': 11973, '/': 12375, 'loss': 7.684403419494629}\n",
+      "{'epoch': 0, 'update in batch': 11974, '/': 12375, 'loss': 7.793795108795166}\n",
+      "{'epoch': 0, 'update in batch': 11975, '/': 12375, 'loss': 8.176629066467285}\n",
+      "{'epoch': 0, 'update in batch': 11976, '/': 12375, 'loss': 7.148334503173828}\n",
+      "{'epoch': 0, 'update in batch': 11977, '/': 12375, 'loss': 7.665574073791504}\n",
+      "{'epoch': 0, 'update in batch': 11978, '/': 12375, 'loss': 7.424436092376709}\n",
+      "{'epoch': 0, 'update in batch': 11979, '/': 12375, 'loss': 7.446829319000244}\n",
+      "{'epoch': 0, 'update in batch': 11980, '/': 12375, 'loss': 7.146742820739746}\n",
+      "{'epoch': 0, 'update in batch': 11981, '/': 12375, 'loss': 7.6970014572143555}\n",
+      "{'epoch': 0, 'update in batch': 11982, '/': 12375, 'loss': 7.395864963531494}\n",
+      "{'epoch': 0, 'update in batch': 11983, '/': 12375, 'loss': 7.047402858734131}\n",
+      "{'epoch': 0, 'update in batch': 11984, '/': 12375, 'loss': 7.532914638519287}\n",
+      "{'epoch': 0, 'update in batch': 11985, '/': 12375, 'loss': 6.885537624359131}\n",
+      "{'epoch': 0, 'update in batch': 11986, '/': 12375, 'loss': 7.234492301940918}\n",
+      "{'epoch': 0, 'update in batch': 11987, '/': 12375, 'loss': 6.8811187744140625}\n",
+      "{'epoch': 0, 'update in batch': 11988, '/': 12375, 'loss': 7.24500036239624}\n",
+      "{'epoch': 0, 'update in batch': 11989, '/': 12375, 'loss': 6.64992618560791}\n",
+      "{'epoch': 0, 'update in batch': 11990, '/': 12375, 'loss': 6.858102321624756}\n",
+      "{'epoch': 0, 'update in batch': 11991, '/': 12375, 'loss': 6.174561023712158}\n",
+      "{'epoch': 0, 'update in batch': 11992, '/': 12375, 'loss': 7.044212341308594}\n",
+      "{'epoch': 0, 'update in batch': 11993, '/': 12375, 'loss': 6.773952484130859}\n",
+      "{'epoch': 0, 'update in batch': 11994, '/': 12375, 'loss': 7.023858547210693}\n",
+      "{'epoch': 0, 'update in batch': 11995, '/': 12375, 'loss': 6.789522647857666}\n",
+      "{'epoch': 0, 'update in batch': 11996, '/': 12375, 'loss': 6.656313896179199}\n",
+      "{'epoch': 0, 'update in batch': 11997, '/': 12375, 'loss': 7.798709869384766}\n",
+      "{'epoch': 0, 'update in batch': 11998, '/': 12375, 'loss': 7.471831321716309}\n",
+      "{'epoch': 0, 'update in batch': 11999, '/': 12375, 'loss': 7.973486423492432}\n",
+      "{'epoch': 0, 'update in batch': 12000, '/': 12375, 'loss': 8.404726028442383}\n",
+      "{'epoch': 0, 'update in batch': 12001, '/': 12375, 'loss': 7.256660461425781}\n",
+      "{'epoch': 0, 'update in batch': 12002, '/': 12375, 'loss': 7.121388912200928}\n",
+      "{'epoch': 0, 'update in batch': 12003, '/': 12375, 'loss': 7.861047267913818}\n",
+      "{'epoch': 0, 'update in batch': 12004, '/': 12375, 'loss': 6.68817663192749}\n",
+      "{'epoch': 0, 'update in batch': 12005, '/': 12375, 'loss': 7.0158538818359375}\n",
+      "{'epoch': 0, 'update in batch': 12006, '/': 12375, 'loss': 6.826150417327881}\n",
+      "{'epoch': 0, 'update in batch': 12007, '/': 12375, 'loss': 6.847469329833984}\n",
+      "{'epoch': 0, 'update in batch': 12008, '/': 12375, 'loss': 6.799044609069824}\n",
+      "{'epoch': 0, 'update in batch': 12009, '/': 12375, 'loss': 6.918992519378662}\n",
+      "{'epoch': 0, 'update in batch': 12010, '/': 12375, 'loss': 6.79296875}\n",
+      "{'epoch': 0, 'update in batch': 12011, '/': 12375, 'loss': 7.197536468505859}\n",
+      "{'epoch': 0, 'update in batch': 12012, '/': 12375, 'loss': 7.303779602050781}\n",
+      "{'epoch': 0, 'update in batch': 12013, '/': 12375, 'loss': 7.4713921546936035}\n",
+      "{'epoch': 0, 'update in batch': 12014, '/': 12375, 'loss': 8.026968955993652}\n",
+      "{'epoch': 0, 'update in batch': 12015, '/': 12375, 'loss': 7.8013811111450195}\n",
+      "{'epoch': 0, 'update in batch': 12016, '/': 12375, 'loss': 7.541905879974365}\n",
+      "{'epoch': 0, 'update in batch': 12017, '/': 12375, 'loss': 7.227618217468262}\n",
+      "{'epoch': 0, 'update in batch': 12018, '/': 12375, 'loss': 7.933426856994629}\n",
+      "{'epoch': 0, 'update in batch': 12019, '/': 12375, 'loss': 7.938564300537109}\n",
+      "{'epoch': 0, 'update in batch': 12020, '/': 12375, 'loss': 6.89358377456665}\n",
+      "{'epoch': 0, 'update in batch': 12021, '/': 12375, 'loss': 7.217610836029053}\n",
+      "{'epoch': 0, 'update in batch': 12022, '/': 12375, 'loss': 6.787274360656738}\n",
+      "{'epoch': 0, 'update in batch': 12023, '/': 12375, 'loss': 7.259204864501953}\n",
+      "{'epoch': 0, 'update in batch': 12024, '/': 12375, 'loss': 6.63860559463501}\n",
+      "{'epoch': 0, 'update in batch': 12025, '/': 12375, 'loss': 5.861181259155273}\n",
+      "{'epoch': 0, 'update in batch': 12026, '/': 12375, 'loss': 7.142210960388184}\n",
+      "{'epoch': 0, 'update in batch': 12027, '/': 12375, 'loss': 7.558210849761963}\n",
+      "{'epoch': 0, 'update in batch': 12028, '/': 12375, 'loss': 6.145468711853027}\n",
+      "{'epoch': 0, 'update in batch': 12029, '/': 12375, 'loss': 6.741471767425537}\n",
+      "{'epoch': 0, 'update in batch': 12030, '/': 12375, 'loss': 6.730973720550537}\n",
+      "{'epoch': 0, 'update in batch': 12031, '/': 12375, 'loss': 7.338743686676025}\n",
+      "{'epoch': 0, 'update in batch': 12032, '/': 12375, 'loss': 6.058314800262451}\n",
+      "{'epoch': 0, 'update in batch': 12033, '/': 12375, 'loss': 6.633237361907959}\n",
+      "{'epoch': 0, 'update in batch': 12034, '/': 12375, 'loss': 7.22396183013916}\n",
+      "{'epoch': 0, 'update in batch': 12035, '/': 12375, 'loss': 6.974272727966309}\n",
+      "{'epoch': 0, 'update in batch': 12036, '/': 12375, 'loss': 7.194921016693115}\n",
+      "{'epoch': 0, 'update in batch': 12037, '/': 12375, 'loss': 6.7892165184021}\n",
+      "{'epoch': 0, 'update in batch': 12038, '/': 12375, 'loss': 7.269094944000244}\n",
+      "{'epoch': 0, 'update in batch': 12039, '/': 12375, 'loss': 7.727850914001465}\n",
+      "{'epoch': 0, 'update in batch': 12040, '/': 12375, 'loss': 7.672938346862793}\n",
+      "{'epoch': 0, 'update in batch': 12041, '/': 12375, 'loss': 8.010123252868652}\n",
+      "{'epoch': 0, 'update in batch': 12042, '/': 12375, 'loss': 7.811902046203613}\n",
+      "{'epoch': 0, 'update in batch': 12043, '/': 12375, 'loss': 6.4236555099487305}\n",
+      "{'epoch': 0, 'update in batch': 12044, '/': 12375, 'loss': 7.6839094161987305}\n",
+      "{'epoch': 0, 'update in batch': 12045, '/': 12375, 'loss': 7.461554050445557}\n",
+      "{'epoch': 0, 'update in batch': 12046, '/': 12375, 'loss': 7.851927757263184}\n",
+      "{'epoch': 0, 'update in batch': 12047, '/': 12375, 'loss': 6.521153926849365}\n",
+      "{'epoch': 0, 'update in batch': 12048, '/': 12375, 'loss': 6.514029502868652}\n",
+      "{'epoch': 0, 'update in batch': 12049, '/': 12375, 'loss': 6.667896270751953}\n",
+      "{'epoch': 0, 'update in batch': 12050, '/': 12375, 'loss': 7.632896423339844}\n",
+      "{'epoch': 0, 'update in batch': 12051, '/': 12375, 'loss': 7.6294379234313965}\n",
+      "{'epoch': 0, 'update in batch': 12052, '/': 12375, 'loss': 6.628569602966309}\n",
+      "{'epoch': 0, 'update in batch': 12053, '/': 12375, 'loss': 7.318402290344238}\n",
+      "{'epoch': 0, 'update in batch': 12054, '/': 12375, 'loss': 7.507471561431885}\n",
+      "{'epoch': 0, 'update in batch': 12055, '/': 12375, 'loss': 7.233623504638672}\n",
+      "{'epoch': 0, 'update in batch': 12056, '/': 12375, 'loss': 7.886863708496094}\n",
+      "{'epoch': 0, 'update in batch': 12057, '/': 12375, 'loss': 7.064717769622803}\n",
+      "{'epoch': 0, 'update in batch': 12058, '/': 12375, 'loss': 7.600710391998291}\n",
+      "{'epoch': 0, 'update in batch': 12059, '/': 12375, 'loss': 7.445123195648193}\n",
+      "{'epoch': 0, 'update in batch': 12060, '/': 12375, 'loss': 8.000374794006348}\n",
+      "{'epoch': 0, 'update in batch': 12061, '/': 12375, 'loss': 8.043109893798828}\n",
+      "{'epoch': 0, 'update in batch': 12062, '/': 12375, 'loss': 7.867959022521973}\n",
+      "{'epoch': 0, 'update in batch': 12063, '/': 12375, 'loss': 7.175100803375244}\n",
+      "{'epoch': 0, 'update in batch': 12064, '/': 12375, 'loss': 7.828936576843262}\n",
+      "{'epoch': 0, 'update in batch': 12065, '/': 12375, 'loss': 7.194404602050781}\n",
+      "{'epoch': 0, 'update in batch': 12066, '/': 12375, 'loss': 7.1633710861206055}\n",
+      "{'epoch': 0, 'update in batch': 12067, '/': 12375, 'loss': 7.355421543121338}\n",
+      "{'epoch': 0, 'update in batch': 12068, '/': 12375, 'loss': 7.458995819091797}\n",
+      "{'epoch': 0, 'update in batch': 12069, '/': 12375, 'loss': 6.866519927978516}\n",
+      "{'epoch': 0, 'update in batch': 12070, '/': 12375, 'loss': 5.956597328186035}\n",
+      "{'epoch': 0, 'update in batch': 12071, '/': 12375, 'loss': 6.570423126220703}\n",
+      "{'epoch': 0, 'update in batch': 12072, '/': 12375, 'loss': 6.04904842376709}\n",
+      "{'epoch': 0, 'update in batch': 12073, '/': 12375, 'loss': 7.363472938537598}\n",
+      "{'epoch': 0, 'update in batch': 12074, '/': 12375, 'loss': 6.800351142883301}\n",
+      "{'epoch': 0, 'update in batch': 12075, '/': 12375, 'loss': 7.418766021728516}\n",
+      "{'epoch': 0, 'update in batch': 12076, '/': 12375, 'loss': 7.855564117431641}\n",
+      "{'epoch': 0, 'update in batch': 12077, '/': 12375, 'loss': 7.604564666748047}\n",
+      "{'epoch': 0, 'update in batch': 12078, '/': 12375, 'loss': 7.095816135406494}\n",
+      "{'epoch': 0, 'update in batch': 12079, '/': 12375, 'loss': 7.761599063873291}\n",
+      "{'epoch': 0, 'update in batch': 12080, '/': 12375, 'loss': 7.851686954498291}\n",
+      "{'epoch': 0, 'update in batch': 12081, '/': 12375, 'loss': 6.464749813079834}\n",
+      "{'epoch': 0, 'update in batch': 12082, '/': 12375, 'loss': 7.212924957275391}\n",
+      "{'epoch': 0, 'update in batch': 12083, '/': 12375, 'loss': 7.500147342681885}\n",
+      "{'epoch': 0, 'update in batch': 12084, '/': 12375, 'loss': 7.499516487121582}\n",
+      "{'epoch': 0, 'update in batch': 12085, '/': 12375, 'loss': 7.354897975921631}\n",
+      "{'epoch': 0, 'update in batch': 12086, '/': 12375, 'loss': 8.243708610534668}\n",
+      "{'epoch': 0, 'update in batch': 12087, '/': 12375, 'loss': 7.228360652923584}\n",
+      "{'epoch': 0, 'update in batch': 12088, '/': 12375, 'loss': 7.453190803527832}\n",
+      "{'epoch': 0, 'update in batch': 12089, '/': 12375, 'loss': 6.864797115325928}\n",
+      "{'epoch': 0, 'update in batch': 12090, '/': 12375, 'loss': 7.322415351867676}\n",
+      "{'epoch': 0, 'update in batch': 12091, '/': 12375, 'loss': 6.793673038482666}\n",
+      "{'epoch': 0, 'update in batch': 12092, '/': 12375, 'loss': 7.76401424407959}\n",
+      "{'epoch': 0, 'update in batch': 12093, '/': 12375, 'loss': 7.806363105773926}\n",
+      "{'epoch': 0, 'update in batch': 12094, '/': 12375, 'loss': 7.2782392501831055}\n",
+      "{'epoch': 0, 'update in batch': 12095, '/': 12375, 'loss': 7.058662414550781}\n",
+      "{'epoch': 0, 'update in batch': 12096, '/': 12375, 'loss': 7.661524295806885}\n",
+      "{'epoch': 0, 'update in batch': 12097, '/': 12375, 'loss': 7.729373931884766}\n",
+      "{'epoch': 0, 'update in batch': 12098, '/': 12375, 'loss': 7.264763832092285}\n",
+      "{'epoch': 0, 'update in batch': 12099, '/': 12375, 'loss': 8.009637832641602}\n",
+      "{'epoch': 0, 'update in batch': 12100, '/': 12375, 'loss': 6.94232177734375}\n",
+      "{'epoch': 0, 'update in batch': 12101, '/': 12375, 'loss': 6.794897556304932}\n",
+      "{'epoch': 0, 'update in batch': 12102, '/': 12375, 'loss': 7.212351322174072}\n",
+      "{'epoch': 0, 'update in batch': 12103, '/': 12375, 'loss': 7.982767581939697}\n",
+      "{'epoch': 0, 'update in batch': 12104, '/': 12375, 'loss': 7.023218631744385}\n",
+      "{'epoch': 0, 'update in batch': 12105, '/': 12375, 'loss': 6.918097496032715}\n",
+      "{'epoch': 0, 'update in batch': 12106, '/': 12375, 'loss': 7.109797477722168}\n",
+      "{'epoch': 0, 'update in batch': 12107, '/': 12375, 'loss': 7.362425804138184}\n",
+      "{'epoch': 0, 'update in batch': 12108, '/': 12375, 'loss': 6.845945835113525}\n",
+      "{'epoch': 0, 'update in batch': 12109, '/': 12375, 'loss': 6.418145656585693}\n",
+      "{'epoch': 0, 'update in batch': 12110, '/': 12375, 'loss': 6.6796088218688965}\n",
+      "{'epoch': 0, 'update in batch': 12111, '/': 12375, 'loss': 7.074349403381348}\n",
+      "{'epoch': 0, 'update in batch': 12112, '/': 12375, 'loss': 7.481410980224609}\n",
+      "{'epoch': 0, 'update in batch': 12113, '/': 12375, 'loss': 7.602031707763672}\n",
+      "{'epoch': 0, 'update in batch': 12114, '/': 12375, 'loss': 7.39056921005249}\n",
+      "{'epoch': 0, 'update in batch': 12115, '/': 12375, 'loss': 7.188345432281494}\n",
+      "{'epoch': 0, 'update in batch': 12116, '/': 12375, 'loss': 7.154461860656738}\n",
+      "{'epoch': 0, 'update in batch': 12117, '/': 12375, 'loss': 7.611605167388916}\n",
+      "{'epoch': 0, 'update in batch': 12118, '/': 12375, 'loss': 7.86859655380249}\n",
+      "{'epoch': 0, 'update in batch': 12119, '/': 12375, 'loss': 7.43485164642334}\n",
+      "{'epoch': 0, 'update in batch': 12120, '/': 12375, 'loss': 6.809673309326172}\n",
+      "{'epoch': 0, 'update in batch': 12121, '/': 12375, 'loss': 6.9918036460876465}\n",
+      "{'epoch': 0, 'update in batch': 12122, '/': 12375, 'loss': 7.238375663757324}\n",
+      "{'epoch': 0, 'update in batch': 12123, '/': 12375, 'loss': 7.789717674255371}\n",
+      "{'epoch': 0, 'update in batch': 12124, '/': 12375, 'loss': 5.903690338134766}\n",
+      "{'epoch': 0, 'update in batch': 12125, '/': 12375, 'loss': 6.251505374908447}\n",
+      "{'epoch': 0, 'update in batch': 12126, '/': 12375, 'loss': 6.465122222900391}\n",
+      "{'epoch': 0, 'update in batch': 12127, '/': 12375, 'loss': 7.836995601654053}\n",
+      "{'epoch': 0, 'update in batch': 12128, '/': 12375, 'loss': 6.973959445953369}\n",
+      "{'epoch': 0, 'update in batch': 12129, '/': 12375, 'loss': 7.695639610290527}\n",
+      "{'epoch': 0, 'update in batch': 12130, '/': 12375, 'loss': 7.21419620513916}\n",
+      "{'epoch': 0, 'update in batch': 12131, '/': 12375, 'loss': 6.428859710693359}\n",
+      "{'epoch': 0, 'update in batch': 12132, '/': 12375, 'loss': 6.805210113525391}\n",
+      "{'epoch': 0, 'update in batch': 12133, '/': 12375, 'loss': 6.7720537185668945}\n",
+      "{'epoch': 0, 'update in batch': 12134, '/': 12375, 'loss': 6.777960777282715}\n",
+      "{'epoch': 0, 'update in batch': 12135, '/': 12375, 'loss': 6.428633213043213}\n",
+      "{'epoch': 0, 'update in batch': 12136, '/': 12375, 'loss': 7.2000412940979}\n",
+      "{'epoch': 0, 'update in batch': 12137, '/': 12375, 'loss': 7.108624458312988}\n",
+      "{'epoch': 0, 'update in batch': 12138, '/': 12375, 'loss': 6.364197731018066}\n",
+      "{'epoch': 0, 'update in batch': 12139, '/': 12375, 'loss': 7.01428747177124}\n",
+      "{'epoch': 0, 'update in batch': 12140, '/': 12375, 'loss': 7.070923805236816}\n",
+      "{'epoch': 0, 'update in batch': 12141, '/': 12375, 'loss': 6.891634941101074}\n",
+      "{'epoch': 0, 'update in batch': 12142, '/': 12375, 'loss': 7.7265214920043945}\n",
+      "{'epoch': 0, 'update in batch': 12143, '/': 12375, 'loss': 6.8642096519470215}\n",
+      "{'epoch': 0, 'update in batch': 12144, '/': 12375, 'loss': 7.0661301612854}\n",
+      "{'epoch': 0, 'update in batch': 12145, '/': 12375, 'loss': 7.7069854736328125}\n",
+      "{'epoch': 0, 'update in batch': 12146, '/': 12375, 'loss': 7.1716485023498535}\n",
+      "{'epoch': 0, 'update in batch': 12147, '/': 12375, 'loss': 6.737856864929199}\n",
+      "{'epoch': 0, 'update in batch': 12148, '/': 12375, 'loss': 7.544106483459473}\n",
+      "{'epoch': 0, 'update in batch': 12149, '/': 12375, 'loss': 7.466440677642822}\n",
+      "{'epoch': 0, 'update in batch': 12150, '/': 12375, 'loss': 8.103513717651367}\n",
+      "{'epoch': 0, 'update in batch': 12151, '/': 12375, 'loss': 7.602529048919678}\n",
+      "{'epoch': 0, 'update in batch': 12152, '/': 12375, 'loss': 7.469823360443115}\n",
+      "{'epoch': 0, 'update in batch': 12153, '/': 12375, 'loss': 8.223409652709961}\n",
+      "{'epoch': 0, 'update in batch': 12154, '/': 12375, 'loss': 7.215537071228027}\n",
+      "{'epoch': 0, 'update in batch': 12155, '/': 12375, 'loss': 7.877296447753906}\n",
+      "{'epoch': 0, 'update in batch': 12156, '/': 12375, 'loss': 7.3550519943237305}\n",
+      "{'epoch': 0, 'update in batch': 12157, '/': 12375, 'loss': 7.620102882385254}\n",
+      "{'epoch': 0, 'update in batch': 12158, '/': 12375, 'loss': 7.0313591957092285}\n",
+      "{'epoch': 0, 'update in batch': 12159, '/': 12375, 'loss': 7.516544342041016}\n",
+      "{'epoch': 0, 'update in batch': 12160, '/': 12375, 'loss': 7.752823829650879}\n",
+      "{'epoch': 0, 'update in batch': 12161, '/': 12375, 'loss': 7.7135138511657715}\n",
+      "{'epoch': 0, 'update in batch': 12162, '/': 12375, 'loss': 8.016586303710938}\n",
+      "{'epoch': 0, 'update in batch': 12163, '/': 12375, 'loss': 7.9899163246154785}\n",
+      "{'epoch': 0, 'update in batch': 12164, '/': 12375, 'loss': 7.1899309158325195}\n",
+      "{'epoch': 0, 'update in batch': 12165, '/': 12375, 'loss': 7.862817287445068}\n",
+      "{'epoch': 0, 'update in batch': 12166, '/': 12375, 'loss': 7.789067268371582}\n",
+      "{'epoch': 0, 'update in batch': 12167, '/': 12375, 'loss': 8.60171127319336}\n",
+      "{'epoch': 0, 'update in batch': 12168, '/': 12375, 'loss': 8.025815963745117}\n",
+      "{'epoch': 0, 'update in batch': 12169, '/': 12375, 'loss': 7.293637275695801}\n",
+      "{'epoch': 0, 'update in batch': 12170, '/': 12375, 'loss': 8.054197311401367}\n",
+      "{'epoch': 0, 'update in batch': 12171, '/': 12375, 'loss': 7.419488430023193}\n",
+      "{'epoch': 0, 'update in batch': 12172, '/': 12375, 'loss': 6.568148136138916}\n",
+      "{'epoch': 0, 'update in batch': 12173, '/': 12375, 'loss': 6.82858943939209}\n",
+      "{'epoch': 0, 'update in batch': 12174, '/': 12375, 'loss': 7.017588138580322}\n",
+      "{'epoch': 0, 'update in batch': 12175, '/': 12375, 'loss': 7.6820969581604}\n",
+      "{'epoch': 0, 'update in batch': 12176, '/': 12375, 'loss': 7.642600059509277}\n",
+      "{'epoch': 0, 'update in batch': 12177, '/': 12375, 'loss': 7.748793601989746}\n",
+      "{'epoch': 0, 'update in batch': 12178, '/': 12375, 'loss': 8.242502212524414}\n",
+      "{'epoch': 0, 'update in batch': 12179, '/': 12375, 'loss': 7.59332275390625}\n",
+      "{'epoch': 0, 'update in batch': 12180, '/': 12375, 'loss': 7.26932430267334}\n",
+      "{'epoch': 0, 'update in batch': 12181, '/': 12375, 'loss': 7.539785861968994}\n",
+      "{'epoch': 0, 'update in batch': 12182, '/': 12375, 'loss': 6.6075005531311035}\n",
+      "{'epoch': 0, 'update in batch': 12183, '/': 12375, 'loss': 7.305941581726074}\n",
+      "{'epoch': 0, 'update in batch': 12184, '/': 12375, 'loss': 7.401655673980713}\n",
+      "{'epoch': 0, 'update in batch': 12185, '/': 12375, 'loss': 7.248598575592041}\n",
+      "{'epoch': 0, 'update in batch': 12186, '/': 12375, 'loss': 7.642617702484131}\n",
+      "{'epoch': 0, 'update in batch': 12187, '/': 12375, 'loss': 7.152707099914551}\n",
+      "{'epoch': 0, 'update in batch': 12188, '/': 12375, 'loss': 6.65765905380249}\n",
+      "{'epoch': 0, 'update in batch': 12189, '/': 12375, 'loss': 6.807347774505615}\n",
+      "{'epoch': 0, 'update in batch': 12190, '/': 12375, 'loss': 6.621532440185547}\n",
+      "{'epoch': 0, 'update in batch': 12191, '/': 12375, 'loss': 6.860398292541504}\n",
+      "{'epoch': 0, 'update in batch': 12192, '/': 12375, 'loss': 7.280989170074463}\n",
+      "{'epoch': 0, 'update in batch': 12193, '/': 12375, 'loss': 7.463061332702637}\n",
+      "{'epoch': 0, 'update in batch': 12194, '/': 12375, 'loss': 7.537747383117676}\n",
+      "{'epoch': 0, 'update in batch': 12195, '/': 12375, 'loss': 7.5391669273376465}\n",
+      "{'epoch': 0, 'update in batch': 12196, '/': 12375, 'loss': 7.369423866271973}\n",
+      "{'epoch': 0, 'update in batch': 12197, '/': 12375, 'loss': 7.459357261657715}\n",
+      "{'epoch': 0, 'update in batch': 12198, '/': 12375, 'loss': 7.585620880126953}\n",
+      "{'epoch': 0, 'update in batch': 12199, '/': 12375, 'loss': 7.359593391418457}\n",
+      "{'epoch': 0, 'update in batch': 12200, '/': 12375, 'loss': 7.327431678771973}\n",
+      "{'epoch': 0, 'update in batch': 12201, '/': 12375, 'loss': 7.700793266296387}\n",
+      "{'epoch': 0, 'update in batch': 12202, '/': 12375, 'loss': 7.008525848388672}\n",
+      "{'epoch': 0, 'update in batch': 12203, '/': 12375, 'loss': 7.572605133056641}\n",
+      "{'epoch': 0, 'update in batch': 12204, '/': 12375, 'loss': 7.373721122741699}\n",
+      "{'epoch': 0, 'update in batch': 12205, '/': 12375, 'loss': 6.954766273498535}\n",
+      "{'epoch': 0, 'update in batch': 12206, '/': 12375, 'loss': 7.1766462326049805}\n",
+      "{'epoch': 0, 'update in batch': 12207, '/': 12375, 'loss': 7.3776140213012695}\n",
+      "{'epoch': 0, 'update in batch': 12208, '/': 12375, 'loss': 7.85323429107666}\n",
+      "{'epoch': 0, 'update in batch': 12209, '/': 12375, 'loss': 7.48050594329834}\n",
+      "{'epoch': 0, 'update in batch': 12210, '/': 12375, 'loss': 7.432277679443359}\n",
+      "{'epoch': 0, 'update in batch': 12211, '/': 12375, 'loss': 7.554198265075684}\n",
+      "{'epoch': 0, 'update in batch': 12212, '/': 12375, 'loss': 8.100403785705566}\n",
+      "{'epoch': 0, 'update in batch': 12213, '/': 12375, 'loss': 7.543229103088379}\n",
+      "{'epoch': 0, 'update in batch': 12214, '/': 12375, 'loss': 7.932930946350098}\n",
+      "{'epoch': 0, 'update in batch': 12215, '/': 12375, 'loss': 7.55740213394165}\n",
+      "{'epoch': 0, 'update in batch': 12216, '/': 12375, 'loss': 7.400460720062256}\n",
+      "{'epoch': 0, 'update in batch': 12217, '/': 12375, 'loss': 7.371516227722168}\n",
+      "{'epoch': 0, 'update in batch': 12218, '/': 12375, 'loss': 7.721337795257568}\n",
+      "{'epoch': 0, 'update in batch': 12219, '/': 12375, 'loss': 7.683638095855713}\n",
+      "{'epoch': 0, 'update in batch': 12220, '/': 12375, 'loss': 7.5601630210876465}\n",
+      "{'epoch': 0, 'update in batch': 12221, '/': 12375, 'loss': 7.539790153503418}\n",
+      "{'epoch': 0, 'update in batch': 12222, '/': 12375, 'loss': 7.350176811218262}\n",
+      "{'epoch': 0, 'update in batch': 12223, '/': 12375, 'loss': 6.974623203277588}\n",
+      "{'epoch': 0, 'update in batch': 12224, '/': 12375, 'loss': 7.372098445892334}\n",
+      "{'epoch': 0, 'update in batch': 12225, '/': 12375, 'loss': 7.342595100402832}\n",
+      "{'epoch': 0, 'update in batch': 12226, '/': 12375, 'loss': 6.921125888824463}\n",
+      "{'epoch': 0, 'update in batch': 12227, '/': 12375, 'loss': 7.341946601867676}\n",
+      "{'epoch': 0, 'update in batch': 12228, '/': 12375, 'loss': 7.602779388427734}\n",
+      "{'epoch': 0, 'update in batch': 12229, '/': 12375, 'loss': 6.771978855133057}\n",
+      "{'epoch': 0, 'update in batch': 12230, '/': 12375, 'loss': 7.212056636810303}\n",
+      "{'epoch': 0, 'update in batch': 12231, '/': 12375, 'loss': 7.895821571350098}\n",
+      "{'epoch': 0, 'update in batch': 12232, '/': 12375, 'loss': 7.460118770599365}\n",
+      "{'epoch': 0, 'update in batch': 12233, '/': 12375, 'loss': 6.7814836502075195}\n",
+      "{'epoch': 0, 'update in batch': 12234, '/': 12375, 'loss': 7.017767906188965}\n",
+      "{'epoch': 0, 'update in batch': 12235, '/': 12375, 'loss': 7.492687225341797}\n",
+      "{'epoch': 0, 'update in batch': 12236, '/': 12375, 'loss': 8.057645797729492}\n",
+      "{'epoch': 0, 'update in batch': 12237, '/': 12375, 'loss': 7.255274772644043}\n",
+      "{'epoch': 0, 'update in batch': 12238, '/': 12375, 'loss': 6.743743896484375}\n",
+      "{'epoch': 0, 'update in batch': 12239, '/': 12375, 'loss': 6.7819647789001465}\n",
+      "{'epoch': 0, 'update in batch': 12240, '/': 12375, 'loss': 7.662314414978027}\n",
+      "{'epoch': 0, 'update in batch': 12241, '/': 12375, 'loss': 7.196746826171875}\n",
+      "{'epoch': 0, 'update in batch': 12242, '/': 12375, 'loss': 6.850457668304443}\n",
+      "{'epoch': 0, 'update in batch': 12243, '/': 12375, 'loss': 6.406338691711426}\n",
+      "{'epoch': 0, 'update in batch': 12244, '/': 12375, 'loss': 6.430933952331543}\n",
+      "{'epoch': 0, 'update in batch': 12245, '/': 12375, 'loss': 7.179291725158691}\n",
+      "{'epoch': 0, 'update in batch': 12246, '/': 12375, 'loss': 7.496626377105713}\n",
+      "{'epoch': 0, 'update in batch': 12247, '/': 12375, 'loss': 7.445967674255371}\n",
+      "{'epoch': 0, 'update in batch': 12248, '/': 12375, 'loss': 7.706972599029541}\n",
+      "{'epoch': 0, 'update in batch': 12249, '/': 12375, 'loss': 7.501169681549072}\n",
+      "{'epoch': 0, 'update in batch': 12250, '/': 12375, 'loss': 7.518002986907959}\n",
+      "{'epoch': 0, 'update in batch': 12251, '/': 12375, 'loss': 8.254668235778809}\n",
+      "{'epoch': 0, 'update in batch': 12252, '/': 12375, 'loss': 7.6911749839782715}\n",
+      "{'epoch': 0, 'update in batch': 12253, '/': 12375, 'loss': 7.660099029541016}\n",
+      "{'epoch': 0, 'update in batch': 12254, '/': 12375, 'loss': 7.762870788574219}\n",
+      "{'epoch': 0, 'update in batch': 12255, '/': 12375, 'loss': 7.895556449890137}\n",
+      "{'epoch': 0, 'update in batch': 12256, '/': 12375, 'loss': 7.9843878746032715}\n",
+      "{'epoch': 0, 'update in batch': 12257, '/': 12375, 'loss': 7.634301662445068}\n",
+      "{'epoch': 0, 'update in batch': 12258, '/': 12375, 'loss': 7.780110836029053}\n",
+      "{'epoch': 0, 'update in batch': 12259, '/': 12375, 'loss': 7.304564476013184}\n",
+      "{'epoch': 0, 'update in batch': 12260, '/': 12375, 'loss': 7.2952752113342285}\n",
+      "{'epoch': 0, 'update in batch': 12261, '/': 12375, 'loss': 6.790953159332275}\n",
+      "{'epoch': 0, 'update in batch': 12262, '/': 12375, 'loss': 6.983895301818848}\n",
+      "{'epoch': 0, 'update in batch': 12263, '/': 12375, 'loss': 7.8324408531188965}\n",
+      "{'epoch': 0, 'update in batch': 12264, '/': 12375, 'loss': 6.972270965576172}\n",
+      "{'epoch': 0, 'update in batch': 12265, '/': 12375, 'loss': 7.125307559967041}\n",
+      "{'epoch': 0, 'update in batch': 12266, '/': 12375, 'loss': 7.0766777992248535}\n",
+      "{'epoch': 0, 'update in batch': 12267, '/': 12375, 'loss': 7.063143253326416}\n",
+      "{'epoch': 0, 'update in batch': 12268, '/': 12375, 'loss': 7.309312343597412}\n",
+      "{'epoch': 0, 'update in batch': 12269, '/': 12375, 'loss': 7.543118953704834}\n",
+      "{'epoch': 0, 'update in batch': 12270, '/': 12375, 'loss': 6.855385780334473}\n",
+      "{'epoch': 0, 'update in batch': 12271, '/': 12375, 'loss': 6.919511318206787}\n",
+      "{'epoch': 0, 'update in batch': 12272, '/': 12375, 'loss': 7.391226768493652}\n",
+      "{'epoch': 0, 'update in batch': 12273, '/': 12375, 'loss': 8.588289260864258}\n",
+      "{'epoch': 0, 'update in batch': 12274, '/': 12375, 'loss': 7.847254753112793}\n",
+      "{'epoch': 0, 'update in batch': 12275, '/': 12375, 'loss': 7.027127265930176}\n",
+      "{'epoch': 0, 'update in batch': 12276, '/': 12375, 'loss': 7.039318084716797}\n",
+      "{'epoch': 0, 'update in batch': 12277, '/': 12375, 'loss': 8.064900398254395}\n",
+      "{'epoch': 0, 'update in batch': 12278, '/': 12375, 'loss': 6.9581780433654785}\n",
+      "{'epoch': 0, 'update in batch': 12279, '/': 12375, 'loss': 7.6645331382751465}\n",
+      "{'epoch': 0, 'update in batch': 12280, '/': 12375, 'loss': 7.679293155670166}\n",
+      "{'epoch': 0, 'update in batch': 12281, '/': 12375, 'loss': 8.11253547668457}\n",
+      "{'epoch': 0, 'update in batch': 12282, '/': 12375, 'loss': 7.786460876464844}\n",
+      "{'epoch': 0, 'update in batch': 12283, '/': 12375, 'loss': 7.849516868591309}\n",
+      "{'epoch': 0, 'update in batch': 12284, '/': 12375, 'loss': 6.936777591705322}\n",
+      "{'epoch': 0, 'update in batch': 12285, '/': 12375, 'loss': 7.575074195861816}\n",
+      "{'epoch': 0, 'update in batch': 12286, '/': 12375, 'loss': 7.70908260345459}\n",
+      "{'epoch': 0, 'update in batch': 12287, '/': 12375, 'loss': 7.471468448638916}\n",
+      "{'epoch': 0, 'update in batch': 12288, '/': 12375, 'loss': 8.352518081665039}\n",
+      "{'epoch': 0, 'update in batch': 12289, '/': 12375, 'loss': 7.969097137451172}\n",
+      "{'epoch': 0, 'update in batch': 12290, '/': 12375, 'loss': 8.175186157226562}\n",
+      "{'epoch': 0, 'update in batch': 12291, '/': 12375, 'loss': 7.788784980773926}\n",
+      "{'epoch': 0, 'update in batch': 12292, '/': 12375, 'loss': 7.171548366546631}\n",
+      "{'epoch': 0, 'update in batch': 12293, '/': 12375, 'loss': 8.000309944152832}\n",
+      "{'epoch': 0, 'update in batch': 12294, '/': 12375, 'loss': 8.194957733154297}\n",
+      "{'epoch': 0, 'update in batch': 12295, '/': 12375, 'loss': 7.399157524108887}\n",
+      "{'epoch': 0, 'update in batch': 12296, '/': 12375, 'loss': 8.007295608520508}\n",
+      "{'epoch': 0, 'update in batch': 12297, '/': 12375, 'loss': 7.796627044677734}\n",
+      "{'epoch': 0, 'update in batch': 12298, '/': 12375, 'loss': 7.926478385925293}\n",
+      "{'epoch': 0, 'update in batch': 12299, '/': 12375, 'loss': 7.768433570861816}\n",
+      "{'epoch': 0, 'update in batch': 12300, '/': 12375, 'loss': 7.65987491607666}\n",
+      "{'epoch': 0, 'update in batch': 12301, '/': 12375, 'loss': 7.655865669250488}\n",
+      "{'epoch': 0, 'update in batch': 12302, '/': 12375, 'loss': 6.454453945159912}\n",
+      "{'epoch': 0, 'update in batch': 12303, '/': 12375, 'loss': 7.7155961990356445}\n",
+      "{'epoch': 0, 'update in batch': 12304, '/': 12375, 'loss': 7.333038330078125}\n",
+      "{'epoch': 0, 'update in batch': 12305, '/': 12375, 'loss': 6.37446928024292}\n",
+      "{'epoch': 0, 'update in batch': 12306, '/': 12375, 'loss': 7.047791481018066}\n",
+      "{'epoch': 0, 'update in batch': 12307, '/': 12375, 'loss': 7.506216526031494}\n",
+      "{'epoch': 0, 'update in batch': 12308, '/': 12375, 'loss': 6.571787357330322}\n",
+      "{'epoch': 0, 'update in batch': 12309, '/': 12375, 'loss': 6.954692840576172}\n",
+      "{'epoch': 0, 'update in batch': 12310, '/': 12375, 'loss': 7.026327610015869}\n",
+      "{'epoch': 0, 'update in batch': 12311, '/': 12375, 'loss': 6.882397651672363}\n",
+      "{'epoch': 0, 'update in batch': 12312, '/': 12375, 'loss': 6.621382713317871}\n",
+      "{'epoch': 0, 'update in batch': 12313, '/': 12375, 'loss': 7.702349662780762}\n",
+      "{'epoch': 0, 'update in batch': 12314, '/': 12375, 'loss': 7.099837303161621}\n",
+      "{'epoch': 0, 'update in batch': 12315, '/': 12375, 'loss': 6.609646797180176}\n",
+      "{'epoch': 0, 'update in batch': 12316, '/': 12375, 'loss': 6.417821407318115}\n",
+      "{'epoch': 0, 'update in batch': 12317, '/': 12375, 'loss': 7.170256614685059}\n",
+      "{'epoch': 0, 'update in batch': 12318, '/': 12375, 'loss': 6.547765254974365}\n",
+      "{'epoch': 0, 'update in batch': 12319, '/': 12375, 'loss': 7.032415866851807}\n",
+      "{'epoch': 0, 'update in batch': 12320, '/': 12375, 'loss': 7.280791282653809}\n",
+      "{'epoch': 0, 'update in batch': 12321, '/': 12375, 'loss': 6.8583574295043945}\n",
+      "{'epoch': 0, 'update in batch': 12322, '/': 12375, 'loss': 7.2165021896362305}\n",
+      "{'epoch': 0, 'update in batch': 12323, '/': 12375, 'loss': 6.359770774841309}\n",
+      "{'epoch': 0, 'update in batch': 12324, '/': 12375, 'loss': 6.319255352020264}\n",
+      "{'epoch': 0, 'update in batch': 12325, '/': 12375, 'loss': 6.124960422515869}\n",
+      "{'epoch': 0, 'update in batch': 12326, '/': 12375, 'loss': 7.186623573303223}\n",
+      "{'epoch': 0, 'update in batch': 12327, '/': 12375, 'loss': 7.47042989730835}\n",
+      "{'epoch': 0, 'update in batch': 12328, '/': 12375, 'loss': 7.347691535949707}\n",
+      "{'epoch': 0, 'update in batch': 12329, '/': 12375, 'loss': 7.099539279937744}\n",
+      "{'epoch': 0, 'update in batch': 12330, '/': 12375, 'loss': 6.552217960357666}\n",
+      "{'epoch': 0, 'update in batch': 12331, '/': 12375, 'loss': 6.936593532562256}\n",
+      "{'epoch': 0, 'update in batch': 12332, '/': 12375, 'loss': 7.628276824951172}\n",
+      "{'epoch': 0, 'update in batch': 12333, '/': 12375, 'loss': 7.157898902893066}\n",
+      "{'epoch': 0, 'update in batch': 12334, '/': 12375, 'loss': 8.395692825317383}\n",
+      "{'epoch': 0, 'update in batch': 12335, '/': 12375, 'loss': 7.785743713378906}\n",
+      "{'epoch': 0, 'update in batch': 12336, '/': 12375, 'loss': 6.700282096862793}\n",
+      "{'epoch': 0, 'update in batch': 12337, '/': 12375, 'loss': 7.944694519042969}\n",
+      "{'epoch': 0, 'update in batch': 12338, '/': 12375, 'loss': 7.8271660804748535}\n",
+      "{'epoch': 0, 'update in batch': 12339, '/': 12375, 'loss': 9.212809562683105}\n",
+      "{'epoch': 0, 'update in batch': 12340, '/': 12375, 'loss': 7.1181206703186035}\n",
+      "{'epoch': 0, 'update in batch': 12341, '/': 12375, 'loss': 7.613943576812744}\n",
+      "{'epoch': 0, 'update in batch': 12342, '/': 12375, 'loss': 7.46968936920166}\n",
+      "{'epoch': 0, 'update in batch': 12343, '/': 12375, 'loss': 8.11726188659668}\n",
+      "{'epoch': 0, 'update in batch': 12344, '/': 12375, 'loss': 7.707480430603027}\n",
+      "{'epoch': 0, 'update in batch': 12345, '/': 12375, 'loss': 7.3535566329956055}\n",
+      "{'epoch': 0, 'update in batch': 12346, '/': 12375, 'loss': 7.675825595855713}\n",
+      "{'epoch': 0, 'update in batch': 12347, '/': 12375, 'loss': 7.174706935882568}\n",
+      "{'epoch': 0, 'update in batch': 12348, '/': 12375, 'loss': 7.769785404205322}\n",
+      "{'epoch': 0, 'update in batch': 12349, '/': 12375, 'loss': 8.058279991149902}\n",
+      "{'epoch': 0, 'update in batch': 12350, '/': 12375, 'loss': 7.937777042388916}\n",
+      "{'epoch': 0, 'update in batch': 12351, '/': 12375, 'loss': 6.939360618591309}\n",
+      "{'epoch': 0, 'update in batch': 12352, '/': 12375, 'loss': 7.794859409332275}\n",
+      "{'epoch': 0, 'update in batch': 12353, '/': 12375, 'loss': 6.746212959289551}\n",
+      "{'epoch': 0, 'update in batch': 12354, '/': 12375, 'loss': 6.733241081237793}\n",
+      "{'epoch': 0, 'update in batch': 12355, '/': 12375, 'loss': 7.3282599449157715}\n",
+      "{'epoch': 0, 'update in batch': 12356, '/': 12375, 'loss': 6.640740871429443}\n",
+      "{'epoch': 0, 'update in batch': 12357, '/': 12375, 'loss': 7.183577060699463}\n",
+      "{'epoch': 0, 'update in batch': 12358, '/': 12375, 'loss': 6.482187747955322}\n",
+      "{'epoch': 0, 'update in batch': 12359, '/': 12375, 'loss': 7.240149021148682}\n",
+      "{'epoch': 0, 'update in batch': 12360, '/': 12375, 'loss': 6.988856315612793}\n",
+      "{'epoch': 0, 'update in batch': 12361, '/': 12375, 'loss': 7.090502738952637}\n",
+      "{'epoch': 0, 'update in batch': 12362, '/': 12375, 'loss': 7.337502956390381}\n",
+      "{'epoch': 0, 'update in batch': 12363, '/': 12375, 'loss': 7.162574768066406}\n",
+      "{'epoch': 0, 'update in batch': 12364, '/': 12375, 'loss': 7.092992305755615}\n",
+      "{'epoch': 0, 'update in batch': 12365, '/': 12375, 'loss': 6.921753883361816}\n",
+      "{'epoch': 0, 'update in batch': 12366, '/': 12375, 'loss': 7.791542053222656}\n",
+      "{'epoch': 0, 'update in batch': 12367, '/': 12375, 'loss': 7.775725364685059}\n",
+      "{'epoch': 0, 'update in batch': 12368, '/': 12375, 'loss': 8.026613235473633}\n",
+      "{'epoch': 0, 'update in batch': 12369, '/': 12375, 'loss': 7.8318915367126465}\n",
+      "{'epoch': 0, 'update in batch': 12370, '/': 12375, 'loss': 7.883535861968994}\n",
+      "{'epoch': 0, 'update in batch': 12371, '/': 12375, 'loss': 7.67757511138916}\n",
+      "{'epoch': 0, 'update in batch': 12372, '/': 12375, 'loss': 8.477940559387207}\n",
+      "{'epoch': 0, 'update in batch': 12373, '/': 12375, 'loss': 8.684868812561035}\n",
+      "{'epoch': 0, 'update in batch': 12374, '/': 12375, 'loss': 9.347018241882324}\n"
      ]
     }
    ],
@@ -983,7 +12826,7 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.8.3"
+   "version": "3.10.12"
   },
   "subtitle": "0.Informacje na temat przedmiotu[ćwiczenia]",
   "title": "Ekstrakcja informacji",
diff --git a/lab/10_Regularyzacja_modeli_neuronowych.ipynb b/lab/10_Regularyzacja_modeli_neuronowych.ipynb
index 54fa961..26f7471 100644
--- a/lab/10_Regularyzacja_modeli_neuronowych.ipynb
+++ b/lab/10_Regularyzacja_modeli_neuronowych.ipynb
@@ -81,7 +81,7 @@
     "\n",
     "Punktacja: **50 punktów**\n",
     "\n",
-    "Deadline: **29 maja 2024** przed zajęciami\n"
+    "Deadline: **5 czerwca 2024** przed zajęciami\n"
    ]
   }
  ],