From c68c41e9b55bc1ff6b189d72c47a2a98444aef73 Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?Micha=C5=82=20Koz=C5=82owski?=
 <michalkozlowski936@gmail.com>
Date: Tue, 3 Jan 2023 10:53:34 +0100
Subject: [PATCH] crawler init

---
 crawler.ipynb | 324 ++++++++++++++++++++++++++++++++++++++++++++++++++
 crawler.py    |  53 +++++++++
 2 files changed, 377 insertions(+)
 create mode 100644 crawler.ipynb
 create mode 100644 crawler.py

diff --git a/crawler.ipynb b/crawler.ipynb
new file mode 100644
index 0000000..23f37cf
--- /dev/null
+++ b/crawler.ipynb
@@ -0,0 +1,324 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 61,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import pandas as pd\n",
+    "import requests\n",
+    "from bs4 import BeautifulSoup\n",
+    "import re\n",
+    "from tqdm import tqdm\n",
+    "import time"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 62,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "MAIN_URL = \"https://pl.wikisource.org/\"\n",
+    "URL_YELLOW = \"https://pl.wikisource.org/wiki/Kategoria:Skorygowana\"\n",
+    "URL_GREEN = \"https://pl.wikisource.org/wiki/Kategoria:Uwierzytelniona\""
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 63,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 65,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def get_page_data(page_element):\n",
+    "    doc = requests.get(MAIN_URL + page_element['href'])\n",
+    "    doc_soup = BeautifulSoup(doc.text, 'lxml', from_encoding=\"utf-8\")\n",
+    "    text_elem = doc_soup.find(\"div\", {\"class\": \"pagetext\"}).next_element\n",
+    "    text = text_elem.text if not text_elem.find(\"math\") else \"math image\"\n",
+    "    image_url = doc_soup.find(\"div\", {\"class\": \"prp-page-image\"}).next_element['src']\n",
+    "    return {\"title\": page_element['title'], \"href\": MAIN_URL + page_element['href'], \"image_url\": image_url, \"text\": text,}\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 60,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "'107472'"
+      ]
+     },
+     "execution_count": 60,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "\"\".join(re.findall(\"\\d\", re.sub(\"\\xa0\",'', soup.find(\"div\", {\"id\": \"mw-pages\"}).find(\"p\").text))[3:])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "links = soup.find_all(\"a\", {\"href\": re.compile(r\"\\/wiki\\/Strona:.*\")})"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 15,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "next_page = soup.find(\"a\", {\"href\": re.compile(r\"\\/w\\/index.php.*\")}, string=\"następna strona\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 64,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "  0%|          | 0/200 [00:00<?, ?it/s]c:\\Users\\PC\\anaconda3\\envs\\um\\lib\\site-packages\\bs4\\__init__.py:226: UserWarning: You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.\n",
+      "  warnings.warn(\"You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.\")\n",
+      "100%|██████████| 200/200 [02:15<00:00,  1.47it/s]\n"
+     ]
+    },
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Page number: 2\n",
+      "Number of elements: 200 / 107477\n"
+     ]
+    },
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "100%|██████████| 200/200 [02:05<00:00,  1.60it/s]\n"
+     ]
+    },
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Page number: 3\n",
+      "Number of elements: 400 / 107477\n"
+     ]
+    }
+   ],
+   "source": [
+    "r  = requests.get(URL_YELLOW)\n",
+    "soup = BeautifulSoup(r.text, 'lxml')\n",
+    "page_number = 1\n",
+    "result_list = []\n",
+    "max_len = \"\".join(re.findall(\"\\d\", re.sub(\"\\xa0\",'', soup.find(\"div\", {\"id\": \"mw-pages\"}).find(\"p\").text))[3:])\n",
+    "try:\n",
+    "    while True:\n",
+    "        next_page = soup.find(\"a\", {\"href\": re.compile(r\"\\/w\\/index.php.*\")}, string=\"następna strona\").get('href', None)\n",
+    "        if next_page and page_number != 1:\n",
+    "            r = requests.get(MAIN_URL + next_page)\n",
+    "        else:\n",
+    "            break\n",
+    "\n",
+    "        if r.status_code != 200:\n",
+    "            print(r.__dict__)\n",
+    "            break\n",
+    "        soup = BeautifulSoup(r.text, 'lxml')\n",
+    "        page_number += 1\n",
+    "        links = soup.find_all(\"a\", {\"href\": re.compile(r\"\\/wiki\\/Strona:.*\")})\n",
+    "        for link in tqdm(links):\n",
+    "            result_list.append(get_page_data(link))\n",
+    "        print(\"Page number:\", page_number)\n",
+    "        print(\"Number of elements:\", 200 * page_number, \"/\", max_len)\n",
+    "except Exception as e:\n",
+    "    print(e)\n",
+    "    df = pd.DataFrame(result_list)\n",
+    "    df.to_csv(\"./yellow.tsv\", sep=\"\\t\")\n",
+    "\n",
+    "df = pd.DataFrame(result_list)\n",
+    "df.to_csv(\"./yellow.tsv\", sep=\"\\t\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 18,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "'https://pl.wikisource.org//w/index.php?title=Kategoria:Skorygowana&pagefrom=Aleksander+B%C5%82a%C5%BCejowski+-+S%C4%85d+nad+Antychrystem.pdf%2F22%0AAleksander+B%C5%82a%C5%BCejowski+-+S%C4%85d+nad+Antychrystem.pdf%2F22#mw-pages'"
+      ]
+     },
+     "execution_count": 18,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "MAIN_URL + next_page['href']"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "c:\\Users\\PC\\anaconda3\\envs\\um\\lib\\site-packages\\bs4\\__init__.py:226: UserWarning: You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.\n",
+      "  warnings.warn(\"You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.\")\n"
+     ]
+    },
+    {
+     "data": {
+      "text/plain": [
+       "{'title': 'Strona:Adam Mickiewicz - Dziady część III.djvu/199',\n",
+       " 'href': 'https://pl.wikisource.org//wiki/Strona:Adam_Mickiewicz_-_Dziady_cz%C4%99%C5%9B%C4%87_III.djvu/199',\n",
+       " 'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/8/8f/Adam_Mickiewicz_-_Dziady_cz%C4%99%C5%9B%C4%87_III.djvu/page199-1024px-Adam_Mickiewicz_-_Dziady_cz%C4%99%C5%9B%C4%87_III.djvu.jpg',\n",
+       " 'text': '\\nTy najwięcéj zgrzeszyłeś: kary nie wyminiesz;\\nLecz ostatni, najgłośniéj, najhaniebniéj zginiesz.[1]\\n\\nA druga powieść taka. Za czasu dawnego,\\n\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0585\\nPewny wódz rzymski pobił króla potężnego;\\nI kazał na śmierć zabić wszystkie niewolniki,[2]\\nWszystkie rotmistrze półków i wszystkie setniki:\\nAle króla samego przy życiu zostawił,\\nTudzież starosty, tudzież półkowniki zbawił. —[3]\\n\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0590\\nI mówili do siebie głupi więźnie owi:\\nBędziem żyć, podziękujmy za życie wodzowi.\\nAż jeden żołnierz rzymski, co im posługował,\\nRzekł im: zaprawdę, wódz was przy życiu zachował,\\nBo was przykuje przy swym tryjumfalnym wozie,\\n\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0595\\nI będzie oprowadzał po całym obozie,\\nI do miasta powiedzie; bo wy z tych jesteście,\\nKtórych wodzą po Rzymie, oném sławném mieście,[4]\\nAby lud rzymski krzyknął: patrzcie, co wódz zrobił,[5]\\nOn takie króle, takie półkowniki pobił!\\n\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0600\\nPotém, gdy was w łańcuchach złotych oprowadzi,\\nOdda was w ręce kata, a kat was osadzi[6]\\nNa głębokie, podziemne i ciemne wygnanie,\\nKędy będzie płacz wieczny i zębów zgrzytanie.[7]\\nTak mówił żołnierz rzymski. Do żołnierza tego[8]\\n\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0\\xa0605\\nKról gromiąc, rzekł: twe słowa są słowa głupiego;\\n\\n\\n↑ w. 583 najgłośniéj ] naj(sławniej) wyżej R1, D; — najhaniebniéj ] najbolesniej R1.\\n\\n↑ w. 586 zabić ] pobić R1.\\n\\n↑ w. 589 starosty ] starostę R1.\\n\\n↑ w. 597 sławném ] wielkim R1.\\n\\n↑ w. 598 rzymski ] cały R1.\\n\\n↑ w. 601 a kat was ] kat w ciemność R1.\\n\\n↑ w. 602—603 w R1:Śród skalistych i ciemnych i głębokich zrębów,Kędy będzie płacz wieczny i zgrzytanie zębów.\\n\\n↑ w. 604 Do ] a R1.\\n\\n\\n'}"
+      ]
+     },
+     "execution_count": 5,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "get_page_data(soup.find_all(\"a\", {\"href\": re.compile(r\"\\/wiki\\/Strona:.*\")})[25])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 79,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "100%|██████████| 10/10 [00:06<00:00,  1.61it/s]\n"
+     ]
+    }
+   ],
+   "source": [
+    "all_docs_on_page = soup.find_all(\"a\", {\"href\": re.compile(r\"\\/wiki\\/Strona:.*\")})\n",
+    "result = []\n",
+    "for doc in tqdm(all_docs_on_page[:10]):\n",
+    "    result.append(get_page_data(doc))"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 80,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "[{'title': 'Strona:A. Baranowski - O wzorach.pdf/7',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:A._Baranowski_-_O_wzorach.pdf/7',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/7/7e/A._Baranowski_-_O_wzorach.pdf/page7-1024px-A._Baranowski_-_O_wzorach.pdf.jpg',\n",
+       "  'text': '\\u2009Potem napisałem teoryę luk, których Dr. Hossfeld nie podjął się sprawdzić.\\n\\u2009Nareszcie usunąwszy wszystkie liczby podzielne przez \\n\\n\\n\\n2\\n,\\n\\n\\n{\\\\displaystyle 2,}\\n\\n \\n\\n\\n\\n3\\n\\n\\n{\\\\displaystyle 3}\\n\\n i \\n\\n\\n\\n5\\n\\n\\n{\\\\displaystyle 5}\\n\\n, jako łatwe do poznania, zanalizowałem zakres numeracyi \\n\\n\\n\\n0\\n,\\n\\n\\n{\\\\displaystyle 0,}\\n\\n \\n\\n\\n\\n1\\n,\\n\\n\\n{\\\\displaystyle 1,}\\n\\n \\n\\n\\n\\n2\\n,\\n\\n\\n{\\\\displaystyle 2,}\\n\\n \\n\\n\\n\\n3\\n,\\n…\\n\\n\\n{\\\\displaystyle 3,\\\\ldots }\\n\\n \\n\\n\\n\\n150\\n\\n060\\n\\n\\n{\\\\displaystyle 150\\\\,060}\\n\\n, czyli liczby wszystkie pierwsze w tym zakresie, oraz podzielne przez \\n\\n\\n\\n7\\n,\\n\\n\\n{\\\\displaystyle 7,}\\n\\n \\n\\n\\n\\n11\\n,\\n\\n\\n{\\\\displaystyle 11,}\\n\\n \\n\\n\\n\\n13\\n,\\n\\n\\n{\\\\displaystyle 13,}\\n\\n \\n\\n\\n\\n17\\n,\\n…\\n,\\n\\n\\n{\\\\displaystyle 17,\\\\ldots ,}\\n\\n t. j. przez \\n\\n\\n\\n\\np\\n\\n4\\n\\n\\n,\\n\\n\\n{\\\\displaystyle p_{4},}\\n\\n \\n\\n\\n\\n\\np\\n\\n5\\n\\n\\n,\\n\\n\\n{\\\\displaystyle p_{5},}\\n\\n \\n\\n\\n\\n\\np\\n\\n6\\n\\n\\n,\\n\\n\\n{\\\\displaystyle p_{6},}\\n\\n \\n\\n\\n\\n\\np\\n\\n7\\n\\n\\n,\\n…\\n\\n\\n{\\\\displaystyle p_{7},\\\\ldots }\\n\\n Spisałem na ogół liczb \\n\\n\\n\\n40\\n\\n008\\n\\n\\n{\\\\displaystyle 40\\\\,008}\\n\\n, oznaczając je właściwemi czynnikami n. p. \\n\\n\\n\\n49\\n=\\n\\n7\\n\\n2\\n\\n\\n,\\n\\n\\n{\\\\displaystyle 49=7^{2},}\\n\\n \\n\\n\\n\\n77\\n=\\n7.11\\n;\\n\\n\\n{\\\\displaystyle 77=7.11;}\\n\\n \\n\\n\\n\\n91\\n=\\n7.13\\n,\\n\\n\\n{\\\\displaystyle 91=7.13,}\\n\\n \\n\\n\\n\\n1001\\n=\\n7.11.13\\n\\n\\n{\\\\displaystyle 1001=7.11.13}\\n\\n i t. d.\\n\\u2009Później z tego kajetu wypisałem osobno same tylko liczby pierwsze, to jest:\\n\\n\\n\\n\\n\\n\\np\\n\\n1\\n\\n\\n=\\n2\\n\\n\\n{\\\\displaystyle p_{1}=2}\\n\\n, \\n\\n\\n\\n\\np\\n\\n2\\n\\n\\n=\\n3\\n\\n\\n{\\\\displaystyle p_{2}=3}\\n\\n, \\n\\n\\n\\n\\np\\n\\n3\\n\\n\\n=\\n5\\n\\n\\n{\\\\displaystyle p_{3}=5}\\n\\n, \\n\\n\\n\\n\\np\\n\\n4\\n\\n\\n=\\n7\\n\\n\\n{\\\\displaystyle p_{4}=7}\\n\\n .... \\n\\n\\n\\n\\np\\n\\n13852\\n\\n\\n=\\n150\\n\\n053\\n\\n\\n{\\\\displaystyle p_{13852}=150\\\\,053}\\n\\n.\\n\\n\\n\\n\\n\\n\\n\\n\\n\\u2009Gustaw Wertheim w dziele „Elemente der Zahlentheorie“ (Leipzig\\n1887) rozwija i przykładem objaśnia następujący wzór Meissel’a do obliczenia w danym zakresie numeracyi liczb pierwszych str. 24.\\n\\n\\n\\n\\n\\n\\nψ\\n\\n\\u2061\\n(\\nn\\n)\\n=\\n\\nφ\\n\\n\\u2061\\n(\\nn\\n,\\nm\\n)\\n+\\nm\\n(\\nμ\\n+\\n1\\n)\\n+\\n\\n\\n\\nμ\\n(\\nμ\\n−\\n1\\n)\\n\\n2\\n\\n\\n−\\n1\\n−\\n\\n∑\\n\\ns\\n=\\n1\\n\\n\\ns\\n=\\nμ\\n\\n\\n\\nψ\\n\\n\\u2061\\n\\n\\n(\\n\\n\\n\\n\\nn\\n\\n\\np\\n\\nm\\n+\\ns\\n\\n\\n\\n\\n\\n\\n\\n)\\n\\n\\n\\n\\n{\\\\displaystyle \\\\operatorname {\\\\psi } (n)=\\\\operatorname {\\\\varphi } (n,m)+m(\\\\mu +1)+{{\\\\mu (\\\\mu -1)} \\\\over 2}-1-\\\\sum _{s=1}^{s=\\\\mu }\\\\operatorname {\\\\psi } {\\\\biggl (}{n \\\\over {p_{m+s}}}{\\\\biggr )}}\\n\\n\\n\\n\\n\\n\\n\\nψ\\n\\n\\u2061\\n(\\nn\\n)\\n\\n\\n{\\\\displaystyle \\\\operatorname {\\\\psi } (n)}\\n\\n oznacza tutaj, ile się zawiera liczb bezwzględnie pierwszych w zakresie numeracyi od \\n\\n\\n\\n0\\n,\\n\\n\\n{\\\\displaystyle 0,}\\n\\n \\n\\n\\n\\n1\\n,\\n\\n\\n{\\\\displaystyle 1,}\\n\\n \\n\\n\\n\\n2\\n,\\n\\n\\n{\\\\displaystyle 2,}\\n\\n \\n\\n\\n\\n3\\n,\\n…\\n\\n\\n{\\\\displaystyle 3,\\\\ldots }\\n\\n \\n\\n\\n\\nn\\n.\\n\\n\\n{\\\\displaystyle n.}\\n\\n\\n\\u2009\\n\\n\\n\\nm\\n\\n\\n{\\\\displaystyle m}\\n\\n oznacza, ile liczb pierwszych znajduje się w sześciennym pierwiastku zakresu \\n\\n\\n\\nn\\n\\n\\n{\\\\displaystyle n}\\n\\n, czyli \\n\\n\\n\\nm\\n=\\n\\nφ\\n\\n\\u2061\\n\\n\\n(\\n\\n\\n\\n\\nn\\n\\n3\\n\\n\\n\\n\\n\\n)\\n\\n\\n\\n\\n{\\\\displaystyle m=\\\\operatorname {\\\\varphi } {\\\\Bigl (}{\\\\sqrt[{3}]{n}}{\\\\Bigr )}}\\n\\n.\\n\\u2009\\n\\n\\n\\nμ\\n\\n\\n{\\\\displaystyle \\\\mu }\\n\\n oznacza, ile liczb pierwszych znajduje się w pierwiastku kwadratowym \\n\\n\\n\\n\\n\\n2\\n\\n\\n\\n\\n{\\\\displaystyle {\\\\sqrt {2}}}\\n\\n , po odjęciu liczby tychże liczb, będących w pierwiastku sześciennym, czyli \\n\\n\\n\\nμ\\n=\\nψ\\n\\n\\nn\\n\\n\\n−\\nm\\n\\n\\n{\\\\displaystyle \\\\mu =\\\\psi {\\\\sqrt {n}}-m}\\n\\n.\\n\\n\\n\\n\\n\\nm\\n+\\nμ\\n=\\nψ\\n\\n\\n(\\n\\n\\n\\n\\nn\\n\\n\\n\\n\\n)\\n\\n\\n\\n\\n{\\\\displaystyle m+\\\\mu =\\\\psi {\\\\Bigl (}{\\\\sqrt {n}}{\\\\Bigr )}}\\n\\n.\\n\\u2009Wzór ten, dobry przy obliczaniu niewielkich zakresów numeracyi, kiedy \\n\\n\\n\\nn\\n\\n\\n{\\\\displaystyle n}\\n\\n nie przewyższa setek, tysięcy; znośny jeszcze i przy obliczaniu dziesiątek tysięcy; w wielkich zaś zakresach numeracyi, wymaga wiele miejsca, czasu i pracy. Można się o tem przekonać, obliczając choćby tylko\\n\\n\\n\\n\\n\\nn\\n=\\n100\\n\\n000\\n\\n\\n{\\\\displaystyle n=100\\\\,000}\\n\\n; \\n\\n\\n\\n\\n\\nn\\n\\n3\\n\\n\\n\\n=\\n46\\n\\n\\n{\\\\displaystyle {\\\\sqrt[{3}]{n}}=46}\\n\\n; \\n\\n\\n\\n\\nψ\\n\\n\\u2061\\n(\\n46\\n)\\n=\\n14\\n\\n\\n{\\\\displaystyle \\\\operatorname {\\\\psi } (46)=14}\\n\\n; \\n\\n\\n\\n\\n\\nn\\n\\n\\n=\\n316\\n\\n\\n{\\\\displaystyle {\\\\sqrt {n}}=316}\\n\\n; \\n\\n\\n\\n\\nψ\\n\\n\\u2061\\n(\\n316\\n)\\n=\\n65\\n\\n\\n{\\\\displaystyle \\\\operatorname {\\\\psi } (316)=65}\\n\\n;\\nponieważ zaś \\n\\n\\n\\nm\\n=\\n\\nψ\\n\\n\\u2061\\n(\\n\\n\\nn\\n\\n3\\n\\n\\n\\n)\\n=\\n\\nψ\\n\\n\\u2061\\n(\\n46\\n)\\n=\\n14\\n,\\n\\n\\n{\\\\displaystyle m=\\\\operatorname {\\\\psi } ({\\\\sqrt[{3}]{n}})=\\\\operatorname {\\\\psi } (46)=14,}\\n\\n\\n'},\n",
+       " {'title': 'Strona:A. Baranowski - O wzorach.pdf/8',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:A._Baranowski_-_O_wzorach.pdf/8',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/7/7e/A._Baranowski_-_O_wzorach.pdf/page8-1024px-A._Baranowski_-_O_wzorach.pdf.jpg',\n",
+       "  'text': 'przeto \\n\\n\\n\\nμ\\n=\\n\\n[\\n\\nψ\\n\\n(\\n\\n\\nn\\n\\n\\n)\\n\\n=\\nψ\\n\\n(\\n316\\n)\\n\\n=\\n65\\n\\n]\\n\\n−\\n14\\n=\\n51\\n;\\n\\n\\n{\\\\displaystyle \\\\mu =\\\\left[\\\\psi \\\\left({\\\\sqrt {n}}\\\\right)=\\\\psi \\\\left(316\\\\right)=65\\\\right]-14=51;}\\n\\n \\n\\n\\n\\nm\\n+\\nμ\\n=\\nψ\\n\\n(\\n\\n\\nn\\n\\n\\n)\\n\\n=\\n65\\n\\n\\n{\\\\displaystyle m+\\\\mu =\\\\psi \\\\left({\\\\sqrt {n}}\\\\right)=65}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\nn\\n,\\nm\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n14\\n)\\n=\\n14204\\n\\n\\n{\\\\displaystyle \\\\varphi (n,m)=\\\\varphi (100\\\\,000,14)=14204}\\n\\n. Tego trzeba dowieść rachunkiem następującym.\\n\\u2009Liczby te 14 są następujące: \\n\\n\\n\\n\\np\\n\\n1\\n\\n\\n=\\n2\\n,\\n\\n\\n{\\\\displaystyle p_{1}=2,}\\n\\n \\n\\n\\n\\n\\np\\n\\n2\\n\\n\\n=\\n3\\n,\\n\\n\\n{\\\\displaystyle p_{2}=3,}\\n\\n \\n\\n\\n\\n\\np\\n\\n3\\n\\n\\n=\\n5\\n,\\n\\n\\n{\\\\displaystyle p_{3}=5,}\\n\\n \\n\\n\\n\\n\\np\\n\\n4\\n\\n\\n=\\n7\\n,\\n\\n\\n{\\\\displaystyle p_{4}=7,}\\n\\n \\n\\n\\n\\n\\np\\n\\n5\\n\\n\\n=\\n11\\n,\\n\\n\\n{\\\\displaystyle p_{5}=11,}\\n\\n \\n\\n\\n\\n\\np\\n\\n6\\n\\n\\n=\\n13\\n,\\n\\n\\n{\\\\displaystyle p_{6}=13,}\\n\\n \\n\\n\\n\\n\\np\\n\\n7\\n\\n\\n=\\n17\\n,\\n\\n\\n{\\\\displaystyle p_{7}=17,}\\n\\n \\n\\n\\n\\n\\np\\n\\n8\\n\\n\\n=\\n19\\n,\\n\\n\\n{\\\\displaystyle p_{8}=19,}\\n\\n \\n\\n\\n\\n\\np\\n\\n9\\n\\n\\n=\\n23\\n,\\n\\n\\n{\\\\displaystyle p_{9}=23,}\\n\\n \\n\\n\\n\\n\\np\\n\\n10\\n\\n\\n=\\n29\\n,\\n\\n\\n{\\\\displaystyle p_{10}=29,}\\n\\n \\n\\n\\n\\n\\np\\n\\n11\\n\\n\\n=\\n31\\n,\\n\\n\\n{\\\\displaystyle p_{11}=31,}\\n\\n \\n\\n\\n\\n\\np\\n\\n12\\n\\n\\n=\\n37\\n,\\n\\n\\n{\\\\displaystyle p_{12}=37,}\\n\\n \\n\\n\\n\\n\\np\\n\\n13\\n\\n\\n=\\n41\\n,\\n\\n\\n{\\\\displaystyle p_{13}=41,}\\n\\n \\n\\n\\n\\n\\np\\n\\n14\\n\\n\\n=\\n43\\n;\\n\\n\\n{\\\\displaystyle p_{14}=43;}\\n\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n14\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n13\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n43\\n\\n\\n,\\n13\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n2325\\n,\\n13\\n\\n)\\n\\n\\n]\\n\\n=\\n14\\n\\n540\\n−\\n\\n\\n\\n\\n\\n\\n\\n336\\n=\\n14\\n\\n204\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,14)=\\\\varphi (100\\\\,000,13)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{43}},13\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,2325,13\\\\right)\\\\right]=14\\\\,540-\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,336=14\\\\,204\\\\,\\\\,}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n13\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n12\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n41\\n\\n\\n,\\n12\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n2439\\n,\\n12\\n\\n)\\n\\n\\n]\\n\\n=\\n14\\n\\n899\\n−\\n\\n\\n\\n\\n\\n\\n\\n359\\n=\\n14\\n\\n540\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,13)=\\\\varphi (100\\\\,000,12)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{41}},12\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,2439,12\\\\right)\\\\right]=14\\\\,899-\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,359=14\\\\,540\\\\,\\\\,}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n12\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n11\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n37\\n\\n\\n,\\n11\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n2707\\n,\\n11\\n\\n)\\n\\n\\n]\\n\\n=\\n15\\n\\n305\\n−\\n\\n\\n\\n\\n\\n\\n\\n406\\n=\\n14\\n\\n899\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,12)=\\\\varphi (100\\\\,000,11)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{37}},11\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,2707,11\\\\right)\\\\right]=15\\\\,305-\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,406=14\\\\,899\\\\,\\\\,}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n11\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n10\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n31\\n\\n\\n,\\n10\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n3225\\n,\\n10\\n\\n)\\n\\n\\n]\\n\\n=\\n15\\n\\n805\\n−\\n\\n\\n\\n\\n\\n\\n\\n500\\n=\\n15\\n\\n305\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,11)=\\\\varphi (100\\\\,000,10)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{31}},10\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,3225,10\\\\right)\\\\right]=15\\\\,805-\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,500=15\\\\,305\\\\,\\\\,}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n10\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n9\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n29\\n\\n\\n,\\n\\n\\n\\n9\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n3448\\n,\\n\\n\\n\\n9\\n\\n)\\n\\n\\n]\\n\\n=\\n16\\n\\n361\\n−\\n\\n\\n\\n\\n\\n\\n\\n556\\n=\\n15\\n\\n805\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,10)=\\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,9)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{29}},\\\\,\\\\,\\\\,9\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,3448,\\\\,\\\\,\\\\,9\\\\right)\\\\right]=16\\\\,361-\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,556=15\\\\,805\\\\,\\\\,}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n9\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n8\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n23\\n\\n\\n,\\n\\n\\n\\n8\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n4347\\n,\\n\\n\\n\\n8\\n\\n)\\n\\n\\n]\\n\\n=\\n17\\n\\n103\\n−\\n\\n\\n\\n\\n\\n\\n\\n742\\n=\\n16\\n\\n361\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,9)=\\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,8)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{23}},\\\\,\\\\,\\\\,8\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,4347,\\\\,\\\\,\\\\,8\\\\right)\\\\right]=17\\\\,103-\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,742=16\\\\,361\\\\,\\\\,}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n8\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n7\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n19\\n\\n\\n,\\n\\n\\n\\n7\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n5263\\n,\\n\\n\\n\\n7\\n\\n)\\n\\n\\n]\\n\\n=\\n18\\n\\n053\\n−\\n\\n\\n\\n\\n\\n\\n\\n950\\n=\\n17\\n\\n103\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,8)=\\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,7)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{19}},\\\\,\\\\,\\\\,7\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,5263,\\\\,\\\\,\\\\,7\\\\right)\\\\right]=18\\\\,053-\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,\\\\,950=17\\\\,103\\\\,\\\\,}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n7\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n6\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n17\\n\\n\\n,\\n\\n\\n\\n6\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n5882\\n,\\n\\n\\n\\n6\\n\\n)\\n\\n\\n]\\n\\n=\\n19\\n\\n181\\n−\\n\\n\\n\\n\\n1128\\n=\\n18\\n\\n053\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,7)=\\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,6)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{17}},\\\\,\\\\,\\\\,6\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,5882,\\\\,\\\\,\\\\,6\\\\right)\\\\right]=19\\\\,181-\\\\,\\\\,\\\\,\\\\,1128=18\\\\,053\\\\,\\\\,}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n6\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n5\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n13\\n\\n\\n,\\n\\n\\n\\n5\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n7692\\n,\\n\\n\\n\\n5\\n\\n)\\n\\n\\n]\\n\\n=\\n20\\n\\n779\\n−\\n\\n\\n\\n\\n1598\\n=\\n19\\n\\n181\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,6)=\\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,5)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{13}},\\\\,\\\\,\\\\,5\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,7692,\\\\,\\\\,\\\\,5\\\\right)\\\\right]=20\\\\,779-\\\\,\\\\,\\\\,\\\\,1598=19\\\\,181\\\\,\\\\,}\\n\\n\\n\\n\\n\\n\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n5\\n)\\n=\\nφ\\n(\\n100\\n\\n000\\n,\\n\\n\\n\\n4\\n)\\n−\\n\\n[\\n\\nφ\\n\\n(\\n\\n\\n\\n\\n100\\n\\n000\\n\\n11\\n\\n\\n,\\n\\n\\n\\n4\\n\\n)\\n\\n=\\nφ\\n\\n(\\n\\n\\n\\n\\n\\n9090\\n,\\n\\n\\n\\n4\\n\\n)\\n\\n\\n]\\n\\n=\\n22\\n\\n857\\n−\\n\\n\\n\\n\\n2078\\n=\\n20\\n\\n779\\n\\n\\n\\n\\n{\\\\displaystyle \\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,5)=\\\\varphi (100\\\\,000,\\\\,\\\\,\\\\,4)-\\\\left[\\\\varphi \\\\left({\\\\frac {100\\\\,000}{11}},\\\\,\\\\,\\\\,4\\\\right)=\\\\varphi \\\\left(\\\\,\\\\,\\\\,\\\\,9090,\\\\,\\\\,\\\\,4\\\\right)\\\\right]=22\\\\,857-\\\\,\\\\,\\\\,\\\\,2078=20\\\\,779\\\\,\\\\,}\\n\\n\\n'},\n",
+       " {'title': 'Strona:A. Kuprin - Miłość Sulamity.djvu/119',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:A._Kuprin_-_Mi%C5%82o%C5%9B%C4%87_Sulamity.djvu/119',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/3/33/A._Kuprin_-_Mi%C5%82o%C5%9B%C4%87_Sulamity.djvu/page119-1024px-A._Kuprin_-_Mi%C5%82o%C5%9B%C4%87_Sulamity.djvu.jpg',\n",
+       "  'text': 'Król zaś siadł na swym tronie z kości słoniowej ze złotemi ozdobami, oparł się łokciem o grzbiet złotego lwa i podparłszy. głowę dłonią, rozkazał: Piszcie: \\n\\u2009— Połóż mię luby, jako twoje znamię na sercu swoim i na swoje ramię. Jak śmierć jest silna miłość; a żarliwa tęsknota człeku snadnie piekłem bywa. Wieczna pochodnia, co nigdy nie gaśnie, takie miłości są płomienie właśnie. \\n\\u2009A zamyśliwszy się tak długo, tak strasznie długo, że aż pisarze wtrzymali oddech, rzekł:\\n\\u2009— Zostawcie mnie samego. \\n\\u2009I cały dzień, aż do pierwszych cieni wieczornych, przebywał król sam na sam ze swemi myślami, i nikt nie poważył się wejść wtedy do olbrzymiej sali sądowej... \\n\\nKONIEC.\\n\\n'},\n",
+       " {'title': 'Strona:A. Kuprin - Miłość Sulamity.djvu/9',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:A._Kuprin_-_Mi%C5%82o%C5%9B%C4%87_Sulamity.djvu/9',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/3/33/A._Kuprin_-_Mi%C5%82o%C5%9B%C4%87_Sulamity.djvu/page9-1024px-A._Kuprin_-_Mi%C5%82o%C5%9B%C4%87_Sulamity.djvu.jpg',\n",
+       "  'text': 'Połóż mnie miły, jak pieczęci znamię\\nNa swoje serce i na swoje ramię!\\nJak śmierć jest mocna miłość: a żarliwa\\nTęsknota człeku snadnie piekłem bywa,\\nWieczna pochodnia, co nigdy nie gaśnie,\\n\\nTakie miłości są płomienie właśnie!\\nROZDZIAŁ I.\\n\\u2009Nie dożył jeszcze król Salomon wieku średniego, czterdziestu pięciu lat, a chwała jego urody i mądrości, wspaniałości jego życia i przepychu jego pałacu rozeszła się daleko poza kresy Palestyny. W Asyryi i Fenicyi, w górnym i dolnym Egipcie, od starożytnej Taurydy do Hiemenu; od Ismaru do Persepolis, na pobrzeżu Morza Czarnego i na wyspach Śródziemnego z podziwem wymawiano jego imię, ponieważ nie było \\nmu równego wśród Królów po wszystkie dni jego. \\n\\u2009W czterysta ośmdziesiątym roku od wyjścia Izraela, a w czwartym roku jego panowania, w miesiącu Zyfie, zamierzył król\\n'},\n",
+       " {'title': 'Strona:A. Kuprin - Straszna chwila.djvu/110',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:A._Kuprin_-_Straszna_chwila.djvu/110',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/1/17/A._Kuprin_-_Straszna_chwila.djvu/page110-1024px-A._Kuprin_-_Straszna_chwila.djvu.jpg',\n",
+       "  'text': '\\u2009„W tych dniach rozegrał się w naszem mieście ponury dramat. Pan K. bogaty przemysłowiec, pozbawił się życia, zażywszy silnego roztworu kwasu pruskiego. Śmierć prawdopodobnie nastąpiła natychmiast. Przyczyną samobójstwa...“\\n\\u2009Dalej Ałarin nie czytał — wiedział lepiej niż wszyscy, jaka to była przyczyna.\\n\\n'},\n",
+       " {'title': 'Strona:A. Kuprin - Straszna chwila.djvu/7',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:A._Kuprin_-_Straszna_chwila.djvu/7',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/1/17/A._Kuprin_-_Straszna_chwila.djvu/page7-1024px-A._Kuprin_-_Straszna_chwila.djvu.jpg',\n",
+       "  'text': '\\n\\nI.\\nNA OŚLEP.\\n\\u2009Na peronie jednego z moskiewskich dworców kolejowych przelewała się w różne strony pstra, hałaśliwa ciżba ludzka. Okrzyki tragarzy, zręcznie przebiegających z pakami i wózkami ręcznemi, przelotne urywki zwykłych peronowych rozmów, szmer kilkuset nóg, grzesuwających się po asfalcie, głuchy, rytmiczny oddech lokomotywy, wytwarzały jakiś szczególny słuchowy chaos.\\n\\u2009Przy wagonie drugiej klasy stało trzech młodych ludzi, niecierpliwie oczekujących na ostatni sygnał.\\n\\u2009Jeden z nich tęgi brunet z pięknie utrzymaną twarzą i pańską miną, przerzucał gazetę, puszczając dym z drogiego cygara; drugi wysoki, szczupły, giętki jak pręt, ot, taki frant, jakby dopiero co wyskoczył z pierwszej strony humorystycznego pisemka — gdyż właśnie w całej jego postaci, począwszy od monokla i czerwonego goździka w butonierce, a kończąc na zadziwiająco śpiczastych żółtych bucikach — tyle było\\n'},\n",
+       " {'title': 'Strona:A. Kuprin - Straszna chwila.djvu/8',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:A._Kuprin_-_Straszna_chwila.djvu/8',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/1/17/A._Kuprin_-_Straszna_chwila.djvu/page8-1024px-A._Kuprin_-_Straszna_chwila.djvu.jpg',\n",
+       "  'text': 'specjalnej, właściwej ludziom tego rodzaju elegancji. Trzymał pod rękę trzeciego smukłego młodzieńca, bardzo przystojnego, w inżynieryjnym uniformie, z podróżną torbą, przewieszoną przez ramię.\\n\\u2009Cała ta trójka najwyraźniej nudziła się strasznie i tylko od czasu do czasu któryś z nich rzucał jakąś obojętną uwagę.\\n\\u2009Niewiele ich ze sobą łączyło. Znaleźli się razem na dworcu, a uważając za święty obowiązek wsadzenie do wagonu odjeżdżającego znajomego, oczekiwali niecierpliwie chwili pożegnania. A że na nieszczęście spotkali się na godzinę przed odejściem pociągu, wszystko, co mieli sobie do powiedzenia i co zazwyczaj mówi się w podobnych razach, wyszukując z tajonem rozdrażnieniem odpowiedniego tematu, dawno się już wyczerpało. Niezręczność tej sytuacji najsilniej odczuwał odjeżdżający inżynier Aleksander Ałarin. Ogromnie lubił taki gorączkowy ruch na dworcu kolejowym, lubił brać w nim udział, utonąć w tłumie, przysłuchiwać się rozmowom i zawsze to podniecało go przyjemnie. Ci jednak dwaj przyjaciele, których spotkał na obiedzie w Bazarze Słowiańskim, po kilku kieliszkach razem wypitych, postanowili koniecznie go odprowadzić i tem zepsuli mu całkiem humor.\\n\\u2009Nareszcie trzeci dzwonek! Każdy z nich odetchnął z ulgą. Zaczęli się troszczyć o przyjaciela.\\n\\u2009— Siadaj, Szasza, siadaj! — radził z przekonaniem elegancik z monoklem. — Wiesz przecież, jak kurjery szarpią… A pisz… pamiętaj!..,\\n\\u2009Urwał jednak, bo przypomniał, jak niewiele mieli\\n'},\n",
+       " {'title': 'Strona:Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf/17',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf/17',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/4/40/Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf/page17-872px-Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf.jpg',\n",
+       "  'text': 'jest wypłacana członkom, jako dywidenda, druga zachowana jest jako fundusz gromadzki. Ta druga część jest najważniejsza i największe korzyści zapewnia stowarzyszonym. Toteż w miarę tego, jak kooperatywa uświadamia się co do zadań swoich i wielkiej roli, jaką ma odegrać w świecie, w miarę tego mniej przeznacza się na dywidendę, a coraz więcej na fundusz gromadzki.\\n\\u2009Z funduszu gromadzkiego kooperatywa powinna stworzyć całą własną kulturę ludową. Tak samo, jak od kupców odbierze rynek, jak od fabrykantów odbierze produkcję, tak samo od filantropii prywatnej i rządowej powinna odebrać oświatę, szpitalnictwo, szkoły, ochrony, ubezpieczenie starości, pomoc w chorobie i oddać to wszystko w ręce ludu, aby on sam tylko był gospodarzem swego życia. Dla kooperatywy spożywczej jest to tym łatwiejsze, że nie wymaga ona żadnych ofiar dla zbierania funduszu, że dochody jej powstają z samego tylko spożywania. Każdy bochenek chleba, każda para butów kupiona w kooperatywie, pozostawia w jej wspólnej kasie pewien przydatek [nadwyżkę], i z tych drobnych przyrostów tworzą się te wielkie sumy, które mogą być użyte na rozmaite potrzeby zbiorowe. Instytucje dobroczynne wymagają ofiar, rządowe wymagają podatków, aby się mogły utrzymać; jedne tylko kooperatywne instytucje mogą utrzymywać się bez obarczania ludzi jakimi bądź ciężarami. Oprócz tego, instytucje — zarówno filantropijne, jak i rządowe — starają się zawsze narzucać coś ludowi, usuwają lud od bezpośredniego wpływu i rządzą się według swoich systemów i planów, niekoniecznie licząc się z potrzebami życia różnych grup ludzkich. Kooperatywa zaś spożywcza jest jak najszerszym i najbardziej demokratycznym stowarzyszeniem ludowym, otwartym dla każdego i zabezpieczającym równość praw. Jeżeli więc ona weźmie na siebie utrzymywanie szkół, bibliotek, ochron, szpitali, kas ubezpieczających starość i kas dla chorych, natenczas instytucje te staną się rzeczywiście ludowymi, będą przystosowywać się do prawdziwych wymagań życia i do potrzeb tych właśnie ludzi, którzy z nich korzystają. Lud wyzwoli się wtedy z dobroczynności i opieki biurokratycznej, sam stanie się swoim dobroczyńcą, opiekunem swoich chorych i wychowawcą swoich dzieci.\\n\\n'},\n",
+       " {'title': 'Strona:Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf/18',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf/18',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/4/40/Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf/page18-872px-Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf.jpg',\n",
+       "  'text': 'Kooperatywa spożywcza uczy samorządu i wolności.\\n\\nKooperatywa spożywcza jest stowarzyszeniem demokratycznym, to znaczy takim, gdzie wszyscy członkowie mają jednakowe prawa i obowiązki i gdzie wszyscy decydują o sprawach stowarzyszenia. Zgromadzenie ogólne członków jest najwyższym prawodawcą, wola jego rozstrzyga o wszystkim. Ona wybiera urzędników stowarzyszenia, kontroluje ich działalność, orzeka główne wytyczne i zasady dla spraw stowarzyszenia.\\n\\u2009Jest to więc prawdziwa rzeczpospolita, gdzie wszyscy są powołani do rządów; rzeczpospolita, gdzie nie ma żadnego przymusu, a wszystko dzieje się po dobrej woli.\\n\\u2009W kooperatywie ludzie, zamiast poddawać się narzuconym im z góry planom i rozporządzeniom, sami muszą zastanawiać się nad sposobami prowadzenia swoich interesów, muszą poznawać dokładnie warunki, w których znajduje się gospodarstwo krajowe, badać rozmaite strony działalności handlowej i przemysłowej, uczyć się wspólnej roboty ekonomicznej i administracji przedsiębiorstw, prowadzenia kas ubezpieczenia, instytucji wychowawczych i zdrowotnych, wszystkiego, czym się kooperatywa zajmuje. Zamiast przyjmować gotowe rzeczy i warunki, jakie im stawiają kapitaliści, filantropi i państwo, uczą się sami być twórcami swego życia, jako ludzie wolni, których nikt do tego nie przymusza.\\n\\u2009I w tym to właśnie spoczywa olbrzymie znaczenie kooperatywy, że ona uczy tej wolności twórczej, że w niej wytwarza się prawdziwa demokracja. Gdzie ludzie wszystkiego żądają od państwa, gdzie wszystkie swoje nadzieje opierają na takich lub innych reformach, przeprowadzanych przymusowo, tam nie ma ani demokracji, ani wolnych obywateli; tam są tylko poddani mniej lub więcej postępowego, mniej lub więcej oświeconego rządu. Demokracja zaś i wolność tworzy się wtedy dopiero, gdy ludzie, zamiast żądać reform od państwa, przeprowadzają te reformy sami, mocą dobrowolnej solidarności, gdy zamiast człowieka jako „głosu wyborczego”, zamiast pionka w ręku biurokracji lub przywódców partyjnych, zamiast takiego, który umie tylko albo panować, albo słuchać, zjawia się człowiek\\n'},\n",
+       " {'title': 'Strona:Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf/19',\n",
+       "  'href': 'https://pl.wikisource.org//wiki/Strona:Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf/19',\n",
+       "  'image_url': '//upload.wikimedia.org/wikipedia/commons/thumb/4/40/Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf/page19-872px-Abramowski-braterstwo-solidarnosc-wspoldzialanie.pdf.jpg',\n",
+       "  'text': 'jako wolny twórca życia, umiejący bez przymusu działać solidarnie z innymi i życie doskonalić.\\n\\u2009Takiego właśnie człowieka powinna stworzyć kooperatywa i to jest jej najwyższe zadanie. Wszystkie systemy i ustroje społeczne mogą zawieść, okazać się błędnymi, wypaczyć się przez nowe, nieprzewidziane warunki życia; ale ta wartość moralna człowieka — jako twórcy — pozostanie jego nieśmiertelną zdobyczą, źródłem niewyczerpanej siły i coraz piękniejszych światów ludzkich.\\n\\n\\n■ Nota edytorska: Miejsce pierwodruku Znaczenie spółdzielczości dla demokracji jest niejasne. Prof. Konstanty Krzeczkowski w edycji Pism Abramowskiego z roku 1924 podaje, że pierwotnie ukazał się on w roku 1906 w jednodniówce pt. „Idee spółdzielczości”, wydanej przez Towarzystwo Kooperatystów, zawierającej również teksty J. Dmochowskiego, J. Szyca, W. Szukiewicza i słowo wstępne A. Mędreckiego (Pisma, s. 222). Ten sam autor w Bibliografii pism Edwarda Abramowskiego, zamieszczonej w swej książce Dzieje życia i twórczości Edwarda Abramowskiego, podaje z kolei, iż miejscem pierwodruku była broszurka nr 1 w Biblioteczce Kooperatysty, wydana nakładem Towarzystwo Kooperatystów w Warszawie w 1906. Być może chodzi o to samo wydawnictwo, a niejasność wynika z lakonicznego opisu w Bibliografii... W 1924 r. tekst ten wszedł natomiast w skład czterotomowej edycji Pism — pierwszego zbiorowego wydania dzieł treści filozoficznej i społecznej Edwarda Abramowskiego, w opracowaniu Konstantego Krzeczkowskiego, w tomie I w części Pisma spółdzielcze — edycja nakładem Związku Polskich Stowarzyszeń Spożywców. W roku 1938 ukazał się ponownie w II wydaniu Pism. Po II wojnie światowej umieszczono go w 1965 r. w zbiorze tekstów Abramowskiego pt. Filozofia społeczna. Wybór pism (Państwowe Wydawnictwo Naukowe, przedmowa i autor wyboru — Ruta Światło).\\n\\nTekst zamieszczony w niniejszym tomie bazuje na wersji z pierwszej edycji Pism, z roku 1924.\\n'}]"
+      ]
+     },
+     "execution_count": 80,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "result"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "um",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.9.15"
+  },
+  "orig_nbformat": 4,
+  "vscode": {
+   "interpreter": {
+    "hash": "876e189cbbe99a9a838ece62aae1013186c4bb7e0254a10cfa2f9b2381853efb"
+   }
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}
diff --git a/crawler.py b/crawler.py
new file mode 100644
index 0000000..379095d
--- /dev/null
+++ b/crawler.py
@@ -0,0 +1,53 @@
+import pandas as pd
+import requests
+from bs4 import BeautifulSoup
+import re
+from tqdm import tqdm
+import time
+
+def main():
+    MAIN_URL = "https://pl.wikisource.org/"
+    URL_YELLOW = "https://pl.wikisource.org/wiki/Kategoria:Skorygowana"
+    URL_GREEN = "https://pl.wikisource.org/wiki/Kategoria:Uwierzytelniona"
+
+    def get_page_data(page_element):
+        doc = requests.get(MAIN_URL + page_element['href'])
+        doc_soup = BeautifulSoup(doc.text, 'lxml', from_encoding="utf-8")
+        text_elem = doc_soup.find("div", {"class": "pagetext"}).next_element
+        text = text_elem.text if not text_elem.find("math") else "math image"
+        image_url = doc_soup.find("div", {"class": "prp-page-image"}).next_element['src']
+        return {"title": page_element['title'], "href": MAIN_URL + page_element['href'], "image_url": image_url, "text": text,}
+
+    r  = requests.get(URL_YELLOW)
+    soup = BeautifulSoup(r.text, 'lxml')
+    page_number = 1
+    result_list = []
+    max_len = "".join(re.findall("\d", re.sub("\xa0",'', soup.find("div", {"id": "mw-pages"}).find("p").text))[3:])
+    try:
+        while True:
+            next_page = soup.find("a", {"href": re.compile(r"\/w\/index.php.*")}, string="następna strona").get('href', None)
+            if next_page and page_number != 1:
+                r = requests.get(MAIN_URL + next_page)
+            else:
+                break
+
+            if r.status_code != 200:
+                print(r.__dict__)
+                break
+            soup = BeautifulSoup(r.text, 'lxml')
+            page_number += 1
+            links = soup.find_all("a", {"href": re.compile(r"\/wiki\/Strona:.*")})
+            for link in tqdm(links):
+                result_list.append(get_page_data(link))
+            print("Page number:", page_number)
+            print("Number of elements:", 200 * page_number, "/", max_len)
+    except Exception as e:
+        print(e)
+        df = pd.DataFrame(result_list)
+        df.to_csv("./yellow.tsv", sep="\t")
+
+    df = pd.DataFrame(result_list)
+    df.to_csv("./yellow.tsv", sep="\t")
+
+if __name__ == "__main__":
+    main()
\ No newline at end of file