KWT-2024/lab/lab_09-10.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "competitive-desire",
   "metadata": {},
   "source": [
    "![Logo 1](https://git.wmi.amu.edu.pl/AITech/Szablon/raw/branch/master/Logotyp_AITech1.jpg)\n",
    "<div class=\"alert alert-block alert-info\">\n",
    "<h1> Komputerowe wspomaganie tłumaczenia </h1>\n",
    "<h2> 9,10. <i>Web scraping</i> [laboratoria]</h2> \n",
    "<h3>Rafał Jaworski (2021)</h3>\n",
    "</div>\n",
    "\n",
    "![Logo 2](https://git.wmi.amu.edu.pl/AITech/Szablon/raw/branch/master/Logotyp_AITech2.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "hungarian-davis",
   "metadata": {},
   "source": [
    "Jak dobrze wiemy, w procesie wspomagania tłumaczenia oraz w zagadnieniach przetwarzania języka naturalnego ogromną rolę pełnią zasoby lingwistyczne. Należą do nich korpusy równoległe (pamięci tłumaczeń), korpusy jednojęzyczne oraz słowniki. Bywa, że zasoby te nie są dostępne dla języka, nad którym chcemy pracować."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "featured-moisture",
   "metadata": {},
   "source": [
    "W tej sytuacji jest jeszcze dla nas ratunek - możemy skorzystać z zasobów dostępnych publicznie w Internecie. Na dzisiejszych zajęciach przećwiczymy techniki pobierania tekstu ze stron internetowych."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "underlying-isaac",
   "metadata": {},
   "source": [
    "Poniższy kod służy do ściągnięcia zawartości strony (w formacie HTML do zmiennej) oraz do wyszukania na tej stronie konkretnych elementów. Przed jego uruchomieniem należy zainstalować moduł BeautifulSoup:\n",
    "`pip3 install beautifulsoup4`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "revolutionary-trust",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "W Poznaniu uroczyście odsłonięto monument upamiętniający cmentarz żydowski założony jeszcze w XIX wieku\n",
      "Przez ulice Poznania przejdzie Marsz dla Życia. Będą utrudnienia\n",
      "Sierść psa zatopiona w żywicy? Taką biżuterię pamiątkową zlecają właściciele czworonożnych pociech\n",
      "Nagrał film w jednej z poznańskich \"Biedronek\". Kilka spleśniałych cytryn w kartonie. \"Nikt się tym nie przejmuje\"\n",
      "Gniezno: poszkodowani po ulewie będą mogli ubiegać się o pomoc w ZUS i US. Powstała również specjalna infolinia\n",
      "Zostawiła jedzenie dla potrzebujących. Coraz więcej głodnych osób, którym nie wystarcza pieniędzy po opłaceniu rachunków\n",
      "Kolejne ostrzeżenie I stopnia od IMGW. Oprócz burz może wystąpić również grad\n",
      "Lech przegrał Koroną. Na trybunach marsz żałobny i 'mamy k**** dość'\n",
      "Warta Poznań po przegranej z Jagielonią Białystok spada do I ligi\n",
      "Mieszkańcy skarżą się na właściciela samochodu, w którym notorycznie włącza się alarm. \"Uprzykrza nam to życie!\"\n",
      "Leśne Placówki Montessori\n",
      "Na autostradzie samochód wpadł w poślizg i stanął w poprzek. Są spore utrudnienia\n",
      "Wróciła plaga kradzieży katalizatorów. Zmora dla kierowców, którzy nie mogą garażować auta\n",
      "Nowy basen w Kiekrzu? W tunelu wody przybyło po same kolana\n",
      "Pierożki Dim Sum z Para Bar Rataje ze specjalną zniżką!\n",
      "Wielka głowa Darii Zawiałow zablokowała przez chwilę przejście dla pieszych na jednej z poznańskich ulic\n",
      "Fałszywy pożar w centrum Poznania. Kłęby dymu w kamienicy?\n",
      "Jest kolejne ostrzeżenie pierwszego stopnia, tym razem hydrologiczne. Gwałtowny wzrost stanu wody\n",
      "Uwaga. Utrudnienia na drodze i ograniczenie prędkości. Potrwa to około 5 godzin\n",
      "Chcą pobić rekord w kręceniu lodów. Tona lodów w ciągu doby\n",
      "Jest ostrzeżenie IMGW dla Wielkopolski. Lepiej schować przedmioty, które mogą przemieścić się pod wypływem silnego wiatru\n",
      "Nowe Centrum Medyczne Bizpark już w sprzedaży. Znajdź idealny lokal pod swoją działalność medyczną\n",
      "Rondo Obornickie: zderzenie samochodu z motocyklem. Poszkodowany został odwieziony do szpitala. Chwilowe utrudnienia\n",
      "Policjanci publikują wizerunek i szukają tego mężczyzny\n",
      "Grupa Stonewall będzie miała program na antenie TVP3 Poznań. \"To będzie odtrutka na lata dezinformacji\"\n",
      "Ruszył remont ważnego mostu. Co z kłódkami zakochanych?\n",
      "Mieszkaniec spotkał wilka w Poznaniu?\n",
      "Włamanie do... lokomotywy\n",
      "W nadwarciański krajobraz wpisały się... żurawie. \"Jeden jest największy na świecie\"\n",
      "Robisz remont? Za to możesz słono zapłacić!\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "\n",
    "url='https://epoznan.pl'\n",
    "\n",
    "page = requests.get(url)\n",
    "soup = BeautifulSoup(page.content, 'html.parser')\n",
    "\n",
    "headers = soup.find_all('h3', {'class':'postItem__title'})\n",
    "\n",
    "print('\\n'.join([header.get_text() for header in headers]))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dental-combination",
   "metadata": {},
   "source": [
    "### Ćwiczenie 1: Napisz funkcję do pobierania nazw towarów z serwisu Ceneo.pl. Typ towaru, np. telewizor, pralka, laptop jest parametrem funkcji. Wystarczy pobierać dane z pierwszej strony wyników wyszukiwania."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "moving-clothing",
   "metadata": {},
   "outputs": [],
   "source": [
    "from bs4 import element\n",
    "\n",
    "def get_names(article_type, page_nr: int = 0):\n",
    "    url = 'https://www.ceneo.pl/;szukaj-' + article_type + ';0020-30-0-0-' + str(page_nr) + '.htm'\n",
    "    page = requests.get(url)\n",
    "    if page_nr != 0 and url != page.url:\n",
    "        return []\n",
    "    soup = BeautifulSoup(page.content, 'html.parser')\n",
    "    result = []\n",
    "\n",
    "    def is_product_title_container(tag: element.Tag) -> bool:\n",
    "        if not tag.has_attr('class'):\n",
    "            return False\n",
    "\n",
    "        classes = tag.attrs['class']\n",
    "        if len(classes) != 1:\n",
    "            return False\n",
    "\n",
    "        return classes[0] == 'cat-prod-row__name'\n",
    "\n",
    "    def is_product_title(tag: element.Tag) -> bool:\n",
    "        if not tag.has_attr('class'):\n",
    "            return True\n",
    "\n",
    "        classes = tag.attrs['class']\n",
    "        if len(classes) != 1:\n",
    "            return False\n",
    "\n",
    "        return classes[0] == 'font-bold'\n",
    "\n",
    "    for tag in soup.find_all(is_product_title_container):\n",
    "        href = tag.find('a')\n",
    "        if type(href) is not element.Tag:\n",
    "            continue\n",
    "        spans = href.find_all('span')\n",
    "        for span in spans:\n",
    "            if is_product_title(span):\n",
    "                result.append(span.text)\n",
    "\n",
    "    return result"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "mechanical-produce",
   "metadata": {},
   "source": [
    "W ten sposób pobieramy dane z jednej strony. Nic jednak nie stoi nam na przeszkodzie, aby zasymulować przełączanie stron."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "legitimate-corrections",
   "metadata": {},
   "source": [
    "### Ćwiczenie 2: Zaobserwuj, jak zmienia się url strony podczas przechodzenia do kolejnych stron wyników wyszukiwania na Ceneo.pl. Wykorzystaj tę informację i uruchom funkcję get_names() na więcej niż jednej stronie wyników."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "german-dispute",
   "metadata": {},
   "outputs": [],
   "source": [
    "def scrape_names():\n",
    "    result = []\n",
    "    search = 'laptop'\n",
    "    page = 0\n",
    "    while True:\n",
    "        local_result = get_names(search, page)\n",
    "        if len(local_result) == 0:\n",
    "            return result\n",
    "        result = result + local_result\n",
    "        page += 1"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "discrete-durham",
   "metadata": {},
   "source": [
    "Technika pobierania treści z Internetu jest szczególnie efektywnym sposobem na pozyskiwanie dużych ilości tekstu. Poniższy fragment kodu służy do ściągnięcia całości tekstu ze strony."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "premium-button",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      " Yahoo Make Yahoo Your HomepageDiscover something new every day from News, Sports, Finance, Entertainment and more! HOME MAIL NEWS FINANCE SPORTS ENTERTAINMENT LIFE SHOPPING YAHOO PLUS MORE... Download the Yahoo Home app Yahoo Home Search query Sign in Mail Sign in to view your mail Mail Mail COVID-19 COVID-19 News News Finance Finance Sports Sports Entertainment Entertainment Life Life Shopping Shopping Yahoo Plus Yahoo Plus More... More... Follow live:Closing arguments begin for Derek Chauvin's murder trial in the death of George Floyd 5 people in hospital after shooting in Louisiana One victim was shot in the head, and another suffered multiple gunshot wounds, according to local news outlet.Multiple police units dispatched to scene »2 dead in crash of Tesla with 'no one' drivingMall shooter, 16, faces 1st-degree murder charge'80s pop star rips 'Simpsons' for 'hateful' parodyConspiracy theorist Alex Jones faces a reckoningPig's head left at former home of Chauvin trial witness U.S.HuffPostFirst-Ever Wild Wolf Collar Camera Shows What They Really Do All Day LongThis canine's favorite meal might surprise you. Thanks for your feedback! CelebrityThe TelegraphRobert De Niro unable to turn down acting roles because of his ‘estranged wife's expensive lifestyle’Hollywood legend Robert De Niro is unable to turn down acting roles because he must pay for his estranged wife's expensive tastes, the actor's lawyer has claimed. Caroline Krauss told a Manhattan court that he is struggling financially because of the pandemic, a massive tax bill and the demands of Grace Hightower, who filed for divorce in 2018 after 21 years of marriage. The court has been asked to settle how much De Niro should pay Ms Hightower, 66, until the terms of the prenuptial agreement the couple negotiated in 2004 takes effect. “Mr De Niro is 77 years old, and while he loves his craft, he should not be forced to work at this prodigious pace because he has to,” Ms Krauss told the court. “When does that stop? When does he get the opportunity to not take every project that comes along and not work six-day weeks, 12-hour days so he can keep pace with Ms Hightower’s thirst for Stella McCartney?” Thanks for your feedback! U.S.Associated PressCouple: Man has tossed used cups in their yard for 3 yearsAn upstate New York couple may have finally solved the mystery of who's been tossing used coffee cups in their front yard for nearly three years. Edward and Cheryl Patton told The Buffalo News they tried mounting a camera in a tree in front of their home in Lake View to catch the phantom litterer. After Edward Patton called police, they waited and pulled over a vehicle driven by 76-year-old Larry Pope, who Cheryl Patton said had once worked with her and had had disagreements with her over union issues. Thanks for your feedback! U.S.INSIDERA leading conspiracy theorist who thought COVID-19 was a hoax died from the virus after hosting illegal house partiesA high-profile conspiracy theorist from Norway, who shared false information about the pandemic online, has died from COVID-19, officials say. Thanks for your feedback! PoliticsThe WeekOne America News Network producer says 'majority' of employees didn't believe reports on voter fraud claimsMarty Golingan, a producer at One America News Network, a right-wing cable news channel often noted for its affinity for former President Donald Trump, told The New York Times he was worried his work may have helped inspire the Jan. 6 Capitol riot. At one point during the incident, Golingan said he caught sight of someone in the mob holding a flag with OAN's logo. \"I was like, OK, that's not good. That's what happens when people listen to us,\" he told the Times, referring to OAN's coverage of the 2020 presidential election, which often gave credence to Trump's unfounded claims of widespread voter fraud and Democratic conspiracies. Golingan said that many of his colleagues, including himself, disagreed with the coverage. \"The majority of people did not believe the voter fraud claims being run on the air,\" he tol
     ]
    }
   ],
   "source": [
    "import re\n",
    "\n",
    "url = \"https://www.yahoo.com\"\n",
    "\n",
    "page = requests.get(url)\n",
    "soup = BeautifulSoup(page.content, 'html.parser')\n",
    "\n",
    "# usunięcie elementów script i style\n",
    "for script in soup([\"script\", \"style\"]):\n",
    "    script.extract()    # usuń element\n",
    "\n",
    "# pobierz tekst\n",
    "text = soup.get_text()\n",
    "\n",
    "# usuń wielokrotne białe znaki\n",
    "text = re.sub(r\"\\s+\", \" \", text)\n",
    "\n",
    "print(text)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "assigned-necessity",
   "metadata": {},
   "source": [
    "### Ćwiczenie 3: Napisz program do pobrania tekstu ze strony Wydziału Matematyki i Informatyki. Pobierz cały tekst ze strony głównej a następnie wyszukaj na tej stronie wszystkich linków wewnętrznych i pobierz tekst ze stron wskazywanych przez te linki. Nie zagłębiaj się już dalej.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "regulation-sheriff",
   "metadata": {},
   "outputs": [],
   "source": [
    "def scrape_wmi():\n",
    "    def get_text(soup_l: BeautifulSoup) -> str:\n",
    "        for trash in soup_l(['script', 'style']):\n",
    "            trash.extract()\n",
    "\n",
    "        text = soup_l.get_text()\n",
    "\n",
    "        return re.sub(r'\\s+', ' ', text)\n",
    "\n",
    "    result = []\n",
    "\n",
    "    base_url = 'https://wmi.amu.edu.pl/'\n",
    "    page = requests.get(base_url)\n",
    "    soup = BeautifulSoup(page.content, 'html.parser')\n",
    "    result.append(get_text(soup))\n",
    "    for href in soup.find_all('a'):\n",
    "        if type(href) != element.Tag:\n",
    "            continue\n",
    "\n",
    "        if not href.has_attr('href'):\n",
    "            continue\n",
    "\n",
    "        if base_url in href.attrs['href']:\n",
    "            sub_page = requests.get(href.attrs['href'])\n",
    "            result.append(get_text(BeautifulSoup(sub_page.content, 'html.parser')))\n",
    "\n",
    "\n",
    "    return result"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "paperback-hello",
   "metadata": {},
   "source": [
    "Omówione wyżej techniki działają również bardzo dobrze dla zasobów słownikowych."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "after-activity",
   "metadata": {},
   "source": [
    "### Ćwiczenie 4: Pobierz jak najwięcej słów w języku albańskim z serwisu glosbe.com."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "706d6cba-c7a7-4d1b-9c2f-eb2119f859b5",
   "metadata": {},
   "source": [
    "Nie jest to rozwiązanie zbalansowane, ale pobierze najwięcej słów (Przy odpowiedniej rotacji adresów IP, z których korzystamy, ale założyłem, że kwestia infrastruktury i tego jak strona jest chroniona przed atakami DOS, jest poza zakresem tego zadania)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "surgical-ozone",
   "metadata": {},
   "outputs": [],
   "source": [
    "def scrape_shqip():\n",
    "    import string\n",
    "\n",
    "    result = []\n",
    "    letters = list(string.ascii_lowercase)\n",
    "    letters_count = len(letters)\n",
    "    longest_sensible_english_word_len = 28\n",
    "    base_url = 'https://glosbe.com/en/sq/'\n",
    "\n",
    "    def get_words(word_l: str) -> list[str]:\n",
    "        def is_translated_word(tag: element.Tag) -> bool:\n",
    "            if not tag.has_attr('id') or not tag.has_attr('lang'):\n",
    "                return False\n",
    "\n",
    "            if not 'translation__' in tag.attrs['id'] or 'sq' != tag.attrs['lang']:\n",
    "                return False\n",
    "\n",
    "            return True\n",
    "\n",
    "        result_l = []\n",
    "        page = requests.get(base_url + word_l)\n",
    "        soup = BeautifulSoup(page.content, 'html.parser')\n",
    "        words_l = soup.find_all(is_translated_word)\n",
    "        for word_l in words_l:\n",
    "            text = word_l.text\n",
    "            result_l.append(re.sub(r'\\s+', ' ', text))\n",
    "\n",
    "        return result_l\n",
    "\n",
    "    def trans(word_l: list[int]) -> str:\n",
    "        result_l = ''\n",
    "        for letter_l in word_l:\n",
    "            result_l += letters[letter_l]\n",
    "\n",
    "        return result_l\n",
    "\n",
    "    def increment(word_l: list[int]) -> list[int]:\n",
    "        done = False\n",
    "        result_l = []\n",
    "        for letter_l in word_l:\n",
    "            if done:\n",
    "                result_l.append(letter_l)\n",
    "                continue\n",
    "            next_letter_l = letter_l + 1\n",
    "            if next_letter_l == letters_count:\n",
    "                result_l.append(0)\n",
    "                continue\n",
    "\n",
    "            result_l.append(next_letter_l)\n",
    "            done = True\n",
    "\n",
    "        return result_l\n",
    "\n",
    "    for length in range(longest_sensible_english_word_len - 1):\n",
    "        length += 1\n",
    "        combos = pow(length, letters_count)\n",
    "        word = []\n",
    "        for pos in range(length):\n",
    "            word.append(0)\n",
    "        for i in range(combos):\n",
    "            result.append(get_words(trans(word)))\n",
    "            word = increment(word)\n",
    "\n",
    "    return result"
   ]
  }
 ],
 "metadata": {
  "author": "Rafał Jaworski",
  "email": "rjawor@amu.edu.pl",
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "lang": "pl",
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.4"
  },
  "subtitle": "9,10. Web scraping",
  "title": "Komputerowe wspomaganie tłumaczenia",
  "year": "2021"
 },
 "nbformat": 4,
 "nbformat_minor": 5
}