aitech-ium/IUM_02.Dane.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "![Logo 1](https://git.wmi.amu.edu.pl/AITech/Szablon/raw/branch/master/Logotyp_AITech1.jpg)\n",
    "<div class=\"alert alert-block alert-info\">\n",
    "<h1> Inżynieria uczenia maszynowego </h1>\n",
    "<h2> 2. <i>Dane</i>  [laboratoria]</h2> \n",
    "<h3> Tomasz Ziętkiewicz (2021)</h3>\n",
    "</div>\n",
    "\n",
    "![Logo 2](https://git.wmi.amu.edu.pl/AITech/Szablon/raw/branch/master/Logotyp_AITech2.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Plan na dzisiaj\n",
    "1. Motywacja\n",
    "2. Podział danych\n",
    "3. Skąd wziąć dane?\n",
    "4. Przygotowanie danych\n",
    "5. Zadanie"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Motywacja\n",
    "- Zasada \"Garbage in - garbage out\"\n",
    "- Im lepszej jakości dane - tym lepszy model\n",
    "- Najlepsza architektura, najpotężniejsze zasoby obliczeniowe i najbardziej wyrafinowane metody nie pomogą, jeśli dane użyte do rozwoju modelu nie odpowiadają tym, z którymi będzie on używany, albo jeśli w danych nie będzie żadnych zależności\n",
    "- Możemy stracić dużo czasu, energii i zasobów optymalizując nasz model w złym kierunku, jeśli dane są źle dobrane"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Źródła danych\n",
    "- Gotowe zbiory:\n",
    " - Otwarte wyzwania (challenge)\n",
    " - Repozytoria otwartych zbiorów danych\n",
    " - Dane udostępniane przez firmy\n",
    " - Repozytoria zbiorów komercyjnych\n",
    " - Dane wewnętrzne (np. firmy)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Źródła danych\n",
    "- Tworzenie danych:\n",
    " - Generowanie syntetyczne\n",
    "   - np. generowanie korpusów mowy za pomocą TTS (syntezy mowy)\n",
    " - Crowdsourcing\n",
    " - Data scrapping"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Otwarte wyzwania (shared task / challenge)\n",
    "- Kaggle: https://www.kaggle.com/datasets\n",
    "- Gonito: https://gonito.net/list-challenges - polski (+poznański +z UAM) Kaggle\n",
    "- Semeval: https://semeval.github.io/ - zadania z semantyki\n",
    "- Poleval: http://poleval.pl/ - przetwarzanie języka polskiego\n",
    "- WMT http://www.statmt.org/wmt20/ (tłumaczenie maszynowe)\n",
    "- IWSLT https://iwslt.org/2021/#shared-tasks (tłumaczenie mowy)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Repozytoria/wyszukiwarki otwartych zbiorów danych\n",
    "- Papers with code: https://paperswithcode.com/datasets\n",
    "- UCI Machine Learning Repository: https://archive.ics.uci.edu/ml/ (University of California)\n",
    "- Google dataset search: https://datasetsearch.research.google.com/\n",
    "- Zbiory google:https://research.google/tools/datasets/\n",
    "- Otwarte zbiory na Amazon AWS: https://registry.opendata.aws/\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Otwarte zbiory\n",
    "- Rozpoznawanie mowy:\n",
    " - https://www.openslr.org/ - Libri Speech, TED Lium\n",
    " - Mozilla Open Voice: https://commonvoice.mozilla.org/\n",
    "- NLP:\n",
    " - Clarin: https://clarin-pl.eu/index.php/zasoby/\n",
    " - NKJP: http://nkjp.pl/\n",
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Crowdsourcing\n",
    "- reCAPTCHA\n",
    "<img src=\"img/ReCAPTCHA_idea.jpg\">\n",
    "<img src=\"img/cat_captcha.png\">\n",
    "\n",
    "<sub>Źródło: https://pl.wikipedia.org/wiki/ReCAPTCHA#/media/Plik:ReCAPTCHA_idea.jpg</sub>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Amazon Mechanical Turk: https://www.mturk.com/\n",
    "<img src=\"img/Tuerkischer_schachspieler_windisch4.jpg\">\n",
    "\n",
    "<sub>Źródło: https://en.wikipedia.org/wiki/Mechanical_Turk#/media/File:Tuerkischer_schachspieler_windisch4.jpg</sub>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Licencje\n",
    "- Przed podjęciem decyzji o użyciu danego zbioru koniecznie sprawdź jego licencję!\n",
    "- Wiele dostępnych w internecie zbiorów jest udostępniana na podstawie otwartych licencji\n",
    "- Zazwyczaj jednak ich użycie wymaga spełnienia pewnych warunków, np. podania źródła\n",
    "- Wiele ogólnie dostępnych zbiorów nie może być jednak użytych za darmo w celach komercyjnych!\n",
    "- Niektóre z nich mogą nawet powodować, że praca pochodna, która zostanie stworzona z ich wykorzystaniem, będzie musiała być udostępniona na tej samej licencji (GPL). Jest to \"niebezpieczeństwo\" w przypadku wykorzystania zasobów przez firmę komercyjną!\n",
    "- Zasady działania licencji CC: https://creativecommons.pl/\n",
    "- Najbardziej popularne licencje:\n",
    " - Przyjazne również w zastosowaniach komercyjnych: MIT, BSD, Appache, CC (bez dopisku NC)\n",
    " - GPL (GNU Public License) - \"zaraźliwa\" licencja Open Source"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Przykład \n",
    "- Za pomocą standardowych narzędzi bash dokonamy wstępnej inspekcji i podziału danych\n",
    "- Jako przykładu użyjemy klasycznego zbioru IRIS: https://archive.ics.uci.edu/ml/datasets/Iris\n",
    "- Zbiór zawiera dane dotyczące długości i szerokości płatków kwiatowych trzech gatunków irysa:\n",
    " - Iris Setosa\n",
    " - Iris Versicolour\n",
    " - Iris Virginica\n",
    "  \n",
    "<img src=IUM_02/iris.png/>\n",
    "\n",
    "<sub>Źródło: https://www.kaggle.com/vinayshaw/iris-species-100-accuracy-using-naive-bayes<br>\n",
    "Licencja: [Apache 2.0](http://www.apache.org/licenses/LICENSE-2.0)</sub>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Pobranie danych"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "scrolled": true,
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Collecting kaggle\n",
      "  Using cached kaggle-1.5.12.tar.gz (58 kB)\n",
      "Requirement already satisfied: six>=1.10 in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from kaggle) (1.15.0)\n",
      "Requirement already satisfied: certifi in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from kaggle) (2021.5.30)\n",
      "Requirement already satisfied: python-dateutil in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from kaggle) (2.8.1)\n",
      "Requirement already satisfied: requests in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from kaggle) (2.25.1)\n",
      "Requirement already satisfied: tqdm in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from kaggle) (4.59.0)\n",
      "Requirement already satisfied: python-slugify in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from kaggle) (5.0.2)\n",
      "Requirement already satisfied: urllib3 in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from kaggle) (1.26.4)\n",
      "Requirement already satisfied: text-unidecode>=1.3 in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from python-slugify->kaggle) (1.3)\n",
      "Requirement already satisfied: idna<3,>=2.5 in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from requests->kaggle) (2.10)\n",
      "Requirement already satisfied: chardet<5,>=3.0.2 in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from requests->kaggle) (4.0.0)\n",
      "Building wheels for collected packages: kaggle\n",
      "  Building wheel for kaggle (setup.py) ... \u001b[?25ldone\n",
      "\u001b[?25h  Created wheel for kaggle: filename=kaggle-1.5.12-py3-none-any.whl size=73053 sha256=1e6240d540651324d97a9772ad1ced30da7d7b5dc5956dc974eeeddf7c48844b\n",
      "  Stored in directory: /home/tomek/.cache/pip/wheels/ac/b2/c3/fa4706d469b5879105991d1c8be9a3c2ef329ba9fe2ce5085e\n",
      "Successfully built kaggle\n",
      "Installing collected packages: kaggle\n",
      "Successfully installed kaggle-1.5.12\n",
      "Requirement already satisfied: pandas in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (1.2.4)\n",
      "Requirement already satisfied: python-dateutil>=2.7.3 in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from pandas) (2.8.1)\n",
      "Requirement already satisfied: numpy>=1.16.5 in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from pandas) (1.20.2)\n",
      "Requirement already satisfied: pytz>=2017.3 in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from pandas) (2021.1)\n",
      "Requirement already satisfied: six>=1.5 in /media/tomek/Linux_data/home/tomek/miniconda3/lib/python3.9/site-packages (from python-dateutil>=2.7.3->pandas) (1.15.0)\n"
     ]
    }
   ],
   "source": [
    "#Zainstalujmy potrzebne biblioteki \n",
    "!pip install --user kaggle #API Kaggle, do pobrania zbioru\n",
    "!pip install --user pandas"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " - Pobierzemy zbiór Iris z Kaggle: https://www.kaggle.com/uciml/iris\n",
    " - Licencja to \"Public Domain\", więc możemy z niego korzystać bez ograniczeń."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Downloading iris.zip to /home/tomek/AITech/repo/aitech-ium\n",
      "  0%|                                               | 0.00/3.60k [00:00<?, ?B/s]\n",
      "100%|██████████████████████████████████████| 3.60k/3.60k [00:00<00:00, 1.63MB/s]\n"
     ]
    }
   ],
   "source": [
    "# Żeby poniższa komenda zadziałała, musisz posiadać plik ~/.kaggle/kaggle.json, zawierający Kaggle API token.\n",
    "# Instrukcje: https://www.kaggle.com/docs/api\n",
    "!kaggle datasets download -d uciml/iris"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "scrolled": true,
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Archive:  iris.zip\r\n",
      "  inflating: Iris.csv                \r\n",
      "  inflating: database.sqlite         \r\n"
     ]
    }
   ],
   "source": [
    "!unzip -o iris.zip"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   &#