Sztuczna_empatia/SE8.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "source": [
    "![baner aitech](../grafiki/SE8/logo.jpg \"baner\") \n",
    "\n",
    "***\n",
    "\n",
    "# <b>Sztuczna empatia 8</b>\n",
    "## Rozpoznawanie emocji\n",
    "### Joanna Siwek\n",
    "\n",
    "***\n",
    "\n",
    "### Spis treści\n",
    "1. [Wstęp](#introduction)\n",
    "2. [Emocje](#paragraph1)\n",
    "3. [Metody rozpoznania emocji](#paragraph2)\n",
    "4. [Zastosowania ER](#paragraph3)\n",
    "5. [Rozpoznawanie emocji a sztuczna empatia](#paragraph4)\n",
    "6. [Zadania](#paragraph5)\n",
    "\n",
    "***\n",
    "\n",
    "![baner ue](../grafiki/SE8/ae_ue.jpg \"baner\") "
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Wstęp <a name=\"introduction\"></a>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Rozpoznawanie emocji jest podstawą skutecznej sztucznej empatii. Aby możliwe było \"współodczuwanie\", konieczne jest wykrycie i nazwanie emocji, które są odczuwane. Co więcej, emocje stanowią dużą część przekazu, nadawanego przez użytkownika. Aby dokładnie zrozumieć jego intencje, system musi potrafić połączyć treść przekazu wraz z emocjami mu towarzyszącymi. Aby móc w odpowiedni sposób zareagować na sygnał od użytkownika, system potrzebuje zarejestrować i przetworzyć sygnał emocjonalny. Najpłynniejsza komunikacja następuje wtedy, kiedy sygnał taki jest wykrywany w czasie rzeczywistym, a reakcja na niego następuje bardzo szybko. Jednak nie zawsze taka sytuacja jest możliwa. Co więcej, problem stanowi różnorodność emocji człowieka, różnice kulturowe w sposobie wyrażania emocji, wiele dróg ich wyrażania (treść wypowiedzi, mimika, ton głosu, język ciała). Wszystkie te problemy, skumulowane, powodują, iż rozpoznanie i przetwarzanie emocji nie jest prostym zagadnieniem. Jednakże jego ujarzmienie przynosi wiele korzyści.\n",
    "</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Obecnie badania w dziedzinie rozpoznawania emocji skupiają się na [13]:</div>\n",
    "\n",
    " * korelacji pomiędzy różnymi rodzajami sygnałów fizycznych a emocjami\n",
    " * wyborze właściwych impulsów, wywołujących porządane emocje\n",
    " * wyodrębnianiu właściwych cech sygnałów emocjonalnych\n",
    " * machanizch przyczynowo-skutkowości w wywoływaniu emocji\n",
    " * wielokanałowym rozpoznawaniu emocji"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Emocje <a name=\"Paragraph1\"></a>\n",
    "<br>\n",
    "<div style=\"text-align: justify\"> W informatyce i sztucznej inteligencji emocje określa się jako [6]:</div>\n",
    "\n",
    " * przybliżone: szybkie reakcje uwzględniające pamięć (ale nie skomplikowane procesy poznawcze na dostępnych danych)\n",
    " * reaktywne: wykonywane automatycznie w razie potrzeby;\n",
    " * adaptacyjne: dynamicznie dostosowujące się do środowiska;\n",
    " * ewolucyjne: tymczasowe, z możliwością nauczenia się ich;\n",
    " * zbiorowe: np. emocje tłumu;\n",
    " * zaraźliwe: np. reakcje na emocje innych osób generowane przez neurony lustrzane. \n",
    "\n",
    "<div style=\"text-align: justify\">Dla kontrastu: humory są dłuższe i stabilne, moga wynikać z procesów kognitywnych; myśli są kognitywnie racjonalne a uczucia są złożone i rozmyte.</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Jednym z głównych pytań przy konstruowaniu systemów rozpoznania emocji jest to, co tak naprawdę chcemy wykrywać. Czy emocje, które odczuwa użytkownik, czy też te, które pokazuje? Nie zawsze przecież stan emocjonalny człowieka zgadza się z tym, co mówi jego mowa ciała. Problematycznym jest już sam sarkazm.</div>\n",
    "<div style=\"text-align: justify\">Inne pytanie brzmi, kiedy stosować emocjonalne maszyny. Nie każde ich zastosowanie jest przecież pozytywnie odbierane przez użytkownika (patrz Clippy Microsoftu). Istnieje też problem z możliwością manipulacji emocjami ludzkimi, zwłaszcza w marketingu. Inne znane problemy to niedostateczny wachlarz rozpoznawanych emocji, różnice kulturowe w ich okazywaniu, dyskryminacja (np. przy profilowaniu pracowników czy przydzielaniu kredytu).</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Formalnie, aby móc stworzyć model umożliwiający analizę i zarządzanie emocjami, należy przyjąć pewne założenia [13]:</div>\n",
    "\n",
    " * emocje są instynktowne\n",
    " * różni ludzie w tych samych sytuacjach odczuwają te same emocje\n",
    " * różni ludzie wyrażają te same proste emocje w ten sam sposób\n",
    " * podczas odczuwania podstawowych emocji, wzorce reakcji fizjologicznych różnych ludzi są takie same\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Metody rozpoznawania emocji <a name=\"Paragraph2\"></a>\n",
    "<br>\n",
    "<blockquote><div style=\"text-align: justify\">Głównym celem badań nad rozpoznawaniem emocji jest uzyskanie bardziej naturalnego, harmonijnego i przyjaznego interfejsu HCI oraz przekształcenie komputera z logicznej maszyny obliczeniowej w intuicyjny perceptron, przechodząc w ten sposób do projektowania maszyn zorientowanego na człowieka [13].</div></blockquote>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Rozpoznawanie emocji, czyli automatyczna identyfikacja emocji człowieka przez system, działa najlepiej, kiedy rozważany jest więcej niż jeden kanał komunikacji. Przedmiotem rozpoznania moga być zdjęcia, pliki video, audio, tekst, czy sygnały fizjologiczne (EEG, przewodnictwo skórne, pocenie się, puls, ruchy szkieletowe [11], etc.).</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Techniki rozpoznania emocji łączą ze sobą dziedziny przetwarzania sygnałow, uczenia maszynowego, widzenia komputerowego i przetwarzania mowy. Wykorzystują w tym celu takie metody jak np. sieci Baysa, ukryte modele markowa, konwolucyjne sieci neuronowe, itd. Ogólnie wyróżnia się trzy podajścia - oparte na wiedzy, na statystyce i mieszane.</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Podejście oparte na wiedzy może używać wiedzy z danej dziedziny do stworzenia modelu, może być oparte a ustalonym słowniku emocji bądź też może powstać na podstawie informacji wyinferowanych z dużego korpusu danych. Podejście statystyczne opiera się na uczeniu maszynowym (np. Support Vector Machines) i deep learningu (np. konwolucyjne sieci neuronowe, Long Short-Term Memory). Możliwe są również metody mieszane.</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Jednym z największych wyzwań ER jest działanie w czasie rzeczywistym. Najczęściej wykorzystuje się w tym celu rozpoznanie wyrazów twarzy (FER). Dużą przeszkodą w tym są nieidealne warunki rozpoznawania - światło, okulary, zarost. Powoduje to, iż rozpoznanie emocji w czasie rzeczywistym, szczególnie przy bardziej skomplikowanych modelach wykorzystywanych w dalszych celach, np. empatii, jest trudne. Problem ten rozwiązuje się między innymi poprzez zmiejszenie ilości cech wyciąganych z sygnału nadawanego przez użytkownika. Zmniejsza to skomplikowanie modelu oraz czas potrzebny na jego wykonanie.</div> \n",
    "    \n",
    "<div style=\"text-align: justify\">Techniki stosowane w FER to między innymi [4]: </div>\n",
    "\n",
    " * rozpoznanie na podstawie pikseli\n",
    " * local binary pattern (LBP) - oparte na histogramach map binarnych, które są lokalną reprezentacją relacji pomiędzy pikselem a jego sąsiadami\n",
    " * wavelet transform\n",
    " * dyskretna transformacja kosinusowa\n",
    " * Gabor feature extraction (GFE) - używa filtrów Gabora, metoda odporna na światło, skalę i przesunięcie\n",
    " * wykrywanie krawędzi i skóry\n",
    " * wykrywanie konturu twarzy\n",
    " * metody logiki rozmytej (np. FURIA)\n",
    "\n",
    "<div style=\"text-align: justify\">Zwykle emocje są opisywane przez jednostki akcji (Action Units, AU) albo określone jako punkt w przestrzeni wartościowość-pobudzenie (Valence-Arousal, V-A). Metoda AU nie definiuje emocji bezpośrednio, ale podaje zbiór stanów dla każdej części twarzy (np. otwarte usta, podniesiona brew, zmarszczony nos). Emocje są określone jako grupy różnych AU. W metodzie V-A, emocje są zdefiniowane na podstawie wiedzy psychologicznej w przestrzeni kartezjańskiej w ten sposób, że podobne emocje znajdują się blisko siebie [12].</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Jako klasyfikatory w FER wykorzystuje się [12]:</div>\n",
    "\n",
    " * algorytm k-najbliższych sąsiadów\n",
    " * naiwne sieci Bayesa\n",
    " * Space-Representation based Classifier (SRC)\n",
    " * Support Vector Machine (całkiem dobrze wyjaśnione w [13])\n",
    "\n",
    "<div style=\"text-align: justify\">Rozpoznanie audio działa niestety trochę gorzej. System rozpoznania emocji w mowie to aplikacja przetwarzania mowy, która wywodzi z niej wzorce takie jak współczynnik mel-frequency cepstral (MFCC) czy też wysokość głosu. Wzorce te sa następnie mapowane przez klasyfikator w fazie trenowania i testowania, przy użyciu algorytmów rozpoznawania wzorców, w celu rozpoznania emocji dla każdego ze wzorców [5].</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Ogólny schemat działania takiego systemu ma postać:</div>\n",
    "<br>\n",
    "<div style=\"text-align: center\"><b>dane wejściowe (mowa)   -->   ekstrakcja cech   -->    wybór cech do analizy   -->   klasyfikacja    -->   rozpoznanie emocji</b></div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Na wstępnym etapie mowa jest obrabiana w celu usunięcia szumów. Następnie wyodrębniane są jej cechy (ton, barwa głosu, wysokość, szybkość i inne) i wybierane są cechy, które będą wchodziły w skład wektórów tworzących przestrzeń emocji (w podejściu wektorowym). W tym celu plik audio jest dzielony na segmenty oraz filtrowany. Tak przetworzony sygnał jest następnie reprezentowany w postaci n-wymiarowego wektora cech. Wektory te są przechowywane w celu późniejszej analizy przez kalsyfikator.</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Klasyfikatorem może być sieć neuronowa czy tez drzewo decyzyjne. Klasyfikatory są uczone na danych treningowych (dużej ilości), a następnie na ich podstawie do wyuczonych wzorców porównywane są wektory wyodrębnione z danych wejściowych. Skuteczność obecnych metod to średnio 80%. </div>"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Zastosowania ER<a name=\"Paragraph3\"></a>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Rozpoznawanie emocji znajduje coraz szersze zastosowania w wielu dziedziniach życia. Warto tutaj wspomnieć między innymi o:</div>\n",
    "\n",
    " * zastosowaniach w marketingu - dostosowanie treści do reakcji użytkownika; celowane reklamy; prognozowanie rynku\n",
    " * zastosowanie w samochodach - kontrola stanu kierowcy, pasażera\n",
    " * Snapchat\n",
    " * szeroko rozumiane zbieranie informacji zwrotnej od użytkownika\n",
    " * API\n",
    " * edukacja - dostosowanie do stanu emocjonalnego uczącego się\n",
    " * gry komputerowe - immersja\n",
    " * zdrowie i medycyna\n",
    " * monitorowanie obywateli (!)\n",
    " \n",
    " <div style=\"text-align: justify\">Na ten moment ER jest najbardziej rozpowszechnione w dziedzinie sprzedaży i promowania produktów.</div>\n",
    "<br>\n",
    " <div style=\"text-align: justify\">Jednym z popularniejszych rozwiązań w ER w marketingu jest wspominana już na tych zajęciach Affectiva. Systemy Affectivy rozpoznają emocje z użyciem smartfonów oraz kamerek internetowych. Algorytm najpierw odnajduje twarz wykrywając jej cechy charakterystyczne, a następnie mapuje je na wyrazy twarzy, te natomiast na emocje (rozłożone w czasie). Affectiva bada reakcje użytkowników na reklamy i produkty, pomagając budować bazę klientów [3]. Więcej o Affectivie można znaleźć w materiałach szóstych. </div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Na rynku dostępne są również roboty, które wkorzystują emocje w trochę inny sposób. Zamiast antropomorficznie upodabniać się do człowieka, wykorzystują one do komunikacji inne formy przekazu - na przykład wyrażanie emocji przy pomocy koloru [8].</div>"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Rozpoznawanie emocji a sztuczna empatia<a name=\"Paragraph4\"></a>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Rozpozanwanie emocji jako narzędzie do obsługi sztucznej empatii jest stosowane w robotach służących do interakcji z człowiekiem, w celu zwiększenia ich akceptacji. Badania wskazują, iż jej zastosowanie w znacznym stopniu poprawia interakcję z robotem, nawet jeżeli nie jest on antropomorficzny [7].</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Jednakże sztuczna empatia wymaga trochę innego podejścia niż tylko proste rozpoznanie emocji. Empatia zakłada nawiązanie pewnego rodzaju łączności z drugim podmiotem - oznacza ona interakcję w czasie a nie tylko wywołanie pojedynczej emocji. Oznacza to, iż w takim przypadku konieczne jest rozważanie kontekstu i historii interakcji, w celu określenia procesu emocjonalnego rozmówców. Takie podejście do rozpoznawania emocji można spotkać w przypadku ER w konwersacjech. W przypadku rozmowy pomiędzy dwoma podmiotami, emocje są rozpoznawane w pewnym kontekście, z uwzględnieniem historii, emocji drugiego podmiotu, stanu mówiącego i treści samej wypowiedzi [9]. Takie podejście umożliwia implementację inercji emocjonalnej, znanej z psychologii [14]. Stosowane rozwiązania to np. Long Short-Term Memory (LSTM) czy Conversational Memory Networks (CMN).</div>\n",
    "<br>\n",
    "<div style=\"text-align: justify\">Badania wskazują również, iż właściwie rozpoznane i wyrażone emocje pozytywnie wpływają na empatię użytkownika wobec AI. Według badań aktywności mózgu, wyrazy twarzy robota są odbierane przez mózg tak samo, jak wyrazy twarzy człowieka. Ludzi nie mają problemów z rozpoznaniem u robota takich emocji jak radość, zaskoczenie czy złość, nie potrafią natomiast rozpoznać strachu czy zniesmaczenia! Podobnie, pozytywnie odbierana jest mowa ciała robota. Szczególnie pozytywnie na emocjonalne roboty reagują dzieci. Co ciekawe, ludzie wykazują też większą agresję wobec emocjonalnych robotów niż wobec tych bez emocji [10].</div>"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Zadania <a name=\"paragraph5\"></a>\n",
    "<br>\n",
    "<div style=\"text-align: justify\"><b>Zadanie 1 </b> Zrób sobie 6 zdjęć przedstawiających różne emocje: złość, strach, szczęście, smutek, zaskoczenie, neutralny wyraz twarzy. Następnie spróbuj rozpoznać emocje przy pomocy następującego kodu (wymagane openCV, TensorFlow, fer). Możesz skorzystać z przykładu w [1]. Wykonaj poniższe kroki, wpisując odpowiedni kod w puste miejsca:</div>"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1) Zainstaluj bibliotekę fer do rozpoznawania emocji. Z fer zaimportuj FER, w celu rozpoznania emocji twarzy."
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Zaimportuj pyplot."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt "
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wczytaj jedno ze zdjęć, które zrobiłeś/zrobiłaś."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "img = plt.imread(\"happy.jpg\")"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wykryj twarz."
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wykryj emocję funkcją detect_emotions przyjmującą argument w postaci obrazka."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.image.AxesImage at 0x1dfbc25b730>"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAigAAAGLCAYAAADtbWlYAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAAEAAElEQVR4nOz9a6wtyXnfB//q0t1r7b3PZe7k8GIObSUiJUWMLqaI5HUcmxEdKw5k631h4TUCxTFiICANOMxVQKJESQAB/pLAcOJ8CSwjiIDAH2wjSsDXCm3IVkRSJEWNhrcZzoVz4cycmTn3fVndXZf3w1PVq1evXmuvtS/nnBnvZ+bstVZ3dVV1dXXVv/7PU8+jYoyRC7mQC7mQC7mQC7mQB0j0/a7AhVzIhVzIhVzIhVzIUC4AyoVcyIVcyIVcyIU8cHIBUC7kQi7kQi7kQi7kgZMLgHIhF3IhF3IhF3IhD5xcAJQLuZALuZALuZALeeDkAqBcyIVcyIVcyIVcyAMnFwDlQi7kQi7kQi7kQh44uQAoF3IhF3IhF3IhF/LAyQVAuZALuZALuZALuZAHTi4AyoVcyIVcyIVcyIU8cHJfAcr/+D/+j3zkIx9hMpnwyU9+kt/7vd+7n9W5kAu5kAu5kAu5kAdE7htA+d//9/+dz3/+8/xX/9V/xe///u/z4z/+43zmM5/hrbfeul9VupALuZALuZALuZAHRNT9Chb4yU9+kp/+6Z/mb/2tvwVACIEPfehD/LW/9tf4z//z//x+VOlCLuRCLuRCLuRCHhCx96PQpmn4+te/zi//8i93x7TWfPrTn+ZLX/rSUvq6rqnruvsdQuDGjRs88sgjKKXuSZ0v5EIu5EIu5EIu5HQSY+Tu3bs8+eSTaL1eiXNfAMo777yD954nnnhi4fgTTzzBd7/73aX0v/Zrv8av/uqv3qvqXciFXMiFXMiFXMg5yquvvsoHP/jBtWnuC0DZVn75l3+Zz3/+893v27dv8+EPf5j/3xf+L3b3diECCuQLqKiIKn3v5dPXZuXvMUaUUlg7b4oQAs55QgiUZYHWmhgjTdMCoPU818zgKKUWvqdSep8K4vwIRFSqXz42/H5ecpasUz+vGONSu+rUriEEtNaY1Jbee7xzaK1Rxkg+MRK8765dbs/N6q5UgNy6MaVfuixAVKjBiXhs9pGunylFjKrX9RbPjV2ZK6NY1qwu9gPdy086zrx9FdYWoCNt02K0RRtN8A7vPUorYpR+qrp8UrkL1Rr+7tdFERWoGM+1L94LGb73+dn0+2sIEWMs2hhi8LRtQ1EUKGsgSjvH1IdRihgCwMIKcKy/Dss/q/s4j/QnyWt4PP9cPh4ZZlGUBq20jAVe2nPsXR/20ZPe1rr2OGlbHXdd/2w3K2zQljFdqZVGa41L73aMEa0tZVHgvadpRLOgjaYsJgA0bQPEND6FhbG0P74tjn1xXtdu2ooL18zrp4E0xkbS95F7WPiuunQHB4f8+f/3/5dLly6NtkNf7gtAefTRRzHGcO3atYXj165d433ve99S+qqqqKpq6fju7g6X9nZTQxhQMQ2oiqAGnaCbQBbBSf6nte5ASoyR2WzWHZ9MJiilaJpmYfLsP3jIL1R/0J8jEtVHHz1AtQBIcnJ1fgDlvMAJrGhXazHG4FoZ4IuiAK07MBa9x4dADKEDKUrrFQPV6rrLqS7XfJSlluxOzQFKJC6PgqMyf4BqIX8pV+X7T6cWAWd+1qmPLEDVIZCmOxIJQCSGuHDOFlaASIjdIO+coygE7Dnv0ap//3liXqRU1fA96SSnCyvOvztkbKJc9WltiTGatm1xrkApRVEUAlqI+NYRwnwi3RZAn8UkOFwQnCQfmbhi97lpeWNlrmxP+bFUHoDSCm0MWuu0GHT0u+Em7XmSttzkmnsBAjcCKGn8tNZ2C+S2bfHeo7WhKEpijNR1mdo2UpYVWhucq/DeodRyP43z4aCT+TgV+9Pk0vG8OJJ/oUsXGe8T8r1DNzmXebkbjLn3ZRdPWZb85E/+JF/84he7YyEEvvjFL/KpT31q43wWb1AGcmDQELEHuZdftvzPOScvilJoramqCmNMly4fzw9cr51EVa88tTCNQSSqOJiu+oPH+bInZ7WqWg8WeojdewCsMfJUlLRHSPXQ1lKklxBYACery+jfQxj8hlFgslzLRLBEZHQMg7P5v5SbignD5JdUj5ShunwXahkFeaolAJXBjAwc86G9B/RCIPj+Sw0xBoIPKDRam9R/W6zVGGNRSqeyQlfv/mpUnk9cA076eG2kHSWT8++sZyyLk6iwTIusX+iYJ6CbPOXZLfbLVf/WyVnby21a7ipZNRacNL8M3rQxGGvQRo/mlcfO6AO+nYOT4WR6P+wLty3zNPXc5Pk5J8wJQFEUGGNSO0e0hqIwaA1amx6bF5fy7j7j4rJqseTEqayojlJ5IRZYM3QszouCbJgv6raT+6bi+fznP88v/dIv8VM/9VP88T/+x/kf/of/gYODA/7yX/7LW+TSpwDTxLGAEMfox0Wk36do+x3BDlQTIYS1qof57+UntzDWx8HKWilCjN3EPQ6ltpexldZpXvhtrh2u1EIIGGMoErCL3uPalqxaW9e24209B3PLY+ww3YBkXbqNYR9aKILh8+zToh0PooCYVCLLGQzqPqhAB2jnDIlSAjxCCKlPRowp0NoAManIAiH4lFZTVZOuvYUuV4AhdjXug+b1ILUbiFT/mpGmGeS3rWpj1Qr+PCWvSkETgsf7mPofKOVFzaMtZam6d18pnfpxXFqYbHs/J2FANs13m7L76ceu3eRZLjCmRLRJLHTOL42bwfmFMrzzKB06VnBYfh4H1t1PX023qWzaP0/DUp1FPfoL5zwu5sWytZYYW5xrO8Aix2Tc8N4Ro0/rBz1ansqLs36b073FC+yu6p2NzMeG/jw2/izmk52K8+u3lfsGUP7iX/yLvP322/zKr/wKb775Jp/4xCf4whe+sGQ4exIZf5lCdy6fN8Z0Dx7k4bdtS9vOH75J9hEZvHQr/VEacviAlkWp+ePPNGh+0HkNf9brhtOuRDa9fkjl5u/B+4V2dE3Tpe2zVmNljZc9t6tYz7KMvRJ9QMKKNClZ7kejRcxf5/xrPp0rohIGo0vZW7l0mar51Rk8x7TSmLeJARTG2AVQrZSmdQ6jIWqNUvQAzfjKbg6gN6VZVwzggzPrJuzj5CTAdxsZTnTGmAT+ks1JAoKyUg0o1WKtgMHc5pmh6lf1NCBlmMeYSuU4wHAWMgZYhvVfZ78zTKOtvONN26KVwliLVgo/skCKIS6VP0yzzT2cRd84aZqTyiY2MXkRJ2yfAOaiKLp5qm+WEILDe5fGleV2PJbhYz6qLYx/6Zjqgww1vHKQg4qIPilfpUDF49ZGS3JfjWQ/97nP8bnPfe4UOax5wIPV8LAzaK0xxnQrfK1lJVqWJXVd45zDWotSCudE9zz2gMfByaa1XGRSVFyPMtch++G5/mByWtkmr366rDuNUYxftTFiIzSgcYeT6bqyMvpPNaOH43vHtpWxaxOiGECPfroOTAS1eLqTbEw2PLfIlnWrkbTSkFUQncoGIARP24qRtuilDdYamqYWhVNqa8jqx3nd5fsiODk1aD3BNWfB5G0jY5NunFNeOOcWFiEC8Bxt23TH8vggjFK+drGMs6hnX046IW6Tz9izOJa1GOS58D1dH0Ig+oApS1SEtnWj5QzHq01YhbF77OfZT7dpXzsPdmoV27Qun7F6xxi7fti2YoJQlrJwLsuStm1peou9/K7nMbLjTrcA04vDlFrQOiwkyuWhesqb3ljZz7cbi3LdNn9n3hW7eFbLatqxf0os8+eryxhjt2LPhkdKKaqqWkCo/Ty3nUjX13KxI3SMSp64B+fvpZzXiiGGQFKWjgKUfvmDK5EXb6xFlpH7/CVRveORcXOrYZ6D3wsMSsqvP0ml86GPmRaymNdlcddO/8WP6XfOM4OUFjCyWyfzLFEmSuciZaXRaLTSHTs4b89UygLAOp7de9BlHeOQ5bi+G0JMi4284mwpijLp8FWn45cdE6FrS9m9Mx/0x8o
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "from fer import FER\n",
    "detector = FER(mtcnn=True)\n",
    "plt.imshow(img)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Pokarz wykryte emocje."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'box': [337, 144, 260, 362], 'emotions': {'angry': 0.0, 'disgust': 0.0, 'fear': 0.0, 'happy': 1.0, 'sad': 0.0, 'surprise': 0.0, 'neutral': 0.0}}]\n"
     ]
    }
   ],
   "source": [
    "print(detector.detect_emotions(img))"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Sprawdź wszystkie 6 zdjęć. Czy emocje zostały dobrze rozpoznane?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'box': [34, 211, 542, 685], 'emotions': {'angry': 0.09, 'disgust': 0.0, 'fear': 0.04, 'happy': 0.0, 'sad': 0.25, 'surprise': 0.0, 'neutral': 0.61}}]\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAATYAAAGiCAYAAABtS+r8AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAAEAAElEQVR4nOz9yY8kW5bmB/7uJIMOZub+/A0xJbPYxak3JMAq1qIb6A0BLrgpgAsuCa5Z3CRAgLUhUava1oL8I/gfsBfZWwIESKCZlVmRFVE5ZzwfbdBJRO7Yi3NFVM3cXsSLrG5Ge6TfB39mpioqoip677ln+L7vqFJK4fP4PD6Pz+O3aOjf9Bv4PD6Pz+Pz+P/2+GzYPo/P4/P4rRufDdvn8Xl8Hr9147Nh+zw+j8/jt258Nmyfx+fxefzWjc+G7fP4PD6P37rx2bB9Hp/H5/FbNz4bts/j8/g8fuvGZ8P2eXwen8dv3fhs2D6Pz+Pz+K0bv1HD9j/+j/8jv/u7v0vXdfyDf/AP+F//1//1N/l2Po/P4/P4LRm/McP2P/1P/xO/93u/x3//3//3/O//+//Ov//v//v8J//Jf8Lbt29/U2/p8/g8Po/fkqF+UyT4f/AP/gF//+//ff6H/+F/ACDnzE9+8hP+6//6v+a//W//29/EW/o8Po/P47dk2N/ERb33/G//2//GP/7H/3h5TGvNf/wf/8f8L//L//LR8dM0MU3T8nfOmdvbW7744guUUv+nvOfP4/P4PH6zo5TCfr/nhz/8IVr/8mDzN2LY3r9/T0qJr7/++tHjX3/9NT/96U8/Ov6f/tN/yj/5J//k/6y393l8Hp/H/x+Pv/zLv+THP/7xLz3mN2LYft3xj//xP+b3fu/3lr8fHh74nd/5Hf5fv///ZLvdoJQSCz57b3N0rRTyH+LZlYJSCqUUuR6jlarHsbz+OR/w8tRPo/dSyvIvl4xSavmbUkgpoUqm5CQnyJmcC6lAIhFzkudSouRMyImczv9SSpALKWVKzpQUSDECmRQjOUVKTqQUyClQUiRFT85QUiKHSIweUibHSImBkrLcg5ShFEpOlBwoOaOKQisNhfpZ5B5prdFaL/e7qHpjlEIrRar3RS33VZ4vut48ZVBKXqeUQmld/xkKUOqN1lpTKBSlKUqhtJHjlKKgKUpehwJlNCln+XvexBWgNLlktDGAQStHUYoCKC1zYHlfSMRgzNkLUErXmVPk93rsPH/me4FScp+emTU5Z3KW+TD/Pp/jcu7M1398fgPM1zEopTDG1GPNcrwxph6jltfKvLYYI/dN/tYX51bLa0tdE6be42WNaC2fSKtlHS33pj736DF1eX++y5vKjz7z5bh86LuyY4fDgf/b//3/wXa7/Y7zn8dvxLC9evUKYwxv3rx59PibN2/45ptvPjq+bVvatv3o8c1mvXzIxbjx8Y3RWmOeCVnnCTcv1vmx2TB913j6XM55eWyevAAppfPfOUE1bqrUSV8gkojpbNhyToScIGdiCOQkr08hns+XHdF7ck4kYyjZkHMiJ02KQNakpCmpEEIAo0gBSImkFYmMtkYMpc6oUshJUYpGlSLGDaDkuiAsBVkI8/1RSi2GrdT7ZpXcazXfHgVoDXXRzYZNzYulGgZlDCmX+phaFlNRWhZJNW7Uc4hFU9UYFpLWaKPJpYix1vN7kscVBm0Mpb4ulyyLWqtHhvpsXKphWz4ri3HRSpa01moxMGIc9Edz4HKezAaulPLo98u5thilaszkOuZ87foeLzeY+Tu5fEze5/l1ANael/qlkZxfO39elBisUoocU7/jp+vj0rBdGtT5Pc+f//x4/bZ+RUr/0kl47t48/f27xm/EsDVNw3/4H/6H/P7v/z7/8B/+Q0C++N///d/nH/2jf/S9z3MZZ1/ejPmDzzellCK7+qPX1N0YVV2FwtlX+9evpzz6Qkp5csb5C1YfvebSI5wn3aWx/GhyVGOSc5LPoxQpy+JhPlcp9Xf5Wz/1GOb3V8TQy7Pz4swoLTv+5ec6X78eXS7eVy71PivImVI9D/l+snjRWlNyBq0pKVdPTZEBTTWcy/uDlGN9V6l+n6VuDkU8MK0JKeODPF8UpJyxzuGaFqpHWSjixSmFbdyzxkJrRSmy4TVNU59LGG3Q2opRQ6Gq912/lUfG6ul4bpFeGsKn8zbnwuwtXh7z9Du4fO3ltefvev77uWtc/l7IZy913rDqx9Dfw5A8N546Cd+1Np973eXPv8n4jYWiv/d7v8d/8V/8F/y9v/f3+I/+o/+If/bP/hnH45H/8r/8L3+t86SUzh7XhQF5fFNLDa3Khc0q1ZTVgCOXc7iJ4qkpejpK+Y7dRylZsDyezPNr5OezJ6wTrHB50BzCzF7h09eWUsg1hH06WXIpKCAX+bTzvSggxy/nvHydLGrxUuSz5JyQKEU9mmz5wijO4eNiUHNGG029JDkXxPmSvX6+nlb1vaHEc0W+00KNkut1QkyEGCUURQxwqvclFTGWPhbGKS7GK+UENcTMSrw5bQzWOZkf1uCsxTr36HNYa8TR1AZrLU3TyE/naF2LtRLmGSOeoBjxsmyc5012/hrPG26hUNJ5duUsRn325M5RR168wKfe3nyNeY49N1S9r88df3meOWpRWqMv5uulR/essf54X37mPfyy6GcO82W+fdfrfl1PbR6/McP2n//n/znv3r3jv/vv/jtev37Nf/Af/Af8z//z//xRQeGXjpzRgKm7e32w3vBq9fX5d+ZFteTLzmFLRhZyXXLzAfVl5x3k8kt6usjnPFGZj1OKogsqZ5QRAyPXFy8j54zKBQOkIrmJSy8g5UxGvI85L1VKzYlxNoRZFZRRkBUlgS6anBWQQBXm2LCUtBhOeZ+Ahpxm76A+X8TLyrNXWSIpRcl1FQkt5alzmJOrRyX5OEcuNbTVNazRYuTEOZMQt1CIIROpxrco+TtmtDL4nEglkwqcpomQCkUpEnrJ5wHElEgxEjOkGuaXXAgxkFLCOIuxhkLBNY2Eb9SwtxQJ00rBWod1lpQTMQe0UjjXSCqka1l1LV1jcY2j71doZ1FaidEzFmss1ooXqJY5Md/vvIRwhQw11zjfxuWokuomPHta821W1YvLyLKVcFMt3+3ZY5R5Xeo91szJx9n7exw61rmMkqkyb/Xl7KldOgvzKLAYwsfnKig1e5x1vjM7ApdGSp57vNk/3mD/dcZvtHjwj/7RP/q1Qs/nxlNXN5W8JL2B5fdcfy+lPAo9Us5nj+PC49N8vENcxv+Xj8E5FLt8fn59ykkmdMlL6KcuXnu2ytVQGIsP/lEYgVLknFDV4FxeR9ddd7k+T9/L7Kmd8xxLsSOfDd05dK3vWdVd/MKTyBRKZsmjUAopJuYNQ9UrSbJdPMw58a6VhJSJQskSGsZcCCmTiyKERIgFtKGUiE+BWKTIMoXIGDwxZbR19X5IHjLlTEqJpunwIdTQXIo2IQTwHuss1lqCj7Rti9aaEMJyjDFm8cxCDEx+IqWMaxzb7Za+79msV3TO0K969vsBZbR4gNawah3GmCUfbIyVJHv1WnW9H/O8yBdz6JFXtXhoGvVooc+/6yff83l+ztHLZa5Za8glY7VbDMayNBbP8rGhK3VzzUqM/6W/dZkzu8wlflwQKReGdJ7bl47Bpcd2XgtaPzVoiqfr6vuMT6Iq+l3jo9Ar5+/kUuSLMHTe9+apdnme5ypWjwzMxXGPjCqPd7bZ3S88Pnd5YtSefmG5FHJOjyZduXgsl/NkqCeAXCgSb9bP9jjUUZxzLqVcJIDVYonIKc0+roRyyiynl9BcyTWUEq8p55rfM6ScxdstkpfR5BpiSkJfFU2KUaq1BWIuRKXxCUYfiKlQ0LVKDEUXphDRxpAVeB8YvccHD9rglBRZqO8/UYg5EYYTFOj7HucMMUaM0YzTJOFtKTh3zqvN4Zb3fjFuOWcJNXWDHweiH1HZEH0mjpG2seweTlBD1Zgi1mqslXOv12s2mzVN04ihbCRstdbirJVcotIX3svsvUvFXM25SJakwRLWnudk/a7V+ft86rFpfWFEyuWc/Xj+zo8/N77LlKj
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "img = plt.imread(\"sad.jpg\")\n",
    "plt.imshow(img)\n",
    "print(detector.detect_emotions(img))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'box': [829, 189, 365, 500], 'emotions': {'angry': 0.99, 'disgust': 0.0, 'fear': 0.01, 'happy': 0.0, 'sad': 0.0, 'surprise': 0.0, 'neutral': 0.0}}]\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAjAAAAGVCAYAAADgyMuvAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAAEAAElEQVR4nOz9WYx1S3bfB/4i9njGHL7xTlV1q26NZFWxRBaL1ZRp2s0W0aYfDFMNP8mS209CkQ27AMOmYdiQAZuAX+wH0/aLIXQ3TEAQDEkNyhKapkTKJKtFqYol1XRruFV3/qb8MvPkGfcQEf0QO/aJs/OczJOZJ/PLe2+ui7z55Tl7R8SOHcM/1vqvtYQxxnAjN3IjN3IjN3IjN/IeEvmsG3AjN3IjN3IjN3IjN3JWuQEwN3IjN3IjN3IjN/KekxsAcyM3ciM3ciM3ciPvObkBMDdyIzdyIzdyIzfynpMbAHMjN3IjN3IjN3Ij7zm5ATA3ciM3ciM3ciM38p6TGwBzIzdyIzdyIzdyI+85uQEwN3IjN3IjN3IjN/KekxsAcyM3ciM3ciM3ciPvObkBMDdyIzdyIzdyIzfynpNrDWB+53d+h4985COkacqXvvQl/uzP/uxZN+lGbuRGbuRGbuRGroFcWwDzt/7W3+KrX/0q/8V/8V/wjW98g89//vP86q/+Ko8fP37WTbuRG7mRG7mRG7mRZyziuiZz/NKXvsQXv/hF/vv//r8HQGvNSy+9xG/+5m/yn/wn/8kzbt2N3MiN3MiN3MiNPEsJn3UDlkme53z961/nt37rt+rPpJT8yq/8Cl/72teW3pNlGVmW1X9rrdnf3+fWrVsIIS69zTdyIzdyIzdyIzdycTHGMBwOef7555FytaHoWgKYvb09lFLcu3dv4fN79+7x6quvLr3nt3/7t/kbf+NvXEXzbuRGbuRGbuRGbuSS5a233uLFF19c+f21BDDnkd/6rd/iq1/9av33YDDgQx/6EH/zb/9d2u3OyvuMMVyFFc1pgVbVtUxLJIRACkEQSFSp6nsvplHS1c9mxRiz0C4hBEEYUhbFse/OIpepPVvVnzIIkFJSluU5CwaB/TnlMgyNC9e891mJAUyzcRtoszGGMAwxxqCUqmq6uAghaE45+9n5yl82ZuI4oihKtFZrjtfGC2+Uvf69a0pjjbPPr+s5qpQ6ds3yYprfL3+OTUg9zpZW8Wxmh//8J/XVqu/c50EQEIYheZ4vjKfT7ju13jO+A4M5vhOsmMvGSKIwBqAoC/vZJa3NxhjGoxH/j//7X6HX65147bUEMLdv3yYIAh49erTw+aNHj7h///7Se5IkIUmSY5+32x3anesNYIQQCwufu0ZKSRiG6LJEa71QzvnaAMZcDoCBxXZHUUSWZcRxfKEyrwLAOBWlMYYgCBBCUJYlcRyfr/4bALN+edU7CMOw7ndX6Drz8jQwsmkA48SB8iRJyPOcKIrOcPfJG//JbTt7LzfXOLve2I1UKVWvLeuXt/TTM7frxDq4fgDGl3X3DXeNGy8+eAmqMb/s+lWyzrtad2yvA2BcWXHcQghJnufESTJfuy5B/L49bf29ll5IcRzzsz/7s/zBH/xB/ZnWmj/4gz/gy1/+8kbquCrgcmYxxg4gIQir05FS6hjIOWfRG5dmP7oJmmXZteceufYFQVC32y3qa/e3WfJzpkY0yjqHXPk4vsjzNkQIas1LWZaNZzm9/9fTGiw29Dz91bxHCEEcxwun6LOWZ3+ofsyaa9KyAXfyjxBUP6IG5VEUo5Q659i56KA/R43GYJboGPx+u5brOcc1L1mWnRk0XrqseI3GmPoQmuf5tVvTr6UGBuCrX/0qf/Wv/lV+7ud+jp//+Z/nv/vv/jvG4zH/3r/3722k/E0P9nVf7InXGYOsNs4wDCmKAnOGss8vguNYVrPuwuROtEFleimKSsV4AdPRVYmUEqUUaRwjhWQ6nSLwNCNrtH/dJ2xq4WyvCxBugT6buPI2oVE4U70XvN+NCzvOI7RWaK38K1bUdtFnPBs4OkniOKYoCk8zepHSLvfdOYAEBq0VrVbKdDqtTHVWrus89U/iguPatOY1Vymn0QL869zh6KIgYJmm/iLir/quNFeD1po4jtFao5QGFteZZU9x1RDy2gKYf+ff+Xd48uQJ//l//p/z8OFDfuZnfoZ/+A//4TFi73WSTU2gKIrmqketz1Xu8oG+rmraVH+vp8IHe4p24OWiwOWqFyKrddEoo4iiqDJjmDPZeM8CYo6d5quF4TxPHYbh+bk655BNvBl/zASBrMHL4rgRC6BgmQbkogv4WcpY5LzEtbbo4mP1KpZ8swB2Z7NZvcYopU708njW4o8VEJTF1Y31k+Qs4MWZ1B1gdONmFZ3AyUnfn2Y2PamM+jpvNhvMErOR1byUZYkQYePe4/Is9F/XFsAA/MZv/Aa/8Ru/ceFyrkK96OrwF4qzirOROg2G20ydSeO6SJN4JqVECFG3+zqLv3C4xQVAVRtSGIZW+9UwZ2yi/5tjpNmuZdevar9vYtTnBLkn1b2q/ouKr63TWlMU+cJmKoRY63ku3jazlkm1+b58zctJbbwu5gzXzubaorWueTvLODLL5KqfSQi7KQZBAFAfLJrb57NeG1eBCjfOgyCoTeoXMTuuW+8mxI2Nq1rTz7tHX1/ovUG5yol31rqMMfUiE1XqOvdZWZZEUVRPYJgTfldtgpvgypwm/sRxpwt/oF/E4+iy2+6DF5846kx17mQdRVFNGrqME2rzXfl/n9QPPulVa70R8HLSzyalSdi1J1JBnuf1OLImmWVj+/RxdRkgzge8SZJsRMN4VaK1RkrZ6Nv5d03y8VXMv/XF1OBlTu5eDl6uat1bJsvq9w8YTvNizTCqdg5wcpom5aRxeRnz03FenBfm9RoTx+Vaa2A2JVfNEYD17bJzLoA1BRjP28gRG50mxoGb1eWe9IynmZGO0eOOX9FYuJuni/eS1JoXp90yc95LqRQh9rSdVxsW4Jl5nt2z+poXn2x8kfF9miq7cfVJrTuxHtd2B87nC781PTqwbsml7p5ldSxvw9n7wN8Q5/PDGFfvHFy6k/McMF4PDYsT++jHzWxgT9N5ntcmDH+jLYrimFbpemiPBGEQ2vlYFGjHm1p26bLmeu/vWYjzIG26Sjsg47zX4HpwBd17d4DWcXVOpx+cod3NcbWBsfaBADBwueo2v3y/jtNUzM6EEQRBDVAWllNj0BV6d3Z3d4o6/hyGk92jTwM36oTvj7f9vUbY9dvmTqWOO2LcjuWx2AqtCERQb1y1puQc9W1CfC6AO9H57t/r3LvsutPAyybmjSvD8V0s8AJY9B7J83zh9OfqPd6XTdBxEVkGYha/axJ2rxt4cTJ/Raaeo84ZYJXXiwMxTov6LMGLT+4OpEQiKPICgSAAe8hYMq2uCx/DX9OllDXghcVDtPP+cmuLf++zEmMMSZLUh2b32VyWjZ/g2CenPUFd5pL98jzygTAhXZUa7Kx1OM5FDV6snnz+cj3zgtPENDkc9uc0L4jNTGefv+BAl7/onLfMTb6f00whvkr6GCdFsNCR7r1YAqFXx5Kfs7TlvM/qxoqvebnMcb2p8t2YMYalhGNXhwMuDtQf33SbfbipZ29qLub/juOoMc43VOW8tjV/TitjUVwfFkVRb5jLTJYwNyeFS+KSXKW49cVx6pz2wvaA1w9LumXdnrpMceCl1qZ7z+K+d1oYBxTOHWvqDG06rXynefHBy3nadJERfF5532tgHE/gsmTZi17n5S9TMa4q32207oTaRPaXKU1tkr8wvlfEPxnN7emna8jAnpacLbsoCoRZLPO0ci4iPlh1phf/8+a7WVcTs65sivzuR9g9yabv6syyjCiKatOpbcNlgIeTxWpeyjPxjI7319kb7ZssG98sudqas/yxYg8YcjlIP6HOsizn4RuegSbGaSWcVgguf33bhCz2e7Bgalyl4fTncpIkdWyYcwGHc2pJXTt8wu764xycps83Y6/TBuPauoEx9oHQwFy2LDvZLEO+/mLiu7+ehJIXlHjVScmp2a/CXu1PDiFEbU9vfn8
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "img = plt.imread(\"angry.jpg\")\n",
    "plt.imshow(img)\n",
    "print(detector.detect_emotions(img))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'box': [308, 130, 156, 254], 'emotions': {'angry': 0.08, 'disgust': 0.0, 'fear': 0.13, 'happy': 0.0, 'sad': 0.0, 'surprise': 0.79, 'neutral': 0.0}}]\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAfQAAAGiCAYAAAARATRgAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAAEAAElEQVR4nOz9aaxl6XnXDf/uaQ17PFPN1dXdbrfbdgh2ngyOCQ8K4CcmIF4QfCBSBBGKiBTZkYKRAKMQSEBYRHyIAkH5goiQiEA8giCFV34JTsBJ7DiOh8R2u91u91Djmc/Z0xrv4f1wr3Oqut2J3e3uruqq9WttdZ211957rbWH676m/yVCCIGenp6enp6eNzXybh9AT09PT09Pz7dOb9B7enp6enruA3qD3tPT09PTcx/QG/Senp6enp77gN6g9/T09PT03Af0Br2np6enp+c+oDfoPT09PT099wG9Qe/p6enp6bkP6A16T09PT0/PfUBv0Ht6enp6eu4D7qpB/8Vf/EUeeeQRsizjPe95D7/3e793Nw+np6enp6fnTctdM+j/+T//Zz70oQ/xT/7JP+Gzn/0s73rXu3j/+9/P7u7u3Tqknp6enp6eNy3ibg1nec973sN3f/d382/+zb8BwHvPQw89xE/8xE/wD//hP7wbh9TT09PT0/OmRd+NF22ahs985jN8+MMfPt0mpeR973sfn/zkJ79u/7quqev69G/vPYeHh2xubiKEeEOOuaenp6en524QQmCxWHDx4kWk/KMD63fFoO/v7+Oc49y5cy/afu7cOZ566qmv2/8jH/kIP/MzP/NGHV5PT09PT889x7Vr17h8+fIfef9dMeivlA9/+MN86EMfOv17Nptx5coVnnvuOcbj8V08sp6eB4s/KkP3rUbK7lLm7w0nBA98/bneef1ezTV+M16/N+Mxv1Jeq3NcLBY8/vgT39De3RWDvrW1hVKKnZ2dF23f2dnh/PnzX7d/mqakafp128fjMZPJ5HU7zp6enhfTG/Rvjd6g3+bNeMyvlNf6HL/R9+yuVLknScJ3fud38rGPfex0m/eej33sY7z3ve+9G4fU09PT8wbQ1/z0vH7ctZD7hz70IX7kR36E7/qu7+J7vud7+Pmf/3lWqxV/+2//7bt1SK87r0UB3ze74ns9igW/Gc/h9Vx1v1Iv5kHwAN5oXq8i1G/mee+H9zOe5h9/rq/mGr8Zr98b+Xt4t3itvi/f7PPcNYP+N/7G32Bvb4+f/umfZnt7m3e/+9189KMf/bpCuZ6enp6enp5vzF3rQ/9WmM/nTKdT9vf331Q59N5D/9boPfQHm/vj/Qy8XA79DXnl++L6vZj78Zxejvl8zrlzF5jNZn+szeu13Ht6enoeCPr8/f3Om6Jtraenp+f+4W4a1pe+9t2LGPS89txXBv1BUI27m+f4zbz2G3V899KxvFoelHDha8XdfD9fu/fqbn5/X7rl5JzevO1wb8ZiwNeTPuTe09PT09NzH9Ab9J6enp6envuA3qD39PT09PTcB7ypc+hCiHs+T9rT80dxr312H6Rc4yvltXqv3mzX+NWe9710ng/Se9d76D09PT09PfcBvUHv6enp6em5D+gNek9PT09Pz33AmzqH3tPT09Pzanktazju/fzyg0Bv0Ht6eoB7q0jvzVCA9Gq494RQXov3/I+f7/4tPfM99Dl4uXO6l44P+pB7T09PT0/PfUFv0Ht6enp6eu4DeoPe09PT09NzH9Dn0Hv+WF7pDPJvhrs9M73n3uf1zOff65+L+zH//Gr5Rtfibp/jq3mvXs9j7j30np6enp6e+4DeoPf09PT09NwH9Aa9p6enp6fnPqDPod9j3Eu9wC/ltTq2N+oc7+Vr+a1wt/OGb3Zer8/Fvfa+vHHnKXjt+tlf2TW89/r6vzGv5n35Zh/Te+g9PT09PT33Ab1B7+np6enpuQ/oDXpPT09PT899QG/Qe3p6enp67gPu+6K4+7UwqufB5bX4TN9rhUL3A/eayMjrxZutEO3Vfl/upXP4Zuk99J6enp6envuA+95D7+l50/NST+GPczjCS3YSL9n8oicJhJd5um/kl3zdy3/dA8LL7PSSA+kDZz09rzm9Qe/puaeJvbkvsn/fMBQoot0UIBB4Hw23FxICKCkIIj538HcY3+CjiReCELpQpRAIwHUvqYRAhO6owslxBQgB0b1eEKFbKpwgu/OI/criRWf0R53Lmy/c2fOtEj8ZPa+eN7VBF0L0OfKe+x5BODHRL+FOd1fcsXd3Xzgx7CL+CUgVtznrwXu0lggBbdMilQA8zgeU1Kf7aa2I3rzAOU8IAiklwQekjI8/dcCDu/2adxynCN2PtTjZVfDi477zny//o/5mzGl+I+7X/O6rryd4o7LA/hvu8WarFYA3uUHv6XkQCEK82EcP4uvu990P4Yk5v3MPAQjhkcEibCAEjwwB5x3NskZJiZQC1zh8ECAlPgQEAi0lwmmUBEnnsUuFDwEpFUiwju4xEFAoFOJFoXVPEA4hPHFhECAkiKBefJBf98e99WPZ03Ov0xv0np57mPB1sprRxb3TZ3+x2RMIAt5ZpARJwFuLbytcvcI7C8GzWi5YLZekiaFtG7xzWOs4PDxGCJBSUhUlk/EIrQ1pahBao0zC+plzZKMRMkkBg1IJXojo9QuBEvJ2WP7OYxYnWwIyeL7eG+ujbT093wq9Qe/puefpctrxn6fG/CTjKGMwHIFHhADB4tuGYjXncHebvd0dqtUcWyw4PDxgNjuiKkumkzEET1WWEDxt29I0NWmakRiNUpLN9XUSozFa0zQ1ZWM5d+khpEkRScZDjz7OcLpJNlkjlQkeiUR3+fQ7cuWd937n4iPgurDmSwx56LaJ3kPv6Xkl9Aa9p+ce5sRoe++QUiB8IHgHgNYa6yyuKbHVnHK1ILQNe9s3uHXjOteff5bDg11wDmsb6mpJVZYkxhBC4EhJEIFBlqGVJASL1pAyIBEGgqCcL2m1RkpBluVM0pT66CY6yVBpztOf3cZkI8xgxGhtg9FkSjrM0WlKlg8xyYCAITgFIkEqQwjgsUjlQMiY6w8gun/39PS8OnqD3tNzzxPQSuJdQywws9i6YvvmdQ7399i5eZXj3WtkqSF4x9Xnn2M+O8LWFVoKjo+PcLZFG4WSkiSbMJ2OGQ0HCCFomxqjNYNMoXXAWotUgAClRLS5wVNWBc4EhoOEve0bzBZLyqrBpDkqTXEeJtMpItesn9lic+s8o/Em4+lZRpMzZNmE4DxCSIT2CCEIwRMCSHGST39JrcAdXvq9VgB7Nwui7seJca/VOb2R53CviTz1Br2n5x4lhHD6ZXeuxdYl+9s3ePqLn2d5tE9bLmmqFcE1lOWCr+7usL+/zzDPCSFwfHxEXZZkWcZ4POD8uS0Gg4w8zyhXBcfHR0gpYnhdBJbzgizRWOfIBpraWo7mM4qqAaFI0gypCo6OnuPq1asc7O8igLNbW5w7e5Y0TajX1kjHA1xRYucrVpNDjvNtssGEyXST9TPnyUZjUAltK1HSIKU6jUD09PS8enqD3tNzl3i5dflpfXeI1ejexwK2nZs3+MJnf4/rz30V0RYMdGCcaXy14plnn2VeVTRNQ57nHBzPKcuSfJCzcf4Sk8mU9bURibTMZ0fs7u3irWWQ50ynY5aLBTZJmAxGVEVLWbdcvXaNo0VBGyReJeSjMW5ec/X68+wfHXN8dMB0NOQtDz+E0oJlUdM0DfPZjLaFJM3J8ozx2oS1zXWmm+tcvHyJ/Z2nSAdDhmcfZbB2nsFghNYZWqecVsB3veovukrhjqvT2/2enpelN+g9PW8U4SXV6oCX0QuXQsY8svcoBdY1OFtz49oLfO6Tv80LX3sG3xQMU8UgVyRSsbu3w5NPfonxeIrRGcfHc3b39phOxqytjdja2mI8mlBXLYf7B5TFDGtrtBJMRgOEhFu3brK+vslwOGFn74hr12/R+oBDsqotq7pF6gx93LBYFmxv30RpwSDPeejKFaqmoW4Cx23DarGgLgvm84IQBOsbU9bXJ2gjWFsfM5kOeeKJx7h8+TJHuzuMN8+zfuYiJl9
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "img = plt.imread(\"surprised.jpg\")\n",
    "plt.imshow(img)\n",
    "print(detector.detect_emotions(img))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'box': [168, 68, 133, 171], 'emotions': {'angry': 0.01, 'disgust': 0.0, 'fear': 0.01, 'happy': 0.0, 'sad': 0.26, 'surprise': 0.0, 'neutral': 0.72}}]\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAioAAAGNCAYAAAA/wVp4AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAAEAAElEQVR4nOz9WawtWXbWj/5mF7HW2t1p8mRXfblclcYIG2woCswVTVnGSBYIP2DLDxaysHRF+QpKCFES2JSFVBJCwjIYWboXYSGBaF78AML/PxQP/oPKZbtMta6syqxsKjNP5mnz7G6tFRFzznEf5oxYsddZuztnnz6+1M6zd6zoI1bML8b4xjeUiAgDBgwYMGDAgAEPIfSD3oEBAwYMGDBgwIDDMBCVAQMGDBgwYMBDi4GoDBgwYMCAAQMeWgxEZcCAAQMGDBjw0GIgKgMGDBgwYMCAhxYDURkwYMCAAQMGPLQYiMqAAQMGDBgw4KHFQFQGDBgwYMCAAQ8tBqIyYMCAAQMGDHhoMRCVAQMGDBgwYMBDiwdKVH7t136ND37wg4xGIz7+8Y/zu7/7uw9ydwYMGDBgwIABDxkeGFH5j//xP/LpT3+aX/qlX+IP/uAP+IEf+AF+7Md+jKtXrz6oXRowYMCAAQMGPGRQD6op4cc//nH+5J/8k/zLf/kvAYgx8r73vY9f+IVf4B/8g3/wIHZpwIABAwYMGPCQwT6IjdZ1zZe+9CU+85nPdNO01nzyk5/kC1/4wm3zV1VFVVXd3zFGbt68ycWLF1FK3Zd9HjBgwIABAwbcHUSE3d1dnn/+ebQ+WVLngRCV69evE0LgmWeeOTD9mWee4cUXX7xt/s997nN89rOfvV+7N2DAgAEDBgy4h3jjjTd473vfe6J5HwhROS0+85nP8OlPf7r7e3t7m/e///38f/9/v85kMl65zJ1GWpRStNmwo9bRfnb7PMdk0gTuZM/u5nhOOOPhH6FIx3X0zh+3rbuNfq1avn+9znJ7hy172nWqFafsuFXczyjhkxiRvJts991myu93ov2k+5u/3Yd+v+/+uG9ffnnaYffiabZ94uM9owshR5+0lee0v20Fhw4ZgnQfrT5/J93H42c8ap6TXLv27+7fFfO1v89mM/72//v/w8bGxrH71eKBEJWnnnoKYwxXrlw5MP3KlSs8++yzt81fliVlWd42fTIZM5lMVm7jXgzshw2UB/FoEpXjj/vRISr3gqDc6bqXicpJlj9L8vAkEpHj8CCJyv1e98NCVI5ax3Evhg8zUUEU7UlbOaDDgm7I8mdCWnr1y1afqKxa/6NKVFqc5tn0QKp+iqLgh37oh/j85z/fTYsx8vnPf55PfOITD2KXjsXwwL/3UEod+XPSddzNtk8NOebnbtf/EOO463UW1/JOlx1wtjjL63nS6Y8aVh4boFHoHJfu/6Rpi8j8aV+SlDr6ujxOeGCpn09/+tP87M/+LD/8wz/Mn/pTf4pf+ZVfYX9/n7/5N//mg9qlQ/G4XfTHDcdFg+7k7ald50mWPY7tHxWJu9s3u+HeHPCo4U6/k48CjktFH3fcB+dpI9kHP2/xmJ7ClXhgROVv/I2/wbVr1/jFX/xF3nnnHX7wB3+Q3/qt37pNYPsgMQwCjzYe1uv3sO7XgAeLx3kAX8bjfKxHvYSclKwkCEellZ4kPFAx7ac+9Sk+9alPPchdOBQnHkzu4w10QIT1oAa7/uGechdOIlI+S9zpl/vI/buDVS4f93H79VBc5zvEo7zvAzj6/r7D73u3+G2pi8eArPQ5xdLDUSm1cnxYjpMcegYO+2Dl9FYjcuiePtJ4JKp+ToL7JqBsB5073tqd7cPdruckIuGjHxoL0dhiSv9vObKa5UE/kO5Yu9LLLd/Jus+iWuJkIu5HC/fy+3ryN9bTr6PN/x8nDL1TrNq3u1nnwVTB4es57h5fklydGU6yf8vn5MjjOOPzdzwCoA6W8knvmFYscZq9Ud2//XXKbTMsDnF57equz/Gq5Ze/A+083fQVL2ft7/oOvvuPDVEZcG9wJ8RnwOnwKJ/L/oPrrHQ3AwYMGNDHE01UHrUB4iRRkQe3H7cLv45f5vjPTr8fDxce9HHf63P0uJKSxyIt8YAxENfVuJfn5XYx7v3b9r3EE0tUHqdw+r3Y79NEUtK0e6AHOcNlHjY8Tse9Snt0L0sk79dD9lF9qB+Gu7secrR85Yj0wsN6394PnOS83LmWbvHU7ROU5d/vxbbvN55YorKMR/HLdNb7fCdv//c7GvIoXqc+zvq4H/T56G8/xvjA9wfuXsOyan2PygP9YcBwvlbjXpyX4wjKvdz2/cRAVHjwD/s7wf3a53sxQJ7lYP0ofQHP8lw+LPds/82s/bmX0ZQHhYfleO6lcPss8Sh9L+8n7jVZud/bvl94oonKw/LwOS0e9IB9L6ICd2PK9rDjQUaj7nX6pV1/jJEYIwDGmHuyzfuJR/mh/rDgUUsv3C8MGpXT44kkKo/KAHca3KubvreF4/bgjrdzp/t+bBnqgZl70467/HJwvgd1txxXItif3k5r26a3pCFVCgrGGJRShBB68wkhBKy1eO9RSnW/a60RBSEElFIYbYgSERG00qAUEmKqzNTpc0SIMfcv6emWlkusY4wYYw9EYPr7bK3tfn9QOKseJavW8ag+f44rXz50OaWID8nAeA+eksdsRQ6KSVYsdxgpPhFZzv4tx6kEHzVisoxHmqjcSYj5JPPfT3Hqg9jOHe9LZxdwspv+vj6QlbqNmBxmba9OSD0U6sGxlP5+KHXg3+UGYMvTtNYYY1jYGSSHSxGIsY2EpOkxxtseYi05CSKEGBOpkUgIIf2uVdKjZKLR+kZopdEGrLEIQhRBKX2AtCilOjLVTxf1j/W4BmntMR41z0nO50nmfRhw0u/RYfOdxTGqY7418Rix7Ym2cUJt0ak1SP3528+WNRxHLX8kVuzLgWdkpPfgzBs4+H0+DMsE/7DjP7C7qv+cOMHeH/MCdNi2T/sdu9tIziNNVAYMeBhwrwjZMkHpT2+//DETiURMEvFoiUb7o7VGJBBCmjdNB6U0WmuqqsIYgzEG7z0hBObzOcoaQggYY7DWdtutqor5bIYRxWg0whjTER5j0jJKK5TSt5GRdh+ttXm/pNtf5xwATdP09vPe+rMMKZ77gwfJ9x+Cd417ipPcw4/6fT4QlQEDHgDulty0yzvnCCF0FTft4N9/MMUY8rT0u9Ya7wN13VAUBaCw1qGUpq5rvA9sb+9w4+ZNqrpiPB6ztblFiIG93T1m8xkShc21dS5evMjGxkaPcGisNbjCoY1eSjUtyEZLRoCODK0S4i7//iAeuKuI0lHh+uV5+9MfVRznTPvoDoGPDo6699uo5eN6HQaiMuChwaP+MD8JzvoYD9NyeO+BRGTaiElZluzv72OtZT6fM53OUWrK7u4uk8mEc+fO4b3n8uXL/MEf/AFvvfUWIQQ2NzfZ2Nhge3ubGzduALA2mTAqR2xtbXHu3DlGoxFFUbC2tsaFCxfQRiNE1tfXGY1GxBip6xqlFEVRUFVV97tzDhGhaRqMMTjnuv1fkK14IMJyWhv1Pk7iKbFqG6siW6vWd9jyjzzuVKQy4I5w1D24+t46WqnyqAppYSAqAwbcN5xVFKU/eIcQKMsSrTVN09A0DSEEmqbJAlnN7u4e1hqKouTGjeuICHt7e1y7dp0QAtvb28SYSIXWmnfeeYevf/3rzOfzA9GO/f19mqahLEuKomBUlJ0ItyUc4/GYjY0N1tbX2Njc4NKlS5w/fx6lFPN5BcBoVHL+fCI3GxsbFEXRpZ0gVQ1prW+Lwizn7M/qPC5P7/99N2WfZx1deRQHmBb6GJZzL6XTaknbevvWeWjzQ8fdQ0dNV7kiYNU8j9q9NBCVAQPuEndTZnwS4WhfgNqi1YS0lTzT6ZT9/X0gDfRN0/Dmm5e5cuUq0+kU33jqpubGjRvs7++zv7fPdDqlritm8znVfE45GrG+tsa8qtjd2WV9fY2matir9miahhgjrnA0VcP+7j5F4ajrJpMZnQlG0roYayjKgvX1lB7a3NzsjkFrzTPPXOL
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "img = plt.imread(\"neutral.jpg\")\n",
    "plt.imshow(img)\n",
    "print(detector.detect_emotions(img))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'box': [171, 68, 171, 246], 'emotions': {'angry': 0.39, 'disgust': 0.02, 'fear': 0.52, 'happy': 0.03, 'sad': 0.0, 'surprise': 0.04, 'neutral': 0.0}}]\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAikAAAGiCAYAAAAiDFaYAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAAEAAElEQVR4nOz9WYxk2Z3feX7POXe/tpvvHh577iQzyeTakqiSilB1qaVW92AAaVCYEQTNqJ+EAQqYGRUglKCnAgQ9FCQVoNfRy3RPo9WlKrWmpGqSxTWZZCZzz4jM2CN8d7fd7O7nnHkwj6gki+pqFpeMZN0PcGHh5mYe1zw8/P7snP/5H2GttdRqtVqtVqs9ZuSHfQK1Wq1Wq9VqP0odUmq1Wq1Wqz2W6pBSq9VqtVrtsVSHlFqtVqvVao+lOqTUarVarVZ7LNUhpVar1Wq12mOpDim1Wq1Wq9UeS3VIqdVqtVqt9liqQ0qtVqvVarXHUh1SarVarVarPZY+1JDyO7/zO1y8eJEgCPjc5z7Hd7/73Q/zdGq1Wq1Wqz1GPrSQ8j/8D/8Dv/7rv84/+Sf/hO9///s8//zz/Mqv/ArHx8cf1inVarVarVZ7jIgPa4PBz33uc3zmM5/hX/2rfwWAMYadnR3+4T/8h/yjf/SPPoxTqtVqtVqt9hhxPoy/tCgKXn31VX7jN37j0X1SSr70pS/x0ksv/YnH53lOnuePPjbGMBwO6ff7CCF+Ludcq9VqtVrtz8Zay2w2Y2trCyn/90/ifCgh5fT0FK016+vrP3D/+vo6169f/xOP/63f+i3+6T/9pz+v06vVarVarfYz8ODBA86dO/e/+/EfSkj5cf3Gb/wGv/7rv/7o48lkwvnz57l79y6tVutDPLNarVar1Wp/mul0ysWLF2k2mz/W8z6UkLKysoJSiqOjox+4/+joiI2NjT/xeN/38X3/T9zfarXqkFKr1Wq12kfEj1ui8aGs7vE8jxdffJEvf/nLj+4zxvDlL3+ZL3zhCx/GKdVqtVqtVnvMfGjTPb/+67/O3/27f5dPf/rTfPazn+W3f/u3WSwW/L2/9/c+rFOq1Wq1Wq32GPnQQsrf/tt/m5OTE37zN3+Tw8NDXnjhBf7gD/7gTxTT1mq1Wq1W+/PpQ+uT8pOYTqe0222Gw2Fdk1Kr1Wq12mNuOp3S6/WYTCY/1nW73runVqvVarXaY6kOKbVarVar1R5LdUip1Wq1Wq32WKpDSq1Wq9VqtcfSR6LjbK1W+/D8abX19f5ZtVrtZ6UeSanVarVarfZYqkNKrVar1Wq1x1IdUmq1Wq1Wqz2W6pqUWq32v6muOanVah+WeiSlVqvVarXaY6keSanVan+qHzWa8hHcUaNWq33E1CMptdpjwlqBtQKBQBjQeQmlxgKlXt4aa9CVRgBWG6yxy8eLswOBAIQVCA1WW4QQaGvJqgoePUYAAoQgrwzaQlWVWGsAC1iEsFhrsFUF2iIqs/y6BpLxlHKRIqhAFwhhsBhKYzBCgABjKqw1LPONxRiNEMvA8zDgPAw/xpg69NRqtT+hHkmp1R4D1ljK0iClRLoSIQWO6yEkaAFWgJASaQUIixByGQCAIi/Q2qCUwvVcpBAk8zlhowHGYLVBSYl0BLrSuMohzTJc10W5CgkYa3Ed91Fo0LpCa43n+SAkGMuNa+/y0ne+w+HBwfJzrsuNO+9xbmeHz33+C3zms5+n2ekjzwKQUi5ZlgEWpdQyLOnla6yqCiklSimMWd5Xq9VqP6wOKbXaY0BIQRAqrLVYoKg05dkF3XMlRmuKh4FDSDzfx3GWj5dSoI2hLCsGgxMGgwFpNqPbanN4cMB0OuX89jZrq2voyuBFDRqNBkhBXuZorXF9D20VVaUBCAIPx3Epy4rR8THf+cbX+MpXvkKr1eILX/gC49GI08Epf+WXvsh4NOabX/0q7735Ns8+/Swf/8QLNFdXMVLieT5KSZYjMwJjAAyu6z4KJg9HUeoC3Vqt9sOE/QiOsU6nU9rtNsPh8Mfa8rlWe3xZwGAtIARWSEBgEEhTgda4rovVhrIsKLKCssjxQ4/RcMRoNERrjeO6OI7DxtYqwlpm4wnT0Zj9+7tMx2OazRZ+o8HJ6Qndfg9tLUJJtra2COMevX4f11G4ngdCsvdgl9df/R7X3ngNKQXT6Yx2u8VwOGJtbRWUpdvpMDoZQKURFjbX1vnkX/oim5cuE8UxQkgqY1BSIbCUukIIsRw1kvIsvNRBpVb7RTadTun1ekwmkx/rul2PpNRqjwUBqEd1INIuRzSoNMLk5IsFubWki4TZZMJ0PGE8GeEH3qMajyzLmM1mzGczgjgEIE9TsiTlYH+f8WBIq9Wmv7bO4fERi8WCcxfOc/HiRd4+2mfn/FUGB7sURUGv16O/usK7r7/Cq9/5JlcuXcAYQxx6TKZTosDl9OSQk5MT4jhiOhohrEFXFW8D1+7cZPvSVc6fP8/FSxc5t3Mer9XEWnAcB2stWutlsHLqX0O1Wu1Hq3871GqPAQsgFAqLrSzC5GBK9GLGO+++yf17dxmPRiwmM3RV4SqHqioJQg9rDGVZUp2NtoRBwN6tIY1WC9dzEUrSboaURUCez7n13imzxZyNzU3mk1O+/c279Pp9rr/+Ftvntgn8gHezFCkleZ4TuoLVlS5ZltFuN1gkM4q8YDGfUCwW5PMZWZ6CtFS6ZDQeMk7n3Ltzi6+kGSurK3z8Yx/nUy++yNUnn8TpbxJF0aPaFK31o8LfWq1W+6B6uqdW+zP64H+dD15grbXLKRs4KyG1y6mM5QPP7j97/HIhDcZoKl0wGU452XvAyf5dTg8ecHKwy2QyYrFY4CmFqxxc18F3PMoyR/rL6ZKqqsizHCEFYRjiyBgDFLpEeS6VNZS6wlUuJq/Iy5KDw0NW1ldptzuMJiNOD45RUi1HUfp9gsAHwAhJf32d2WzKK6+8ys7OOXq9HteuXccxZ9M1GLIqxQkchJIUswXlIl+GkKrCWsvG5ibPPPMs25/4LM8++yxbW+dwPR8h5NlqoB+e8rE8+iZSB5ha7aOsnu6p1T4EP7yU9uE0hnUdjLE4QuBIMGUOUmCsi7UCV0qqPGc+nTA9HrF35ybTg1e492CXUhsqK5nM5jieD0VBqBSB7+EoRVXm5GWGEYrBSUqWZo9GIow1OE6K6xY0m01838Voi+copNWkyZw8NwRRxOrmOifDIZUEJ/ApkJwcHTPJclQU0/Z8ZrMZURRRHhxx8+ZN4qhB4EekSY7vBeTpHCzkeY7nefh4BE5AtN0jTWakaYrv+1RVRZIkvP3u65yO73N4c4fnPv4Zrjz1CfobF0A4lJVGKHCEWi59NhohQQkH85F7K1Wr1X4a6pBSq/0ZPQoGxlBVFcDZslqJrDKsUBSFpkThhDHWgigsdpFxd/c9rr39PfYevE+WjllMxkSqwXg8pSzLZfix4EaCJJsilMAJW1glmaQlk8mcoigp82VBahD4CCmpKoPWFYiK3f09rNUEgYfrKhrNBnEck5cL0jSl3ess+6dkGUVRYrQmCkPiMEIAD+7fx/d8XEeSLCYIUeE4Dvv798jznHa7hagUzWbzUUiryhKpBK6jEFFMs9mi0WiQ5zmj0YiiyBmfDEhmGbNRxv07+3zqs3+BC1eewg9DrISyrBAsl1kbKyjzEs/zPsR/6Vqt9mGpQ0qt9mdUVctVKo7joJR6dL8QgqLQKEfhuQ4G0HnO3Vu3uPvWm9x59x0O9m4jREa75RF6UM0HXD86wHMdhKkQtiIOfFSpaQWKvKyYDgekpWGelmSVRUoXV3iAoCyXU0YWUEpiBPRW+iySOZPxGMdxmCUZrjuh0WgymU4Zjse0Oh18P2Rvb4/z2zucnJwwGU+YRTFpkhB0PCbDIePpAF1V9DotZCSZjEtcJWk2G2dLiS1RFFMWBaPxmEmWos+CRlUte7gEQUQcNXBtTqWhXCx4+/uvcrh7wIuf/hxPffJTdDfWcR8V1hqkkgi3nuqp1f68qmtSarU/ow9O9VhrHx0IQakcHCwyz7n/7mt85yv/gRtvvwYkKCVot7vMpwnX330fXcHK6go
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "img = plt.imread(\"fear.jpg\")\n",
    "plt.imshow(img)\n",
    "print(detector.detect_emotions(img))"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: justify\"><b>Zadanie 2 </b> Nagraj krótki film ze swoją twarzą przedstawiający jakąś emocję. Następnie użyj tej samej biblioteki fer i sprawdź, czy emocja została dobrze rozpoznana. Jako wynik kodu powinna powstać kopia filmiku z zaznaczoną twarzą oraz przynależność do każdego z rodzaju emocji. Może to chwilę potrwać.</div>"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Z fer zaimportuj FER i Video, w celu rozpoznania emocji z filmu."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from fer import FER, Video\n",
    "import cv2"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wczytaj film."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "input_video_path = \"face.mp4\"\n",
    "output_video_path = \"out.mp4\""
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Przypisz film do zmiennej video."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "video = Video(input_video_path)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Przeanalizuj wideo wykorzystując FER."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "INFO:fer:30.00 fps, 80 frames, 2.67 seconds\n",
      "INFO:fer:Making directories at output\n",
      "100%|██████████| 80/80 [00:06<00:00, 11.67frames/s]\n",
      "INFO:fer:Completed analysis: saved to output\\face_output.mp4\n",
      "INFO:fer:Starting to Zip\n",
      "INFO:fer:Compressing: 62%\n",
      "INFO:fer:Zip has finished\n"
     ]
    }
   ],
   "source": [
    "detector = FER(mtcnn=True)\n",
    "analysis = video.analyze(detector, display=False)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wypisz wynik analizy. Sama analiza może zająć chwilę. W wyniku powinna powstać kopia filmu z zaznaczoną twarzą oraz opis emocji w każdej klatce."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'box0': [72, 192, 207, 269], 'angry0': 0.19, 'disgust0': 0.0, 'fear0': 0.06, 'happy0': 0.0, 'sad0': 0.17, 'surprise0': 0.0, 'neutral0': 0.58}, {'box0': [72, 192, 208, 269], 'angry0': 0.14, 'disgust0': 0.0, 'fear0': 0.04, 'happy0': 0.0, 'sad0': 0.14, 'surprise0': 0.0, 'neutral0': 0.68}, {'box0': [71, 191, 208, 271], 'angry0': 0.2, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.15, 'surprise0': 0.0, 'neutral0': 0.62}, {'box0': [71, 192, 208, 267], 'angry0': 0.24, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.15, 'surprise0': 0.0, 'neutral0': 0.59}, {'box0': [72, 193, 206, 266], 'angry0': 0.28, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.13, 'surprise0': 0.0, 'neutral0': 0.56}, {'box0': [69, 189, 209, 265], 'angry0': 0.33, 'disgust0': 0.0, 'fear0': 0.04, 'happy0': 0.0, 'sad0': 0.11, 'surprise0': 0.0, 'neutral0': 0.51}, {'box0': [70, 191, 205, 262], 'angry0': 0.3, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.12, 'surprise0': 0.0, 'neutral0': 0.56}, {'box0': [69, 190, 206, 263], 'angry0': 0.25, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.11, 'surprise0': 0.0, 'neutral0': 0.62}, {'box0': [69, 190, 206, 262], 'angry0': 0.22, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.14, 'surprise0': 0.0, 'neutral0': 0.62}, {'box0': [73, 189, 203, 264], 'angry0': 0.17, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.14, 'surprise0': 0.0, 'neutral0': 0.67}, {'box0': [72, 188, 203, 262], 'angry0': 0.17, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.1, 'surprise0': 0.0, 'neutral0': 0.7}, {'box0': [72, 187, 202, 263], 'angry0': 0.16, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.11, 'surprise0': 0.0, 'neutral0': 0.7}, {'box0': [72, 187, 204, 263], 'angry0': 0.12, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.08, 'surprise0': 0.0, 'neutral0': 0.78}, {'box0': [72, 186, 204, 263], 'angry0': 0.1, 'disgust0': 0.0, 'fear0': 0.03, 'happy0': 0.0, 'sad0': 0.09, 'surprise0': 0.0, 'neutral0': 0.79}, {'box0': [70, 185, 206, 264], 'angry0': 0.15, 'disgust0': 0.0, 'fear0': 0.03, 'happy0': 0.0, 'sad0': 0.12, 'surprise0': 0.0, 'neutral0': 0.7}, {'box0': [69, 186, 206, 260], 'angry0': 0.18, 'disgust0': 0.0, 'fear0': 0.04, 'happy0': 0.0, 'sad0': 0.14, 'surprise0': 0.0, 'neutral0': 0.64}, {'box0': [70, 188, 205, 255], 'angry0': 0.14, 'disgust0': 0.0, 'fear0': 0.04, 'happy0': 0.0, 'sad0': 0.14, 'surprise0': 0.0, 'neutral0': 0.67}, {'box0': [71, 189, 204, 254], 'angry0': 0.17, 'disgust0': 0.0, 'fear0': 0.03, 'happy0': 0.0, 'sad0': 0.17, 'surprise0': 0.0, 'neutral0': 0.63}, {'box0': [61, 180, 213, 265], 'angry0': 0.36, 'disgust0': 0.0, 'fear0': 0.01, 'happy0': 0.0, 'sad0': 0.08, 'surprise0': 0.0, 'neutral0': 0.54}, {'box0': [71, 189, 203, 257], 'angry0': 0.24, 'disgust0': 0.0, 'fear0': 0.03, 'happy0': 0.0, 'sad0': 0.14, 'surprise0': 0.0, 'neutral0': 0.59}, {'box0': [68, 188, 204, 258], 'angry0': 0.15, 'disgust0': 0.0, 'fear0': 0.03, 'happy0': 0.0, 'sad0': 0.17, 'surprise0': 0.0, 'neutral0': 0.64}, {'box0': [64, 181, 210, 265], 'angry0': 0.24, 'disgust0': 0.0, 'fear0': 0.03, 'happy0': 0.0, 'sad0': 0.24, 'surprise0': 0.0, 'neutral0': 0.49}, {'box0': [64, 179, 209, 264], 'angry0': 0.35, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.13, 'surprise0': 0.0, 'neutral0': 0.5}, {'box0': [69, 182, 205, 255], 'angry0': 0.44, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.23, 'surprise0': 0.0, 'neutral0': 0.31}, {'box0': [71, 182, 202, 252], 'angry0': 0.41, 'disgust0': 0.0, 'fear0': 0.01, 'happy0': 0.0, 'sad0': 0.3, 'surprise0': 0.0, 'neutral0': 0.27}, {'box0': [71, 180, 201, 251], 'angry0': 0.44, 'disgust0': 0.0, 'fear0': 0.01, 'happy0': 0.0, 'sad0': 0.25, 'surprise0': 0.0, 'neutral0': 0.3}, {'box0': [65, 177, 207, 258], 'angry0': 0.41, 'disgust0': 0.0, 'fear0': 0.02, 'happy0': 0.0, 'sad0': 0.23, 'surprise0': 0.0, 'neutral0': 0.34}, {'box0': [73, 181, 200, 248], 'angry0': 0.48, 'disgust0': 0.0, 'fear0': 0.03, 'happy0': 0.0, 'sad0': 0.29, 'surprise0': 0.0, 'neutral0': 0.2}, {'box0': [72, 179, 201, 251], 'angry0': 0.4, 'disgust0': 0.0, 'fea
     ]
    }
   ],
   "source": [
    "print(analysis)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: justify\"><b>Zadanie 3 </b> Ostatnie zadanie będzie polegało na wykrywaniu emocji w mowie. Naszym zadaniem jest stworzyć sieć neuronową, którą nauczymy rozpoznawać emocję z plików dźwiękowych. Możesz wspierać się przykładem z [2]. Poniżej przedstawiona jest lista koniecznych kroków. Wpisz odpowiedni kod w pola pod każdym z kroków.</div>"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1) Zacznijmy od ściągnięcia danych dzwiękowych. Można skorzystać np. z [15].\n",
    "<br>\n",
    "2) Następnie instalujemy i importujemy potrzebne biblioteki. Przyda się np. sklearn do sieci neuronowych, librosa, soundfile do dźwięków."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import soundfile\n",
    "import numpy as np\n",
    "import librosa\n",
    "from sklearn.model_selection import train_test_split\n",
    "from sklearn.neural_network import MLPClassifier\n",
    "from sklearn.metrics import accuracy_score"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "3) W następnym kroku definujemy funkcje, które będą wyodrębniać cechy z pliku dźwiękowego: mfcc, chroma i mel. Funkcje te odpowiadają cechom mowy, które chemy wyodrębnić. Otwieramy plik dźwiękowy przy pomocy Soundfile. Dla każdej cechy, jeżeli istnieje, odwołaj sie do właściwej funkcji z librosa.feature i znajdź wartosć średnią."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "def extract_features(file_name, mfcc, chroma, mel):\n",
    "    with soundfile.SoundFile(file_name) as sound_file:\n",
    "        X = sound_file.read(dtype=\"float32\")\n",
    "        sample_rate = sound_file.samplerate\n",
    "        if chroma:\n",
    "            stft = np.abs(librosa.stft(X))\n",
    "        result = np.array([])\n",
    "        if mfcc:\n",
    "            mfccs = np.mean(librosa.feature.mfcc(y=X, sr=sample_rate, n_mfcc=40).T, axis=0)\n",
    "            result = np.hstack((result, mfccs))\n",
    "        if chroma:\n",
    "            chroma = np.mean(librosa.feature.chroma_stft(S=stft, sr=sample_rate).T, axis=0)\n",
    "            result = np.hstack((result, chroma))\n",
    "        if mel:\n",
    "            mel = np.mean(librosa.feature.melspectrogram(y=X, sr=sample_rate).T, axis=0)\n",
    "            result = np.hstack((result, mel))\n",
    "    return result\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "5) Definiujemy słownik emocji dostępny dla naszych danych. Zawęź liste do 3 wybranych emocji."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "emotions = {\n",
    "    '03': 'happy',\n",
    "    '04': 'sad',\n",
    "    '05': 'angry'\n",
    "}"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "6) Wczytujemy dane. Z nazw plików dźwiękowych wyodrębniamy fragment będący etykietą emocji. Wybieramy tylko te 3, które chcemy obserwować. Tworzymy dwie listy. Jedna zawiera cechy, a druga emocje. Wywołujemy funkcję train_test_split."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "def load_data(test_size=0.2):\n",
    "    x, y = [], []\n",
    "    main_data_folder = \"C:\\\\Users\\\\jadamski\\\\Downloads\\\\speech-emotion-recognition-ravdess-data\"\n",
    "    \n",
    "\n",
    "    # Iterate through each actor's folder\n",
    "    for actor_folder in os.listdir(main_data_folder):\n",
    "        actor_folder_path = os.path.join(main_data_folder, actor_folder)\n",
    "\n",
    "        # Ensure it's a directory\n",
    "        if os.path.isdir(actor_folder_path):\n",
    "            \n",
    "            # Iterate through each file inside the actor's folder\n",
    "            for file in os.listdir(actor_folder_path):\n",
    "                emotion_code = file.split(\"-\")[2]\n",
    "                \n",
    "                # Process only files with the emotions you're interested in\n",
    "                if emotion_code in emotions:\n",
    "                    file_name = os.path.join(actor_folder_path, file)\n",
    "                    emotion = emotions[emotion_code]\n",
    "                    \n",
    "                    # Extract features from the audio file\n",
    "                    feature = extract_features(file_name, mfcc=True, chroma=True, mel=True)\n",
    "                    \n",
    "                    # Append features and emotion to the lists\n",
    "                    x.append(feature)\n",
    "                    y.append(emotion)\n",
    "                \n",
    "    return train_test_split(np.array(x), y, test_size=test_size, random_state=9)\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "7) Dzielimy dane na cześć treningową (75%) i testową (25%)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_train, x_test, y_train, y_test = load_data(test_size=0.25)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "8) Obserwujemy kształt danych treningowych i testowych."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Treningowe: 432, Testowe: 144\n"
     ]
    }
   ],
   "source": [
    "print(f'Treningowe: {x_train.shape[0]}, Testowe: {x_test.shape[0]}')"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "9) Obliczamy liczbę wyodrębnionych cech."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Liczba cech: 180\n"
     ]
    }
   ],
   "source": [
    "print(f'Liczba cech: {x_train.shape[1]}')\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "10) Inicjujemy klasyfikator."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = MLPClassifier(alpha=0.01, batch_size=256, epsilon=1e-08, hidden_layer_sizes=(300,), learning_rate='adaptive', max_iter=500)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "11) Trenujemy model."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "WARNING:py.warnings:c:\\Users\\jadamski\\.conda\\envs\\empatia\\lib\\site-packages\\sklearn\\neural_network\\_multilayer_perceptron.py:686: ConvergenceWarning: Stochastic Optimizer: Maximum iterations (500) reached and the optimization hasn't converged yet.\n",
      "  warnings.warn(\n",
      "\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<style>#sk-container-id-1 {color: black;background-color: white;}#sk-container-id-1 pre{padding: 0;}#sk-container-id-1 div.sk-toggleable {background-color: white;}#sk-container-id-1 label.sk-toggleable__label {cursor: pointer;display: block;width: 100%;margin-bottom: 0;padding: 0.3em;box-sizing: border-box;text-align: center;}#sk-container-id-1 label.sk-toggleable__label-arrow:before {content: \"▸\";float: left;margin-right: 0.25em;color: #696969;}#sk-container-id-1 label.sk-toggleable__label-arrow:hover:before {color: black;}#sk-container-id-1 div.sk-estimator:hover label.sk-toggleable__label-arrow:before {color: black;}#sk-container-id-1 div.sk-toggleable__content {max-height: 0;max-width: 0;overflow: hidden;text-align: left;background-color: #f0f8ff;}#sk-container-id-1 div.sk-toggleable__content pre {margin: 0.2em;color: black;border-radius: 0.25em;background-color: #f0f8ff;}#sk-container-id-1 input.sk-toggleable__control:checked~div.sk-toggleable__content {max-height: 200px;max-width: 100%;overflow: auto;}#sk-container-id-1 input.sk-toggleable__control:checked~label.sk-toggleable__label-arrow:before {content: \"▾\";}#sk-container-id-1 div.sk-estimator input.sk-toggleable__control:checked~label.sk-toggleable__label {background-color: #d4ebff;}#sk-container-id-1 div.sk-label input.sk-toggleable__control:checked~label.sk-toggleable__label {background-color: #d4ebff;}#sk-container-id-1 input.sk-hidden--visually {border: 0;clip: rect(1px 1px 1px 1px);clip: rect(1px, 1px, 1px, 1px);height: 1px;margin: -1px;overflow: hidden;padding: 0;position: absolute;width: 1px;}#sk-container-id-1 div.sk-estimator {font-family: monospace;background-color: #f0f8ff;border: 1px dotted black;border-radius: 0.25em;box-sizing: border-box;margin-bottom: 0.5em;}#sk-container-id-1 div.sk-estimator:hover {background-color: #d4ebff;}#sk-container-id-1 div.sk-parallel-item::after {content: \"\";width: 100%;border-bottom: 1px solid gray;flex-grow: 1;}#sk-container-id-1 div.sk-label:hover label.sk-toggleable__label {background-color: #d4ebff;}#sk-container-id-1 div.sk-serial::before {content: \"\";position: absolute;border-left: 1px solid gray;box-sizing: border-box;top: 0;bottom: 0;left: 50%;z-index: 0;}#sk-container-id-1 div.sk-serial {display: flex;flex-direction: column;align-items: center;background-color: white;padding-right: 0.2em;padding-left: 0.2em;position: relative;}#sk-container-id-1 div.sk-item {position: relative;z-index: 1;}#sk-container-id-1 div.sk-parallel {display: flex;align-items: stretch;justify-content: center;background-color: white;position: relative;}#sk-container-id-1 div.sk-item::before, #sk-container-id-1 div.sk-parallel-item::before {content: \"\";position: absolute;border-left: 1px solid gray;box-sizing: border-box;top: 0;bottom: 0;left: 50%;z-index: -1;}#sk-container-id-1 div.sk-parallel-item {display: flex;flex-direction: column;z-index: 1;position: relative;background-color: white;}#sk-container-id-1 div.sk-parallel-item:first-child::after {align-self: flex-end;width: 50%;}#sk-container-id-1 div.sk-parallel-item:last-child::after {align-self: flex-start;width: 50%;}#sk-container-id-1 div.sk-parallel-item:only-child::after {width: 0;}#sk-container-id-1 div.sk-dashed-wrapped {border: 1px dashed gray;margin: 0 0.4em 0.5em 0.4em;box-sizing: border-box;padding-bottom: 0.4em;background-color: white;}#sk-container-id-1 div.sk-label label {font-family: monospace;font-weight: bold;display: inline-block;line-height: 1.2em;}#sk-container-id-1 div.sk-label-container {text-align: center;}#sk-container-id-1 div.sk-container {/* jupyter's `normalize.less` sets `[hidden] { display: none; }` but bootstrap.min.css set `[hidden] { display: none !important; }` so we also need the `!important` here to be able to override the default hidden behavior on the sphinx rendered scikit-learn.org. See: https://github.com/scikit-learn/scikit-learn/issues/21755 */display: inline-block !important;position: relative;}#sk-container-id-1 div.sk-text-repr-fallback {display: none;}</style><div id=\"sk-container-id-1\" class=\"sk-top-container\
       "              learning_rate=&#x27;adaptive&#x27;, max_iter=500)</pre><b>In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook. <br />On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.</b></div><div class=\"sk-container\" hidden><div class=\"sk-item\"><div class=\"sk-estimator sk-toggleable\"><input class=\"sk-toggleable__control sk-hidden--visually\" id=\"sk-estimator-id-1\" type=\"checkbox\" checked><label for=\"sk-estimator-id-1\" class=\"sk-toggleable__label sk-toggleable__label-arrow\">MLPClassifier</label><div class=\"sk-toggleable__content\"><pre>MLPClassifier(alpha=0.01, batch_size=256, hidden_layer_sizes=(300,),\n",
       "              learning_rate=&#x27;adaptive&#x27;, max_iter=500)</pre></div></div></div></div></div>"
      ],
      "text/plain": [
       "MLPClassifier(alpha=0.01, batch_size=256, hidden_layer_sizes=(300,),\n",
       "              learning_rate='adaptive', max_iter=500)"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(x_train, y_train)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "12) Dokonujemy predykcji wartości dla zbioru testowego."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "y_pred = model.predict(x_test)\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "13) Obliczamy dokładność modelu przy pomocy funkcji accuracy_score() ze sklearn."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Dokładność: 80.56%\n"
     ]
    }
   ],
   "source": [
    "accuracy = accuracy_score(y_true=y_test, y_pred=y_pred)\n",
    "print(\"Dokładność: {:.2f}%\".format(accuracy * 100))\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Źródła:\n",
    "\n",
    "[1] https://analyticsindiamag.com/face-emotion-recognizer-in-6-lines-of-code/\n",
    "\n",
    "[2] https://data-flair.training/blogs/python-mini-project-speech-emotion-recognition/\n",
    "\n",
    "[3] https://www.skyword.com/contentstandard/what-marketers-should-know-about-artificial-empathy/\n",
    "\n",
    "[4] Bahreini, K., Van der Vegt, W., & Westera, W. (2019). A fuzzy logic approach to reliable real-time recognition of facial emotions. Multimedia Tools and Applications, 78(14), 18943-18966.\n",
    "\n",
    "[5] Lanjewar, R. B., & Chaudhari, D. S. (2013). Speech emotion recognition: a review. International Journal of Innovative Technology and Exploring Engineering (IJITEE), 2(4), 68-71.\n",
    "\n",
    "[6] Franzoni, V., Vallverdù, J., & Milani, A. (2019, October). Errors, biases and overconfidence in artificial emotional modeling. In IEEE/WIC/ACM International Conference on Web Intelligence-Companion Volume (pp. 86-90).\n",
    "\n",
    "[7] James, J., Watson, C. I., & MacDonald, B. (2018, August). Artificial empathy in social robots: An analysis of emotions in speech. In 2018 27th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN) (pp. 632-637). IEEE.\n",
    "\n",
    "[8] Terada, K., Yamauchi, A., & Ito, A. (2012, September). Artificial emotion expression for a robot by dynamic color change. In 2012 IEEE RO-MAN: The 21st IEEE International Symposium on Robot and Human Interactive Communication (pp. 314-321). IEEE.\n",
    "\n",
    "[9] Poria, S., Majumder, N., Mihalcea, R., & Hovy, E. (2019). Emotion recognition in conversation: Research challenges, datasets, and recent advances. IEEE Access, 7, 100943-100953.\n",
    "\n",
    "[10] Hortensius, R., Hekele, F., & Cross, E. S. (2018). The perception of emotion in artificial agents. IEEE Transactions on Cognitive and Developmental Systems, 10(4), 852-864.\n",
    "\n",
    "[11] Sapiński, T., Kamińska, D., Pelikant, A., & Anbarjafari, G. (2019). Emotion recognition from skeletal movements. Entropy, 21(7), 646.\n",
    "\n",
    "[12] Domnich, A., & Anbarjafari, G. (2021). Responsible AI: Gender bias assessment in emotion recognition. arXiv preprint arXiv:2103.11436.\n",
    "\n",
    "[13] Zhang, J., Yin, Z., Chen, P., & Nichele, S. (2020). Emotion recognition using multi-modal data and machine learning techniques: A tutorial and review. Information Fusion, 59, 103-126.\n",
    "\n",
    "[14] Hazarika, D., Poria, S., Zadeh, A., Cambria, E., Morency, L. P., & Zimmermann, R. (2018, June). Conversational memory network for emotion recognition in dyadic dialogue videos. In Proceedings of the conference. Association for Computational Linguistics. North American Chapter. Meeting (Vol. 2018, p. 2122). NIH Public Access.\n",
    "\n",
    "[15] https://drive.google.com/file/d/1wWsrN2Ep7x6lWqOXfr4rpKGYrJhWc8z7/view"
   ]
  }
 ],
 "metadata": {
  "author": "Joanna Siwek",
  "email": "jsiwek@amu.edu.pl",
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "lang": "pl",
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.11"
  },
  "subtitle": "8. Rozpoznawanie emocji",
  "title": "Sztuczna empatia",
  "year": "2021"
 },
 "nbformat": 4,
 "nbformat_minor": 4
}