## Raport z wykonania części indywidualnej projektu
## Kijowski Michał

### Omówienie projektu

Projekt polega na dodaniu automatycznej identyfikacji paczek przychodzących do magazynu, na podstawie ich zdjęcia. Do wykonania projektu wykorzystałem uczenie sieci neuronowych (yolov3). Po otrzymaniu pliku graficznego przedstawiającego paczkę, program szuka na niej piktogramów aby zidentyfikować tę paczkę.

Wyróżniamy:

| Identyfikacja | Wyszukiwane piktogramy |
| -------- | -------- |
| Kruche | ![](https://git.wmi.amu.edu.pl/s444399/AI/raw/master/demo/kruche.png) |
| Niebezpieczne | ![](https://git.wmi.amu.edu.pl/s444399/AI/raw/master/demo/electrical.png) ![](https://git.wmi.amu.edu.pl/s444399/AI/raw/master/demo/biohazard.png) |
| Radioaktywne | ![](https://git.wmi.amu.edu.pl/s444399/AI/raw/master/demo/radioactive.png) |
| Łatwopalne | ![](https://git.wmi.amu.edu.pl/s444399/AI/raw/master/demo/flammable.png) |

Jeśli nie znajdziemy żadnego z piktogramów, paczka jest klasyfikowana jako zwykła.

### Uczenie modelu

Program ten dysponuje pięcioma klasami, są to:
* kruche
* radioaktywne
* zagrożenia elektryczne
* biohazard
* latwopalne

Dla każdej klasy został przygotowany zbiór przedstawiający piktogramy reprezentowane przez te klasy:
* kruche - 137 zdjęć
* radioaktywne - 136 zdjęć
* zagrożenia elektryczne - 141 zdjęć
* biohazard - 144 zdjęć
* latwopalne - 120 zdjęć

Dla każdego pliku przygotowałem plik tekstowy o takiej samej nazwie (różniącej się tylko rozszerzeniem), w którym zawarte są współrzędne obiektów które chcemy wyszukiwać. I tak w każdej lini dla każdego obiektu na danym zdjęciu, zgodnie ze schematem:

<object-class> <x> <y> <width> <height>

Z tak przygotowanego zbioru wybrałem losowo niewielką część jako zbiór testowy.

Nasz zbiór uczący używamy w programie [darknet](https://github.com/pjreddie/darknet) do wygenerowania wag dla sieci. Wykorzystałem do tego pretrenowany model i dostosowałem go do potrzeb tego projektu z wykorzystaniem właśnie tego zbioru.

Współczynnik recall (część wspólna obiektu i detekcji przez rozmiar obiektu) dla poszczególnych etapów uczenia na podstawie zbioru testowego:

| Liczba iteracji | Współczynnik recall |
| -------- | -------- |
| 100 | % |
| 200 | % |
| 500 | % |
| 1000 | % |
| 5000 | % |
| 15000 | % |
| 30000 | % |
| 40000 | % |

### Integracja projektu

Integracja wykonana jest w pliku program.py

Mój podprojekt wywoływany jest po wciśnięciu lewego przycisku myszy. 

            elif(event.type==pygame.MOUSEBUTTONDOWN):
                if (type(self.map[0][2]) == Floor):
                    meh = easygui.fileopenbox("Wybierz zdjęcie paczki", "Wybierz zdjęcie paczki", filetypes = [["*.jpg", "*.jpeg", "*.png", "Pliki graficzne"]])
                    if meh is None:
                        return
                    while pathlib.Path(meh).suffix!=".jpg" and pathlib.Path(meh).suffix!=".jpeg" and pathlib.Path(meh).suffix!=".png":
                        meh = easygui.fileopenbox("Wybierz zdjęcie paczki", "Wybierz zdjęcie paczki", filetypes = [["*.jpg", "*.jpeg", "*.png", "Pliki graficzne"]])
                        if meh is None:
                            return
                    whatIsIt = self.neurons.whatIsIt(meh)
Sprawdzamy oczywiście czy lobby na paczki jest puste a jeśli tak to wywołujemy metodę fileopenbox z klasy easygui pozwalającą na wybranie pliku w ładny graficzny sposób.

![](https://git.wmi.amu.edu.pl/s444399/AI/raw/master/demo/a.png)

Następnie sprawdzamy czy jest to plik graficzny jeśli nie, powtarzamy to do skutku, lub zamknięcia okna.

Jeśli mamy już plik graficzny to ścieżka do niego jest przekazywana do klasy podprojektu której obiektem jest neurons a metodą którą wykonujemy jest whatIsIt.

### Implementacja projektu