podprojekt-kuba

README.md

@@ -2,6 +2,7 @@
 
 ## Spis treści
 * [Uruchomienie](#uruchomienie)
+* [Wykrywanie roślin](#wykrywanie-roślin)
 * [Raport 1](#raport-1)
 * [Notatki](#notatki)
 
@@ -14,6 +15,11 @@ Wymagania:
 
 Wpisanie komendy w glownym folderze: <br> `python3 main.py`
 
+
+## Wykrywanie roślin
+Podprojekt na osobnym branchu - kuba. Raport - adamski_raport.md
+
+
 ## Raport 1
 
 ### Środowisko agenta

adamski_raport.md

@@ -0,0 +1,42 @@
+## Podprojekt Jakub Adamski
+Wykrywanie rodzaju rośliny w danym polu, na którym znajduje się traktor.
+
+## Spis treści
+* [Wykorzystana technologia](#wykorzystana-technologia)
+* [Dane](#dane)
+* [Kod](#kod)
+* [Działanie](#działanie)
+* [Uruchomienie](#uruchomienie)
+* [Notatki](#notatki)
+
+## Wykorzystana technologia
+W projekcie wykorzystuję sieć neuronową. Jest to klasyfikator obiektów, oparty na modelu MobileNetV2. MobileNet to wysoce zoptymalizowana struktura pozwalająca na rozpoznawanie obiektów. <br>
+Składa się z warstw: CNN - convolutional neural network do wyodrębnienia cech charakterystycznych z obrazka oraz jednej warstwy dense, złozonej z duzej ilosci neuronow, które produkują finalny wynik na podstawie wyniku z CNN.
+
+## Dane
+Trenowanie klasyfikatorów od zera jest bardzo czasochłonne. Zazwyczaj zajmuje nawet kilka dni, nie wspominając o zgromadzeniu bardzo duzej ilosci zdjęć - najlepiej klika milionów. <br>
+Z tego powodu wykorzystuję, gotową, wytrenowaną sieć na zbiorze danych imagenet. Do uruchomienia urzywam pakietu keras dostępnego w bibliotece tensorflow. Tensorflow to rozbudowany zestaw narzędzi do machine learningu, keraz to nakładka ułatwijąca uzywanie tego frameworku.
+
+## Kod
+Klasyfikator działa w głównej pętli while w pliku main.py. Uruchamia się gdy traktor (niebieski kwadrat) zmieni swoją lokalizację. Zdjęcia przypisane do danej kratki są dobierane losowo. W finalnej wersji zdjęć będzie więcej - folder imgs/. <br>
+Gdy klasyfikator zakończy swoje działanie, w konsoli pojawia się najbardziej prawdopodobny obiekt znajdujący się na zdjęciu. Zdjęcie pojawia się w osobnym oknie. Po zamknięciu okna mozemy kontynuować sterowanie traktorem za pomocą strzałek.
+
+## Działanie
+W finalnej wersji łączącej wszytkie podprojekty mozna dodatkowo dołączyć walidację otrzymanego wyniku na podstawie nazwy zdjęcia. <br>
+![ss]("./ss/adamski1.png")
+
+
+## Uruchomienie
+Instalacja tensorflow <br>
+Byl error z jakas biblioteka, trzeba zainstalować nomkl lub rozwiazanie ad hoc to komenda która pokazuje się przy błędzie. <code>os.environ['KMP_DUPLICATE_LIB_OK']='True'</code>
+https://docs.anaconda.com/mkl-optimizations/
+
+
+## Notatki
+Lista obiektów:
+- pumpkin/dynia ok - spaghetti_squash
+- cabbage/kapusta ok - head_cabbage
+- mushchroom/grzyb ok - mushroom
+- cauliflower/kalafior ok - cauliflower
+- ziemniak NIE ROZPOZNAL
+- marchewka NIE ROZPOZNAL

main.py

@@ -2,11 +2,19 @@ import pygame, sys
 from traktor import Traktor
 import dijkstra as di
 
+import matplotlib.pyplot as plt
+from tensorflow.keras.preprocessing import image
+from tensorflow.keras.applications import MobileNetV2
+from tensorflow.keras.applications.mobilenet import preprocess_input, decode_predictions
+import numpy as np
+import os, random
+#u mnie blad z biblioteka
+os.environ['KMP_DUPLICATE_LIB_OK']='True'
+
 class Game(object):
 
     def __init__(self):
 
-        #to da sie chyba zrobic lepiej
         #lokalizacje odpowiednich punktow na planszy
         lokalizacje = [[0,0],
                     [100, 0],
@@ -34,6 +42,15 @@ class Game(object):
                     [300, 400],
                     [400, 400]]
 
+        #ładowanie tablicy ze zdjeciami
+        imgs = []
+        img_dir = './imgs'
+        for _ in lokalizacje:
+            imgs.append(img_dir + '/' + random.choice(os.listdir(img_dir)))
+
+        #model do rozpoznawania
+        model = MobileNetV2(input_shape=None, alpha=1.0, include_top=True, weights="imagenet", input_tensor=None, pooling=None, classes=1000)
+
         #inicjalizacja
         pygame.init()
         self.pole = pygame.display.set_mode((501,501))
@@ -46,8 +63,9 @@ class Game(object):
         else:
             sterowanie = False
 
-        #iohiu;i;gou;ihpiu
         while True:
+            run_classifier = False
+
             #obsługa zdarzń
             for event in pygame.event.get():
                 if event.type == pygame.QUIT:
@@ -72,6 +90,12 @@ class Game(object):
                             self.player.x -= 100
                             if self.player.x < 0:
                                 self.player.x = 0
+
+                        #okreslanie w ktorym punkcie jesteśmy
+                        wsp = [self.player.x, self.player.y]
+                        self.player.punkt = lokalizacje.index(wsp)
+                        run_classifier = True
+
                 else:
                     #po spacji wpisujemy punkty
                     if event.type == pygame.KEYDOWN :
@@ -91,6 +115,7 @@ class Game(object):
                             self.player.x = lokalizacje[pt][0]
                             self.player.y = lokalizacje[pt][1]
                             self.player.punkt = pt
+                            run_classifier = True
                         
 
             pygame.display.update()
@@ -101,6 +126,22 @@ class Game(object):
             self.rysowanie()
             pygame.display.flip()
 
+            if run_classifier:
+                #wybieranie zdjecia
+                pt = self.player.punkt
+                img_path = imgs[pt]
+                img = image.load_img(img_path, target_size=(224, 224))
+                x = image.img_to_array(img)
+                x = np.expand_dims(x, axis=0)
+                x = preprocess_input(x)
+
+                #detektor roslin, 5 rezultatow
+                plt.imshow(img)
+                preds = model.predict(x)
+                decoded = decode_predictions(preds, top=1)
+                print(decoded)
+                plt.show()
+                    
 
     def krata(self):
         #wymiary