podprojekt-kuba

This commit is contained in:
Jakub Adamski 2020-05-12 18:25:47 +02:00
parent fa7f01244f
commit 8b7aac315e
8 changed files with 92 additions and 3 deletions

View File

@ -2,6 +2,7 @@
## Spis treści
* [Uruchomienie](#uruchomienie)
* [Wykrywanie roślin](#wykrywanie-roślin)
* [Raport 1](#raport-1)
* [Notatki](#notatki)
@ -14,6 +15,11 @@ Wymagania:
Wpisanie komendy w glownym folderze: <br> `python3 main.py`
## Wykrywanie roślin
Podprojekt na osobnym branchu - kuba. Raport - adamski_raport.md
## Raport 1
### Środowisko agenta

42
adamski_raport.md Normal file
View File

@ -0,0 +1,42 @@
## Podprojekt Jakub Adamski
Wykrywanie rodzaju rośliny w danym polu, na którym znajduje się traktor.
## Spis treści
* [Wykorzystana technologia](#wykorzystana-technologia)
* [Dane](#dane)
* [Kod](#kod)
* [Działanie](#działanie)
* [Uruchomienie](#uruchomienie)
* [Notatki](#notatki)
## Wykorzystana technologia
W projekcie wykorzystuję sieć neuronową. Jest to klasyfikator obiektów, oparty na modelu MobileNetV2. MobileNet to wysoce zoptymalizowana struktura pozwalająca na rozpoznawanie obiektów. <br>
Składa się z warstw: CNN - convolutional neural network do wyodrębnienia cech charakterystycznych z obrazka oraz jednej warstwy dense, złozonej z duzej ilosci neuronow, które produkują finalny wynik na podstawie wyniku z CNN.
## Dane
Trenowanie klasyfikatorów od zera jest bardzo czasochłonne. Zazwyczaj zajmuje nawet kilka dni, nie wspominając o zgromadzeniu bardzo duzej ilosci zdjęć - najlepiej klika milionów. <br>
Z tego powodu wykorzystuję, gotową, wytrenowaną sieć na zbiorze danych imagenet. Do uruchomienia urzywam pakietu keras dostępnego w bibliotece tensorflow. Tensorflow to rozbudowany zestaw narzędzi do machine learningu, keraz to nakładka ułatwijąca uzywanie tego frameworku.
## Kod
Klasyfikator działa w głównej pętli while w pliku main.py. Uruchamia się gdy traktor (niebieski kwadrat) zmieni swoją lokalizację. Zdjęcia przypisane do danej kratki są dobierane losowo. W finalnej wersji zdjęć będzie więcej - folder imgs/. <br>
Gdy klasyfikator zakończy swoje działanie, w konsoli pojawia się najbardziej prawdopodobny obiekt znajdujący się na zdjęciu. Zdjęcie pojawia się w osobnym oknie. Po zamknięciu okna mozemy kontynuować sterowanie traktorem za pomocą strzałek.
## Działanie
W finalnej wersji łączącej wszytkie podprojekty mozna dodatkowo dołączyć walidację otrzymanego wyniku na podstawie nazwy zdjęcia. <br>
![ss]("./ss/adamski1.png")
## Uruchomienie
Instalacja tensorflow <br>
Byl error z jakas biblioteka, trzeba zainstalować nomkl lub rozwiazanie ad hoc to komenda która pokazuje się przy błędzie. <code>os.environ['KMP_DUPLICATE_LIB_OK']='True'</code>
https://docs.anaconda.com/mkl-optimizations/
## Notatki
Lista obiektów:
- pumpkin/dynia ok - spaghetti_squash
- cabbage/kapusta ok - head_cabbage
- mushchroom/grzyb ok - mushroom
- cauliflower/kalafior ok - cauliflower
- ziemniak NIE ROZPOZNAL
- marchewka NIE ROZPOZNAL

BIN
imgs/cabbage.jpg Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 22 KiB

BIN
imgs/cauliflower.jpg Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 1.7 MiB

BIN
imgs/mushroom.jpg Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 44 KiB

BIN
imgs/pumpkin.jpg Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 16 KiB

47
main.py
View File

@ -2,11 +2,19 @@ import pygame, sys
from traktor import Traktor
import dijkstra as di
import matplotlib.pyplot as plt
from tensorflow.keras.preprocessing import image
from tensorflow.keras.applications import MobileNetV2
from tensorflow.keras.applications.mobilenet import preprocess_input, decode_predictions
import numpy as np
import os, random
#u mnie blad z biblioteka
os.environ['KMP_DUPLICATE_LIB_OK']='True'
class Game(object):
def __init__(self):
#to da sie chyba zrobic lepiej
#lokalizacje odpowiednich punktow na planszy
lokalizacje = [[0,0],
[100, 0],
@ -34,6 +42,15 @@ class Game(object):
[300, 400],
[400, 400]]
#ładowanie tablicy ze zdjeciami
imgs = []
img_dir = './imgs'
for _ in lokalizacje:
imgs.append(img_dir + '/' + random.choice(os.listdir(img_dir)))
#model do rozpoznawania
model = MobileNetV2(input_shape=None, alpha=1.0, include_top=True, weights="imagenet", input_tensor=None, pooling=None, classes=1000)
#inicjalizacja
pygame.init()
self.pole = pygame.display.set_mode((501,501))
@ -46,8 +63,9 @@ class Game(object):
else:
sterowanie = False
#iohiu;i;gou;ihpiu
while True:
run_classifier = False
#obsługa zdarzń
for event in pygame.event.get():
if event.type == pygame.QUIT:
@ -72,6 +90,12 @@ class Game(object):
self.player.x -= 100
if self.player.x < 0:
self.player.x = 0
#okreslanie w ktorym punkcie jesteśmy
wsp = [self.player.x, self.player.y]
self.player.punkt = lokalizacje.index(wsp)
run_classifier = True
else:
#po spacji wpisujemy punkty
if event.type == pygame.KEYDOWN :
@ -91,6 +115,7 @@ class Game(object):
self.player.x = lokalizacje[pt][0]
self.player.y = lokalizacje[pt][1]
self.player.punkt = pt
run_classifier = True
pygame.display.update()
@ -100,8 +125,24 @@ class Game(object):
self.krata()
self.rysowanie()
pygame.display.flip()
if run_classifier:
#wybieranie zdjecia
pt = self.player.punkt
img_path = imgs[pt]
img = image.load_img(img_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)
#detektor roslin, 5 rezultatow
plt.imshow(img)
preds = model.predict(x)
decoded = decode_predictions(preds, top=1)
print(decoded)
plt.show()
def krata(self):
#wymiary
w= 500

BIN
ss/adamski1.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 976 KiB