projekt_widzenie/README.md

95 lines
2.4 KiB
Markdown
Raw Normal View History

2023-01-21 14:55:51 +01:00
# projekt_widzenie
2023-01-21 16:22:16 +01:00
## Run apllication
1. `pip install -r requirements.txt`
2. `streamlit run main.py`
2023-01-21 18:32:27 +01:00
3. On http://localhost:8501/ you should see the app
## Dataset
2023-01-22 18:22:04 +01:00
Mamy łącznie 197784 zdjęć
2023-01-21 18:48:45 +01:00
2023-01-24 18:53:31 +01:00
+ swój własno zrobiony zbiór testowy 148 zdjęć
2023-01-21 18:48:45 +01:00
Linki do datasetów:
1. https://www.kaggle.com/datasets/mrgeislinger/asl-rgb-depth-fingerspelling-spelling-it-out
2023-01-21 19:18:30 +01:00
2. https://www.kaggle.com/datasets/grassknoted/asl-alphabet
2023-01-22 18:22:04 +01:00
3. https://www.kaggle.com/datasets/lexset/synthetic-asl-alphabet
2023-01-23 14:31:33 +01:00
4. https://www.kaggle.com/datasets/kuzivakwashe/significant-asl-sign-language-alphabet-dataset
## Trening modelu
Do trenowania używano biblioteki Keras
### Pierwsze podejście model trenowany od zera (from scratch)
2023-01-23 16:38:08 +01:00
2023-01-23 14:31:33 +01:00
```
img_height=256
img_width=256
batch_size=128
epochs=30
```
```
layers.Rescaling(1./255, input_shape=(img_height, img_width, 3)),
layers.Conv2D(16, 3, padding='same', activation='relu'),
layers.MaxPooling2D(),
layers.Conv2D(32, 3, padding='same', activation='relu'),
layers.MaxPooling2D(),
layers.Conv2D(64, 3, padding='same', activation='relu'),
layers.MaxPooling2D(),
layers.Flatten(),
layers.Dense(128, activation='relu'),
layers.Dense(29,activation='softmax')
```
Zbiór testowy własny: 22% Accuracy
2023-01-23 14:32:18 +01:00
2023-01-23 14:31:33 +01:00
Zbiór testowy mieszany z Kaggle: 80% Accuracy
---
## Drugie podejście model VGG16
2023-01-23 16:38:08 +01:00
Zastosowano early stopping z val_loss
2023-01-23 14:31:33 +01:00
```
img_height=224
img_width=224
batch_size=128
2023-01-23 16:38:08 +01:00
epochs=50
2023-01-23 14:31:33 +01:00
```
Usunięto 3 wierzchne wartswy i dodano warstwy:
```
x = layers.Flatten()(vgg_model.output)
x = layers.Dense(len(class_names), activation='softmax')(x)
```
2023-01-24 18:53:31 +01:00
Zbiór testowy własny: 52% Accuracy
2023-01-23 14:32:18 +01:00
2023-01-24 18:53:31 +01:00
Zbiór testowy mieszany z Kaggle: 79% Accuracy
2023-01-23 14:31:33 +01:00
2023-01-30 16:12:48 +01:00
## Trzecie podejście model VGG16 z detekcją dłoni
Model jak powyżej tylko datasety zostały przereobione modelem do detekcji dłoni i wycięciem odpowiedniego fragmentu ze zdjęcia
Zbiór testowy własny: 61% Accuracy
## Czwarte podejście model VGG16 z detekcją dłoni i zaznaczeniem szkieletu
Model jak powyżej tylko datasety zostały przereobione modelem do detekcji dłoni, wycięciem odpowiedniego fragmentu ze zdjęcia, a także zaznaczenie "szkieletu" dłoni
Zbiór testowy własny: 70% Accuracy
2023-01-23 14:31:33 +01:00
2023-01-30 16:39:26 +01:00
## Piąte podejście model VGG19 z detekcją dłoni i zaznaczeniem szkieletu
Model jak powyżej tylko datasety zostały przereobione modelem do detekcji dłoni, wycięciem odpowiedniego fragmentu ze zdjęcia, a także zaznaczenie "szkieletu" dłoni
Zbiór testowy własny: 67% Accuracy