From 9866d50c23ed38033f81d812ed83813f9151b37e Mon Sep 17 00:00:00 2001 From: Krzysztof Bojakowski Date: Tue, 30 Apr 2024 14:42:55 +0200 Subject: [PATCH] Dodano szczegolowy harmonogram prac --- README.md | 62 +++++++++++++++++++++++++++++++++++++++++++++++++++---- 1 file changed, 58 insertions(+), 4 deletions(-) diff --git a/README.md b/README.md index a603068..79f7604 100644 --- a/README.md +++ b/README.md @@ -12,16 +12,70 @@ | 15.06.2024 | Prezentacja działania systemu | | Prezentacja wyników i skuteczności wybranego modelu +# Szczegółowy harmonogram + +Spotkania dot. progresu prac - każda niedziela, godzina 18:00-20:00. +Poniżej, kolumna "działanie" jest w formacie ` ()`. +Brak osoby oznacza, że zadanie nie zostało jeszcze przypisane. + +| Data | Działanie +|----------------------------:|:------------------------------------------------------------| +| 05.05.2024 | Sergiusz (1), Mateusz (3), Krzysztof (2) +| 12.05.2024 | Wszyscy (5), (4), (6), (7.1) +| 19.05.2024 | Wszyscy (5), (7.2) +| 26.05.2024 | Wszyscy (5), (7.3), (9) +| 02.06.2024 | (8) +| 09.06.2024 | Feedback, ewentualne poprawki +| 15.06.2024 | Finalna prezentacja + +Szczegóły działań: + +1) Przygotowanie danych i modułu do ich przetwarzania + - Napisanie skryptu, który pobiera dane oraz rozpakowuje je lokalnie. + - Napisanie szablonu skryptu do przetwarzania danych. Skrypt powinien tworzyć katalogi (struktura katalogowa) z danymi po transformacji. Każda transformacja na oryginalnych danych będzie commit'owana do repozytorium, tak aby reszta zeszpołu mogła ją uruchomić. + - Napisać jedną przykładową transformację, np. resize i kontury, korzystając z szablonu. + - Utworzyć README.md z instrukcją tworzenia nowego modułu do przetwarzania. + +2) Modele do przygotowania: + - Przygotować wstępnie 3 modele w formacie WanDB, np. MobileNet, ResNet, ew. custom CNN z klasyfikacją wielozadaniową. + - Uruchomić modele na WanDB żeby zobaczyć czy się uruchamiają i generują poprawne wykresy. + - Utworzyć README.md z instrukcją tworzenia nowych modeli. + +3) Moduł do ładowania plików + - Napisać moduł, który ładuje dane po transformacji. Dane będą wykorzystywane do uczenia i walidacji modelu. + - Moduł powinien dokonywać podziału zbioru danych na 3 czesci - train, valid, test. + - Powinno być możliwe zdefiniowanie rozmiaru batch'a, rozmiaru validation set'a, scieżki skąd załadować dane. + - Dodać możliwość definiowania seed'a, tak aby każdy mógł uzyskać podobne rezultaty w razie potrzeby. Seed powinien być przekierowany na stdout podczas uruchamiania skryptu. + - Dodać możliwość wyboru rozkładu danych. + - Dane wyjściowe powinny być w formacie pozwalającym na załadowanie ich bezpośrednio do modelu (binarne, tf record, lub inne). + - README.md opisujący w jaki sposób parametryzować moduł. + +4) Moduł do obslugi i uruchaminia WanDB Job's + - Napisać skrypt do ściągania danych z kolejki aby obejść problem uruchamiania agenta na Colab/Kaggle. + - Napisać skrypt, który uruchamia job'y i wysyła go na kolejkę. Powinien obsługiwać przyjmowanie hiperparamterów, oraz nazwę kolejki, do której zostanie job przesłany. + - Napisać skrypt, który uruchamia agenta na danej maszynie. + - Napisać skrypt do tworzenia jobów - powinna być sprecyzowana struktura katalogowa, pozwalająca na zarządzanie nimi i obsługę różnych modeli. Ewentualnie synchronizacja job'ów, między WanDB i środowiskiem lokalnym. + - README.md opisujący powyższe. + +5) Eksperymenty, dobieranie hiperparametrów, rozkładu danych, testowanie różnych strategii. Jeżeli konieczne, dodanie nowych modeli. + +6) Dodać Heatmap'ę do modelu (CAM). + +7) Przygotowanie frontu do projektu (https://www.gradio.app/) + 1. Uruchomienie lokalne Frontu do testów. + 2. Obsługa wyświetlania Heatmap. + 3. Deploy frontu na środowisko (lokalne/zdalne, do wyboru). + +8) Wybór najlepszego modelu. + +9) Modul do obslugi Sweeps - automatycznego dobierania hiperparametrów (opcjonalnie). + # Źródło danych https://www.kaggle.com/datasets/vipoooool/new-plant-diseases-dataset # Technologie -## Data Storage - -https://www.cloudflare.com/developer-platform/r2/ - ## WanDB WanDB built-in features: