diff --git a/evaluation.md b/evaluation.md new file mode 100644 index 0000000..0eaf72c --- /dev/null +++ b/evaluation.md @@ -0,0 +1,48 @@ +# Wyniki oraz wnioski z ewaluacji systemu + +## Wyniki z ankiet + + Przeprowadzona ankieta zawierała 8 pytań: + + 1. Czy udało Ci się zrealizować cel rozmowy? (Tak / Nie) + + 100% odpowiedzi "Tak" + + 2. W jakim stopniu system był zrozumiały? (1 - wcale niezrozumiały, 5 - całkowicie zrozumiały) + + ![alt text](https://git.wmi.amu.edu.pl/s478815/SystemyDialogowe/src/branch/master/wykresy/1.png) + + 3. W jakim stopniu system Cię rozumiał? (1 - nic nie rozumiał, 5 - wszystko zrozumiał) + + ![alt text](https://git.wmi.amu.edu.pl/s478815/SystemyDialogowe/src/branch/master/wykresy/2.png) + + 4. Czy tempo interakcji było odpowiednie? (Tak / Nie) + + 100% odpowiedzi "Tak" + + 5. Czy wiedziałeś co powiedzieć na każdym etapie dialogu? (Tak / Nie / Nie zawsze) + + 62% odpowiedzi "Tak" + 38% odpowiedzi "Nie zawsze" + + 6. Czy system robił to czego oczekiwałeś? (Tak / Nie / Nie zawsze) + + 69% odpowiedzi "Tak" + 31% odpowiedzi "Nie zawsze" + + 7. Jaka jest Twoja ogólna ocena systemu? (1 - 5) + + ![alt text](https://git.wmi.amu.edu.pl/s478815/SystemyDialogowe/src/branch/master/wykresy/3.png) + + 8. Czy w trakcie rozmowy restartowałeś system? (Tak / Nie) + + 15% odpowiedzi "Tak" + 85% odpowiedzi "Nie" + +## Wnioski i obserwacje + +Przygotowany przez nas system do rezerwacji biletów kinowych spełniał swoją funkcję. Odbiór systemu przez użytkowników był w znacznej mierze pozytywny. Warto dodać, że każdemu udało się zrealizować cel rozmowy, co uważamy za duży sukces. + +Pojawiały się również zapytania użytkowników, które nie zostały przewidziane przez przygotowane moduły. Pojawiło się kilku użytkowników, którzy wpisywali "Chcę kupić bilet", co nie było przewidziane w regułach do systemu do rezerwacji biletów. Kolejną trudnością było wpisywanie daty wraz z miesiącem w formacie 20.06 - nie było to poprawnie interpretowane przez system. Użytkownicy różnie formułowali zapytanie o repertuar, co nie zawsze skutkowało zwróceniem odpowiedzi z aktualnym harmonogramem seansów. + +Ostatecznie podejście z wykorzystaniem reguł gramatycznych sprawdziło się bardzo dobrze, przez stabilność działania systemu. Poza tym przez małą ilość danych, modele z wykorzystaniem uczenia maszynowego nie sprawdzały się na tyle, aby je zaimplementować w naszym systemie. Zebranie większej ilości danych pozwoliłoby na wdrożenie modeli uczenia maszynowego i testowanie tego typu rozwiązania. Jesteśmy zadowoleni z uzyskanych wyników - wiemy, co należałoby wykonać w następnym przyroście, aby usprawnić system.