SystemyDialogowe/evaluation.md

Wyniki oraz wnioski z ewaluacji systemu

Wyniki z ankiet

Przeprowadzona ankieta zawierała 8 pytań:

1. Czy udało Ci się zrealizować cel rozmowy? (Tak / Nie)

   100% odpowiedzi "Tak"

2. W jakim stopniu system był zrozumiały? (1 - wcale niezrozumiały, 5 - całkowicie zrozumiały)

   

   Średnia ocena: 4.54 / 5

3. W jakim stopniu system Cię rozumiał? (1 - nic nie rozumiał, 5 - wszystko zrozumiał)

   

   Średnia ocena: 3.85 / 5

4. Czy tempo interakcji było odpowiednie? (Tak / Nie)

   100% odpowiedzi "Tak"

5. Czy wiedziałeś co powiedzieć na każdym etapie dialogu? (Tak / Nie / Nie zawsze)

   62% odpowiedzi "Tak"
   38% odpowiedzi "Nie zawsze"

6. Czy system robił to czego oczekiwałeś? (Tak / Nie / Nie zawsze)

   69% odpowiedzi "Tak"
   31% odpowiedzi "Nie zawsze"

7. Jaka jest Twoja ogólna ocena systemu? (1 - 5)

   

   Średnia ocena: 4.54 / 5

8. Czy w trakcie rozmowy restartowałeś system? (Tak / Nie)

   15% odpowiedzi "Tak"
   85% odpowiedzi "Nie"

Wnioski i obserwacje

Przygotowany przez nas system do rezerwacji biletów kinowych spełniał swoją funkcję. Odbiór systemu przez użytkowników był w znacznej mierze pozytywny. Warto dodać, że każdemu udało się zrealizować cel rozmowy, co uważamy za duży sukces.

Pojawiały się również zapytania użytkowników, które nie zostały przewidziane przez przygotowane moduły. Pojawiło się kilku użytkowników, którzy wpisywali "Chcę kupić bilet", co nie było przewidziane w regułach do systemu do rezerwacji biletów. Kolejną trudnością było wpisywanie daty wraz z miesiącem w formacie 20.06 - nie było to poprawnie interpretowane przez system. Użytkownicy różnie formułowali zapytanie o repertuar, co nie zawsze skutkowało zwróceniem odpowiedzi z aktualnym harmonogramem seansów.

Ostatecznie podejście z wykorzystaniem reguł gramatycznych sprawdziło się bardzo dobrze, przez stabilność działania systemu. Poza tym przez małą ilość danych, modele z wykorzystaniem uczenia maszynowego nie sprawdzały się na tyle, aby je zaimplementować w naszym systemie. Zebranie większej ilości danych pozwoliłoby na wdrożenie modeli uczenia maszynowego i testowanie tego typu rozwiązania. Jesteśmy zadowoleni z uzyskanych wyników - wiemy, co należałoby wykonać w następnym przyroście, aby usprawnić system.