49 lines
2.5 KiB
Markdown
49 lines
2.5 KiB
Markdown
# Wyniki oraz wnioski z ewaluacji systemu
|
|
|
|
## Wyniki z ankiet
|
|
|
|
Przeprowadzona ankieta zawierała 8 pytań:
|
|
|
|
1. Czy udało Ci się zrealizować cel rozmowy? (Tak / Nie)
|
|
|
|
100% odpowiedzi "Tak"
|
|
|
|
2. W jakim stopniu system był zrozumiały? (1 - wcale niezrozumiały, 5 - całkowicie zrozumiały)
|
|
|
|
|
|
|
|
3. W jakim stopniu system Cię rozumiał? (1 - nic nie rozumiał, 5 - wszystko zrozumiał)
|
|
|
|
|
|
|
|
4. Czy tempo interakcji było odpowiednie? (Tak / Nie)
|
|
|
|
100% odpowiedzi "Tak"
|
|
|
|
5. Czy wiedziałeś co powiedzieć na każdym etapie dialogu? (Tak / Nie / Nie zawsze)
|
|
|
|
62% odpowiedzi "Tak"
|
|
38% odpowiedzi "Nie zawsze"
|
|
|
|
6. Czy system robił to czego oczekiwałeś? (Tak / Nie / Nie zawsze)
|
|
|
|
69% odpowiedzi "Tak"
|
|
31% odpowiedzi "Nie zawsze"
|
|
|
|
7. Jaka jest Twoja ogólna ocena systemu? (1 - 5)
|
|
|
|
|
|
|
|
8. Czy w trakcie rozmowy restartowałeś system? (Tak / Nie)
|
|
|
|
15% odpowiedzi "Tak"
|
|
85% odpowiedzi "Nie"
|
|
|
|
## Wnioski i obserwacje
|
|
|
|
Przygotowany przez nas system do rezerwacji biletów kinowych spełniał swoją funkcję. Odbiór systemu przez użytkowników był w znacznej mierze pozytywny. Warto dodać, że każdemu udało się zrealizować cel rozmowy, co uważamy za duży sukces.
|
|
|
|
Pojawiały się również zapytania użytkowników, które nie zostały przewidziane przez przygotowane moduły. Pojawiło się kilku użytkowników, którzy wpisywali "Chcę kupić bilet", co nie było przewidziane w regułach do systemu do rezerwacji biletów. Kolejną trudnością było wpisywanie daty wraz z miesiącem w formacie 20.06 - nie było to poprawnie interpretowane przez system. Użytkownicy różnie formułowali zapytanie o repertuar, co nie zawsze skutkowało zwróceniem odpowiedzi z aktualnym harmonogramem seansów.
|
|
|
|
Ostatecznie podejście z wykorzystaniem reguł gramatycznych sprawdziło się bardzo dobrze, przez stabilność działania systemu. Poza tym przez małą ilość danych, modele z wykorzystaniem uczenia maszynowego nie sprawdzały się na tyle, aby je zaimplementować w naszym systemie. Zebranie większej ilości danych pozwoliłoby na wdrożenie modeli uczenia maszynowego i testowanie tego typu rozwiązania. Jesteśmy zadowoleni z uzyskanych wyników - wiemy, co należałoby wykonać w następnym przyroście, aby usprawnić system.
|