# Ewaluacja - asystent kalendarza spotkań ## Ankieta zadowolenia użytkownika: https://forms.office.com/r/L16YGV6MLz Ankieta zadowolenia użytkownika poruszała kilka kwestii, takich jak: * główne zadanie, jakie użytkownik chciał zrealizować przy pomocy systemu * czy udało się powyższe zadanie w pełni przy pomocy systemu zrealizować * łatwość realizacji tego zadania w skali 1-5 * zrozumiałość wypowiedzi użytkownika dla systemu w skali 1-5 * zrozumiałość wypowiedzi systemu w skali 1-5 * jak bardzo system reagował zgodnie z oczekiwaniami użytkownika w skali 1-5 * odpowiedniość tempa interakcji w skali 1-5 * czy użytkownik wiedział co odpowiedzieć na każdym etapie dialogu w skali 1-5 * czy błąd krytyczny systemu zakończył rozmowę * 2 pytania opisowe, co wg. użytkownika działa w systemie najlepiej i najgorzej * czy użytkownik zamierza używać systemu w przyszłości w skali 1-5 * ogólna ocena systemu w skali 1-5 Udało się zebrać odpowiedzi dotyczące 10 przeprowadzonych rozmów. ### Pytanie 1: Główne zadanie użytkownika. * 8 użytkowników wskazało jako główny cel umówienie spotkania * 1 użytkownik chciał sprawdzić listę spotkań * 1 użytkownik chciał odwołać spotkanie ### Pytanie 2: Czy udało się zrealizować główne zadanie? * 7 użytkowników odpowiedziało tak * 3 użytkowników odpowiedziało nie Wszyscy użytkownicy, którym udało się zrealizować główne zadanie chcieli utworzyć spotkanie. Można więc wysnuć wniosek, że to element systemu, który działa najlepiej i jednocześnie najpopularniejszy wśród użytkowników. Co za tym idzie system można nazwać dość skutecznym, jednak nie radzi sobie w pełni ze wszystkimi planowanymi zadaniami. ### Pytanie 3: Łatwość realizacji zadania. Średnia ocena tej metryki to 3.5/5
Najczęstsze oceny to 4 - co oznacza łatwą realizację zadania (5 użytkowników) oraz 3 - umiarkowanie (3 użytkowników).
Najniższe oceny dotyczyły rozmów, w których nie doszło do pomyślej realizacji zadania. ### Pytanie 4: Jak system rozumiał wypowiedzi użytkownika? Średnia ocena tej metryki to 3.5/5
Najczęstsze oceny to 4 - co oznacza zrozumienie większości wypowiedzi (6 użytkowników) oraz 2 - zrozumienie niektórych wypowiedzi (3 użytkowników).
Najniższe oceny dotyczyły rozmów, w których nie doszło do pomyślej realizacji zadania. ### Pytanie 5: Jak użytkownik rozumiał wypowiedzi systemu? Średnia ocena tej metryki to 4.3/5
Najczęstsze oceny to 5 - użytkownik rozumiał w pełni wypowiedzi systemu (5 użytkowników) oraz 4 - użytkownik rozumiał w większości wypowiedzi systemu (4 użytkowników).
Najniższa ocena (2) dotyczyła rozmowy, w której nie doszło do pomyślej realizacji zadania. ### Pytanie 6: System robił to, co oczekiwał użytkownik. Średnia ocena tej metryki to 3.6/5
Najczęstsze oceny to 4 - zgadzam się (7 użytkowników) oraz 3 - trudno powiedzieć (2 użytkowników).
Najniższe oceny (2 oraz 3) dotyczyły rozmów, w których nie doszło do pomyślej realizacji zadania. ### Pytanie 7: Tempo interakcji z systemem było odpowiednie. Średnia ocena tej metryki to 4.1/5
Najczęstsze oceny to 4 - zgadzam się (7 użytkowników) oraz 5 - całkowicie się zgadzam (2 użytkowników).
Najniższa ocena (3) dotyczyła rozmowy, w której nie doszło do pomyślej realizacji zadania. ### Pytanie 8: Użytkownik wiedział co ma odpowiadać na każdym etapie dialogu. Średnia ocena tej metryki to 3.9/5
Najczęstsze oceny to 4 - zgadzam się (6 użytkowników) oraz 5 - całkowicie się zgadzam (2 użytkowników).
Najniższe oceny (2 oraz 3) dotyczyły rozmów, w których nie doszło do pomyślej realizacji zadania. ### Pytanie 9: Czy krytyczny błąd systemu przerwał rozmowę? * 7 użytkowników odpowiedziało tak * 3 użytkowników odpowiedziało nie Najbardziej niepokojąca metryka w ankiecie. Aż 70% rozmów skończyło się krytycznym błędem systemu, jednak w większości przypadków nie wpłynęło to na realizację głównego zadania użytkownika. Z pewnością trzeba się skupić w przyszłości na wyeliminowaniu tych błędów. ### Pytanie 10: Co w systemie działało nagorzej (nieobowiązkowe pytanie opisowe)? Najczęściej wskazywanymi mankamentami systemu były błędne przechwytywanie slotów, co często prowadziło do ponownego zadania tego samego pytania oraz nieoczekiwane zakończenie konwersacji błędem krytycznym. Aż 7 użytkowników zdecydowało się odpowiedzieć na to pytanie, co najprawdopodobniej oznacza, że system dalej posiada niewielkie błędy wpływające na jego jakość. ### Pytanie 11: Co w systemie działało najlepiej (nieobowiązkowe pytanie opisowe)? Tylko 3 użytkowników zdecydowało się odpowiedzieć na to pytanie, co może oznaczać, że większość z nich nie widziała w systemie bardzo dobrze działających elementów.
Użytkownicy, którzy odpowiedzieli na to pytanie jako główną zaletę wskazali, że system realizuje pomyślnie podstawowy scenariusz, czyli tworzenie spotkania. ### Pytanie 12: Czy użytkownik zamierza używać systemu w przyszłości? Średnia ocena tej metryki to 2.9/5
Najczęstsza ocena to 3 - trudno powiedzieć (9 użytkowników).
Większość użytkowników nie ma wyrobionego zdania na temat przydatności systemu. Może to oznaczać, że system nie przekonał użytkowników podczas testów lub nie zawiera wszystkich oczekiwanych funkcjonalności. ### Pytanie 13: Ogólna ocena systemu przez użytkownika. Średnia ocena tej metryki to 3.9/5
Najczęstsza ocena to 4 (5 użytkowników).
Ogólnie system wypada dość dobrze. Najniższe oceny dotyczyły rozmów, podczas których nie udało się zrealizować zadania oraz system zakończył niespodziewanie rozmowe przez błąd. Można więc wysnuć wniosek, że wyeliminowanie tych błędów i poprawa skuteczności podniosłaby ogólną ocenę systemu. ## Inne metryki ewaluacyjne. ### Task success rate: System poprawnie zrealizował 9 zadań z 16 możliwych, co daje 56,25% skuteczności.
Tą skuteczność można uznać za dość dobrą, jednak na pewno trzeba by ją zwiększyć w toku dalszych prac nad systemem.
Głownym elementem systemu, który powodował niepomyślną realizację zadań był moduł NLU (głównie błędne wyłapywanie wartości slotów) oraz moduł NLG (system nie generował odpowiedzi przy niektórych nieprzewidzianych scenariuszach). ### Slot error rate: System poprawnie wyłapał 23 wartości slotu na 55 przypadków, co daje 41,81% skuteczności.
System przede wszystkim miał problem ze slotem opis spotkania oraz uczestnik spotkania. Dość sprawnie wyłapuje slot data oraz godzina.