Generic_DialogSystem/evaluation.md

10 lines
1.5 KiB
Markdown
Raw Permalink Normal View History

2023-06-22 13:45:24 +02:00
## Ewaluacja systemu przez użytkowników
2023-06-22 13:43:44 +02:00
System oceniło czworo użytkowników. Rozumienie systemu przez użytkownika zostało ocenione na średnio 4.0, jednak rozumienie użytkownika przez system na jedynie 2.25. Łatwość poszukiwania produktów, a także znalezienie odpowiedzi na pytania, ankietowani
wycenili średnio na ocenę 3.0. Byli zadowoleni z tempa interakcji oraz komfortu rozmowy - średnia ocena to odpowiednio 5.0 oraz 4.0. Użytkownikom zabrakło kilku produktów, których poszukiwali, np. zupki chińskiej, coca-coli, parówek. System niestety nie posiadał funkcjonalności, których oczekiwali użytkownicy. Mimo to 3 na 4 użytkowników planuje używać systemu w przyszłości.
2023-06-22 13:45:24 +02:00
## Podsumowanie
2023-06-22 13:43:44 +02:00
Stworzony system posiada standardową architekturę systemu dialogowego. Poszczególne moduły odpowiedzialne za przekazywanie tekstu bądź ram, tworzone pojedynczo, realizowały zadania NLU, DM, DP oraz NLG. Problemtyczny okazała się kwestia połączenia systemu w całość, ponieważ poszczególne moduły różniły się sposobem działania. Z tego powodu nie zrealizowano wszystkich wymagań, założonych w początkowej dokumentacji, takich jak: dodawanie i usuwanie przedmiotów do koszyka, finalizacja zakupów czy obsługa płatności. Aktualnie system potrafi poinformować o produktach dostępnych w sklepie, a także sugerować dostępne promocje bądź produkty. Na tej podstawie, oraz przestawionej powyżej analizie ewaluacji, system uznano za projekt do dalszego rozwoju.