s444417/SystemyDialogowe-ProjektMagisterski
3
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

updated evaulation md

Browse Source
This commit is contained in:
Adrian Charkiewicz 2022-06-16 21:01:12 +02:00
parent 09f04ec475
commit 9660df1ef8
1 changed files with 16 additions and 14 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

30
evaluation.md
View File

@ -1,12 +1,13 @@
# Ewaluacja
Odpowiedzi w pliku nachos-ankieta.xlsx zawierają odpowiedzi tekstowe, które korespondują z ocenami w skali od 1 do 7. Odpowiedzi w pliku nachos-ankieta.xlsx zawierają odpowiedzi tekstowe, które korespondują z ocenami w skali od 1 do 7.
Na przykład, dla pytania "Czy zamierzasz używać systemu w przyszłości?" odpowiedziami teksotwymi i ich reprezntacją liczbową są: Na przykład, dla pytania "Czy zamierzasz używać systemu w przyszłości?" odpowiedziami teksotwymi i ich reprezntacją liczbową są:
Z pewnością -> 7 - Z pewnością -> 7
Tak -> 6 - Tak -> 6
Raczej tak -> 5 - Raczej tak -> 5
Średnio -> 4 - Średnio -> 4
Raczej nie -> 3 - Raczej nie -> 3
Pewnie nie -> 2 - Pewnie nie -> 2
Na pewno nie -> 1 - Na pewno nie -> 1
Z tego powodu wszystkie te wartości zostały przemienione na dane liczbowe, by przeprowadzić lepszą ewaluację. (plik znajduje się w tym katalogu) Z tego powodu wszystkie te wartości zostały przemienione na dane liczbowe, by przeprowadzić lepszą ewaluację. (plik znajduje się w tym katalogu)
@ -16,14 +17,15 @@ Odpowiedzi jest łącznie 10, co oznacza, że wszyscy obecni (zgodnie z listą o
Wszystkie 10 osób odpowiedziało na pytanie, czy udało się zarezerwować bilet twierdząco, więc dla prostej metryki "task success" mamy współczynnik 100% Wszystkie 10 osób odpowiedziało na pytanie, czy udało się zarezerwować bilet twierdząco, więc dla prostej metryki "task success" mamy współczynnik 100%
Dla kolejnych metryk, w której każda z nich posiadała skalę od 1 do 7, systemom udało się zdobyć (wyniki po uśrednieniu): - Dla kolejnych metryk, w której każda z nich posiadała skalę od 1 do 7, systemom udało się zdobyć (wyniki po uśrednieniu):
Czy odpowiedzi systemu były zrozumiałe? -> 6.1 na 7 - Czy odpowiedzi systemu były zrozumiałe? -> 6.1 na 7
Czy zamierzasz używać systemu w przyszłości? -> 5 na 7 - Czy zamierzasz używać systemu w przyszłości? -> 5 na 7
Czy na każdym etapie rozmowy wiedziałeś co powiedzieć? -> 6.7 na 7 - Czy na każdym etapie rozmowy wiedziałeś co powiedzieć? -> 6.7 na 7
Czy system rozumiał wiadomości za pierwszym razem, bez konieczności powtarzania? -> 6 na 7 - Czy system rozumiał wiadomości za pierwszym razem, bez konieczności powtarzania? -> 6 na 7
Czy system zachowywał się zgodnie z twoimi przewidywaniami? -> 5.8 na 7 - Czy system zachowywał się zgodnie z twoimi przewidywaniami? -> 5.8 na 7
Jakie jest prawdopodobieństwo, że polecisz nas znajomemu lub współpracownikowi? -> 6 na 7 - Jakie jest prawdopodobieństwo, że polecisz nas znajomemu lub współpracownikowi? -> 6 na 7
## #Wnioski
Wyniki te są zadowalające, uzyskując około 6 na 7 pkt z prawie każdej kategorii. Z rozmów z użytkownikami wiemy też jaki błędy poprawić w przyszłości, gdzie priorytetowym z nich jest rezxerwacja miejsc, tj. wybieranie dokładnego miejsca A-J, 1-20. Wyniki te są zadowalające, uzyskując około 6 na 7 pkt z prawie każdej kategorii. Z rozmów z użytkownikami wiemy też jaki błędy poprawić w przyszłości, gdzie priorytetowym z nich jest rezxerwacja miejsc, tj. wybieranie dokładnego miejsca A-J, 1-20.
Najgorzej wypadło "Czy zamierzasz używać systemu w przyszłości?" co może oznaczać, że na zajęciach pojawił się lepszy system, z którego użytkownicy chcieliby korzystać. Jednak do takich wniosków potrzeba by było analizy ankiet dla wszystkich systemów, nie tylko tej jednej. Najgorzej wypadło "Czy zamierzasz używać systemu w przyszłości?" co może oznaczać, że na zajęciach pojawił się lepszy system, z którego użytkownicy chcieliby korzystać. Jednak do takich wniosków potrzeba by było analizy ankiet dla wszystkich systemów, nie tylko tej jednej.