final eval report

This commit is contained in:
Łukasz Jędyk 2021-06-21 09:56:59 +02:00
parent 074c6f1339
commit d6b4c1cd7d
7 changed files with 12 additions and 488 deletions

View File

@ -1,65 +0,0 @@
- Dzień dobry!
------ wybrana akcja systemu ------
actType:SystemActType.WELCOME_MSG actParams:[]
------ wygenerowana odpowiedź systemu ------
Cześć
- Czy możesz mi powiedzieć jakie mam plany na 20 czerwca?
------ wybrana akcja systemu ------
actType:SystemActType.MEETING_LIST actParams:[]
------ wygenerowana odpowiedź systemu ------
$("Brak spotkań")
- Fantastycznie! Czy możesz mi zapisać spotkanie na 19 z Agusią na Starym Rynku?
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['date']
------ wygenerowana odpowiedź systemu ------
W jakim dniu ma się odbyć to spotkanie?
- 20 czerwca
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['place']
------ wygenerowana odpowiedź systemu ------
Gdzie ma się odbyć to spotkanie?
- Nie złapał "na starym rynku w poznaniu" więc wpisałem "Stary rynek"
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['participants']
------ wygenerowana odpowiedź systemu ------
Kto ma wziąć udział w spotkaniu?
# Tu też nie wyłapał "ja i Aga" więc wpisałem "Agnieszka"
------ wybrana akcja systemu ------
actType:SystemActType.CONFIRM_DOMAIN actParams:{'time': '19', 'description': 'Agusią', 'date': '20 czerwca', 'place': 'Z', 'participants': ['Agnieszka']}
------ wygenerowana odpowiedź systemu ------
Czy mam dodać te spotkanie do kalendarza?
Dzień: 20 czerwca
Czas: 19
Miejsce: Z
Uczestnicy: Agnieszka
Opis: Agusią
Traceback (most recent call last):
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 25, in <module>
system_act = dp.chooseTactic()
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\DialoguePolicy.py", line 83, in chooseTactic
self.DB.create_meeting(slots)
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\DBManager.py", line 56, in create_meeting
date_time = get_date(
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\dateHelper.py", line 143, in get_date
return get_datetime_from_day(date, hours, minutes)
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\dateHelper.py", line 122, in get_datetime_from_day
date = get_current_date() + timedelta(days=(7 - abs(current_day_of_week-input_date_of_week)))
TypeError: unsupported operand type(s) for -: 'int' and 'NoneType'

View File

@ -1,66 +0,0 @@
- Chciałbym zarezerwować spotkanie na dzień jutrzejszy na placu X
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['time']
------ wygenerowana odpowiedź systemu ------
W jakim czasie ma się odbyć to spotkanie?
- 11:25
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['place']
------ wygenerowana odpowiedź systemu ------
Gdzie ma się odbyć to spotkanie?
- na placu X
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['place']
------ wygenerowana odpowiedź systemu ------
Gdzie ma się odbyć to spotkanie?
- Plac X
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['participants']
------ wygenerowana odpowiedź systemu ------
Kto ma wziąć udział w spotkaniu?
- Ja i koleżanka Y
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['participants']
------ wygenerowana odpowiedź systemu ------
Kto ma wziąć udział w spotkaniu?
# Znowu się zapętlił więc wpisałem "Agnieszka" żeby przejść dalej
------ wybrana akcja systemu ------
actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'jutrzejszy', 'time': '11:25', 'place': 'Plac X', 'description': 'Y', 'participants': ['Agnieszka']}
------ wygenerowana odpowiedź systemu ------
Czy mam dodać te spotkanie do kalendarza?
Dzień: jutrzejszy
Czas: 11:25
Miejsce: Plac X
Uczestnicy: Ja # Tu zmiana była
Opis: Y
Traceback (most recent call last):
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 25, in <module>
system_act = dp.chooseTactic()
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\DialoguePolicy.py", line 83, in chooseTactic
self.DB.create_meeting(slots)
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\DBManager.py", line 56, in create_meeting
date_time = get_date(
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\dateHelper.py", line 143, in get_date
return get_datetime_from_day(date, hours, minutes)
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\dateHelper.py", line 122, in get_datetime_from_day
date = get_current_date() + timedelta(days=(7 - abs(current_day_of_week-input_date_of_week)))
TypeError: unsupported operand type(s) for -: 'int' and 'NoneType'
PS C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe>

View File

@ -1,89 +0,0 @@
- hej janusz
------ rozpoznany user frame ------
inform(participant='janusz')
------ stan ------
None UserActType.INFORM None
------ przechowywane sloty ------
{'participants': ['janusz']}
------ wybrana akcja systemu ------
actType:SystemActType.NOT_UNDERSTOOD actParams:[]
------ wygenerowana odpowiedź systemu ------
Nie rozumiem o czym mówisz.
- chce zapisać spotkanie w kalendarzu
------ rozpoznany user frame ------
create_meeting()
------ stan ------
UserActType.CREATE_MEETING UserActType.CREATE_MEETING None
------ przechowywane sloty ------
{'participants': ['janusz']}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['date']
------ wygenerowana odpowiedź systemu ------
W jakim dniu ma się odbyć to spotkanie?
-----------------------------------
-----------------------------------
- jutro o 10:00
------ rozpoznany user frame ------
inform(date='jutro',time='10:00')
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['date']
------ przechowywane sloty ------
{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['place']
------ wygenerowana odpowiedź systemu ------
Gdzie ma się odbyć to spotkanie?
-----------------------------------
-----------------------------------
- u mnie w domu # znowu nie wyłapał
------ rozpoznany user frame ------
bye()
------ stan ------
UserActType.CREATE_MEETING UserActType.BYE actType:SystemActType.REQUEST actParams:['place']
------ przechowywane sloty ------
{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['place']
------ wygenerowana odpowiedź systemu ------
Gdzie ma się odbyć to spotkanie?
-----------------------------------
-----------------------------------
- Restauracja Poznań
------ rozpoznany user frame ------
inform(place='restauracja Poznań')
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['place']
------ przechowywane sloty ------
{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00', 'description': 'Poznań', 'place': 'restauracja Poznań'}
------ wybrana akcja systemu ------
actType:SystemActType.CONFIRM_DOMAIN actParams:{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00', 'description': 'Poznań', 'place': 'restauracja Poznań'}
------ wygenerowana odpowiedź systemu ------
Czy mam dodać te spotkanie do kalendarza?
Dzień: jutro
Czas: 10:00
Miejsce: restauracja Poznań
Uczestnicy: janusz
Opis: Poznań
-----------------------------------
-----------------------------------
- czy możesz dodać kolejnych uczestników?
------ rozpoznany user frame ------
meeting_list()
------ stan ------
UserActType.CREATE_MEETING UserActType.MEETING_LIST actType:SystemActType.CONFIRM_DOMAIN actParams:{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00', 'description': 'Poznań', 'place': 'restauracja Poznań'}
------ przechowywane sloty ------
{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00', 'description': 'Poznań', 'place': 'restauracja Poznań'}
------ wybrana akcja systemu ------
None
Traceback (most recent call last):
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
system_response = nlg.generateResponse(system_act)
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 19, in generateResponse
if systemAct.getActType() == SystemActType.REQUEST:
AttributeError: 'NoneType' object has no attribute 'getActType'

View File

@ -1,118 +0,0 @@
- Jakie mam w tym tygodniu spotkania?
------ rozpoznany user frame ------
meeting_list(date='tym tygodniu')
------ stan ------
UserActType.MEETING_LIST UserActType.MEETING_LIST None
------ przechowywane sloty ------
{'date': 'tym tygodniu'}
------ wybrana akcja systemu ------
actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'}
Traceback (most recent call last):
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
system_response = nlg.generateResponse(system_act)
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 154, in generateResponse raise Exception("SystemAct:{} not recognized".format(systemAct))
Exception: SystemAct:actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'} not recognized
- Dodaj spotkanie we wtorek
------ rozpoznany user frame ------
create_meeting(date='wtorek')
------ stan ------
UserActType.CREATE_MEETING UserActType.CREATE_MEETING None
------ przechowywane sloty ------
{'date': 'wtorek'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['time']
------ wygenerowana odpowiedź systemu ------
W jakim czasie ma się odbyć to spotkanie?
-----------------------------------
-----------------------------------
- o godzinie dziesiątej
------ rozpoznany user frame ------
inform()
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['time']
------ przechowywane sloty ------
{'date': 'wtorek'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['time']
------ wygenerowana odpowiedź systemu ------
W jakim czasie ma się odbyć to spotkanie?
-----------------------------------
-----------------------------------
- Spotkanie ma się rozpocząć o dziesiątej # tu też nie wyłapało więc dałem 10
------ rozpoznany user frame ------
inform(time='10')
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['time']
------ przechowywane sloty ------
{'date': 'wtorek', 'time': '10'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['place']
------ wygenerowana odpowiedź systemu ------
Gdzie ma się odbyć to spotkanie?
-----------------------------------
-----------------------------------
- Spotkanie online
------ rozpoznany user frame ------
inform(description='Online')
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['place']
------ przechowywane sloty ------
{'date': 'wtorek', 'time': '10', 'description': 'Online'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['place']
------ wygenerowana odpowiedź systemu ------
Gdzie ma się odbyć to spotkanie?
-----------------------------------
-----------------------------------
- w internecie # zmieniłem na "restauracja internet" żeby przejść dalej
------ rozpoznany user frame ------
inform(description='Online')
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['participants']
------ przechowywane sloty ------
{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['participants']
------ wygenerowana odpowiedź systemu ------
Kto ma wziąć udział w spotkaniu?
-----------------------------------
-----------------------------------
- ja # zmieniłem na agnieszka żeby przejść dalej
inform(participant='Agnieszka')
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['participants']
------ przechowywane sloty ------
{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet', 'participants': ['Agnieszka']}
------ wybrana akcja systemu ------
actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet', 'participants': ['Agnieszka']}
------ wygenerowana odpowiedź systemu ------
Czy mam dodać te spotkanie do kalendarza?
Dzień: wtorek
Czas: 10
Miejsce: restauracja internet
Uczestnicy: Agnieszka
Opis: Online
-----------------------------------
-----------------------------------
- Tak
------ rozpoznany user frame ------
confirm()
------ stan ------
UserActType.CREATE_MEETING UserActType.CONFIRM actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet', 'participants': ['Agnieszka']}
------ przechowywane sloty ------
{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet', 'participants': ['Agnieszka']}
------ wybrana akcja systemu ------
actType:SystemActType.AFFIRM actParams:['create_meeting']
------ wygenerowana odpowiedź systemu ------
Spotkanie zostało dodane
-----------------------------------
-----------------------------------

View File

@ -1,134 +0,0 @@
- Dzień dobry
------ rozpoznany user frame ------
hello()
------ stan ------
None UserActType.HELLO None
------ przechowywane sloty ------
{}
------ wybrana akcja systemu ------
actType:SystemActType.WELCOME_MSG actParams:[]
------ wygenerowana odpowiedź systemu ------
Cześć
-----------------------------------
-----------------------------------
- Fantastycznie. Czy możesz mi powiedzieć jakie mam plany na piątek?
------ rozpoznany user frame ------
meeting_list(date='piątek')
------ stan ------
UserActType.MEETING_LIST UserActType.MEETING_LIST None
------ przechowywane sloty ------
{'date': 'piątek'}
------ wybrana akcja systemu ------
actType:SystemActType.MEETING_LIST actParams:{'date': 'piątek'}
Traceback (most recent call last):
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
system_response = nlg.generateResponse(system_act)
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 154, in generateResponse raise Exception("SystemAct:{} not recognized".format(systemAct))
Exception: SystemAct:actType:SystemActType.MEETING_LIST actParams:{'date': 'piątek'} not recognized
# Odpowiedziałem jako brak spotkań
- A mam jakiekolwiek spotkania w tym tygodniu?
------ rozpoznany user frame ------
meeting_list(date='tym tygodniu')
------ stan ------
UserActType.MEETING_LIST UserActType.MEETING_LIST None
------ przechowywane sloty ------
{'date': 'tym tygodniu'}
------ wybrana akcja systemu ------
actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'}
Traceback (most recent call last):
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
system_response = nlg.generateResponse(system_act)
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 154, in generateResponse raise Exception("SystemAct:{} not recognized".format(systemAct))
Exception: SystemAct:actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'} not recognized
# Odpowiedziałem jako brak spotkań
- ok zapisz mi proszę spotkanie na czwartek na 18
------ rozpoznany user frame ------
create_meeting(date='czwartek',time='18')
------ stan ------
UserActType.CREATE_MEETING UserActType.CREATE_MEETING None
------ przechowywane sloty ------
{'date': 'czwartek', 'time': '18'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['place']
------ wygenerowana odpowiedź systemu ------
Gdzie ma się odbyć to spotkanie?
- centrum
------ rozpoznany user frame ------
inform()
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['place']
------ przechowywane sloty ------
{'date': 'czwartek', 'time': '18'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['place']
------ wygenerowana odpowiedź systemu ------
Gdzie ma się odbyć to spotkanie?
-----------------------------------
-----------------------------------
- w centrum # Wpisałem restauracja centrum
------ rozpoznany user frame ------
inform(place='restauracja centrum')
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['place']
------ przechowywane sloty ------
{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum'}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['participants']
------ wygenerowana odpowiedź systemu ------
Kto ma wziąć udział w spotkaniu?
-----------------------------------
-----------------------------------
- nikt więcej # wpisałem agnieszka żeby przejść dalej
------ rozpoznany user frame ------
inform(participant='Agnieszka')
------ stan ------
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['participants']
------ przechowywane sloty ------
{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka']}
------ wybrana akcja systemu ------
actType:SystemActType.REQUEST actParams:['description']
------ wygenerowana odpowiedź systemu ------
Czy mam dodać jakiś opis do tego spotkania?
-----------------------------------
-----------------------------------
- nie
------ rozpoznany user frame ------
negate()
------ stan ------
UserActType.CREATE_MEETING UserActType.NEGATE actType:SystemActType.REQUEST actParams:['description']
------ przechowywane sloty ------
{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka'], 'description': None}
------ wybrana akcja systemu ------
actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka'], 'description': None}
------ wygenerowana odpowiedź systemu ------
Czy mam dodać te spotkanie do kalendarza?
Dzień: czwartek
Czas: 18
Miejsce: restauracja centrum
Uczestnicy: Agnieszka
Opis: None
-----------------------------------
-----------------------------------
- tak
------ rozpoznany user frame ------
confirm()
------ stan ------
UserActType.CREATE_MEETING UserActType.CONFIRM actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka'], 'description': None}
------ przechowywane sloty ------
{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka'], 'description': None}
------ wybrana akcja systemu ------
actType:SystemActType.AFFIRM actParams:['create_meeting']
------ wygenerowana odpowiedź systemu ------
Spotkanie zostało dodane
-----------------------------------
-----------------------------------

View File

@ -1,14 +0,0 @@
- Czy możesz odwołać wszystkie moje spotkania w tym tygodniu?
------ rozpoznany user frame ------
meeting_list(date='tym tygodniu')
------ stan ------
UserActType.MEETING_LIST UserActType.MEETING_LIST None
------ przechowywane sloty ------
{'date': 'tym tygodniu'}
------ wybrana akcja systemu ------
actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'}
Traceback (most recent call last):
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
system_response = nlg.generateResponse(system_act)
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 154, in generateResponse raise Exception("SystemAct:{} not recognized".format(systemAct))
Exception: SystemAct:actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'} not recognized

View File

@ -64,7 +64,7 @@ Najniższe oceny (2 oraz 3) dotyczyły rozmów, w których nie doszło do pomyś
* 7 użytkowników odpowiedziało <b>tak</b> * 7 użytkowników odpowiedziało <b>tak</b>
* 3 użytkowników odpowiedziało <b>nie</b> * 3 użytkowników odpowiedziało <b>nie</b>
<!-- end of the list --> <!-- end of the list -->
Najbardziej niepokojąca metryka w ankiecie. Aż 70% rozmów skończyło się krytycznym błędem systemu, jednak w większości przypadków nie wpłynęło to na realizację głównego zadania użytkownika. Z pewnością trzebaby się skupić w przyszłości na wyeliminowaniu tych błędów. Najbardziej niepokojąca metryka w ankiecie. Aż 70% rozmów skończyło się krytycznym błędem systemu, jednak w większości przypadków nie wpłynęło to na realizację głównego zadania użytkownika. Z pewnością trzeba się skupić w przyszłości na wyeliminowaniu tych błędów.
### Pytanie 10: Co w systemie działało nagorzej (nieobowiązkowe pytanie opisowe)? ### Pytanie 10: Co w systemie działało nagorzej (nieobowiązkowe pytanie opisowe)?
Najczęściej wskazywanymi mankamentami systemu były błędne przechwytywanie slotów, co często prowadziło do ponownego zadania tego samego pytania oraz nieoczekiwane zakończenie konwersacji błędem krytycznym. Aż 7 użytkowników zdecydowało się odpowiedzieć na to pytanie, co najprawdopodobniej oznacza, że system dalej posiada niewielkie błędy wpływające na jego jakość. Najczęściej wskazywanymi mankamentami systemu były błędne przechwytywanie slotów, co często prowadziło do ponownego zadania tego samego pytania oraz nieoczekiwane zakończenie konwersacji błędem krytycznym. Aż 7 użytkowników zdecydowało się odpowiedzieć na to pytanie, co najprawdopodobniej oznacza, że system dalej posiada niewielkie błędy wpływające na jego jakość.
@ -82,3 +82,13 @@ Większość użytkowników nie ma wyrobionego zdania na temat przydatności sys
Średnia ocena tej metryki to 3.9/5 <br> Średnia ocena tej metryki to 3.9/5 <br>
Najczęstsza ocena to <b>4</b> (5 użytkowników). <br> Najczęstsza ocena to <b>4</b> (5 użytkowników). <br>
Ogólnie system wypada dość dobrze. Najniższe oceny dotyczyły rozmów, podczas których nie udało się zrealizować zadania oraz system zakończył niespodziewanie rozmowe przez błąd. Można więc wysnuć wniosek, że wyeliminowanie tych błędów i poprawa skuteczności podniosłaby ogólną ocenę systemu. Ogólnie system wypada dość dobrze. Najniższe oceny dotyczyły rozmów, podczas których nie udało się zrealizować zadania oraz system zakończył niespodziewanie rozmowe przez błąd. Można więc wysnuć wniosek, że wyeliminowanie tych błędów i poprawa skuteczności podniosłaby ogólną ocenę systemu.
## Inne metryki ewaluacyjne.
### Task success rate:
System poprawnie zrealizował 9 zadań z 16 możliwych, co daje <b>56,25%</b> skuteczności. <br>
Tą skuteczność można uznać za dość dobrą, jednak na pewno trzeba by ją zwiększyć w toku dalszych prac nad systemem. <br>
Głownym elementem systemu, który powodował niepomyślną realizację zadań był moduł NLU (głównie błędne wyłapywanie wartości slotów) oraz moduł NLG (system nie generował odpowiedzi przy niektórych nieprzewidzianych scenariuszach).
### Slot error rate:
System poprawnie wyłapał 23 wartości slotu na 55 przypadków, co daje <b>41,81%</b> skuteczności. <br>
System przede wszystkim miał problem ze slotem <b>opis spotkania</b> oraz <b>uczestnik spotkania</b>. Dość sprawnie wyłapuje slot <b>data</b> oraz <b>godzina</b>.