final eval report
This commit is contained in:
Łukasz Jędyk
parent
074c6f1339
commit
d6b4c1cd7d
65
eval/1.txt
65
eval/1.txt
@ -1,65 +0,0 @@
|
||||
- Dzień dobry!
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.WELCOME_MSG actParams:[]
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Cześć
|
||||
|
||||
- Czy możesz mi powiedzieć jakie mam plany na 20 czerwca?
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.MEETING_LIST actParams:[]
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
$("Brak spotkań")
|
||||
|
||||
- Fantastycznie! Czy możesz mi zapisać spotkanie na 19 z Agusią na Starym Rynku?
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['date']
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
W jakim dniu ma się odbyć to spotkanie?
|
||||
|
||||
- 20 czerwca
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['place']
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Gdzie ma się odbyć to spotkanie?
|
||||
|
||||
- Nie złapał "na starym rynku w poznaniu" więc wpisałem "Stary rynek"
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['participants']
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Kto ma wziąć udział w spotkaniu?
|
||||
|
||||
# Tu też nie wyłapał "ja i Aga" więc wpisałem "Agnieszka"
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.CONFIRM_DOMAIN actParams:{'time': '19', 'description': 'Agusią', 'date': '20 czerwca', 'place': 'Z', 'participants': ['Agnieszka']}
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Czy mam dodać te spotkanie do kalendarza?
|
||||
Dzień: 20 czerwca
|
||||
Czas: 19
|
||||
Miejsce: Z
|
||||
Uczestnicy: Agnieszka
|
||||
Opis: Agusią
|
||||
|
||||
Traceback (most recent call last):
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 25, in <module>
|
||||
system_act = dp.chooseTactic()
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\DialoguePolicy.py", line 83, in chooseTactic
|
||||
self.DB.create_meeting(slots)
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\DBManager.py", line 56, in create_meeting
|
||||
date_time = get_date(
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\dateHelper.py", line 143, in get_date
|
||||
return get_datetime_from_day(date, hours, minutes)
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\dateHelper.py", line 122, in get_datetime_from_day
|
||||
date = get_current_date() + timedelta(days=(7 - abs(current_day_of_week-input_date_of_week)))
|
||||
TypeError: unsupported operand type(s) for -: 'int' and 'NoneType'
|
||||
|
||||
66
eval/2.txt
66
eval/2.txt
@ -1,66 +0,0 @@
|
||||
- Chciałbym zarezerwować spotkanie na dzień jutrzejszy na placu X
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['time']
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
W jakim czasie ma się odbyć to spotkanie?
|
||||
|
||||
- 11:25
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['place']
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Gdzie ma się odbyć to spotkanie?
|
||||
|
||||
- na placu X
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['place']
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Gdzie ma się odbyć to spotkanie?
|
||||
|
||||
- Plac X
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['participants']
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Kto ma wziąć udział w spotkaniu?
|
||||
|
||||
- Ja i koleżanka Y
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['participants']
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Kto ma wziąć udział w spotkaniu?
|
||||
|
||||
# Znowu się zapętlił więc wpisałem "Agnieszka" żeby przejść dalej
|
||||
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'jutrzejszy', 'time': '11:25', 'place': 'Plac X', 'description': 'Y', 'participants': ['Agnieszka']}
|
||||
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Czy mam dodać te spotkanie do kalendarza?
|
||||
Dzień: jutrzejszy
|
||||
Czas: 11:25
|
||||
Miejsce: Plac X
|
||||
Uczestnicy: Ja # Tu zmiana była
|
||||
Opis: Y
|
||||
|
||||
Traceback (most recent call last):
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 25, in <module>
|
||||
system_act = dp.chooseTactic()
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\DialoguePolicy.py", line 83, in chooseTactic
|
||||
self.DB.create_meeting(slots)
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\DBManager.py", line 56, in create_meeting
|
||||
date_time = get_date(
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\dateHelper.py", line 143, in get_date
|
||||
return get_datetime_from_day(date, hours, minutes)
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\dateHelper.py", line 122, in get_datetime_from_day
|
||||
date = get_current_date() + timedelta(days=(7 - abs(current_day_of_week-input_date_of_week)))
|
||||
TypeError: unsupported operand type(s) for -: 'int' and 'NoneType'
|
||||
PS C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe>
|
||||
89
eval/4.txt
89
eval/4.txt
@ -1,89 +0,0 @@
|
||||
- hej janusz
|
||||
------ rozpoznany user frame ------
|
||||
inform(participant='janusz')
|
||||
------ stan ------
|
||||
None UserActType.INFORM None
|
||||
------ przechowywane sloty ------
|
||||
{'participants': ['janusz']}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.NOT_UNDERSTOOD actParams:[]
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Nie rozumiem o czym mówisz.
|
||||
|
||||
- chce zapisać spotkanie w kalendarzu
|
||||
------ rozpoznany user frame ------
|
||||
create_meeting()
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.CREATE_MEETING None
|
||||
------ przechowywane sloty ------
|
||||
{'participants': ['janusz']}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['date']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
W jakim dniu ma się odbyć to spotkanie?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- jutro o 10:00
|
||||
------ rozpoznany user frame ------
|
||||
inform(date='jutro',time='10:00')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['date']
|
||||
------ przechowywane sloty ------
|
||||
{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['place']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Gdzie ma się odbyć to spotkanie?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- u mnie w domu # znowu nie wyłapał
|
||||
------ rozpoznany user frame ------
|
||||
bye()
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.BYE actType:SystemActType.REQUEST actParams:['place']
|
||||
------ przechowywane sloty ------
|
||||
{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['place']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Gdzie ma się odbyć to spotkanie?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- Restauracja Poznań
|
||||
------ rozpoznany user frame ------
|
||||
inform(place='restauracja Poznań')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['place']
|
||||
------ przechowywane sloty ------
|
||||
{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00', 'description': 'Poznań', 'place': 'restauracja Poznań'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.CONFIRM_DOMAIN actParams:{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00', 'description': 'Poznań', 'place': 'restauracja Poznań'}
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Czy mam dodać te spotkanie do kalendarza?
|
||||
Dzień: jutro
|
||||
Czas: 10:00
|
||||
Miejsce: restauracja Poznań
|
||||
Uczestnicy: janusz
|
||||
Opis: Poznań
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- czy możesz dodać kolejnych uczestników?
|
||||
------ rozpoznany user frame ------
|
||||
meeting_list()
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.MEETING_LIST actType:SystemActType.CONFIRM_DOMAIN actParams:{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00', 'description': 'Poznań', 'place': 'restauracja Poznań'}
|
||||
------ przechowywane sloty ------
|
||||
{'participants': ['janusz'], 'date': 'jutro', 'time': '10:00', 'description': 'Poznań', 'place': 'restauracja Poznań'}
|
||||
------ wybrana akcja systemu ------
|
||||
None
|
||||
Traceback (most recent call last):
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
|
||||
system_response = nlg.generateResponse(system_act)
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 19, in generateResponse
|
||||
if systemAct.getActType() == SystemActType.REQUEST:
|
||||
AttributeError: 'NoneType' object has no attribute 'getActType'
|
||||
|
||||
118
eval/6.txt
118
eval/6.txt
@ -1,118 +0,0 @@
|
||||
- Jakie mam w tym tygodniu spotkania?
|
||||
|
||||
------ rozpoznany user frame ------
|
||||
meeting_list(date='tym tygodniu')
|
||||
------ stan ------
|
||||
UserActType.MEETING_LIST UserActType.MEETING_LIST None
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'tym tygodniu'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'}
|
||||
Traceback (most recent call last):
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
|
||||
system_response = nlg.generateResponse(system_act)
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 154, in generateResponse raise Exception("SystemAct:{} not recognized".format(systemAct))
|
||||
Exception: SystemAct:actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'} not recognized
|
||||
|
||||
- Dodaj spotkanie we wtorek
|
||||
------ rozpoznany user frame ------
|
||||
create_meeting(date='wtorek')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.CREATE_MEETING None
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'wtorek'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['time']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
W jakim czasie ma się odbyć to spotkanie?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- o godzinie dziesiątej
|
||||
------ rozpoznany user frame ------
|
||||
inform()
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['time']
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'wtorek'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['time']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
W jakim czasie ma się odbyć to spotkanie?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- Spotkanie ma się rozpocząć o dziesiątej # tu też nie wyłapało więc dałem 10
|
||||
------ rozpoznany user frame ------
|
||||
inform(time='10')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['time']
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'wtorek', 'time': '10'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['place']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Gdzie ma się odbyć to spotkanie?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- Spotkanie online
|
||||
------ rozpoznany user frame ------
|
||||
inform(description='Online')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['place']
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'wtorek', 'time': '10', 'description': 'Online'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['place']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Gdzie ma się odbyć to spotkanie?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- w internecie # zmieniłem na "restauracja internet" żeby przejść dalej
|
||||
------ rozpoznany user frame ------
|
||||
inform(description='Online')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['participants']
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['participants']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Kto ma wziąć udział w spotkaniu?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- ja # zmieniłem na agnieszka żeby przejść dalej
|
||||
|
||||
inform(participant='Agnieszka')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['participants']
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet', 'participants': ['Agnieszka']}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet', 'participants': ['Agnieszka']}
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Czy mam dodać te spotkanie do kalendarza?
|
||||
Dzień: wtorek
|
||||
Czas: 10
|
||||
Miejsce: restauracja internet
|
||||
Uczestnicy: Agnieszka
|
||||
Opis: Online
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- Tak
|
||||
------ rozpoznany user frame ------
|
||||
confirm()
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.CONFIRM actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet', 'participants': ['Agnieszka']}
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'wtorek', 'time': '10', 'description': 'Online', 'place': 'restauracja internet', 'participants': ['Agnieszka']}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.AFFIRM actParams:['create_meeting']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Spotkanie zostało dodane
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
134
eval/8.txt
134
eval/8.txt
@ -1,134 +0,0 @@
|
||||
- Dzień dobry
|
||||
------ rozpoznany user frame ------
|
||||
hello()
|
||||
------ stan ------
|
||||
None UserActType.HELLO None
|
||||
------ przechowywane sloty ------
|
||||
{}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.WELCOME_MSG actParams:[]
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Cześć
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- Fantastycznie. Czy możesz mi powiedzieć jakie mam plany na piątek?
|
||||
------ rozpoznany user frame ------
|
||||
meeting_list(date='piątek')
|
||||
------ stan ------
|
||||
UserActType.MEETING_LIST UserActType.MEETING_LIST None
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'piątek'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.MEETING_LIST actParams:{'date': 'piątek'}
|
||||
Traceback (most recent call last):
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
|
||||
system_response = nlg.generateResponse(system_act)
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 154, in generateResponse raise Exception("SystemAct:{} not recognized".format(systemAct))
|
||||
Exception: SystemAct:actType:SystemActType.MEETING_LIST actParams:{'date': 'piątek'} not recognized
|
||||
|
||||
# Odpowiedziałem jako brak spotkań
|
||||
|
||||
- A mam jakiekolwiek spotkania w tym tygodniu?
|
||||
------ rozpoznany user frame ------
|
||||
meeting_list(date='tym tygodniu')
|
||||
------ stan ------
|
||||
UserActType.MEETING_LIST UserActType.MEETING_LIST None
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'tym tygodniu'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'}
|
||||
Traceback (most recent call last):
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
|
||||
system_response = nlg.generateResponse(system_act)
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 154, in generateResponse raise Exception("SystemAct:{} not recognized".format(systemAct))
|
||||
Exception: SystemAct:actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'} not recognized
|
||||
|
||||
# Odpowiedziałem jako brak spotkań
|
||||
|
||||
- ok zapisz mi proszę spotkanie na czwartek na 18
|
||||
------ rozpoznany user frame ------
|
||||
create_meeting(date='czwartek',time='18')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.CREATE_MEETING None
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'czwartek', 'time': '18'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['place']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Gdzie ma się odbyć to spotkanie?
|
||||
|
||||
- centrum
|
||||
------ rozpoznany user frame ------
|
||||
inform()
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['place']
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'czwartek', 'time': '18'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['place']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Gdzie ma się odbyć to spotkanie?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- w centrum # Wpisałem restauracja centrum
|
||||
------ rozpoznany user frame ------
|
||||
inform(place='restauracja centrum')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['place']
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['participants']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Kto ma wziąć udział w spotkaniu?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- nikt więcej # wpisałem agnieszka żeby przejść dalej
|
||||
------ rozpoznany user frame ------
|
||||
inform(participant='Agnieszka')
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.INFORM actType:SystemActType.REQUEST actParams:['participants']
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka']}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.REQUEST actParams:['description']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Czy mam dodać jakiś opis do tego spotkania?
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- nie
|
||||
------ rozpoznany user frame ------
|
||||
negate()
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.NEGATE actType:SystemActType.REQUEST actParams:['description']
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka'], 'description': None}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka'], 'description': None}
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Czy mam dodać te spotkanie do kalendarza?
|
||||
Dzień: czwartek
|
||||
Czas: 18
|
||||
Miejsce: restauracja centrum
|
||||
Uczestnicy: Agnieszka
|
||||
Opis: None
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
|
||||
- tak
|
||||
------ rozpoznany user frame ------
|
||||
confirm()
|
||||
------ stan ------
|
||||
UserActType.CREATE_MEETING UserActType.CONFIRM actType:SystemActType.CONFIRM_DOMAIN actParams:{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka'], 'description': None}
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'czwartek', 'time': '18', 'place': 'restauracja centrum', 'participants': ['Agnieszka'], 'description': None}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.AFFIRM actParams:['create_meeting']
|
||||
------ wygenerowana odpowiedź systemu ------
|
||||
Spotkanie zostało dodane
|
||||
-----------------------------------
|
||||
-----------------------------------
|
||||
14
eval/9.txt
14
eval/9.txt
@ -1,14 +0,0 @@
|
||||
- Czy możesz odwołać wszystkie moje spotkania w tym tygodniu?
|
||||
------ rozpoznany user frame ------
|
||||
meeting_list(date='tym tygodniu')
|
||||
------ stan ------
|
||||
UserActType.MEETING_LIST UserActType.MEETING_LIST None
|
||||
------ przechowywane sloty ------
|
||||
{'date': 'tym tygodniu'}
|
||||
------ wybrana akcja systemu ------
|
||||
actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'}
|
||||
Traceback (most recent call last):
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\main.py", line 31, in <module>
|
||||
system_response = nlg.generateResponse(system_act)
|
||||
File "C:\Users\masob\Desktop\STUDIA\SYSTEMY DIALOGOWE\SystemyDialogowe\NaturalLanguageGeneration.py", line 154, in generateResponse raise Exception("SystemAct:{} not recognized".format(systemAct))
|
||||
Exception: SystemAct:actType:SystemActType.MEETING_LIST actParams:{'date': 'tym tygodniu'} not recognized
|
||||
@ -64,7 +64,7 @@ Najniższe oceny (2 oraz 3) dotyczyły rozmów, w których nie doszło do pomyś
|
||||
* 7 użytkowników odpowiedziało <b>tak</b>
|
||||
* 3 użytkowników odpowiedziało <b>nie</b>
|
||||
<!-- end of the list -->
|
||||
Najbardziej niepokojąca metryka w ankiecie. Aż 70% rozmów skończyło się krytycznym błędem systemu, jednak w większości przypadków nie wpłynęło to na realizację głównego zadania użytkownika. Z pewnością trzebaby się skupić w przyszłości na wyeliminowaniu tych błędów.
|
||||
Najbardziej niepokojąca metryka w ankiecie. Aż 70% rozmów skończyło się krytycznym błędem systemu, jednak w większości przypadków nie wpłynęło to na realizację głównego zadania użytkownika. Z pewnością trzeba się skupić w przyszłości na wyeliminowaniu tych błędów.
|
||||
|
||||
### Pytanie 10: Co w systemie działało nagorzej (nieobowiązkowe pytanie opisowe)?
|
||||
Najczęściej wskazywanymi mankamentami systemu były błędne przechwytywanie slotów, co często prowadziło do ponownego zadania tego samego pytania oraz nieoczekiwane zakończenie konwersacji błędem krytycznym. Aż 7 użytkowników zdecydowało się odpowiedzieć na to pytanie, co najprawdopodobniej oznacza, że system dalej posiada niewielkie błędy wpływające na jego jakość.
|
||||
@ -81,4 +81,14 @@ Większość użytkowników nie ma wyrobionego zdania na temat przydatności sys
|
||||
### Pytanie 13: Ogólna ocena systemu przez użytkownika.
|
||||
Średnia ocena tej metryki to 3.9/5 <br>
|
||||
Najczęstsza ocena to <b>4</b> (5 użytkowników). <br>
|
||||
Ogólnie system wypada dość dobrze. Najniższe oceny dotyczyły rozmów, podczas których nie udało się zrealizować zadania oraz system zakończył niespodziewanie rozmowe przez błąd. Można więc wysnuć wniosek, że wyeliminowanie tych błędów i poprawa skuteczności podniosłaby ogólną ocenę systemu.
|
||||
Ogólnie system wypada dość dobrze. Najniższe oceny dotyczyły rozmów, podczas których nie udało się zrealizować zadania oraz system zakończył niespodziewanie rozmowe przez błąd. Można więc wysnuć wniosek, że wyeliminowanie tych błędów i poprawa skuteczności podniosłaby ogólną ocenę systemu.
|
||||
|
||||
## Inne metryki ewaluacyjne.
|
||||
### Task success rate:
|
||||
System poprawnie zrealizował 9 zadań z 16 możliwych, co daje <b>56,25%</b> skuteczności. <br>
|
||||
Tą skuteczność można uznać za dość dobrą, jednak na pewno trzeba by ją zwiększyć w toku dalszych prac nad systemem. <br>
|
||||
Głownym elementem systemu, który powodował niepomyślną realizację zadań był moduł NLU (głównie błędne wyłapywanie wartości slotów) oraz moduł NLG (system nie generował odpowiedzi przy niektórych nieprzewidzianych scenariuszach).
|
||||
|
||||
### Slot error rate:
|
||||
System poprawnie wyłapał 23 wartości slotu na 55 przypadków, co daje <b>41,81%</b> skuteczności. <br>
|
||||
System przede wszystkim miał problem ze slotem <b>opis spotkania</b> oraz <b>uczestnik spotkania</b>. Dość sprawnie wyłapuje slot <b>data</b> oraz <b>godzina</b>.
|
||||
Loading…
Reference in New Issue
Block a user