6.7 KiB
Systemy Dialogowe
3-4. Eksperymenty typu „Czarnoksiężnik z Oz” [laboratoria]
Marek Kubis (2021)
Eksperymenty typu „Czarnoksiężnik z Oz”
W eksperymencie typu „Czarnoksiężnik z Oz” rolę agenta dialogowego odgrywa operator, który symuluje działanie systemu udzielając zamiast niego odpowiedzi w reakcji na komunikaty przekazywane przez użytkownika.
Komunikacja odbywa się za pośrednictwem interfejsu użytkownika zbliżonego do docelowego interfejsu agenta dialogowego.
Użytkownik wchodząc w interakcje z czarnoksiężnikiem nie zdaje sobie sprawy z tego, że rozmawia z człowiekiem a nie z maszyną.
Instrukcje dla użytkowników
Na potrzeby eksperymentów typu „Czarnoksiężnik z Oz” warto przygotować zestaw instrukcji opisujących zadania, jakie użytkownik może wykonać za pośrednictwem rozwijanego systemu.
Instrukcje takie wręcza się użytkownikom przed przystąpieniem do eksperymentu.
Przykład
Przyjrzyjmy się instrukcjom, które zostały przygotowane na potrzeby _Dialog State Tracking Challenge 2 (Henderson i in., 2014).
Dane wykorzystane w tym konkursie pobierzemy z GitHuba https://github.com/matthen/dstc.
!mkdir -p l03
%cd l03
!wget https://github.com/matthen/dstc/releases/download/v1/dstc2_test.tar.gz
!tar xzvf dstc2_test.tar.gz
%cd ..
Wyświetlmy kilka przykładowych instrukcji.
import json
samples = ['voip-00d76b791d-20130327_005342',
'voip-00d76b791d-20130327_012544',
'voip-0f41c16f2f-20130402_004710']
for sample in samples:
with open(f'l03/data/Mar13_S2A0/{sample}/label.json') as f:
print(json.load(f)['task-information']['goal']['text'])
Zachęcam również do zapoznania się z opisem samego konkursu https://github.com/matthen/dstc/blob/master/handbook.pdf.
Zadanie
Korzystając z MS Teams (lub innego komunikatora) przeprowadzić rozmowy, w których jedna z osób pełni rolę systemu (operatora eksperymentu) a druga użytkownika.
W dniu 29.03 role użytkowników przyjmują osoby o nieparzystych numerach (kolumna
Lp
tabeliPunktacja
).W dniu 30.03 role użytkowników przyjmują osoby o parzystych numerach (kolumna
Lp
tabeliPunktacja
).
Każdy użytkownik powinien przeprowadzić przynajmniej jedną rozmowę z każdym operatorem.
Operator eksperymentu zachowuje zapis rozmowy w katalogu data
gałęzi master
repozytorium projektowego w pliku o nazwie dialog-XX-YY-NN.tsv
, gdzie:
XX
numer operatoraYY
numer użytkownikaNN
numer rozmowy (01
dla pierwszej rozmowy miedzyXX
iYY
)
Zapisy rozmów proszę zachować w postaci plików o rozszerzeniu tsv
.
Pierwsza kolumna pliku powinna zawierać oznaczenie roli interlokutora (ciąg znaków system
lub user
) druga jego wypowiedź.
Czy przeprowadzone testy można uznać za realizację techniki "Czarnoksiężnik z Oz"?
Literatura
- Matthew Henderson, Blaise Thomson, Jason D. Williams, The Second Dialog State Tracking Challenge, SIGDIAL 2014, 263-272.