Systemy Dialogowe

3-4. Eksperymenty typu „Czarnoksiężnik z Oz” [laboratoria]

Marek Kubis (2021)

Logo 2

Eksperymenty typu „Czarnoksiężnik z Oz”

W eksperymencie typu „Czarnoksiężnik z Oz” rolę agenta dialogowego odgrywa operator, który symuluje działanie systemu udzielając zamiast niego odpowiedzi w reakcji na komunikaty przekazywane przez użytkownika.

Komunikacja odbywa się za pośrednictwem interfejsu użytkownika zbliżonego do docelowego interfejsu agenta dialogowego.

Użytkownik wchodząc w interakcje z czarnoksiężnikiem nie zdaje sobie sprawy z tego, że rozmawia z człowiekiem a nie z maszyną.

Instrukcje dla użytkowników

Na potrzeby eksperymentów typu „Czarnoksiężnik z Oz” warto przygotować zestaw instrukcji opisujących zadania, jakie użytkownik może wykonać za pośrednictwem rozwijanego systemu.

Instrukcje takie wręcza się użytkownikom przed przystąpieniem do eksperymentu.

Przykład

Przyjrzyjmy się instrukcjom, które zostały przygotowane na potrzeby _Dialog State Tracking Challenge 2 (Henderson i in., 2014).

Dane wykorzystane w tym konkursie pobierzemy z GitHuba https://github.com/matthen/dstc.

!mkdir -p l03
%cd l03
!wget https://github.com/matthen/dstc/releases/download/v1/dstc2_test.tar.gz
!tar xzvf dstc2_test.tar.gz
%cd ..

Wyświetlmy kilka przykładowych instrukcji.

import json

samples = ['voip-00d76b791d-20130327_005342',
           'voip-00d76b791d-20130327_012544',
           'voip-0f41c16f2f-20130402_004710']

for sample in samples:
    with open(f'l03/data/Mar13_S2A0/{sample}/label.json') as f:
        print(json.load(f)['task-information']['goal']['text'])

Zachęcam również do zapoznania się z opisem samego konkursu https://github.com/matthen/dstc/blob/master/handbook.pdf.

Zadanie

Korzystając z MS Teams (lub innego komunikatora) przeprowadzić rozmowy, w których jedna z osób pełni rolę systemu (operatora eksperymentu) a druga użytkownika.

W dniu 29.03 role użytkowników przyjmują osoby o nieparzystych numerach (kolumna Lp tabeli Punktacja).
W dniu 30.03 role użytkowników przyjmują osoby o parzystych numerach (kolumna Lp tabeli Punktacja).

Każdy użytkownik powinien przeprowadzić przynajmniej jedną rozmowę z każdym operatorem.

Operator eksperymentu zachowuje zapis rozmowy w katalogu data gałęzi master repozytorium projektowego w pliku o nazwie dialog-XX-YY-NN.tsv, gdzie:

XX numer operatora
YY numer użytkownika
NN numer rozmowy (01 dla pierwszej rozmowy miedzy XX i YY)

Zapisy rozmów proszę zachować w postaci plików o rozszerzeniu tsv. Pierwsza kolumna pliku powinna zawierać oznaczenie roli interlokutora (ciąg znaków system lub user) druga jego wypowiedź.

Czy przeprowadzone testy można uznać za realizację techniki "Czarnoksiężnik z Oz"?

Literatura

Matthew Henderson, Blaise Thomson, Jason D. Williams, The Second Dialog State Tracking Challenge, SIGDIAL 2014, 263-272.

6.7 KiB Raw Blame History