systemy_dialogowe/notebooks/03-04-czarnoksieznik-z-oz.ipynb

Eksperymenty typu „Czarnoksiężnik z Oz”

W eksperymencie typu „Czarnoksiężnik z Oz” rolę agenta dialogowego odgrywa operator, który symuluje działanie systemu udzielając zamiast niego odpowiedzi w reakcji na komunikaty przekazywane przez użytkownika.

Komunikacja odbywa się za pośrednictwem interfejsu użytkownika zbliżonego do docelowego interfejsu agenta dialogowego.

Użytkownik wchodząc w interakcje z czarnoksiężnikiem nie zdaje sobie sprawy z tego, że rozmawia z człowiekiem a nie z maszyną.

Instrukcje dla użytkowników

Na potrzeby eksperymentów typu „Czarnoksiężnik z Oz” warto przygotować zestaw instrukcji opisujących zadania, jakie użytkownik może wykonać za pośrednictwem rozwijanego systemu.

Instrukcje takie wręcza się użytkownikom przed przystąpieniem do eksperymentu.

Przykład

Przyjrzyjmy się instrukcjom, które zostały przygotowane na potrzeby _Dialog State Tracking Challenge 2 (Henderson i in., 2014).

Dane wykorzystane w tym konkursie pobierzemy z GitHuba https://github.com/matthen/dstc.

!mkdir -p l03
%cd l03
!wget https://github.com/matthen/dstc/releases/download/v1/dstc2_test.tar.gz
!tar xzvf dstc2_test.tar.gz
%cd ..

Wyświetlmy kilka przykładowych instrukcji.

import json

samples = ['voip-00d76b791d-20130327_005342',
           'voip-00d76b791d-20130327_012544',
           'voip-0f41c16f2f-20130402_004710']

for sample in samples:
    with open(f'l03/data/Mar13_S2A0/{sample}/label.json') as f:
        print(json.load(f)['task-information']['goal']['text'])

Zachęcam również do zapoznania się z opisem samego konkursu https://github.com/matthen/dstc/blob/master/handbook.pdf.

Zadanie

Korzystając z MS Teams przeprowadzić rozmowy, w których jedna z osób pełni rolę systemu (operatora eksperymentu) a druga użytkownika.

• W pierwszej serii eksperymentów role użytkowników przyjmują osoby o nieparzystych numerach (kolumna Lp tabeli operatorzy.pdf).

• W drugiej serii eksperymentów role użytkowników przyjmują osoby o parzystych numerach (kolumna Lp tabeli operatorzy.pdf).

Każdy użytkownik powinien przeprowadzić przynajmniej jedną rozmowę z każdym operatorem.

Operator eksperymentu zachowuje zapis rozmowy w katalogu data gałęzi master repozytorium projektowego w pliku o nazwie dialog-XX-YY-NN.tsv, gdzie:

• XX numer operatora

• YY numer użytkownika

• NN numer rozmowy (01 dla pierwszej rozmowy miedzy XX i YY)

Zapisy rozmów proszę zachować w postaci plików o rozszerzeniu tsv. Pierwsza kolumna pliku powinna zawierać oznaczenie roli interlokutora (ciąg znaków system lub user) druga jego wypowiedź.

Czy przeprowadzone testy można uznać za realizację techniki "Czarnoksiężnik z Oz"?

Literatura

1. Matthew Henderson, Blaise Thomson, Jason D. Williams, The Second Dialog State Tracking Challenge, SIGDIAL 2014, 263-272.