143 lines
6.7 KiB
Plaintext
143 lines
6.7 KiB
Plaintext
{
|
|
"cells": [
|
|
{
|
|
"cell_type": "markdown",
|
|
"metadata": {
|
|
"collapsed": false
|
|
},
|
|
"source": [
|
|
"\n",
|
|
"<div class=\"alert alert-block alert-info\">\n",
|
|
"<h1> Systemy Dialogowe </h1>\n",
|
|
"<h2> 3-4. <i>Eksperymenty typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d</i> [laboratoria]</h2> \n",
|
|
"<h3> Marek Kubis (2021)</h3>\n",
|
|
"</div>\n",
|
|
"\n",
|
|
""
|
|
]
|
|
},
|
|
{
|
|
"cell_type": "markdown",
|
|
"metadata": {},
|
|
"source": [
|
|
"Eksperymenty typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d\n",
|
|
"=======================================\n",
|
|
"\n",
|
|
"W eksperymencie typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d rol\u0119 agenta dialogowego odgrywa operator,\n",
|
|
"kt\u00f3ry symuluje dzia\u0142anie systemu udzielaj\u0105c zamiast niego odpowiedzi w reakcji na komunikaty przekazywane przez u\u017cytkownika.\n",
|
|
"\n",
|
|
"Komunikacja odbywa si\u0119 za po\u015brednictwem interfejsu u\u017cytkownika zbli\u017conego do docelowego interfejsu\n",
|
|
"agenta dialogowego.\n",
|
|
"\n",
|
|
"U\u017cytkownik wchodz\u0105c w interakcje z czarnoksi\u0119\u017cnikiem nie zdaje sobie sprawy z tego, \u017ce rozmawia z\n",
|
|
"cz\u0142owiekiem a nie z maszyn\u0105.\n",
|
|
"\n",
|
|
"Instrukcje dla u\u017cytkownik\u00f3w\n",
|
|
"---------------------------\n",
|
|
"Na potrzeby eksperyment\u00f3w typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d\n",
|
|
"warto przygotowa\u0107 zestaw instrukcji opisuj\u0105cych zadania, jakie u\u017cytkownik mo\u017ce wykona\u0107 za\n",
|
|
"po\u015brednictwem rozwijanego systemu.\n",
|
|
"\n",
|
|
"Instrukcje takie wr\u0119cza si\u0119 u\u017cytkownikom przed przyst\u0105pieniem do eksperymentu.\n",
|
|
"\n",
|
|
"### Przyk\u0142ad\n",
|
|
"Przyjrzyjmy si\u0119 instrukcjom, kt\u00f3re zosta\u0142y przygotowane na potrzeby *Dialog State Tracking Challenge 2* (Henderson i in., 2014).\n",
|
|
"\n",
|
|
"Dane wykorzystane w tym konkursie pobierzemy z GitHuba https://github.com/matthen/dstc."
|
|
]
|
|
},
|
|
{
|
|
"cell_type": "code",
|
|
"execution_count": null,
|
|
"metadata": {},
|
|
"outputs": [],
|
|
"source": [
|
|
"!mkdir -p l03\n",
|
|
"%cd l03\n",
|
|
"!wget https://github.com/matthen/dstc/releases/download/v1/dstc2_test.tar.gz\n",
|
|
"!tar xzvf dstc2_test.tar.gz\n",
|
|
"%cd .."
|
|
]
|
|
},
|
|
{
|
|
"cell_type": "markdown",
|
|
"metadata": {},
|
|
"source": [
|
|
"Wy\u015bwietlmy kilka przyk\u0142adowych instrukcji."
|
|
]
|
|
},
|
|
{
|
|
"cell_type": "code",
|
|
"execution_count": null,
|
|
"metadata": {},
|
|
"outputs": [],
|
|
"source": [
|
|
"import json\n",
|
|
"\n",
|
|
"samples = ['voip-00d76b791d-20130327_005342',\n",
|
|
" 'voip-00d76b791d-20130327_012544',\n",
|
|
" 'voip-0f41c16f2f-20130402_004710']\n",
|
|
"\n",
|
|
"for sample in samples:\n",
|
|
" with open(f'l03/data/Mar13_S2A0/{sample}/label.json') as f:\n",
|
|
" print(json.load(f)['task-information']['goal']['text'])"
|
|
]
|
|
},
|
|
{
|
|
"cell_type": "markdown",
|
|
"metadata": {},
|
|
"source": [
|
|
"Zach\u0119cam r\u00f3wnie\u017c do zapoznania si\u0119 z opisem samego konkursu https://github.com/matthen/dstc/blob/master/handbook.pdf.\n",
|
|
"\n",
|
|
"Zadanie\n",
|
|
"-------\n",
|
|
"Korzystaj\u0105c z MS Teams (lub innego komunikatora) przeprowadzi\u0107 rozmowy, w kt\u00f3rych jedna z os\u00f3b pe\u0142ni\n",
|
|
"rol\u0119 systemu (operatora eksperymentu) a druga u\u017cytkownika.\n",
|
|
"\n",
|
|
" - W dniu 29.03 role u\u017cytkownik\u00f3w przyjmuj\u0105 osoby o nieparzystych numerach (kolumna `Lp` tabeli `Punktacja`).\n",
|
|
"\n",
|
|
" - W dniu 30.03 role u\u017cytkownik\u00f3w przyjmuj\u0105 osoby o parzystych numerach (kolumna `Lp` tabeli `Punktacja`).\n",
|
|
"\n",
|
|
"Ka\u017cdy u\u017cytkownik powinien przeprowadzi\u0107 przynajmniej jedn\u0105 rozmow\u0119 z ka\u017cdym operatorem.\n",
|
|
"\n",
|
|
"Operator eksperymentu zachowuje zapis rozmowy w katalogu `data` ga\u0142\u0119zi master\n",
|
|
"repozytorium projektowego w pliku o nazwie `dialog-XX-YY-NN.tsv`, gdzie:\n",
|
|
"\n",
|
|
" - `XX` numer operatora\n",
|
|
"\n",
|
|
" - `YY` numer u\u017cytkownika\n",
|
|
"\n",
|
|
" - `NN` numer rozmowy (`01` dla pierwszej rozmowy miedzy `XX` i `YY`)"
|
|
]
|
|
},
|
|
{
|
|
"cell_type": "markdown",
|
|
"metadata": {},
|
|
"source": [
|
|
"Zapisy rozm\u00f3w prosz\u0119 zachowa\u0107 w postaci plik\u00f3w o rozszerzeniu `tsv`.\n",
|
|
"Pierwsza kolumna pliku powinna zawiera\u0107 oznaczenie roli interlokutora (ci\u0105g znak\u00f3w `system` lub `user`) druga jego wypowied\u017a.\n",
|
|
"\n",
|
|
"Czy przeprowadzone testy mo\u017cna uzna\u0107 za realizacj\u0119 techniki \"Czarnoksi\u0119\u017cnik z Oz\"?\n",
|
|
"\n",
|
|
"Literatura\n",
|
|
"----------\n",
|
|
" 1. Matthew Henderson, Blaise Thomson, Jason D. Williams, The Second Dialog State Tracking Challenge, SIGDIAL 2014, 263-272."
|
|
]
|
|
}
|
|
],
|
|
"metadata": {
|
|
"jupytext": {
|
|
"cell_metadata_filter": "-all",
|
|
"main_language": "python",
|
|
"notebook_metadata_filter": "-all"
|
|
},
|
|
"author": "Marek Kubis",
|
|
"email": "mkubis@amu.edu.pl",
|
|
"lang": "pl",
|
|
"subtitle": "3-4.Eksperymenty typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d[laboratoria]",
|
|
"title": "Systemy Dialogowe",
|
|
"year": "2021"
|
|
},
|
|
"nbformat": 4,
|
|
"nbformat_minor": 4
|
|
} |