{
    "cells": [
        {
            "cell_type": "markdown",
            "metadata": {
                "collapsed": false
            },
            "source": [
                "![Logo 1](https://git.wmi.amu.edu.pl/AITech/Szablon/raw/branch/master/Logotyp_AITech1.jpg)\n",
                "<div class=\"alert alert-block alert-info\">\n",
                "<h1> Systemy Dialogowe </h1>\n",
                "<h2> 3-4. <i>Eksperymenty typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d</i>  [laboratoria]</h2> \n",
                "<h3> Marek Kubis (2021)</h3>\n",
                "</div>\n",
                "\n",
                "![Logo 2](https://git.wmi.amu.edu.pl/AITech/Szablon/raw/branch/master/Logotyp_AITech2.jpg)"
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {},
            "source": [
                "Eksperymenty typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d\n",
                "=======================================\n",
                "\n",
                "W eksperymencie typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d rol\u0119 agenta dialogowego odgrywa operator,\n",
                "kt\u00f3ry symuluje dzia\u0142anie systemu udzielaj\u0105c zamiast niego odpowiedzi w reakcji na komunikaty przekazywane przez u\u017cytkownika.\n",
                "\n",
                "Komunikacja odbywa si\u0119 za po\u015brednictwem interfejsu u\u017cytkownika zbli\u017conego do docelowego interfejsu\n",
                "agenta dialogowego.\n",
                "\n",
                "U\u017cytkownik wchodz\u0105c w interakcje z czarnoksi\u0119\u017cnikiem nie zdaje sobie sprawy z tego, \u017ce rozmawia z\n",
                "cz\u0142owiekiem a nie z maszyn\u0105.\n",
                "\n",
                "Instrukcje dla u\u017cytkownik\u00f3w\n",
                "---------------------------\n",
                "Na potrzeby eksperyment\u00f3w typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d\n",
                "warto przygotowa\u0107 zestaw instrukcji opisuj\u0105cych zadania, jakie u\u017cytkownik mo\u017ce wykona\u0107 za\n",
                "po\u015brednictwem rozwijanego systemu.\n",
                "\n",
                "Instrukcje takie wr\u0119cza si\u0119 u\u017cytkownikom przed przyst\u0105pieniem do eksperymentu.\n",
                "\n",
                "### Przyk\u0142ad\n",
                "Przyjrzyjmy si\u0119 instrukcjom, kt\u00f3re zosta\u0142y przygotowane na potrzeby *Dialog State Tracking Challenge 2* (Henderson i in., 2014).\n",
                "\n",
                "Dane wykorzystane w tym konkursie pobierzemy z GitHuba https://github.com/matthen/dstc."
            ]
        },
        {
            "cell_type": "code",
            "execution_count": null,
            "metadata": {},
            "outputs": [],
            "source": [
                "!mkdir -p l03\n",
                "%cd l03\n",
                "!wget https://github.com/matthen/dstc/releases/download/v1/dstc2_test.tar.gz\n",
                "!tar xzvf dstc2_test.tar.gz\n",
                "%cd .."
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {},
            "source": [
                "Wy\u015bwietlmy kilka przyk\u0142adowych instrukcji."
            ]
        },
        {
            "cell_type": "code",
            "execution_count": null,
            "metadata": {},
            "outputs": [],
            "source": [
                "import json\n",
                "\n",
                "samples = ['voip-00d76b791d-20130327_005342',\n",
                "           'voip-00d76b791d-20130327_012544',\n",
                "           'voip-0f41c16f2f-20130402_004710']\n",
                "\n",
                "for sample in samples:\n",
                "    with open(f'l03/data/Mar13_S2A0/{sample}/label.json') as f:\n",
                "        print(json.load(f)['task-information']['goal']['text'])"
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {},
            "source": [
                "Zach\u0119cam r\u00f3wnie\u017c do zapoznania si\u0119 z opisem samego konkursu https://github.com/matthen/dstc/blob/master/handbook.pdf.\n",
                "\n",
                "Zadanie\n",
                "-------\n",
                "Korzystaj\u0105c z MS Teams (lub innego komunikatora) przeprowadzi\u0107 rozmowy, w kt\u00f3rych jedna z os\u00f3b pe\u0142ni\n",
                "rol\u0119 systemu (operatora eksperymentu) a druga u\u017cytkownika.\n",
                "\n",
                "  - W dniu 29.03 role u\u017cytkownik\u00f3w przyjmuj\u0105 osoby o nieparzystych numerach (kolumna `Lp` tabeli `Punktacja`).\n",
                "\n",
                "  - W dniu 30.03 role u\u017cytkownik\u00f3w przyjmuj\u0105 osoby o parzystych numerach (kolumna `Lp` tabeli `Punktacja`).\n",
                "\n",
                "Ka\u017cdy u\u017cytkownik powinien przeprowadzi\u0107 przynajmniej jedn\u0105 rozmow\u0119 z ka\u017cdym operatorem.\n",
                "\n",
                "Operator eksperymentu zachowuje zapis rozmowy w katalogu `data` ga\u0142\u0119zi master\n",
                "repozytorium projektowego w pliku o nazwie `dialog-XX-YY-NN.tsv`, gdzie:\n",
                "\n",
                "  - `XX` numer operatora\n",
                "\n",
                "  - `YY` numer u\u017cytkownika\n",
                "\n",
                "  - `NN` numer rozmowy (`01` dla pierwszej rozmowy miedzy `XX` i `YY`)"
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {},
            "source": [
                "Zapisy rozm\u00f3w prosz\u0119 zachowa\u0107 w postaci plik\u00f3w o rozszerzeniu `tsv`.\n",
                "Pierwsza kolumna pliku powinna zawiera\u0107 oznaczenie roli interlokutora (ci\u0105g znak\u00f3w `system` lub `user`) druga jego wypowied\u017a.\n",
                "\n",
                "Czy przeprowadzone testy mo\u017cna uzna\u0107 za realizacj\u0119 techniki \"Czarnoksi\u0119\u017cnik z Oz\"?\n",
                "\n",
                "Literatura\n",
                "----------\n",
                " 1. Matthew Henderson, Blaise Thomson, Jason D. Williams, The Second Dialog State Tracking Challenge, SIGDIAL 2014, 263-272."
            ]
        }
    ],
    "metadata": {
        "jupytext": {
            "cell_metadata_filter": "-all",
            "main_language": "python",
            "notebook_metadata_filter": "-all"
        },
        "author": "Marek Kubis",
        "email": "mkubis@amu.edu.pl",
        "lang": "pl",
        "subtitle": "3-4.Eksperymenty typu \u201eCzarnoksi\u0119\u017cnik z Oz\u201d[laboratoria]",
        "title": "Systemy Dialogowe",
        "year": "2021"
    },
    "nbformat": 4,
    "nbformat_minor": 4
}