{
    "cells": [
        {
            "cell_type": "markdown",
            "metadata": {
                "collapsed": false
            },
            "source": [
                "![Logo 1](https://git.wmi.amu.edu.pl/AITech/Szablon/raw/branch/master/Logotyp_AITech1.jpg)\n",
                "<div class=\"alert alert-block alert-info\">\n",
                "<h1> Systemy Dialogowe </h1>\n",
                "<h2> 12. <i>Ujednoznacznianie wypowiedzi u\u017cytkownika</i>  [laboratoria]</h2> \n",
                "<h3> Marek Kubis (2021)</h3>\n",
                "</div>\n",
                "\n",
                "![Logo 2](https://git.wmi.amu.edu.pl/AITech/Szablon/raw/branch/master/Logotyp_AITech2.jpg)"
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {},
            "source": [
                "Ujednoznacznianie wypowiedzi u\u017cytkownika\n",
                "========================================\n",
                "\n",
                "Problem\n",
                "-------\n",
                "W systemie dialogowym ukierunkowanym na wype\u0142nianie wielu zada\u0144 jednocze\u015bnie polecenia u\u017cytkownika mog\u0105 by\u0107 niejednoznacznie. Przyk\u0142adowo wypowied\u017a\n",
                "\n",
                "> please book it for me\n",
                "\n",
                "mo\u017ce dotyczy\u0107 zar\u00f3wno rezerwacji pokoju w hotelu jak i biletu na poci\u0105g.\n",
                "\n",
                "System, w kt\u00f3rym modu\u0142 NLU jest zbudowany z wykorzystaniem gramatyk semantycznych mo\u017ce zwr\u00f3ci\u0107\n",
                "wi\u0119cej ni\u017c jedn\u0105 ram\u0119 reprezentuj\u0105c\u0105 znaczenie wypowiedzi. Kt\u00f3ra rama powinna zosta\u0107 uznana za\n",
                "prawid\u0142ow\u0105?\n",
                "\n",
                "System, w kt\u00f3rym modu\u0142 NLU jest zbudowany przy u\u017cyciu modelu sekwencyjnego mo\u017ce zwr\u00f3ci\u0107 jedn\u0105,\n",
                "arbitralnie wybran\u0105 ram\u0119. Co wtedy?\n",
                "\n",
                "Ujednoznacznianie z wykorzystaniem regu\u0142\n",
                "----------------------------------------\n",
                "\n",
                "Do ujednoznaczniania wypowiedzi u\u017cytkownika mo\u017cna wykorzysta\u0107 monitor stanu dialogu oraz taktyk\u0119\n",
                "prowadzenia dialogu.  Mo\u017cemy m.in.:\n",
                "\n",
                " 1. Dopasowa\u0107 niejednoznaczn\u0105 wypowied\u017a do wszystkich dziedzin licz\u0105c na to, \u017ce w toku dialogu\n",
                "    niejednoznaczno\u015b\u0107 zostanie rozstrzygni\u0119ta (to\n",
                "    rozwi\u0105zanie zosta\u0142o przyj\u0119te w monitorze `SimpleRuleDST` przedstawionym na zaj\u0119ciach \u00f3smych).\n",
                "\n",
                " 2. Dopasowa\u0107 niejednoznaczn\u0105 wypowied\u017a wy\u0142\u0105cznie do tej dziedziny, dla kt\u00f3rej stan dialogu zawiera\n",
                "    wype\u0142nione sloty.\n",
                "\n",
                " 3. Sprawdzi\u0107 czy wypowied\u017a u\u017cytkownika stanowi odpowied\u017a na pytanie uprzednio zadane przez system\n",
                "    (pole `request_state` w monitorze `SimpleRuleDST`).\n",
                "\n",
                " 4. Wykorzysta\u0107 taktyk\u0119 prowadzenia dialogu do zadania pytania, kt\u00f3re rozstrzygnie\n",
                "    niejednoznaczno\u015b\u0107."
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {},
            "source": [
                "Ujednoznacznianie z wykorzystaniem uczenia maszynowego\n",
                "------------------------------------------------------\n",
                "\n",
                "W procesie uczenia modelu NLU mo\u017cna wykorzysta\u0107 histori\u0119 dialogu jako kontekst (zbi\u00f3r dodatkowych\n",
                "cech) warunkuj\u0105cych wynik uczenia.\n",
                "Takie podej\u015bcie zosta\u0142o zastosowane w modelu [jointBERT](https://github.com/thu-coai/ConvLab-2/blob/master/convlab2/nlu/jointBERT/jointBERT.py), w kt\u00f3rym kontekst sk\u0142ada si\u0119 z trzech (sklejonych ze sob\u0105) tur dialogu poprzedzaj\u0105cych bie\u017c\u0105c\u0105 wypowied\u017a.\n",
                "\n",
                "Por\u00f3wnajmy skuteczno\u015b\u0107 modelu bezkontekstowego ze skuteczno\u015bci\u0105 modelu uwzgl\u0119dniaj\u0105cego kontekst.\n",
                "Do oceny jako\u015bci wykorzystamy zbi\u00f3r danych [MultiWOZ](https://github.com/budzianowski/multiwoz) (Budzianowski i in., 2018)"
            ]
        },
        {
            "cell_type": "code",
            "execution_count": null,
            "metadata": {
                "lines_to_next_cell": 0
            },
            "outputs": [],
            "source": [
                "from convlab2.nlu.jointBERT.multiwoz import BERTNLU\n",
                "from convlab2.util.dataloader.module_dataloader import MultiTurnNLUDataloader\n",
                "from convlab2.util.dataloader.dataset_dataloader import MultiWOZDataloader\n",
                "\n",
                "dataloader = MultiTurnNLUDataloader(dataset_dataloader=MultiWOZDataloader())\n",
                "data = dataloader.load_data(data_key='test', role='sys')['test']"
            ]
        },
        {
            "cell_type": "code",
            "execution_count": null,
            "metadata": {
                "lines_to_next_cell": 0
            },
            "outputs": [],
            "source": [
                "data['utterance'][:3]"
            ]
        },
        {
            "cell_type": "code",
            "execution_count": null,
            "metadata": {},
            "outputs": [],
            "source": [
                "data['dialog_act'][:3]"
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {
                "lines_to_next_cell": 0
            },
            "source": [
                "Precision, recall oraz F1 obu modeli zmierzymy korzystaj\u0105c z funkcji `evaluate`."
            ]
        },
        {
            "cell_type": "code",
            "execution_count": null,
            "metadata": {},
            "outputs": [],
            "source": [
                "from convlab2.nlu.evaluate import calculateF1\n",
                "from tqdm.notebook import tqdm\n",
                "\n",
                "def evaluate(model, data):\n",
                "    results = []\n",
                "\n",
                "    for utt, ctx, acts in tqdm(zip(data['utterance'], data['context'], data['dialog_act']), total=len(data['utterance'])):\n",
                "        predicted = model.predict(utterance=utt, context=ctx)\n",
                "        results.append({'predict': predicted, 'golden': acts})\n",
                "\n",
                "    precision, recall, fscore = calculateF1(results)\n",
                "    print(f'Precision: {precision:.4f} Recall: {recall:.4f} F1: {fscore:.4f}')\n",
                "    return precision, recall, fscore"
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {
                "lines_to_next_cell": 0
            },
            "source": [
                "Zmierzmy skuteczno\u015b\u0107 modelu bezkontekstowego."
            ]
        },
        {
            "cell_type": "code",
            "execution_count": null,
            "metadata": {},
            "outputs": [],
            "source": [
                "noctx_model = BERTNLU(mode='all',\n",
                "                      config_file='multiwoz_all.json',\n",
                "                      model_file='https://convlab.blob.core.windows.net/convlab-2/bert_multiwoz_all.zip')\n",
                "\n",
                "noctx_results = evaluate(noctx_model, data)"
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {
                "lines_to_next_cell": 0
            },
            "source": [
                "Zmierzmy skutecznos\u0107 modelu uwzgl\u0119dniaj\u0105cego kontekst."
            ]
        },
        {
            "cell_type": "code",
            "execution_count": null,
            "metadata": {},
            "outputs": [],
            "source": [
                "ctx_model = BERTNLU(mode='all',\n",
                "                    config_file='multiwoz_all_context.json',\n",
                "                    model_file='https://convlab.blob.core.windows.net/convlab-2/bert_multiwoz_all_context.zip')\n",
                "\n",
                "ctx_results = evaluate(ctx_model, data)"
            ]
        },
        {
            "cell_type": "markdown",
            "metadata": {},
            "source": [
                "Literatura\n",
                "----------\n",
                " 1. Pawel Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, I\u00f1igo Casanueva, Stefan Ultes, Osman Ramadan, Milica Gasic, MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling. EMNLP 2018, pp. 5016-5026"
            ]
        }
    ],
    "metadata": {
        "jupytext": {
            "cell_metadata_filter": "-all",
            "main_language": "python",
            "notebook_metadata_filter": "-all"
        },
        "author": "Marek Kubis",
        "email": "mkubis@amu.edu.pl",
        "lang": "pl",
        "subtitle": "12.Ujednoznacznianie wypowiedzi u\u017cytkownika[laboratoria]",
        "title": "Systemy Dialogowe",
        "year": "2021"
    },
    "nbformat": 4,
    "nbformat_minor": 4
}