Prześlij pliki do ''
This commit is contained in:
parent
3ba7683a44
commit
3dad98867c
303
AJN.ipynb
Normal file
303
AJN.ipynb
Normal file
@ -0,0 +1,303 @@
|
|||||||
|
{
|
||||||
|
"cells": [
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"\n",
|
||||||
|
"<div class=\"alert alert-block alert-info\">\n",
|
||||||
|
"<h1> Systemy Dialogowe </h1>\n",
|
||||||
|
"<h2> 7. <i>Parsing semantyczny z wykorzystaniem gramatyk</i> [laboratoria]</h2> \n",
|
||||||
|
"<h3> Marek Kubis (2021)</h3>\n",
|
||||||
|
"</div>\n",
|
||||||
|
"\n",
|
||||||
|
""
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"Parsing semantyczny z wykorzystaniem gramatyk\n",
|
||||||
|
"=============================================\n",
|
||||||
|
"\n",
|
||||||
|
"Wartości slotów możemy wydobywać z wypowiedzi użytkownika korzystając z takich technik, jak:\n",
|
||||||
|
"\n",
|
||||||
|
" - wyszukiwanie słów kluczowych w tekście,\n",
|
||||||
|
"\n",
|
||||||
|
" - dopasowywanie wzorców zbudowanych przy użyciu wyrażeń regularnych,\n",
|
||||||
|
"\n",
|
||||||
|
" - parsery regułowe (temat dzisiejszych zajęć),\n",
|
||||||
|
"\n",
|
||||||
|
" - uczenie maszynowe (temat kolejnych zajęć)."
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"Przykłady parserów regułowych\n",
|
||||||
|
"-----------------------------\n",
|
||||||
|
"\n",
|
||||||
|
" - [Phoenix](http://wiki.speech.cs.cmu.edu/olympus/index.php/Phoenix_Server) — parser gramatyk\n",
|
||||||
|
" bezkontekstowych whodzący w skład systemu dialogowego [Olympus](http://wiki.speech.cs.cmu.edu/olympus/index.php/Olympus)\n",
|
||||||
|
"\n",
|
||||||
|
" - Parsery [DCG](https://www.swi-prolog.org/pldoc/man?section=DCG) (Definite Clause Grammars) języka [Prolog](https://www.swi-prolog.org/)\n",
|
||||||
|
"\n",
|
||||||
|
" - [JSpeech Grammar Format](https://www.w3.org/TR/jsgf/) (JSGF)\n",
|
||||||
|
"\n",
|
||||||
|
"Przykład\n",
|
||||||
|
"--------\n",
|
||||||
|
"Zapiszmy w JSGF gramatykę semantyczną dla aktu dialogowego reprezentującego zamiar rezerwacji\n",
|
||||||
|
"stolika w restauracji."
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "code",
|
||||||
|
"execution_count": 51,
|
||||||
|
"metadata": {},
|
||||||
|
"outputs": [
|
||||||
|
{
|
||||||
|
"name": "stdout",
|
||||||
|
"output_type": "stream",
|
||||||
|
"text": [
|
||||||
|
"Overwriting book.jsgf\n"
|
||||||
|
]
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"source": [
|
||||||
|
"%%writefile book.jsgf\n",
|
||||||
|
"#JSGF V1.0 UTF-8 pl;\n",
|
||||||
|
"\n",
|
||||||
|
"grammar book;\n",
|
||||||
|
"\n",
|
||||||
|
"public <rezerwuj> = chciałbym zarezerwować <ilosc_biletow> <tytul_filmu> [<dzien_rezerwacji>] [<godzina_rezerwacji>];\n",
|
||||||
|
"\n",
|
||||||
|
"<ilosc_biletow> = <liczba> {ilosc} (bilety | biletów);\n",
|
||||||
|
"\n",
|
||||||
|
"<liczba> = dwa | trzy | cztery |1|2|3|4|5|6;\n",
|
||||||
|
"\n",
|
||||||
|
"<tytul_filmu> = na [film] <tytul> {tytul};\n",
|
||||||
|
"\n",
|
||||||
|
"<tytul> = Batman | Uncharted | Pitbull;\n",
|
||||||
|
"\n",
|
||||||
|
"<dzien_rezerwacji> = na <dzien> {dzien};\n",
|
||||||
|
"\n",
|
||||||
|
"<dzien> = dzisiaj | jutro | poniedziałek | wtorek | środę | czwartek | piątek | sobotę | niedzielę;\n",
|
||||||
|
"\n",
|
||||||
|
"<godzina_rezerwacji> = na [godzinę] <godzina_z_minutami> {godzina};\n",
|
||||||
|
"\n",
|
||||||
|
"<godzina_z_minutami> = <godzina> [<minuty>];\n",
|
||||||
|
"\n",
|
||||||
|
"<godzina> = dziewiątą | dziesiątą | jedenastą | dwunastą;\n",
|
||||||
|
"\n",
|
||||||
|
"<minuty> = pietnaście | trzydzieści;\n"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"Parser akceptujący powyższą gramatykę utworzymy korzystając z biblioteki [pyjsgf](https://github.com/Danesprite/pyjsgf)."
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "code",
|
||||||
|
"execution_count": 52,
|
||||||
|
"metadata": {},
|
||||||
|
"outputs": [
|
||||||
|
{
|
||||||
|
"data": {
|
||||||
|
"text/plain": [
|
||||||
|
"Grammar(version=1.0, charset=UTF-8, language=pl, name=book)"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"execution_count": 52,
|
||||||
|
"metadata": {},
|
||||||
|
"output_type": "execute_result"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"source": [
|
||||||
|
"import jsgf\n",
|
||||||
|
"\n",
|
||||||
|
"book_grammar = jsgf.parse_grammar_file('book.jsgf')\n",
|
||||||
|
"book_grammar"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"Wykorzystajmy gramatykę `book.jsgf` do analizy następującej wypowiedzi"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "code",
|
||||||
|
"execution_count": 53,
|
||||||
|
"metadata": {},
|
||||||
|
"outputs": [
|
||||||
|
{
|
||||||
|
"data": {
|
||||||
|
"text/plain": [
|
||||||
|
"[Rule(name='rezerwuj', visible=True, expansion=Sequence(Literal('chciałbym zarezerwować'), NamedRuleRef('ilosc_biletow'), NamedRuleRef('tytul_filmu'), OptionalGrouping(NamedRuleRef('dzien_rezerwacji')), OptionalGrouping(NamedRuleRef('godzina_rezerwacji'))))]"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"execution_count": 53,
|
||||||
|
"metadata": {},
|
||||||
|
"output_type": "execute_result"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"source": [
|
||||||
|
"utterance = 'chciałbym zarezerwować 1 biletów na film Pitbull'\n",
|
||||||
|
"matched = book_grammar.find_matching_rules(utterance)\n",
|
||||||
|
"matched"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"Reprezentację znaczenia można wydobyć ze sparsowanej wypowiedzi na wiele sposobów. My do\n",
|
||||||
|
"wydobywania slotów wykorzystamy mechanizm tagów JSGF a za nazwę aktu dialogowego przyjmiemy nazwę\n",
|
||||||
|
"gramatyki. Wzorując się na [DSTC2](https://github.com/matthen/dstc) wynikową ramę zapiszemy korzystając ze słownika o polach `act` i `slots`."
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "code",
|
||||||
|
"execution_count": 54,
|
||||||
|
"metadata": {},
|
||||||
|
"outputs": [
|
||||||
|
{
|
||||||
|
"data": {
|
||||||
|
"text/plain": [
|
||||||
|
"{'act': 'book',\n",
|
||||||
|
" 'slots': [('ilosc', '1'),\n",
|
||||||
|
" ('tytul', 'Pitbull'),\n",
|
||||||
|
" ('dzien', None),\n",
|
||||||
|
" ('godzina', None)]}"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"execution_count": 54,
|
||||||
|
"metadata": {},
|
||||||
|
"output_type": "execute_result"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"source": [
|
||||||
|
"def get_dialog_act(rule):\n",
|
||||||
|
" slots = []\n",
|
||||||
|
" get_slots(rule.expansion, slots)\n",
|
||||||
|
" return {'act': rule.grammar.name, 'slots': slots}\n",
|
||||||
|
"\n",
|
||||||
|
"def get_slots(expansion, slots):\n",
|
||||||
|
" if expansion.tag != '':\n",
|
||||||
|
" slots.append((expansion.tag, expansion.current_match))\n",
|
||||||
|
" return\n",
|
||||||
|
"\n",
|
||||||
|
" for child in expansion.children:\n",
|
||||||
|
" get_slots(child, slots)\n",
|
||||||
|
"\n",
|
||||||
|
" if not expansion.children and isinstance(expansion, jsgf.NamedRuleRef):\n",
|
||||||
|
" get_slots(expansion.referenced_rule.expansion, slots)\n",
|
||||||
|
"\n",
|
||||||
|
"get_dialog_act(matched[0])"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"Łącząc powyższe funkcje możemy zbudować prosty moduł NLU."
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "code",
|
||||||
|
"execution_count": 41,
|
||||||
|
"metadata": {},
|
||||||
|
"outputs": [
|
||||||
|
{
|
||||||
|
"data": {
|
||||||
|
"text/plain": [
|
||||||
|
"{'act': 'null', 'slots': []}"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"execution_count": 41,
|
||||||
|
"metadata": {},
|
||||||
|
"output_type": "execute_result"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"source": [
|
||||||
|
"def nlu(utterance):\n",
|
||||||
|
" matched = book_grammar.find_matching_rules(utterance)\n",
|
||||||
|
"\n",
|
||||||
|
" if matched:\n",
|
||||||
|
" return get_dialog_act(matched[0])\n",
|
||||||
|
" else:\n",
|
||||||
|
" return {'act': 'null', 'slots': []}\n",
|
||||||
|
"\n",
|
||||||
|
"nlu('chciałbym zarezerwować dwa bilety na film Pitbull')"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"Problemy\n",
|
||||||
|
"--------\n",
|
||||||
|
"\n",
|
||||||
|
" - Co z normalizacją wyrażeń liczbowych takich, jak godziny, daty czy numery telefonów?\n",
|
||||||
|
"\n",
|
||||||
|
" - Co w przypadku gdy więcej niż jedna reguła zostanie dopasowana?"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"Zadanie\n",
|
||||||
|
"-------\n",
|
||||||
|
"Zaimplementować analizator języka naturalnego (NLU) na potrzeby realizowanego agenta dialogowego.\n",
|
||||||
|
"\n",
|
||||||
|
"Moduł powinien być zbudowany z wykorzystaniem parsingu regułowego i/lub technik uczenia maszynowego.\n",
|
||||||
|
"\n",
|
||||||
|
"Przygotować skrypt `evaluate.py` wyznaczający *dokładność* (ang. accuracy) analizatora względem zgromadzonego korpusu eksperymentalnego,\n",
|
||||||
|
"tj. stosunek liczby wypowiedzi użytkownika, w których akty dialogowe zostały rozpoznane prawidłowo do liczby wszystkich wypowiedzi użytkownika w korpusie.\n",
|
||||||
|
"\n",
|
||||||
|
"Analizator języka naturalnego umieścić w gałęzi `master` repozytorium projektowego. Skrypt `evaluate.py` umieścić w katalogu głównym tej gałęzi.\n",
|
||||||
|
"\n",
|
||||||
|
"Termin: 4.05.2022, godz. 23:59."
|
||||||
|
]
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"metadata": {
|
||||||
|
"author": "Marek Kubis",
|
||||||
|
"email": "mkubis@amu.edu.pl",
|
||||||
|
"jupytext": {
|
||||||
|
"cell_metadata_filter": "-all",
|
||||||
|
"main_language": "python",
|
||||||
|
"notebook_metadata_filter": "-all"
|
||||||
|
},
|
||||||
|
"kernelspec": {
|
||||||
|
"display_name": "Python 3",
|
||||||
|
"language": "python",
|
||||||
|
"name": "python3"
|
||||||
|
},
|
||||||
|
"lang": "pl",
|
||||||
|
"language_info": {
|
||||||
|
"codemirror_mode": {
|
||||||
|
"name": "ipython",
|
||||||
|
"version": 3
|
||||||
|
},
|
||||||
|
"file_extension": ".py",
|
||||||
|
"mimetype": "text/x-python",
|
||||||
|
"name": "python",
|
||||||
|
"nbconvert_exporter": "python",
|
||||||
|
"pygments_lexer": "ipython3",
|
||||||
|
"version": "3.7.3"
|
||||||
|
},
|
||||||
|
"subtitle": "7.Parsing semantyczny z wykorzystaniem gramatyk[laboratoria]",
|
||||||
|
"title": "Systemy Dialogowe",
|
||||||
|
"year": "2021"
|
||||||
|
},
|
||||||
|
"nbformat": 4,
|
||||||
|
"nbformat_minor": 4
|
||||||
|
}
|
||||||
Loading…
Reference in New Issue
Block a user