6 lines
1.3 KiB
Markdown
6 lines
1.3 KiB
Markdown
|
**Moduł NLU - realizacja zadania**
|
||
|
|
|
||
|
|
- Za pomocą skryptu create_datasets.py wywołanego w konsoli z argumentem będącym ścieżką do repozytorium z anotowanymi dialogami (np. python3 create_dataset.py ../dane) automatycznie tworzone są na ich podstawie treningowy i testowy zbiór w formacie .conllu (train-pl.conllu, test-pl.conllu).
|
||
|
|
- Na obecną chwilę występują rozbieżności w anotacjach plików dokonywanych przez poszczególnych członków zespołu. W wyniku tego tworzone zbiory zawierają mniej oznaczeń slotów niż powinny, co przekłada się na mało zadowalające wyniki modelu. Dokonane zostaną poprawa anotacji i przetrenowanie modelu.
|
||
|
|
- Obecnie moduł NLU zdefiniowany jest jako klasa w pliku NLU.py. Przy tworzeniu jej instancji można wytrenować model podając zbiory lub załadować model z pliku. W przyszłości zostanie on zintegrowany ze stworzonymi później pozostałymi modułami. Dla testów analizę semantyczną przykładowych wypowiedzi można dokonywać na utworzonej instancji klasy. Kod obrazujący wykorzystanie klasy znajduje się na dole pliku NLU.py.
|
||
|
|
- Przy trenowaniu modelu dokonywana jest również jego automatyczna ewaluacja, więc nie było potrzeby tworzenia skryptu evaluate.py dokonującego osobnej ewaluacji. Wyniki automatycznej ewaluacji są za to samoistnie zapisywane do osobnego pliku evaluation.txt.
|