"Ostatnią z omawianych przez nas technik stosowaną podczas wspomagania tłumaczenia jest korekta gramatyczna. Automatyczna korekta gramatyczna tekstu to ambitne zadanie odnalezienia możliwych błędów niezwiązanych bezpośrednio z pisownią. Są to między innymi:\n",
"* błędy gramatyczne\n",
"* źle użyte słowa\n",
"* złe połączenia wyrazowe\n",
"* błędy interpunkcyjne\n",
"* kolokwializmy\n",
"* redundancja (np. \"tylko i wyłącznie\")"
]
},
{
"cell_type": "markdown",
"id": "peaceful-kingston",
"metadata": {
"id": "peaceful-kingston"
},
"source": [
"Warto zwrócić uwagę, iż systemy do korekcji gramatycznej można traktować jako klasyfikatory binarne. Przyjmijmy, że odpowiedź pozytywna korektora to wykrycie błędu w tekście, natomiast negatywna - brak błędu. Wówczas rozróżniamy dwa typy pomyłek: false positive oraz false negative. False positive to tzw. \"fałszywy alarm\" - zbyt duża ich ilość spowoduje wydłużenie czasu pracy użytkownika przez konieczność analizowania zgłoszeń, które w istocie błędami nie są. Co jednak jeszcze gorsze, zbyt duża ilość false positives powoduje spadek zaufania użytkownika do systemu oraz drastyczny spadek satysfakcji z używania systemu. Te drugie błędy - false negatives - to z kolei faktyczne błędy w tekście, które nie zostały wyłapane przez system korekty. Stare polskie porzekadło głosi, że \"czego oko nie widzi, tego sercu nie żal\". Niestety jednak problem pojawia się, kiedy dostrzeże to jakieś inne oko... Wysoka liczba false negatives wprawdzie skraca czas korekty (sic!), ale odbywa się to kosztem jakości całego procesu. Idealnie zatem byłoby zminimalizować zarówno liczbę false positives, jak i false negatives. Jak jednak łatwo się domyślić, nie jest to zawsze możliwe. Korektor gramatyczny, który jest bardzo restrykcyjny i raportuje wiele błędów, będzie miał tendencję do popełniania false positives. Natomiast korektor bardziej pobłażliwy niechybnie popełni wiele false negatives. Co zatem jest ważniejsze? Praktyka wskazuje, że oba parametry mają podobną wagę, ale jednak odrobinę ważniejsze jest powstrzymanie się od false positives."
]
},
{
"cell_type": "markdown",
"id": "soviet-highland",
"metadata": {
"id": "soviet-highland"
},
"source": [
"Do najbardziej popularnych narzędzi wspomagających korektę gramatyczną tekstu należą Grammarly oraz LanguageTool. Na dzisiejszych zajęciach zajmiemy się tym drugim. LanguageTool został pierwotnie napisany jako praca dyplomowa Daniela Nabera, a następnie intensywnie rozwijany wspólnie z Marcinem Miłkowskim. Aż do dziś projekt jest ciągle rozwijany, zwiększana jest liczba obsługiwanych języków oraz dokładność działania."
]
},
{
"cell_type": "markdown",
"id": "arbitrary-reconstruction",
"metadata": {
"id": "arbitrary-reconstruction"
},
"source": [
"LanguageTool jest systemem opartym na regułach. W dobie wszechobecnej sztucznej inteligencji opartej na uczeniu maszynowym rozwiązanie to wydaje się nieco przestarzałe. Jednak to właśnie reguły stanowią o sile LanguageToola - pozwalają one na zwiększenie precyzji korektora poprzez minimalizację false positives. Warto wspomnieć, iż liczne reguły LanguageToola dotyczą również korekty pisowni. Czyni to z LanguageToola kompletne narzędzie do korekty tekstu. Polecam przejrzenie zestawu reguł LanguageToola dla języka angielskiego: https://community.languagetool.org/rule/list?lang=en"
]
},
{
"cell_type": "markdown",
"id": "piano-satellite",
"metadata": {
"id": "piano-satellite"
},
"source": [
"Czas uruchomić to narzędzie. Skorzystajmy z Pythona."
"Następnie możemy użyć LanguageToola w programie Pythonowym: (przykład zaczerpnięty z oficjalnego tutoriala: https://pypi.org/project/language-tool-python/)"
"INFO:language_tool_python.download_lt:Unzipping /tmp/tmpze2q21r3.zip to /root/.cache/language_tool_python.\n",
"INFO:language_tool_python.download_lt:Downloaded https://www.languagetool.org/download/LanguageTool-6.4.zip to /root/.cache/language_tool_python.\n"
]
},
{
"output_type": "stream",
"name": "stdout",
"text": [
"[Match({'ruleId': 'EN_A_VS_AN', 'message': 'Use “an” instead of ‘a’ if the following word starts with a vowel sound, e.g. ‘an article’, ‘an hour’.', 'replacements': ['an'], 'offsetInContext': 16, 'context': 'A sentence with a error in the Hitchhiker’s Guide tot he ...', 'offset': 16, 'errorLength': 1, 'category': 'MISC', 'ruleIssueType': 'misspelling', 'sentence': \"A sentence with a error in the Hitchhiker's Guide tot he Galaxy\"}),\n",
" Match({'ruleId': 'TOT_HE', 'message': 'Did you mean “to the”?', 'replacements': ['to the'], 'offsetInContext': 43, 'context': '... with a error in the Hitchhiker’s Guide tot he Galaxy', 'offset': 50, 'errorLength': 6, 'category': 'TYPOS', 'ruleIssueType': 'misspelling', 'sentence': \"A sentence with a error in the Hitchhiker's Guide tot he Galaxy\"})]\n"
"text = 'A sentence with a error in the Hitchhiker’s Guide tot he Galaxy'\n",
"\n",
"pp = pprint.PrettyPrinter(depth=2)\n",
"errors = tool.check(text)\n",
"pp.pprint(errors)"
]
},
{
"cell_type": "markdown",
"id": "gorgeous-million",
"metadata": {
"id": "gorgeous-million"
},
"source": [
"Przeanalizujmy format zwracanego wyniku. Otrzymujemy listę obiektów Match - zawiadomień o potencjalnym błędzie. Razem z każdym błędem otrzymujemy m.in. identyfikator użytej reguły, opis błędu, rekomendancję poprawy, kontekst."
]
},
{
"cell_type": "markdown",
"id": "reasonable-cornwall",
"metadata": {
"id": "reasonable-cornwall"
},
"source": [
"### Ćwiczenie 1: Użyj LanguageTool do znalezienia jak największej liczby prawdziwych błędów na swoim ulubionym portalu internetowym. Skorzystaj z poznanych wcześniej technik web scrapingu. Uwaga - LanguageTool najprawdopodobniej oznaczy nazwy własne jako literówki - ten typ błędu nie powinien być brany pod uwagę."
"[{'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"szukajszukajsympatiagrypromocjaogłoszeniapromocjarabatywiadomościsportpremiumkup\"?', 'Context': 'Onet – Jesteś na bieżąco SzukajSzukajSympatiaGrypromocjaOgłoszeniapromocjaRabatyWiadomościSportPremiumKup Onet PremiumBusiness InsiderForbes Wome...', 'Suggestion': 'szukajszukajsympatiagrypromocjaogłoszeniapromocjarabatywiadomościsportpremiumkup', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"premiumbusiness\"?', 'Context': '...cjaRabatyWiadomościSportPremiumKup Onet PremiumBusiness InsiderForbes WomenNational GeographicA...', 'Suggestion': 'premiumbusiness', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"insiderforbes\"?', 'Context': '...ściSportPremiumKup Onet PremiumBusiness InsiderForbes WomenNational GeographicArchineaSprawy ...', 'Suggestion': 'insiderforbes', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"womennational\"?', 'Context': '...mKup Onet PremiumBusiness InsiderForbes WomenNational GeographicArchineaSprawy KryminalneWszy...', 'Suggestion': 'womennational', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"geographicarchineasprawy\"?', 'Context': '...iumBusiness InsiderForbes WomenNational GeographicArchineaSprawy KryminalneWszystkieDie WeltPrzegląd Spo...', 'Suggestion': 'geographicarchineasprawy', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"kryminalnewszystkiedie\"?', 'Context': '... WomenNational GeographicArchineaSprawy KryminalneWszystkieDie WeltPrzegląd SportowyNowa Technika Wojs...', 'Suggestion': 'kryminalnewszystkiedie', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"weltprzegląd\"?', 'Context': '...icArchineaSprawy KryminalneWszystkieDie WeltPrzegląd SportowyNowa Technika WojskowaBildPrósz...', 'Suggestion': 'weltprzegląd', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"sportowynowa\"?', 'Context': '...awy KryminalneWszystkieDie WeltPrzegląd SportowyNowa Technika WojskowaBildPrószyński i S-kaO...', 'Suggestion': 'sportowynowa', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"wojskowabildprószyński\"?', 'Context': '...eDie WeltPrzegląd SportowyNowa Technika WojskowaBildPrószyński i S-kaOnetPoliticoAuto ŚwiatNowa Europa...', 'Suggestion': 'wojskowabildprószyński', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Wykryto prawdopodobny błąd pisowni', 'Context': '...yNowa Technika WojskowaBildPrószyński i S-kaOnetPoliticoAuto ŚwiatNowa Europa WschodniaNowa GazietaN...', 'Suggestion': '', 'Rule ID': 'MORFOLOGIK_RULE_PL_PL'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"światnowa\"?', 'Context': '...waBildPrószyński i S-kaOnetPoliticoAuto ŚwiatNowa Europa WschodniaNowa GazietaNewsweekFor...', 'Suggestion': 'światnowa', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"wschodnianowa\"?', 'Context': '...i S-kaOnetPoliticoAuto ŚwiatNowa Europa WschodniaNowa GazietaNewsweekForbesKomputer ŚwiatNews...', 'Suggestion': 'wschodnianowa', 'Rule ID': 'NIETYPOWA_KOMBINACJA_DUZYCH_I_MALYCH_LITER'}, {'Error': 'Nietypowa kombinacja małych i dużych liter. Czy nie powinno być: \"gazietanewsweekforbeskomputer\"?', 'Context': '...ticoAuto ŚwiatNowa Europa WschodniaNowa GazietaNewsweekForbesKomputer ŚwiatNewsweek Learnin
"### Ćwiczenie 2: Napisz skrypt, który poszuka błędów w komentarzach klasy Javowej (zwykłych // oraz w javadocach). Uruchom ten skrypt na źródłach wybranego opensourcowego projektu w Javie."
"['Misspelled word \\'Zara\\' in comment:\\n/**\\n* The HelloWorld program implements an application that\\n* simply displays \"Hello World!\" to the standard output.\\n*\\n* @author Zara Ali\\n* @version 1.0\\n* @since 2014-03-31\\n*/\\n', 'Misspelled word \\'Ali\\' in comment:\\n/**\\n* The HelloWorld program implements an application that\\n* simply displays \"Hello World!\" to the standard output.\\n*\\n* @author Zara Ali\\n* @version 1.0\\n* @since 2014-03-31\\n*/\\n']\n"
