a
This commit is contained in:
Jakub Pokrywka
commit
ca199d89b3
109
00_Informacje_na_temat_przedmiotu.ipynb
Normal file
109
00_Informacje_na_temat_przedmiotu.ipynb
Normal file
@ -0,0 +1,109 @@
|
||||
{
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"\n",
|
||||
"<div class=\"alert alert-block alert-info\">\n",
|
||||
"<h1> Ekstrakcja informacji </h1>\n",
|
||||
"<h2> 0. <i>Informacje na temat przedmiotu</i> [ćwiczenia]</h2> \n",
|
||||
"<h3> Jakub Pokrywka (2022)</h3>\n",
|
||||
"</div>\n",
|
||||
"\n",
|
||||
""
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"# Informacje ogólne"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"## Kontakt z prowadzącym\n",
|
||||
"\n",
|
||||
"prowadzący: mgr inż. Jakub Pokrywka\n",
|
||||
"\n",
|
||||
"Najlepiej kontaktowąć się ze mną przez MS TEAMS prywatnych wiadomościach lub mailowo jp40407@st.amu.edu.pl. Odpisuję co 2-3 dni. Można też umówić się stacjonarnie, na zdzwonko w godzinach dyżuru (wt 12.00-13.00) lub umówić się w innym terminie.\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"## Literatura\n",
|
||||
"Polecana literatura do przedmiotu:\n",
|
||||
"\n",
|
||||
"- Koehn, P. (2009). Statistical Machine Translation. Cambridge: Cambridge University Press. doi:10.1017/CBO9780511815829\n",
|
||||
"- Philipp Koehn. \"Neural Machine Translation\". 2020.\n",
|
||||
"- https://web.stanford.edu/~jurafsky/slp3/3.pdf\n",
|
||||
"- Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Association for Computational Linguistics (NAACL).\n",
|
||||
"- Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu. 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research vol 21, number 140, pages 1-67.\n",
|
||||
"- Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya. 2019. Language Models are Unsupervised Multitask Learners\n",
|
||||
"- https://jalammar.github.io/illustrated-transformer/\n",
|
||||
"- https://www.youtube.com/watch?v=-9evrZnBorM&ab_channel=YannicKilcher\n",
|
||||
"- https://www.youtube.com/watch?v=u1_qMdb0kYU&ab_channel=YannicKilcher\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"## Zaliczenie\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"Do zdobycia będzie conajmniej 600 punktów.\n",
|
||||
"\n",
|
||||
"Ocena:\n",
|
||||
"\n",
|
||||
"- -299 — 2\n",
|
||||
"\n",
|
||||
"- 300-349 — 3\n",
|
||||
"\n",
|
||||
"- 350-399 — 3+\n",
|
||||
"\n",
|
||||
"- 400-449 — 4\n",
|
||||
"\n",
|
||||
"- 450—499 — 4+\n",
|
||||
"\n",
|
||||
"- 500- — 5\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"**Żeby zaliczyć przedmiot należy pojawiać się na laboratoriach. Maksymalna liczba nieobecności to 3. Obecność będę sprawdzał co zajęcia. Jeżeli kogoś nie będzie więcej niż 3 razy, to nie będzie miał zaliczonego przedmiotu** \n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"source": []
|
||||
}
|
||||
],
|
||||
"metadata": {
|
||||
"author": "Jakub Pokrywka",
|
||||
"email": "kubapok@wmi.amu.edu.pl",
|
||||
"kernelspec": {
|
||||
"display_name": "Python 3",
|
||||
"language": "python",
|
||||
"name": "python3"
|
||||
},
|
||||
"lang": "pl",
|
||||
"language_info": {
|
||||
"codemirror_mode": {
|
||||
"name": "ipython",
|
||||
"version": 3
|
||||
},
|
||||
"file_extension": ".py",
|
||||
"mimetype": "text/x-python",
|
||||
"name": "python",
|
||||
"nbconvert_exporter": "python",
|
||||
"pygments_lexer": "ipython3",
|
||||
"version": "3.8.3"
|
||||
},
|
||||
"subtitle": "0.Informacje na temat przedmiotu[ćwiczenia]",
|
||||
"title": "Ekstrakcja informacji",
|
||||
"year": "2021"
|
||||
},
|
||||
"nbformat": 4,
|
||||
"nbformat_minor": 4
|
||||
}
|
||||
779
01_Kodowanie_tekstu.ipynb
Normal file
779
01_Kodowanie_tekstu.ipynb
Normal file
File diff suppressed because one or more lines are too long
70
01_materialy/a.txt
Normal file
70
01_materialy/a.txt
Normal file
@ -0,0 +1,70 @@
|
||||
# tekst pochodzi z https://wolnelektury.pl/media/book/txt/baczynski-orfeusz-w-lesie.txt
|
||||
Pod tym dębem, pod stuletnim, wśród gałęzi skrył się,
|
||||
a deszcz pierzchnął, siedmiobarwnym łukiem nad nim wzbił się.
|
||||
Ledwie okiem w nim utonął, w barwnej brodząc nucie,
|
||||
blady błękit tęczę wchłonął, dąb zawołał: «Zbudź się.
|
||||
Czas na ciebie, czeka lira, nowej pieśni głodna,
|
||||
wdrąż się w ziemię, bij o niebo, serca przepal do dna.
|
||||
Ze mną, boski Orfeuszu, zmierz muzyczną siłę,
|
||||
mnie pokonasz — śmierć przemożesz, którą zwyciężyłem.
|
||||
Popatrz: uschnie młoda łoza, runie smukła jodła,
|
||||
patrz: topole śmierć podcięła, ale mnie nie zmogła.
|
||||
W niebo śpiewem rosnę, w ziemię korzeniami wrastam,
|
||||
me milczenie jest strumieniem, a ma pieśń liściasta!»
|
||||
|
||||
Więc Orfeusz chwycił lirę rozmodloną dłonią,
|
||||
strunę trącił, już obłoki przebudzone dzwonią.
|
||||
Jeszcze głosu nie wydobył, już na wargi drżące,
|
||||
jak na liście, promieniście wbiega młode słońce.
|
||||
I pieśń począł.
|
||||
Wrył się w ziemię takim jasnym tonem,
|
||||
że wzleciały ponad drzewa krety uskrzydlone,
|
||||
że strumienie, co pod ziemią ciemno się poczęły,
|
||||
nad brzegami, co je więżą, w lirę się wygięły.
|
||||
Wzniósł się w górę, ręką jeno ciężar strun odmierzał,
|
||||
a już wiatrem swego głosu w żołędzie uderzał,
|
||||
a żołędzie melodyjnie trącając się wzajem,
|
||||
rozdzwoniły włosy wierzby nad leśnym ruczajem,
|
||||
a w tych włosach smutek nagły wylągł się tak cicho,
|
||||
że nie będąc jeszcze szeptem, szeptał: «Eurydyko…»
|
||||
Jeno woda pochwyciła to czułe wezwanie,
|
||||
a już w kwiaty je wkropliła na leśnej polanie,
|
||||
a tam trawy zielonawe w korzenie wszeptały
|
||||
i już drzewa jej imieniem szumieć poczynały.
|
||||
Targnął strunę, bo nie szeptem śmierć miał głuchą przemóc,
|
||||
lecz wołaniem tak wysokim, jak gwiazda nad ziemią:
|
||||
«Chcecie? Rozpacz wam wyśpiewam: płomieniste góry
|
||||
rosną we mnie, burza wraża w ziemię kły wichury.
|
||||
Chcecie? Błyskawicą chłostam, serca gryzę gromem,
|
||||
w ręku piorun mam i rozpacz w oku nieruchomem,
|
||||
a ta rozpacz w gniew urasta, a ten gniew jest burzą
|
||||
przeciw tobie, której kształty czarno się marmurzą».
|
||||
|
||||
Już nie słowem, ale głosem w twardą korę nieba
|
||||
tłukł Orfeusz, aż sypnęła ciężkich gwiazd ulewa…
|
||||
Wtedy przerwał, bowiem uczuł, że mu głos uwięźnie
|
||||
w niebie drżącym jeszcze…
|
||||
Ale dąb milczał potężniej.
|
||||
|
||||
|
||||
|
||||
6. Porażka
|
||||
|
||||
«Eurydyko, porażka jest słodka.
|
||||
Chwała tobie, któryś mnie zwyciężył!»
|
||||
|
||||
Mijał strumień. Trzcina wiała wiotka.
|
||||
Las się kończył i zaczynał księżyc.
|
||||
|
||||
A te skały, co wyrosły ostre,
|
||||
zdały mu się czułym zapewnieniem.
|
||||
|
||||
A tę noc obejmował jak siostrę,
|
||||
nazywał najczulszym imieniem.
|
||||
|
||||
I przemierzał strunami śpiącemi
|
||||
oddalenie nie objęte słowem,
|
||||
i jak klucz do zamkniętych podziemi
|
||||
niósł na wargach milczenie dębowe.
|
||||
|
||||
9–10 luty 1942
|
||||
69
01_materialy/b.txt
Normal file
69
01_materialy/b.txt
Normal file
@ -0,0 +1,69 @@
|
||||
# tekst pochodzi z https://pl.wikipedia.org/wiki/UTF-8
|
||||
UTF-8 (ang. 8-bit Unicode Transformation Format) – system kodowania Unicode, wykorzystujący od 1 do 4 bajtów do zakodowania pojedynczego znaku, w pełni kompatybilny z ASCII. Jest najczęściej wykorzystywany do przechowywania napisów w plikach i komunikacji sieciowej.
|
||||
|
||||
|
||||
Spis treści
|
||||
1 Zalety i wady
|
||||
1.1 Zalety
|
||||
1.2 Wady
|
||||
2 Sposób kodowania
|
||||
3 Przykład
|
||||
4 Zobacz też
|
||||
5 Linki zewnętrzne
|
||||
Zalety i wady
|
||||
Zalety
|
||||
Każdy tekst w ASCII jest tekstem w UTF-8.
|
||||
Żaden znak spoza ASCII nie zawiera bajtu z ASCII.
|
||||
Zachowuje porządek sortowania UCS-4.
|
||||
Typowy tekst ISO-Latin-X rozrasta się w bardzo niewielkim stopniu po przekonwertowaniu do UTF-8.
|
||||
Nie zawiera bajtów 0xFF i 0xFE, więc łatwo można go odróżnić od tekstu UTF-16.
|
||||
Znaki o kodzie różnym od 0 nie zawierają bajtu 0, co pozwala stosować UTF-8 w ciągach zakończonych zerem.
|
||||
O każdym bajcie wiadomo, czy jest początkiem znaku, czy też leży w jego środku, co nie jest dostępne np. w kodowaniu EUC.
|
||||
Nie ma problemów z little endian vs big endian.
|
||||
Jest domyślnym kodowaniem w XML (również w jego aplikacjach: XHTML, SVG, XSL, CML, MathML).
|
||||
Wady
|
||||
Znaki CJK zajmują po 3 bajty zamiast 2 w kodowaniach narodowych.
|
||||
Znaki alfabetów niełacińskich zajmują po 2 bajty zamiast jednego w kodowaniach narodowych.
|
||||
UTF-8 nie używa przesunięć zasięgów, co stanowi dodatkowe utrudnienie dla implementacji UTF-8 (szczegóły poniżej)
|
||||
Sposób kodowania
|
||||
Mapowanie znaków Unicode na ciągi bajtów:
|
||||
|
||||
0x00 do 0x7F – bity 0xxxxxxx, gdzie kolejne „x” to bity – licząc od najwyższego
|
||||
0x80 do 0x7FF – bity 110xxxxx 10xxxxxx
|
||||
0x800 do 0xFFFF – bity 1110xxxx 10xxxxxx 10xxxxxx
|
||||
0x10000 do 0x1FFFFF – bity 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
|
||||
0x200000 do 0x3FFFFFF – bity 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
|
||||
0x4000000 do 0x7FFFFFFF – bity 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
|
||||
Znaki z przedziału ASCII (0 do 127) kodowane są jako jeden bajt, czyli m.in. litery alfabetu łacińskiego. Polskie znaki diakrytyczne kodowane już są jako dwa bajty. W listopadzie 2003 roku kodowanie UTF-8 zostało ograniczone zgodnie z RFC 3629 ↓ do 0x10FFFF pozycji, w celu zapewnienia zgodności z ograniczeniami systemu UTF-16. Rezultatem było usunięcie wszystkich sekwencji złożonych z 5 i 6 bajtów oraz około połowy sekwencji 4-bajtowych. W ten sposób pozostało dokładnie 17 • 65536 - 2048, czyli 1 112 064 pozycji znaków możliwych do zakodowania w UTF-8. Pomniejszenie liczby kodów o 2048 wynika z zarezerwowania kodów z zakresu od U+D800 do U+DFFF dla kodowania UTF-16.
|
||||
|
||||
Teoretycznie w UTF-8 ten sam znak można zapisać na kilka sposobów. Przykładowo znak ASCII / (ukośnik) można zapisać jako:
|
||||
|
||||
00101111
|
||||
11000000 10101111
|
||||
11100000 10000000 10101111itd.
|
||||
Stanowi to zagrożenie bezpieczeństwa m.in. dla serwerów, które sprawdzają obecność znaku / w ścieżkach. Z tego powodu standard UTF-8 przewiduje, że poprawny jest wyłącznie najkrótszy możliwy sposób zapisu, a każdy program musi odrzucać znaki zapisane dłuższymi sekwencjami niż minimalna.
|
||||
|
||||
Problemu tego można byłoby uniknąć, przy okazji skracając nieznacznie wielkość danych, jeśli wykorzystano by zasadę przesunięć typu:
|
||||
|
||||
sekwencje 1-bajtowe kodują 0x80 (128) różnych znaków – od 0x00 do 0x7F
|
||||
sekwencje 2-bajtowe kodują 0x800 (2048) różnych znaków – od 0x80 do 0x87F
|
||||
sekwencje 3-bajtowe kodują 0x10000 (65536) różnych znaków – od 0x880 do 0x1087F
|
||||
itd.
|
||||
Przykład
|
||||
Kodowanie na podstawie znaku euro €:
|
||||
|
||||
Znak € w Unicode ma oznaczenie U+20AC.
|
||||
Zgodnie z informacjami w poprzednim podrozdziale taka wartość jest możliwa do zakodowania na 3 bajtach.
|
||||
Liczba szesnastkowa 20AC to binarnie 0010 0000 1010 1100 po uzupełnieniu wiodącymi zerami do 16 bitów, ponieważ tyle bitów trzeba zakodować na 3 bajtach w UTF-8.
|
||||
Kodowanie na trzech bajtach wymaga użycia w pierwszym bajcie trzech wiodących bitów ustawionych na 1, a czwartego na 0 (1110…).
|
||||
Pozostałe bity pierwszego bajtu pochodzą z najstarszych czterech bitów kodowanej wartości w Unicode, co daje (1110 0010), a reszta bitów dzielona jest na dwa bloki po 6 bitów każdy (…0000 1010 1100).
|
||||
Do tych bloków dodawane są wiodące bity 10, by tworzyły następujące 8-bitowe wartości 1000 0010 i 1010 1100).
|
||||
W ten sposób rezultatem są trzy bajty w postaci 1110 0010 1000 0010 1010 1100, co w systemie szesnastkowych przyjmuje postać E2 82 AC.
|
||||
Poniższa tabela pozwala zrozumieć sposób kodowana różnej długości numerów kodowych Unicode w UTF-8.
|
||||
|
||||
Unicode Unicode binarnie UTF-8 binarnie
|
||||
1. bajt 2. bajt 3. bajt 4. bajt UTF-8 szesnastkowo
|
||||
$ U+0024 0100100 00100100 24
|
||||
¢ U+00A2 000 10100010 11000010 10100010 C2 A2
|
||||
€ U+20AC 00100000 10101100 11100010 10000010 10101100 E2 82 AC
|
||||
𐍈 U+10348 00001 00000011 01001000 11110000 10010000 10001101 10001000 F0 90 8D 88
|
||||
4484
01_materialy/magiczny-ogrod.txt
Normal file
4484
01_materialy/magiczny-ogrod.txt
Normal file
File diff suppressed because it is too large
Load Diff
1
01_materialy/polski_tekst.txt
Normal file
1
01_materialy/polski_tekst.txt
Normal file
@ -0,0 +1 @@
|
||||
zażółć gęślą jaźń
|
||||
Loading…
Reference in New Issue
Block a user