461 lines
11 KiB
Org Mode
461 lines
11 KiB
Org Mode
![]() |
|
|||
|
* Język — różne perspektywy
|
|||
|
** Słowo wstępne
|
|||
|
|
|||
|
W matematyce istnieją dwa spojrzenia na rzeczywistość: ciągłe i dyskretne.
|
|||
|
|
|||
|
Otaczająca nas rzeczywistość fizyczna jest z natury ciągła
|
|||
|
(przynajmniej jeśli nie operujemy w mikroskali), lecz język
|
|||
|
jest dyskretnym wyłomem w ciągłej rzeczywistości.
|
|||
|
|
|||
|
** Lingwistyka matematyczna
|
|||
|
|
|||
|
Przypomnijmy sobie definicję języka przyjętą w lingwistyce
|
|||
|
matematycznej, w kontekście, na przykład, teorii automatów.
|
|||
|
|
|||
|
**Alfabetem** nazywamy skończony zbiór symboli.
|
|||
|
|
|||
|
**Łańcuchem** (**napisem**) nad alfabetem $\Sigma$ nazywamy dowolny, skończony,
|
|||
|
ciąg złożony z symboli z $\Sigma$.
|
|||
|
|
|||
|
**Językiem** nazywamy dowolny, skończony bądź nieskończony, zbiór łańcuchów.
|
|||
|
|
|||
|
W tym formalnym ujęciu językami są na przykład następujące zbiory:
|
|||
|
|
|||
|
- $\{\mathit{poniedziałek},\mathit{wtorek},\mathit{środa},\mathit{czwartek},\mathit{piątek},\mathit{sobota},\mathit{niedziela}\}$
|
|||
|
- $\{\mathit{ab},\mathit{abb},\mathit{abbb},\mathit{abbbb},\ldots\}$
|
|||
|
|
|||
|
To podejście, z jednej strony oczywiście nie do końca się pokrywa się z potocznym
|
|||
|
rozumieniem słowa /język/, z drugiej kojarzy nam się z takimi
|
|||
|
narzędziami informatyki jak wyrażenia regularne, automaty skończenie
|
|||
|
stanowe czy gramatyki języków programowania.
|
|||
|
|
|||
|
#+BEGIN_SRC python :session mysession :exports both :results raw drawer
|
|||
|
import regex as re
|
|||
|
rx = re.compile(r'ab+')
|
|||
|
|
|||
|
rx.search('żabbba').group(0)
|
|||
|
#+END_SRC
|
|||
|
|
|||
|
#+RESULTS:
|
|||
|
:results:
|
|||
|
abbb
|
|||
|
:end:
|
|||
|
|
|||
|
#+BEGIN_SRC python :session mysession :exports both :results raw drawer
|
|||
|
import rstr
|
|||
|
|
|||
|
rstr.xeger(r'ab+')
|
|||
|
#+END_SRC
|
|||
|
|
|||
|
#+RESULTS:
|
|||
|
:results:
|
|||
|
abbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
|
|||
|
:end:
|
|||
|
|
|||
|
** Ujęcie probabilistyczne
|
|||
|
|
|||
|
Na tym wykładzie przyjmiemy inną perspektywą, częściowo ciągłą, opartą
|
|||
|
na probabilistyce. Język będziemy definiować poprzez **rozkład
|
|||
|
prawdopodobieństwa**: sensownym wypowiedziom czy tekstom będziemy
|
|||
|
przypisywać stosunkowe wysokie prawdopodobieństwo, „ułomnym” tekstom — niższe (być może zerowe).
|
|||
|
|
|||
|
Na ogół nie mamy jednak do czynienia z językiem jako takim tylko z
|
|||
|
jego przybliżeniami, **modelami** (model może być lepszy lub gorszy,
|
|||
|
ale przynajmniej powinien być użyteczny…). Formalnie $M$ nazywamy
|
|||
|
modelem języka (nad skończonym alfabetem $\Sigma$), jeśli określa dyskretny rozkład prawdopodobieństwa $P_M$:
|
|||
|
|
|||
|
$$P_M \colon \Sigma^{*} \rightarrow [0,1].$$
|
|||
|
|
|||
|
Rzecz jasna, skoro mamy do czynienia z rozkładem prawdopodobieństwa, to:
|
|||
|
|
|||
|
$$\sum_{\alpha \in \Sigma^{*}} P_M(\alpha) = 1.$$
|
|||
|
|
|||
|
Jeśli $M$ ma być modelem języka polskiego, oczekiwalibyśmy, że dla
|
|||
|
napisów:
|
|||
|
|
|||
|
- $z_1$ — /W tym stanie rzeczy pan Ignacy coraz częściej myślał o Wokulskim./
|
|||
|
- $z_2$ — /Po wypełniony zbiornik pełny i należne kwotę, usłyszała w attendant/
|
|||
|
- $z_3$ — /xxxxyźźźźźit backspace hoooooooooop x y z/
|
|||
|
|
|||
|
zachodzić będzie:
|
|||
|
|
|||
|
\[ P_M(z_1) > P_M(z_2) > P_M(z_3). \]
|
|||
|
|
|||
|
**Pytanie** Jakiej konkretnie wartości prawdopodobieństwa
|
|||
|
spodziewalibyśmy się dla zdania /Dzisiaj rano kupiłem w piekarni sześć bułek/
|
|||
|
dla sensownego modelu języka polskiego?
|
|||
|
|
|||
|
Moglibyśmy sprowadzić tę definicję języka do tej „dyskretnej”, tzn.
|
|||
|
moglibyśmy przyjąć, że łańcuch $\alpha$ należy do języka wyznaczonego
|
|||
|
przez model $M$, jeśli $P_M(\alpha) > 0$.
|
|||
|
|
|||
|
**Pytanie** Czy moglibyśmy w ten sposób opisać język nieskończony? Czy może istnieć
|
|||
|
dyskretny rozkład prawdopodobieństwa dla nieskończonego zbioru?
|
|||
|
|
|||
|
** Co jest symbolem?
|
|||
|
|
|||
|
Model języka daje rozkład prawdopodobieństwa nad zbiorem łańcuchów
|
|||
|
opartym na skończonym alfabecie, tj. zbiorze symboli. W praktyce
|
|||
|
alfabet nie musi być zgodny z potocznym czy językoznawczym rozumieniem
|
|||
|
tego słowa. To znaczy alfabet może być zbiorem znaków (liter), ale
|
|||
|
modelować język możemy też przyjmując inny typ symboli: sylaby,
|
|||
|
morfemy (cząstki wyrazów) czy po prostu całe wyrazy.
|
|||
|
|
|||
|
Powinniśmy przy tym pamiętać, że, koniec końców, w pamięci komputera
|
|||
|
wszelkiego rodzaju łańcuchy są zapisywane jako ciągi zer i jedynek — bitów.
|
|||
|
Omówmy pokrótce techniczną stronę modelowania języka.
|
|||
|
|
|||
|
* Kodowanie znaków
|
|||
|
|
|||
|
** Cóż może być prostszego od pliku tekstowego?
|
|||
|
|
|||
|
#+BEGIN_EXAMPLE
|
|||
|
Ala ma kota.
|
|||
|
#+END_EXAMPLE
|
|||
|
|
|||
|
Komputer nic nie wie o literach.
|
|||
|
|
|||
|
… w rzeczywistości operuje tylko na liczbach …
|
|||
|
|
|||
|
… czy raczej na zerach i jedynkach …
|
|||
|
|
|||
|
… a tak naprawdę na ciągłym sygnale elektrycznym …
|
|||
|
|
|||
|
[[./01_Jezyk/digitalsignal.jpg]]
|
|||
|
|
|||
|
… zera i jedynki są w naszej głowie …
|
|||
|
|
|||
|
… co jest dziwne, /naprawdę/ dziwne …
|
|||
|
|
|||
|
… ale nikt normalny się tym nie przejmuje.
|
|||
|
|
|||
|
** Jak zakodować literę?
|
|||
|
|
|||
|
Zakodowanie pikseli składających się na kształtu (**glyfu**) litery A
|
|||
|
/oczywiście/ nie jest dobrym pomysłem.
|
|||
|
|
|||
|
[[./01_Jezyk/raster.png]]
|
|||
|
|
|||
|
Nie, potrzebujemy /arbitralnego/ kodowania dla wszystkich możliwych
|
|||
|
kształtów litery A (/w naszych głowach/): A, $\mathcal{A}$,
|
|||
|
$\mathbb{A}$, $\mathfrak{A}$ powinny otrzymać ten sam kod, powiedzmy 65
|
|||
|
(binarnie: 1000001).
|
|||
|
|
|||
|
** ASCII
|
|||
|
|
|||
|
ASCII to 7-bitowy (**nie** 8-bitowy!) system kodowania znaków.
|
|||
|
|
|||
|
#+BEGIN_SRC python :session mysession :exports both :results output drawer
|
|||
|
for code in range(0, 128):
|
|||
|
print(f'{code}: {chr(code)}')
|
|||
|
#+END_SRC
|
|||
|
|
|||
|
#+RESULTS:
|
|||
|
:results:
|
|||
|
0: |