19 lines
48 KiB
Plaintext
19 lines
48 KiB
Plaintext
|
|
||
|
|
{
|
||
|
|
"cells": [
|
||
|
|
{
|
||
|
|
"cell_type": "markdown",
|
||
|
|
"metadata": {},
|
||
|
|
"source": [
|
||
|
|
"\n",
|
||
|
|
"<div class=\"alert alert-block alert-info\">\n",
|
||
|
|
"<h1> Modelowanie języka</h1>\n",
|
||
|
|
"<h2> 04. <i>Entropia</i> [wykład]</h2> \n",
|
||
|
|
"<h3> Filip Graliński (2022)</h3>\n",
|
||
|
|
"</div>\n",
|
||
|
|
"\n",
|
||
|
|
"\n",
|
||
|
|
"\n"
|
||
|
|
]
|
||
|
|
},
|
||
|
|
{"cell_type":"markdown","metadata":{},"source":["## Entropia\n\n"]},{"cell_type":"markdown","metadata":{},"source":["**Entropia** ($E$) to miara nieuporządkowania, niepewności, niewiedzy. Im\nwiększa entropia, tym mniej wiemy. Pojęcie to pierwotnie wywodzi się z\ntermodynamiki, później znaleziono wiele zaskakujących analogii i zastosowań w\ninnych dyscyplinach nauki.\n\n"]},{"cell_type":"markdown","metadata":{},"source":["#### Entropia w fizyce\n\n"]},{"cell_type":"markdown","metadata":{},"source":["W termodynamice entropia jest miarą nieuporządkowania układów\nfizycznych, na przykład pojemników z gazem. Przykładowo, wyobraźmy\nsobie dwa pojemniki z gazem, w którym panuje różne temperatury.\n\n\n\nJeśli usuniemy przegrodę między pojemnikami, temperatura się wyrówna,\na uporządkowanie się zmniejszy.\n\n\n\nInnymi słowy, zwiększy się stopień nieuporządkowania układu, czyli właśnie entropia.\n\n"]},{"cell_type":"markdown","metadata":{},"source":["#### II prawo termodynamiki\n\n"]},{"cell_type":"markdown","metadata":{},"source":["Jedno z najbardziej fundamentalnych praw fizyki, II prawo\ntermodynamiki głosi, że w układzie zamkniętym entropia nie spada.\n\n****Pytanie****: Czy to, że napisałem te materiały do wykładu i\n*uporządkowałem* wiedzę odnośnie do statystycznych własności języka, nie\njest sprzeczne z II prawem termodynamiki?\n\nKonsekwencją II prawa termodynamiki jest śmierć cieplna Wszechświata\n(zob. [wizualizacja przyszłości Wszechświata]([https://www.youtube.com/watch?v=uD4izuDMUQA](https://www.youtube.com/watch?v=uD4izuDMUQA))).\n\n"]},{"cell_type":"markdown","metadata":{},"source":["#### Entropia w teorii informacji\n\n"]},{"cell_type":"markdown","metadata":{},"source":["Pojęcie entropii zostało „odkryte” na nowo przez Claude'a Shannona,\ngdy wypracował ogólną teorię informacji.\n\nTeoria informacji zajmuje się między innymi zagadnieniem optymalnego kodowania komunikatów.\n\nWyobraźmy sobie pewne źródło (generator) losowych komunikatów z\nzamkniętego zbioru symboli ($\\Sigma$; nieprzypadkowo używamy oznaczeń\nz poprzedniego wykładu). Nadawca $N$ chce przesłać komunikat o wyniku\nlosowania do odbiorcy $O$ używając zer i jedynek (bitów).\nTeorioinformacyjną entropię można zdefiniować jako średnią liczbę\nbitów wymaganych do przesłania komunikatu.\n\n\n\n"]},{"cell_type":"markdown","metadata":{},"source":["#### Obliczanie entropii — proste przykłady\n\n"]},{"cell_type":"markdown","metadata":{},"source":["Załóżmy, że nadawca chce przekazać odbiorcy informację o wyniku rzutu monetą.\nEntropia wynosi wówczas rzecz jasna 1 — na jedno losowanie wystarczy jeden bit\n(informację o tym, że wypadł orzeł, możemy zakodować na przykład za pomocą zera,\nzaś to, że wypadła reszka — za pomocą jedynki).\n\nRozpatrzmy przypadek, gdy nadawca rzuca ośmiościenną kością. Aby przekazać\nwynik, potrzebuje wówczas 3 bity (a więc entropia ośmiościennej kości\nwynosi 3 bity). Przykładowe kodowanie może mieć następującą postać:\n\n| Wynik|Kodowanie|\n|---|---|\n| 1|001|\n| 2|010|\n| 3|011|\n| 4|100|\n| 5|101|\n| 6|110|\n| 7|111|\n| 8|000|\n\n"]},{"cell_type":"markdown","metadata":{},"source":["#### Obliczenie entropii — trudniejszy przykład\n\n"]},{"cell_type":"markdown","metadata":{},"source":["Załóżmy, że $\\Sigma = \\{A, B, C, D\\}$, natomiast poszczególne komunikaty\nsą losowane zgodnie z następującym rozkładem prawdopodobieństwa:\n$P(A)=1/2$, $P(B)=1/4$, $P(C)=1/8$, $P(D)=1/8$. Ile wynosi entropia w\ntakim przypadku? Można by sądzić, że 2, skoro wystarczą 2 bity do\nprzekazania wyniku losowania przy zastosowaniu następującego kodowania:\n\n| Wynik|Kodowanie|\n|---|---|\n| A|00|\n| B|01|\n| C|10|\n| D|11|\n\nProblem w tym, że w rzeczywistości nie jest to *optymalne* kodowanie.\nMożemy sprytnie zmniejszyć średnią liczbę bitów wymagan
|