Zajęcia 2 - materiały

This commit is contained in:
Paweł Skórzewski 2021-03-26 19:26:50 +01:00
parent 6ddf2bc977
commit ec81dd78d3
6 changed files with 18756 additions and 12843 deletions

View File

@ -8,7 +8,7 @@
} }
}, },
"source": [ "source": [
"### AITech — Uczenie maszynowe — laboratoria\n", "### Uczenie maszynowe — laboratoria\n",
"# 1a. Podstawowe narzędzia uczenia maszynowego" "# 1a. Podstawowe narzędzia uczenia maszynowego"
] ]
}, },

View File

@ -0,0 +1,809 @@
{
"cells": [
{
"cell_type": "markdown",
"metadata": {
"slideshow": {
"slide_type": "-"
}
},
"source": [
"### Uczenie maszynowe — laboratoria\n",
"# 2. Reprezentacja danych"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Na tych zajęciach dowiemy się, w jaki sposób reprezentować różnego rodzaju dane tak, żeby można było używać ich do uczenia maszynowego."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Plik *mieszkania4.tsv* zawiera dane wydobyte z serwisu *gratka.pl* dotyczące cen mieszkań w Poznaniu."
]
},
{
"cell_type": "code",
"execution_count": 4,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
" cena Powierzchnia w m2 Liczba pokoi Garaż Liczba pięter w budynku \\\n",
"0 290386 46 2 False 5.0 \n",
"1 450000 59 2 False 3.0 \n",
"2 375000 79 3 False 16.0 \n",
"3 400000 63 3 True 2.0 \n",
"4 389285 59 3 False 13.0 \n",
"\n",
" Piętro Typ zabudowy Materiał budynku Rok budowy \\\n",
"0 parter apartamentowiec cegła 2017.0 \n",
"1 2 kamienica cegła 1902.0 \n",
"2 5 blok płyta 1990.0 \n",
"3 2 blok cegła 2009.0 \n",
"4 12 blok NaN NaN \n",
"\n",
" opis \n",
"0 Polecam mieszkanie 2 pokojowe o metrażu 46,68 ... \n",
"1 Ekskluzywna oferta - tylko u nas! Projekt arch... \n",
"2 Polecam do kupna przestronne mieszkanie trzypo... \n",
"3 Dla rodziny albo pod wynajem. Świetna lokaliza... \n",
"4 NaN \n"
]
}
],
"source": [
"# Wczytanie danych (mieszkania) przy pomocy biblioteki pandas\n",
"\n",
"import numpy as np\n",
"import pandas\n",
"\n",
"alldata = pandas.read_csv(\n",
" 'mieszkania4.tsv', header=0, sep='\\t',\n",
" usecols=['cena', 'Powierzchnia w m2', 'Liczba pokoi', 'Garaż', 'Liczba pięter w budynku', 'Piętro', 'Typ zabudowy', 'Materiał budynku', 'Rok budowy', 'opis'])\n",
"\n",
"print(alldata[:5])"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Jak widać powyżej, w pliku *mieszkania4.tsv* znajdują się dane różnych typów:\n",
"* dane numeryczne (po prostu liczby):\n",
" * cena\n",
" * powierzchnia w m<sup>2</sup>\n",
" * liczba pokoi\n",
"* dane częściowo numeryczne (liczby oraz wartości specjalne):\n",
" * liczba pięter w budynku\n",
" * piętro\n",
" * rok budowy\n",
"* dane boole'owskie (prawda/fałsz):\n",
" * garaż\n",
"* dane kategoryczne (wybór jednej z kilku kategorii):\n",
" * typ zabudowy\n",
"* dane tekstowe (dowolny tekst):\n",
" * opis"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Algorytmy uczenia maszynowego działają na danych liczbowych. Z tego powodu musimy znaleźć właściwy sposób reprezentowania pozostałych danych."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Dane numeryczne"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Dane numeryczne to takie, które są liczbami. W większości przypadków możemy na nich operować bezpośrednio. Przykładem takich danych jest kolumna *Powierzchnia w m2* z powyższego przykładu:"
]
},
{
"cell_type": "code",
"execution_count": 5,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"[ 46 59 79 63 90 66 32 38 68 43 185 64\n",
" 165 71 73 51 70 48 42 33 203 88 41 31\n",
" 45 62 60 295 53 84 170 56 47 228 44 67\n",
" 49 37 87 36 55 57 118 65 30 28 230 54\n",
" 52 95 50 26 171 282 77 40 150 300 39 145\n",
" 370 140 225 29 61 135 27 270 177 85 92 132\n",
" 75 200 74 219 220 96 235 20 153 318 104 58\n",
" 72 117 189 81 111 35 280 141 195 120 250 97\n",
" 154 114 76 287 34 180 160 176 148 98 217 86\n",
" 260 198 78 183 80 163 82 100 156 320 89 103\n",
" 159 125 340 149 175 237 110 182 186 106 233 197\n",
" 136 162 157 240 211 83 196 69 102 91 108 130\n",
" 510 143 1200 178 226 190 151 138 161 142 683 146\n",
" 94 109 263 112 855 376 218 113 215 264 139 129\n",
" 167 600 24 174 296 315 232 298 330 93 301 127\n",
" 290 275 375 124 252 173 158 25 269 128 192 155\n",
" 99 126 147 288 119 206 105 224 346 339 204 1100\n",
" 392 243 101 18 202 205 107 199 137 134 144 216\n",
" 172 239 116 364 121 23 267 369 11930 122 400 209\n",
" 210 268 500 123 245 15 22 335 262 438 307 184\n",
" 354 249 431 214 164 328 800 16 229 152 650 241\n",
" 187 276 297 443 353 360 350 213 19 265]\n"
]
}
],
"source": [
"print(pandas.unique(alldata['Powierzchnia w m2']))\n",
"\n",
"# (funkcja `pandas.unique` służy do pomijania duplikatów wartości)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Czasami w danej kolumnie oprócz liczb występują również inne wartości. Przykładem takiej cechy może być *Piętro*:"
]
},
{
"cell_type": "code",
"execution_count": 6,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"['parter' '2' '5' '12' '1' '3' nan '8' '4' '16' '7' '6' 'poddasze' '9'\n",
" '11' '13' '14' '10' '15' 'niski parter']\n"
]
}
],
"source": [
"print(pandas.unique(alldata['Piętro']))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Jak widać powyżej, tutaj oprócz liczb pojawiają się pewne tekstowe wartości specjalne, takie jak `parter`, `poddasze` czy `niski parter`."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Takie wartości należy zamienić na liczby. Jak?\n",
"* Wydaje się, że `parter` czy `niski parter` można z powodzeniem potraktować jako piętro „zerowe” i zamienić na `0`.\n",
"* Z poddaszem sytuacja nie jest już tak oczywista. Czy mają Państwo jakieś propozycje?\n",
" * Może zamienić `poddasze` na wartość NaN (zobacz poniżej)?\n",
" * Może wykorzystać w tym celu wartość z sąsiedniej kolumny *Liczba pięter w budynku*?"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Można w tym celu wykorzystać funkcje [apply](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.html?highlight=apply#pandas.DataFrame.apply) i [to_numeric](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.to_numeric.html) z biblioteki `pandas`."
]
},
{
"cell_type": "code",
"execution_count": 7,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Przed zamianą:\n",
"122 1\n",
"123 2\n",
"124 poddasze\n",
"125 5\n",
"126 parter\n",
"127 3\n",
"Name: Piętro, dtype: object\n"
]
}
],
"source": [
"print('Przed zamianą:')\n",
"print(alldata['Piętro'][122:128])"
]
},
{
"cell_type": "code",
"execution_count": 8,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"\n",
"Po zamianie:\n",
"122 1.0\n",
"123 2.0\n",
"124 NaN\n",
"125 5.0\n",
"126 0.0\n",
"127 3.0\n",
"Name: Piętro, dtype: float64\n"
]
}
],
"source": [
"# Zamiana wartości 'parter' i 'niski parter' w kolumnie 'Piętro' na 0.\n",
"alldata['Piętro'] = alldata['Piętro'].apply(lambda x: 0 if x in ['parter', 'niski parter'] else x)\n",
"\n",
"# Zamiana wszystkich wartości w kolumnie 'Piętro' na numeryczne.\n",
"# Parametr errors='coerce' powoduje, że napotkane nieliczbowe wartości będą zamieniane na NaN.\n",
"alldata['Piętro'] = alldata['Piętro'].apply(pandas.to_numeric, errors='coerce')\n",
"\n",
"print()\n",
"print('Po zamianie:')\n",
"print(alldata['Piętro'][122:128])"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Wartości NaN"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Wartość NaN (zob. też na [Wikipedii](https://pl.wikipedia.org/wiki/NaN)) to wartość numeryczna oznaczająca „nie-liczbę”, „wartość niezdefiniowaną”, np. niezdefiniowany wynik działania lub brak danych:"
]
},
{
"cell_type": "code",
"execution_count": 9,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"nan\n",
"nan\n",
"nan\n",
"nan\n"
]
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"<ipython-input-9-d4d317707dde>:1: RuntimeWarning: invalid value encountered in sqrt\n",
" print(np.sqrt(-1)) # niezdefiniowany wynik działania (pierwiastek z liczby ujemnej)\n"
]
}
],
"source": [
"print(np.sqrt(-1)) # niezdefiniowany wynik działania (pierwiastek z liczby ujemnej)\n",
"\n",
"print(alldata['Piętro'][14]) # brak danych na temat piętra w rekordzie 14.\n",
"\n",
"# Jak uzyskać wartość NaN?\n",
"print(float('NaN'))\n",
"print(np.nan)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Co można zrobić z wartością NaN?\n",
"* Czasami można wartość NaN zamienić na `0`, np. być może w kolumnie „przychód” wartość NaN oznacza brak przychodu. Należy jednak być z tym ostrożnym. **W większości przypadków wstawienie 0 zamiast NaN będzie niepoprawne**, np. „rok 0” to nie to samo co „rok nieznany”. Nawet w kolumnie „cena” wartość NaN raczej oznacza, że cena jest nieznana, a to przecież nie to samo, co „cena równa 0 zł”.\n",
"* **Najbezpieczniej jest usunąć cały rekord (wiersz), który zawiera jakąkolwiek wartość NaN**. Należy przy tym pamiętać, że pozbywamy się w ten sposób (być może wartościowych) danych. Jest to istotne zwłaszcza wtedy, gdy nasze dane zawierają dużo wartości niezdefiniowanych.\n",
"* Wartość NaN można też zamienić na średnią, medianę, modę itp. z pozostałych wartości w zbiorze danych. To dobra opcja, jeżeli usunięcie całych wierszy zawierających NaN pozbawiłoby nas zbyt wielu rekordów.\n",
"* Można użyć też bardziej zaawansowanych technik, np. [MICE](https://stats.stackexchange.com/questions/421545/multiple-imputation-by-chained-equations-mice-explained) czy KNN."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Przydatne artykuły na temat usuwania wartości niezdefiniowanych ze zbioru danych:\n",
"* [Working with missing data in machine learning](https://towardsdatascience.com/working-with-missing-data-in-machine-learning-9c0a430df4ce)\n",
"* [Whats the best way to handle NaN values?](https://towardsdatascience.com/whats-the-best-way-to-handle-nan-values-62d50f738fc)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Biblioteka `pandas` dostarcza narzędzi do automatycznego usuwania wartości NaN: [dropna](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dropna.html)"
]
},
{
"cell_type": "code",
"execution_count": 10,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Liczba rekordów przed usunięciem NaN: 4938\n",
"Liczba rekordów po usunięciu NaN: 888\n"
]
}
],
"source": [
"print('Liczba rekordów przed usunięciem NaN:', len(alldata))\n",
"\n",
"alldata = alldata.dropna() # usunięcie rekordów zawierających NaN\n",
"\n",
"print('Liczba rekordów po usunięciu NaN:', len(alldata))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Dane boole'owskie"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"W przypadku danych typu prawda/fałsz, wystarczy zamienić wartości `True` na `1`, a `False` na `0`:"
]
},
{
"cell_type": "code",
"execution_count": 11,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Przed zamianą:\n",
"0 False\n",
"1 False\n",
"2 False\n",
"3 True\n",
"13 False\n",
" ... \n",
"4909 False\n",
"4917 True\n",
"4918 False\n",
"4920 False\n",
"4937 False\n",
"Name: Garaż, Length: 888, dtype: bool\n"
]
}
],
"source": [
"print('Przed zamianą:')\n",
"print(alldata['Garaż'])"
]
},
{
"cell_type": "code",
"execution_count": 12,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"\n",
"Po zamianie:\n",
"0 0\n",
"1 0\n",
"2 0\n",
"3 1\n",
"13 0\n",
" ..\n",
"4909 0\n",
"4917 1\n",
"4918 0\n",
"4920 0\n",
"4937 0\n",
"Name: Garaż, Length: 888, dtype: int64\n"
]
}
],
"source": [
"alldata['Garaż'] = alldata['Garaż'].apply(lambda x: 1 if x == True else 0)\n",
"\n",
"print()\n",
"print('Po zamianie:')\n",
"print(alldata['Garaż'])"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Dane kategoryczne"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"O danych kategorycznych mówimy, jeżeli dane mogą przyjmować wartości ze skończonej listy („kategorii”), np.:"
]
},
{
"cell_type": "code",
"execution_count": 13,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"['apartamentowiec', 'kamienica', 'blok', 'dom wielorodzinny/szeregowiec', 'plomba']\n"
]
}
],
"source": [
"# \"Typ zabudowy\" może przyjmować jedną z następujących wartości:\n",
"\n",
"typ_zabudowy_values = list(pandas.unique(alldata['Typ zabudowy']))\n",
"\n",
"print(typ_zabudowy_values)"
]
},
{
"cell_type": "code",
"execution_count": 14,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"['cegła', 'płyta', 'inne', 'pustak', 'silikat', 'beton']\n"
]
}
],
"source": [
"# \"Materiał budynku\" może przyjmować jedną z następujących wartości:\n",
"\n",
"material_budynku_values = list(pandas.unique(alldata['Materiał budynku']))\n",
"\n",
"print(material_budynku_values)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Cechę kategoryczną można rozbić na skończoną liczbę cech boole'owskich:"
]
},
{
"cell_type": "code",
"execution_count": 15,
"metadata": {},
"outputs": [],
"source": [
"# Skopiujmy dane, żeby przedstawić 2 alternatywne rozwiązania\n",
"\n",
"alldata_1 = alldata.copy()\n",
"alldata_2 = alldata.copy()"
]
},
{
"cell_type": "code",
"execution_count": 16,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Nowo utworzone kolumny (cechy boole'owskie):\n",
"['Czy apartamentowiec?', 'Czy kamienica?', 'Czy blok?', 'Czy dom wielorodzinny/szeregowiec?', 'Czy plomba?']\n",
"\n",
" Typ zabudowy Czy apartamentowiec? Czy kamienica? \\\n",
"0 apartamentowiec True False \n",
"1 kamienica False True \n",
"2 blok False False \n",
"3 blok False False \n",
"13 blok False False \n",
"... ... ... ... \n",
"4909 apartamentowiec True False \n",
"4917 dom wielorodzinny/szeregowiec False False \n",
"4918 blok False False \n",
"4920 dom wielorodzinny/szeregowiec False False \n",
"4937 dom wielorodzinny/szeregowiec False False \n",
"\n",
" Czy blok? Czy dom wielorodzinny/szeregowiec? Czy plomba? \n",
"0 False False False \n",
"1 False False False \n",
"2 True False False \n",
"3 True False False \n",
"13 True False False \n",
"... ... ... ... \n",
"4909 False False False \n",
"4917 False True False \n",
"4918 True False False \n",
"4920 False True False \n",
"4937 False True False \n",
"\n",
"[888 rows x 6 columns]\n"
]
}
],
"source": [
"# Rozwiązanie 1\n",
"\n",
"select_column_names = []\n",
"for typ_zabudowy in typ_zabudowy_values:\n",
" new_column_name = 'Czy {}?'.format(typ_zabudowy)\n",
" alldata_1[new_column_name] = (alldata_1['Typ zabudowy'] == typ_zabudowy)\n",
" select_column_names.append(new_column_name)\n",
"\n",
"print(\"Nowo utworzone kolumny (cechy boole'owskie):\")\n",
"print(select_column_names)\n",
"\n",
"select_column_names = ['Typ zabudowy'] + select_column_names\n",
"\n",
"print()\n",
"\n",
"print(alldata_1[select_column_names])"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Nie trzeba tego robić ręcznie. Można do tego celu użyć funkcji [get_dummies](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.get_dummies.html) z biblioteki `pandas`:"
]
},
{
"cell_type": "code",
"execution_count": 17,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
" cena Powierzchnia w m2 Liczba pokoi Garaż Liczba pięter w budynku \\\n",
"0 290386 46 2 0 5.0 \n",
"1 450000 59 2 0 3.0 \n",
"2 375000 79 3 0 16.0 \n",
"3 400000 63 3 1 2.0 \n",
"13 450000 64 3 0 4.0 \n",
"... ... ... ... ... ... \n",
"4909 141300 46 2 0 1.0 \n",
"4917 710000 120 4 1 1.0 \n",
"4918 858000 120 5 0 3.0 \n",
"4920 399000 69 3 0 2.0 \n",
"4937 127900 36 2 0 2.0 \n",
"\n",
" Piętro Rok budowy opis \\\n",
"0 0.0 2017.0 Polecam mieszkanie 2 pokojowe o metrażu 46,68 ... \n",
"1 2.0 1902.0 Ekskluzywna oferta - tylko u nas! Projekt arch... \n",
"2 5.0 1990.0 Polecam do kupna przestronne mieszkanie trzypo... \n",
"3 2.0 2009.0 Dla rodziny albo pod wynajem. Świetna lokaliza... \n",
"13 2.0 1992.0 Witam,Mam na imię Jędrzej i w biurze Platan po... \n",
"... ... ... ... \n",
"4909 0.0 2014.0 !!! Apartamenty w Lusówku oddawane w stanie de... \n",
"4917 0.0 2013.0 Sprzedam lokal mieszkalny odrębna własność w b... \n",
"4918 3.0 1993.0 Polecam do kupna mieszkanie 5 pokojowe o pow. ... \n",
"4920 1.0 2008.0 Przestronne mieszkanie z pięknym widokiem!Dwup... \n",
"4937 2.0 2018.0 Sprzedaż nowego mieszkania w FAŁKOWIE - Osiedl... \n",
"\n",
" Typ zabudowy_apartamentowiec Typ zabudowy_blok \\\n",
"0 1 0 \n",
"1 0 0 \n",
"2 0 1 \n",
"3 0 1 \n",
"13 0 1 \n",
"... ... ... \n",
"4909 1 0 \n",
"4917 0 0 \n",
"4918 0 1 \n",
"4920 0 0 \n",
"4937 0 0 \n",
"\n",
" Typ zabudowy_dom wielorodzinny/szeregowiec Typ zabudowy_kamienica \\\n",
"0 0 0 \n",
"1 0 1 \n",
"2 0 0 \n",
"3 0 0 \n",
"13 0 0 \n",
"... ... ... \n",
"4909 0 0 \n",
"4917 1 0 \n",
"4918 0 0 \n",
"4920 1 0 \n",
"4937 1 0 \n",
"\n",
" Typ zabudowy_plomba Materiał budynku_beton Materiał budynku_cegła \\\n",
"0 0 0 1 \n",
"1 0 0 1 \n",
"2 0 0 0 \n",
"3 0 0 1 \n",
"13 0 0 1 \n",
"... ... ... ... \n",
"4909 0 0 1 \n",
"4917 0 0 1 \n",
"4918 0 0 1 \n",
"4920 0 0 1 \n",
"4937 0 0 1 \n",
"\n",
" Materiał budynku_inne Materiał budynku_pustak Materiał budynku_płyta \\\n",
"0 0 0 0 \n",
"1 0 0 0 \n",
"2 0 0 1 \n",
"3 0 0 0 \n",
"13 0 0 0 \n",
"... ... ... ... \n",
"4909 0 0 0 \n",
"4917 0 0 0 \n",
"4918 0 0 0 \n",
"4920 0 0 0 \n",
"4937 0 0 0 \n",
"\n",
" Materiał budynku_silikat \n",
"0 0 \n",
"1 0 \n",
"2 0 \n",
"3 0 \n",
"13 0 \n",
"... ... \n",
"4909 0 \n",
"4917 0 \n",
"4918 0 \n",
"4920 0 \n",
"4937 0 \n",
"\n",
"[888 rows x 19 columns]\n"
]
}
],
"source": [
"alldata_2 = pandas.get_dummies(alldata_2, columns=['Typ zabudowy', 'Materiał budynku'])\n",
"\n",
"print(alldata_2)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Zwróćmy uwagę, że dzięki użyciu `get_dummies` nowe kolumny zostały utworzone i nazwane automatycznie, nie trzeba też już ręcznie konwertować wartości boole'owskich do numerycznych."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Funkcja `get_dummies` do określenia, na ile i jakich kolumn podzielić daną kolumnę kategoryczną, używa bieżącej zawartości tabeli. Dlatego należy jej użyć przed dokonaniem podziału na zbiory uczący i testowy.\n",
"\n",
"Więcej na ten temat można przeczytać w artykule [How to use pandas.get_dummies with the test set](http://fastml.com/how-to-use-pd-dot-get-dummies-with-the-test-set)."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Do preprocessingu danych kategorycznych można też użyć narzędzi z biblioteki *scikit-learn*: https://scikit-learn.org/stable/modules/preprocessing.html#encoding-categorical-features"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Dane tekstowe"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Przetwarzanie danych tekstowych to szeroki temat, którym można zapełnić cały wykład. Dlatego tutaj przedstawię tylko najważniejsze metody."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Możemy na przykład tworzyć cechy sprawdzające występowanie poszczególnych wyrazów lub ciągów znaków w tekście:"
]
},
{
"cell_type": "code",
"execution_count": 18,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
" nowe_w_opisie opis\n",
"0 True Polecam mieszkanie 2 pokojowe o metrażu 46,68 ...\n",
"1 False Ekskluzywna oferta - tylko u nas! Projekt arch...\n",
"2 False Polecam do kupna przestronne mieszkanie trzypo...\n",
"3 False Dla rodziny albo pod wynajem. Świetna lokaliza...\n",
"13 False Witam,Mam na imię Jędrzej i w biurze Platan po...\n",
"... ... ...\n",
"4909 True !!! Apartamenty w Lusówku oddawane w stanie de...\n",
"4917 False Sprzedam lokal mieszkalny odrębna własność w b...\n",
"4918 False Polecam do kupna mieszkanie 5 pokojowe o pow. ...\n",
"4920 True Przestronne mieszkanie z pięknym widokiem!Dwup...\n",
"4937 True Sprzedaż nowego mieszkania w FAŁKOWIE - Osiedl...\n",
"\n",
"[888 rows x 2 columns]\n"
]
}
],
"source": [
"alldata['nowe_w_opisie'] = alldata['opis'].apply(lambda x: True if 'nowe' in x.lower() else False)\n",
"print(alldata[['nowe_w_opisie', 'opis']])"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Można też zamienić tekst na wektory używając algorytmów TFIDF, Word2Vec lub podobnych."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Ciekawy artykuł na temat przygotowywania danych tekstowych do uczenia maszynowego można znaleźć na przykład tutaj: https://machinelearningmastery.com/prepare-text-data-machine-learning-scikit-learn/"
]
}
],
"metadata": {
"celltoolbar": "Slideshow",
"kernelspec": {
"display_name": "Python 3",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.8.3"
},
"livereveal": {
"start_slideshow_at": "selected",
"theme": "amu"
}
},
"nbformat": 4,
"nbformat_minor": 4
}

4939
lab/mieszkania4.tsv Normal file

File diff suppressed because one or more lines are too long

File diff suppressed because it is too large Load Diff

151
wyk/iris.csv Normal file
View File

@ -0,0 +1,151 @@
sl,sw,pl,pw,Gatunek
5.2,3.4,1.4,0.2,Iris-setosa
5.1,3.7,1.5,0.4,Iris-setosa
6.7,3.1,5.6,2.4,Iris-virginica
6.5,3.2,5.1,2.0,Iris-virginica
4.9,2.5,4.5,1.7,Iris-virginica
6.0,2.7,5.1,1.6,Iris-versicolor
5.7,2.6,3.5,1.0,Iris-versicolor
5.0,2.0,3.5,1.0,Iris-versicolor
5.2,3.5,1.5,0.2,Iris-setosa
4.8,3.0,1.4,0.1,Iris-setosa
6.7,3.3,5.7,2.5,Iris-virginica
6.1,3.0,4.9,1.8,Iris-virginica
4.8,3.4,1.9,0.2,Iris-setosa
5.8,2.8,5.1,2.4,Iris-virginica
4.4,2.9,1.4,0.2,Iris-setosa
7.2,3.0,5.8,1.6,Iris-virginica
4.4,3.2,1.3,0.2,Iris-setosa
5.0,3.5,1.3,0.3,Iris-setosa
5.4,3.9,1.3,0.4,Iris-setosa
7.7,2.8,6.7,2.0,Iris-virginica
5.0,3.6,1.4,0.2,Iris-setosa
6.2,2.8,4.8,1.8,Iris-virginica
6.0,2.2,5.0,1.5,Iris-virginica
7.4,2.8,6.1,1.9,Iris-virginica
5.0,3.2,1.2,0.2,Iris-setosa
6.7,3.1,4.4,1.4,Iris-versicolor
6.7,3.1,4.7,1.5,Iris-versicolor
5.6,2.7,4.2,1.3,Iris-versicolor
5.6,2.5,3.9,1.1,Iris-versicolor
6.3,3.3,4.7,1.6,Iris-versicolor
5.1,3.4,1.5,0.2,Iris-setosa
6.0,2.9,4.5,1.5,Iris-versicolor
5.3,3.7,1.5,0.2,Iris-setosa
5.6,2.9,3.6,1.3,Iris-versicolor
5.5,2.5,4.0,1.3,Iris-versicolor
5.5,2.4,3.7,1.0,Iris-versicolor
4.4,3.0,1.3,0.2,Iris-setosa
6.6,3.0,4.4,1.4,Iris-versicolor
7.9,3.8,6.4,2.0,Iris-virginica
5.7,2.8,4.1,1.3,Iris-versicolor
5.8,2.7,4.1,1.0,Iris-versicolor
6.5,2.8,4.6,1.5,Iris-versicolor
6.1,2.8,4.7,1.2,Iris-versicolor
5.1,3.8,1.9,0.4,Iris-setosa
5.0,3.4,1.6,0.4,Iris-setosa
5.5,2.6,4.4,1.2,Iris-versicolor
5.0,3.4,1.5,0.2,Iris-setosa
6.8,2.8,4.8,1.4,Iris-versicolor
6.9,3.1,4.9,1.5,Iris-versicolor
6.1,2.9,4.7,1.4,Iris-versicolor
5.1,3.8,1.6,0.2,Iris-setosa
6.4,3.2,5.3,2.3,Iris-virginica
6.4,2.7,5.3,1.9,Iris-virginica
5.7,2.8,4.5,1.3,Iris-versicolor
5.8,2.6,4.0,1.2,Iris-versicolor
4.7,3.2,1.6,0.2,Iris-setosa
5.1,3.3,1.7,0.5,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
6.3,3.4,5.6,2.4,Iris-virginica
5.1,3.8,1.5,0.3,Iris-setosa
7.0,3.2,4.7,1.4,Iris-versicolor
5.4,3.0,4.5,1.5,Iris-versicolor
6.0,2.2,4.0,1.0,Iris-versicolor
6.0,3.0,4.8,1.8,Iris-virginica
6.2,2.9,4.3,1.3,Iris-versicolor
5.6,3.0,4.1,1.3,Iris-versicolor
4.9,3.0,1.4,0.2,Iris-setosa
5.0,2.3,3.3,1.0,Iris-versicolor
6.3,2.5,5.0,1.9,Iris-virginica
4.8,3.4,1.6,0.2,Iris-setosa
5.9,3.0,4.2,1.5,Iris-versicolor
4.6,3.6,1.0,0.2,Iris-setosa
5.0,3.5,1.6,0.6,Iris-setosa
5.7,4.4,1.5,0.4,Iris-setosa
5.0,3.0,1.6,0.2,Iris-setosa
5.6,3.0,4.5,1.5,Iris-versicolor
6.3,2.8,5.1,1.5,Iris-virginica
5.2,2.7,3.9,1.4,Iris-versicolor
5.9,3.2,4.8,1.8,Iris-versicolor
7.7,3.0,6.1,2.3,Iris-virginica
6.2,3.4,5.4,2.3,Iris-virginica
6.4,2.9,4.3,1.3,Iris-versicolor
6.5,3.0,5.5,1.8,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
6.9,3.2,5.7,2.3,Iris-virginica
6.4,2.8,5.6,2.2,Iris-virginica
4.7,3.2,1.3,0.2,Iris-setosa
5.5,2.4,3.8,1.1,Iris-versicolor
5.4,3.4,1.5,0.4,Iris-setosa
7.2,3.6,6.1,2.5,Iris-virginica
6.7,2.5,5.8,1.8,Iris-virginica
6.1,3.0,4.6,1.4,Iris-versicolor
6.0,3.4,4.5,1.6,Iris-versicolor
6.3,2.7,4.9,1.8,Iris-virginica
6.9,3.1,5.1,2.3,Iris-virginica
5.5,3.5,1.3,0.2,Iris-setosa
6.7,3.0,5.2,2.3,Iris-virginica
4.6,3.1,1.5,0.2,Iris-setosa
5.8,2.7,5.1,1.9,Iris-virginica
6.4,3.1,5.5,1.8,Iris-virginica
7.3,2.9,6.3,1.8,Iris-virginica
4.8,3.0,1.4,0.3,Iris-setosa
7.1,3.0,5.9,2.1,Iris-virginica
5.9,3.0,5.1,1.8,Iris-virginica
6.1,2.6,5.6,1.4,Iris-virginica
5.4,3.9,1.7,0.4,Iris-setosa
6.4,3.2,4.5,1.5,Iris-versicolor
5.1,2.5,3.0,1.1,Iris-versicolor
6.3,2.9,5.6,1.8,Iris-virginica
7.2,3.2,6.0,1.8,Iris-virginica
5.4,3.4,1.7,0.2,Iris-setosa
4.6,3.2,1.4,0.2,Iris-setosa
6.1,2.8,4.0,1.3,Iris-versicolor
7.7,3.8,6.7,2.2,Iris-virginica
5.7,2.9,4.2,1.3,Iris-versicolor
5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
6.5,3.0,5.2,2.0,Iris-virginica
4.9,3.1,1.5,0.1,Iris-setosa
6.3,2.3,4.4,1.3,Iris-versicolor
6.2,2.2,4.5,1.5,Iris-versicolor
5.7,3.8,1.7,0.3,Iris-setosa
6.4,2.8,5.6,2.1,Iris-virginica
4.9,2.4,3.3,1.0,Iris-versicolor
5.7,2.5,5.0,2.0,Iris-virginica
5.5,4.2,1.4,0.2,Iris-setosa
6.7,3.0,5.0,1.7,Iris-versicolor
5.0,3.3,1.4,0.2,Iris-setosa
6.3,2.5,4.9,1.5,Iris-versicolor
5.4,3.7,1.5,0.2,Iris-setosa
7.7,2.6,6.9,2.3,Iris-virginica
5.7,3.0,4.2,1.2,Iris-versicolor
7.6,3.0,6.6,2.1,Iris-virginica
4.8,3.1,1.6,0.2,Iris-setosa
5.6,2.8,4.9,2.0,Iris-virginica
4.5,2.3,1.3,0.3,Iris-setosa
6.8,3.2,5.9,2.3,Iris-virginica
6.3,3.3,6.0,2.5,Iris-virginica
4.6,3.4,1.4,0.3,Iris-setosa
5.8,2.7,3.9,1.2,Iris-versicolor
5.5,2.3,4.0,1.3,Iris-versicolor
5.2,4.1,1.5,0.1,Iris-setosa
6.6,2.9,4.6,1.3,Iris-versicolor
4.3,3.0,1.1,0.1,Iris-setosa
6.8,3.0,5.5,2.1,Iris-virginica
5.8,4.0,1.2,0.2,Iris-setosa
5.1,3.5,1.4,0.3,Iris-setosa
6.5,3.0,5.8,2.2,Iris-virginica
6.9,3.1,5.4,2.1,Iris-virginica
6.7,3.3,5.7,2.1,Iris-virginica
1 sl sw pl pw Gatunek
2 5.2 3.4 1.4 0.2 Iris-setosa
3 5.1 3.7 1.5 0.4 Iris-setosa
4 6.7 3.1 5.6 2.4 Iris-virginica
5 6.5 3.2 5.1 2.0 Iris-virginica
6 4.9 2.5 4.5 1.7 Iris-virginica
7 6.0 2.7 5.1 1.6 Iris-versicolor
8 5.7 2.6 3.5 1.0 Iris-versicolor
9 5.0 2.0 3.5 1.0 Iris-versicolor
10 5.2 3.5 1.5 0.2 Iris-setosa
11 4.8 3.0 1.4 0.1 Iris-setosa
12 6.7 3.3 5.7 2.5 Iris-virginica
13 6.1 3.0 4.9 1.8 Iris-virginica
14 4.8 3.4 1.9 0.2 Iris-setosa
15 5.8 2.8 5.1 2.4 Iris-virginica
16 4.4 2.9 1.4 0.2 Iris-setosa
17 7.2 3.0 5.8 1.6 Iris-virginica
18 4.4 3.2 1.3 0.2 Iris-setosa
19 5.0 3.5 1.3 0.3 Iris-setosa
20 5.4 3.9 1.3 0.4 Iris-setosa
21 7.7 2.8 6.7 2.0 Iris-virginica
22 5.0 3.6 1.4 0.2 Iris-setosa
23 6.2 2.8 4.8 1.8 Iris-virginica
24 6.0 2.2 5.0 1.5 Iris-virginica
25 7.4 2.8 6.1 1.9 Iris-virginica
26 5.0 3.2 1.2 0.2 Iris-setosa
27 6.7 3.1 4.4 1.4 Iris-versicolor
28 6.7 3.1 4.7 1.5 Iris-versicolor
29 5.6 2.7 4.2 1.3 Iris-versicolor
30 5.6 2.5 3.9 1.1 Iris-versicolor
31 6.3 3.3 4.7 1.6 Iris-versicolor
32 5.1 3.4 1.5 0.2 Iris-setosa
33 6.0 2.9 4.5 1.5 Iris-versicolor
34 5.3 3.7 1.5 0.2 Iris-setosa
35 5.6 2.9 3.6 1.3 Iris-versicolor
36 5.5 2.5 4.0 1.3 Iris-versicolor
37 5.5 2.4 3.7 1.0 Iris-versicolor
38 4.4 3.0 1.3 0.2 Iris-setosa
39 6.6 3.0 4.4 1.4 Iris-versicolor
40 7.9 3.8 6.4 2.0 Iris-virginica
41 5.7 2.8 4.1 1.3 Iris-versicolor
42 5.8 2.7 4.1 1.0 Iris-versicolor
43 6.5 2.8 4.6 1.5 Iris-versicolor
44 6.1 2.8 4.7 1.2 Iris-versicolor
45 5.1 3.8 1.9 0.4 Iris-setosa
46 5.0 3.4 1.6 0.4 Iris-setosa
47 5.5 2.6 4.4 1.2 Iris-versicolor
48 5.0 3.4 1.5 0.2 Iris-setosa
49 6.8 2.8 4.8 1.4 Iris-versicolor
50 6.9 3.1 4.9 1.5 Iris-versicolor
51 6.1 2.9 4.7 1.4 Iris-versicolor
52 5.1 3.8 1.6 0.2 Iris-setosa
53 6.4 3.2 5.3 2.3 Iris-virginica
54 6.4 2.7 5.3 1.9 Iris-virginica
55 5.7 2.8 4.5 1.3 Iris-versicolor
56 5.8 2.6 4.0 1.2 Iris-versicolor
57 4.7 3.2 1.6 0.2 Iris-setosa
58 5.1 3.3 1.7 0.5 Iris-setosa
59 4.9 3.1 1.5 0.1 Iris-setosa
60 6.3 3.4 5.6 2.4 Iris-virginica
61 5.1 3.8 1.5 0.3 Iris-setosa
62 7.0 3.2 4.7 1.4 Iris-versicolor
63 5.4 3.0 4.5 1.5 Iris-versicolor
64 6.0 2.2 4.0 1.0 Iris-versicolor
65 6.0 3.0 4.8 1.8 Iris-virginica
66 6.2 2.9 4.3 1.3 Iris-versicolor
67 5.6 3.0 4.1 1.3 Iris-versicolor
68 4.9 3.0 1.4 0.2 Iris-setosa
69 5.0 2.3 3.3 1.0 Iris-versicolor
70 6.3 2.5 5.0 1.9 Iris-virginica
71 4.8 3.4 1.6 0.2 Iris-setosa
72 5.9 3.0 4.2 1.5 Iris-versicolor
73 4.6 3.6 1.0 0.2 Iris-setosa
74 5.0 3.5 1.6 0.6 Iris-setosa
75 5.7 4.4 1.5 0.4 Iris-setosa
76 5.0 3.0 1.6 0.2 Iris-setosa
77 5.6 3.0 4.5 1.5 Iris-versicolor
78 6.3 2.8 5.1 1.5 Iris-virginica
79 5.2 2.7 3.9 1.4 Iris-versicolor
80 5.9 3.2 4.8 1.8 Iris-versicolor
81 7.7 3.0 6.1 2.3 Iris-virginica
82 6.2 3.4 5.4 2.3 Iris-virginica
83 6.4 2.9 4.3 1.3 Iris-versicolor
84 6.5 3.0 5.5 1.8 Iris-virginica
85 5.8 2.7 5.1 1.9 Iris-virginica
86 6.9 3.2 5.7 2.3 Iris-virginica
87 6.4 2.8 5.6 2.2 Iris-virginica
88 4.7 3.2 1.3 0.2 Iris-setosa
89 5.5 2.4 3.8 1.1 Iris-versicolor
90 5.4 3.4 1.5 0.4 Iris-setosa
91 7.2 3.6 6.1 2.5 Iris-virginica
92 6.7 2.5 5.8 1.8 Iris-virginica
93 6.1 3.0 4.6 1.4 Iris-versicolor
94 6.0 3.4 4.5 1.6 Iris-versicolor
95 6.3 2.7 4.9 1.8 Iris-virginica
96 6.9 3.1 5.1 2.3 Iris-virginica
97 5.5 3.5 1.3 0.2 Iris-setosa
98 6.7 3.0 5.2 2.3 Iris-virginica
99 4.6 3.1 1.5 0.2 Iris-setosa
100 5.8 2.7 5.1 1.9 Iris-virginica
101 6.4 3.1 5.5 1.8 Iris-virginica
102 7.3 2.9 6.3 1.8 Iris-virginica
103 4.8 3.0 1.4 0.3 Iris-setosa
104 7.1 3.0 5.9 2.1 Iris-virginica
105 5.9 3.0 5.1 1.8 Iris-virginica
106 6.1 2.6 5.6 1.4 Iris-virginica
107 5.4 3.9 1.7 0.4 Iris-setosa
108 6.4 3.2 4.5 1.5 Iris-versicolor
109 5.1 2.5 3.0 1.1 Iris-versicolor
110 6.3 2.9 5.6 1.8 Iris-virginica
111 7.2 3.2 6.0 1.8 Iris-virginica
112 5.4 3.4 1.7 0.2 Iris-setosa
113 4.6 3.2 1.4 0.2 Iris-setosa
114 6.1 2.8 4.0 1.3 Iris-versicolor
115 7.7 3.8 6.7 2.2 Iris-virginica
116 5.7 2.9 4.2 1.3 Iris-versicolor
117 5.1 3.5 1.4 0.2 Iris-setosa
118 4.9 3.1 1.5 0.1 Iris-setosa
119 6.5 3.0 5.2 2.0 Iris-virginica
120 4.9 3.1 1.5 0.1 Iris-setosa
121 6.3 2.3 4.4 1.3 Iris-versicolor
122 6.2 2.2 4.5 1.5 Iris-versicolor
123 5.7 3.8 1.7 0.3 Iris-setosa
124 6.4 2.8 5.6 2.1 Iris-virginica
125 4.9 2.4 3.3 1.0 Iris-versicolor
126 5.7 2.5 5.0 2.0 Iris-virginica
127 5.5 4.2 1.4 0.2 Iris-setosa
128 6.7 3.0 5.0 1.7 Iris-versicolor
129 5.0 3.3 1.4 0.2 Iris-setosa
130 6.3 2.5 4.9 1.5 Iris-versicolor
131 5.4 3.7 1.5 0.2 Iris-setosa
132 7.7 2.6 6.9 2.3 Iris-virginica
133 5.7 3.0 4.2 1.2 Iris-versicolor
134 7.6 3.0 6.6 2.1 Iris-virginica
135 4.8 3.1 1.6 0.2 Iris-setosa
136 5.6 2.8 4.9 2.0 Iris-virginica
137 4.5 2.3 1.3 0.3 Iris-setosa
138 6.8 3.2 5.9 2.3 Iris-virginica
139 6.3 3.3 6.0 2.5 Iris-virginica
140 4.6 3.4 1.4 0.3 Iris-setosa
141 5.8 2.7 3.9 1.2 Iris-versicolor
142 5.5 2.3 4.0 1.3 Iris-versicolor
143 5.2 4.1 1.5 0.1 Iris-setosa
144 6.6 2.9 4.6 1.3 Iris-versicolor
145 4.3 3.0 1.1 0.1 Iris-setosa
146 6.8 3.0 5.5 2.1 Iris-virginica
147 5.8 4.0 1.2 0.2 Iris-setosa
148 5.1 3.5 1.4 0.3 Iris-setosa
149 6.5 3.0 5.8 2.2 Iris-virginica
150 6.9 3.1 5.4 2.1 Iris-virginica
151 6.7 3.3 5.7 2.1 Iris-virginica