Bootstrap-t-student/bootstrap-t.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Projekt - Test t studenta\n",
    "\n",
    "- Marcin Kostrzewski\n",
    "- Krystian Wasilewski\n",
    "- Mateusz Tylka\n",
    "\n",
    "## Test t studenta\n",
    "\n",
    "Metoda statystyczna służącą do porównania dwóch średnich między sobą gdy znamy liczbę badanych próbek, średnią arytmetyczną oraz wartość odchylenia standardowego lub wariancji.\n",
    "Jest to jeden z mniej skomplikowanych i bardzo często wykorzystywanych testów statystycznych używanych do weryfikacji hipotez. Dzięki niemu możemy dowiedzieć się czy dwie różne średnie są różne niechcący (w wyniku przypadku) czy są różne istotnie statystycznie (np. z uwagi na naszą manipulację eksperymentalna).\n",
    "Wyróżniamy 3 wersję testu t:\n",
    "\n",
    "1. test t Studenta dla jednej próby\n",
    "2. test t Studenta dla prób niezależnych\n",
    "3. test t Studenta dla prób zależnych\n",
    "\n",
    "Wszystkie rodzaje testów są testami parametrycznymi, a co za tym idzie nasze mierzone zmienne ilościowe powinny mieć rozkład normalny."
   ]
  },
  {
   "cell_type": "markdown",
   "source": [
    "# Definicje funkcji"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 546,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "from enum import Enum\n",
    "from scipy.stats import ttest_ind, ttest_1samp, ttest_rel, shapiro"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 547,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset = pd.read_csv('experiment_data.csv') # TODO: del?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 548,
   "metadata": {},
   "outputs": [],
   "source": [
    "class Alternatives(Enum):\n",
    "    LESS = 'less'\n",
    "    GREATER = 'greater'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 549,
   "metadata": {},
   "outputs": [],
   "source": [
    "def calculate_t_difference(t_stat_sample, t_stat_list, alternative):\n",
    "    \"\"\"\n",
    "    Funkcja oblicza procent statystyk testowych powstałych z prób bootstrapowych, \n",
    "    które róznią się od statystyki testowej powstałej ze zbioru według hipotezy alternatywnej.\n",
    "    \"\"\"\n",
    "    all_stats = len(t_stat_list)\n",
    "    stats_different_count = 0\n",
    "    for t_stat_boot in t_stat_list:\n",
    "        if alternative is Alternatives.LESS and t_stat_boot < t_stat_sample:\n",
    "            stats_different_count += 1 \n",
    "        elif alternative is Alternatives.GREATER and t_stat_boot > t_stat_sample:\n",
    "            stats_different_count += 1\n",
    "    return stats_different_count / all_stats"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 550,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "def t_test_1_samp(sample_1, population_mean=None, alternative=Alternatives.LESS):\n",
    "    \"\"\"\n",
    "    Funkcja przeprowadza test T-studenta dla jednej zmiennej.\n",
    "    \"\"\"\n",
    "    t_stat_from_sample, _ = ttest_1samp(a=sample_1, popmean=population_mean, alternative=alternative.value)\n",
    "    t_stat_list = get_t_stats(sample_1, t_stat_fn=ttest_1samp, alternative=alternative, population_mean=population_mean)\n",
    "\n",
    "    p = calculate_t_difference(t_stat_from_sample, t_stat_list, alternative)\n",
    "\n",
    "    return p, t_stat_from_sample, t_stat_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 551,
   "metadata": {},
   "outputs": [],
   "source": [
    "def t_test_ind(sample_1, sample_2, alternative=Alternatives.LESS):\n",
    "    \"\"\"\n",
    "    Funkcja przeprowadza test T-studenta dla dwóch zmiennych niezależnych.\n",
    "    \"\"\"\n",
    "    t_stat_from_sample, _ = ttest_ind(sample_1, sample_2, alternative=alternative.value)\n",
    "    t_stat_list = get_t_stats(sample_1, sample_2, alternative=alternative, t_stat_fn=ttest_ind)\n",
    "\n",
    "    p = calculate_t_difference(t_stat_from_sample, t_stat_list, alternative)\n",
    "\n",
    "    return p, t_stat_from_sample, t_stat_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 552,
   "metadata": {},
   "outputs": [],
   "source": [
    "def t_test_dep(sample_1, sample_2, alternative=Alternatives.LESS):\n",
    "    \"\"\"\n",
    "    Funkcja przeprowadza test T-studenta dla dwóch zmiennych zależnych.\n",
    "    \"\"\"\n",
    "    t_stat_list = get_t_stats(sample_1, sample_2, alternative=alternative, t_stat_fn=ttest_rel)\n",
    "    t_stat_from_sample, _ = ttest_rel(sample_1, sample_2, alternative=alternative.value)\n",
    "\n",
    "    p = calculate_t_difference(t_stat_from_sample, t_stat_list, alternative)\n",
    "\n",
    "    return p, t_stat_from_sample, t_stat_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 553,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_t_stats(sample_1, sample_2=None, t_stat_fn=ttest_1samp, alternative=Alternatives.LESS, population_mean=None):\n",
    "    \"\"\"Funkcja oblicza listę statystyk testowych dla każdej próbki bootstrapowej wybranej na podstawie danych sample_1 i sample_2\"\"\"\n",
    "    t_stat_list = []\n",
    "\n",
    "    # One sample test\n",
    "    if t_stat_fn is ttest_1samp and sample_2 is None:\n",
    "        if not population_mean:\n",
    "            raise Exception(\"population_mean not provided\")\n",
    "        for bootstrap in generate_bootstraps(sample_1):\n",
    "            stat, _ = t_stat_fn(bootstrap, population_mean, alternative=alternative.value)\n",
    "            t_stat_list.append(stat)\n",
    "        return t_stat_list\n",
    "\n",
    "    # Two sample test\n",
    "    for bootstrap_sample in generate_bootstraps(pd.concat((sample_1, sample_2), ignore_index=True)):\n",
    "        bootstrap_1 = bootstrap_sample.iloc[: len(bootstrap_sample) // 2]\n",
    "        bootstrap_2 = bootstrap_sample.iloc[len(bootstrap_sample) // 2 :]\n",
    "        stat, _ = t_stat_fn(bootstrap_1, bootstrap_2, alternative=alternative.value)\n",
    "        t_stat_list.append(stat)\n",
    "    return t_stat_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 554,
   "metadata": {},
   "outputs": [],
   "source": [
    "def pretty_print_test(p, t_stat_from_sample, t_stat_list, thesis, alternative, max_print=5):\n",
    "    print('Wyniki bootstrapowej wersji testu T-studenta')\n",
    "    print()\n",
    "    print(f'Hipoteza: {thesis}')\n",
    "    if alternative is Alternatives.LESS:\n",
    "        print(f'Hipoteza alternatywna: średnia jest mniejsza')\n",
    "    else:\n",
    "        print(f'Hipoteza alternatywna: średnia jest większa')\n",
    "    print()\n",
    "    print(f'p: {p}')\n",
    "    print(f'Wartość statystyki testowej z próby: {t_stat_from_sample}')\n",
    "    print(f'Wartości statystyk z prób boostrapowych:')\n",
    "\n",
    "    t_stat_list_len = len(t_stat_list)\n",
    "    for i in range(min(max_print, t_stat_list_len)):\n",
    "        print(f'{t_stat_list[i]}, ', end='')\n",
    "    if max_print < t_stat_list_len:\n",
    "        remaining = t_stat_list_len - max_print\n",
    "        print(f'... (i {remaining} pozostałych)')\n",
    "\n",
    "    print()\n",
    "    print()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Test Shapiro Wilka\n",
    "\n",
    "Wszystkie rodzaje testów są testami parametrycznymi, a co za tym idzie nasze mierzone zmienne ilościowe powinny mieć rozkład normalny."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 555,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Female height: Dane mają rozkład normalny.\n",
      "Male height: Dane mają rozkład normalny.\n",
      "Weight before: Dane mają rozkład normalny.\n",
      "Weight after: Dane mają rozkład normalny.\n"
     ]
    }
   ],
   "source": [
    "ALPHA = 0.05\n",
    "female_heights = dataset['Female height'].to_numpy()\n",
    "shapiro_test = shapiro(female_heights)\n",
    "\n",
    "if shapiro_test.pvalue >  ALPHA:\n",
    "    print(\"Female height: Dane mają rozkład normalny.\")\n",
    "else:\n",
    "    print(\"Female height: Dane nie mają rozkładu normalnego.\")\n",
    "\n",
    "male_heights = dataset['Male height'].to_numpy()\n",
    "shapiro_test = shapiro(male_heights)\n",
    "\n",
    "if shapiro_test.pvalue >  ALPHA:\n",
    "    print(\"Male height: Dane mają rozkład normalny.\")\n",
    "else:\n",
    "    print(\"Male height: Dane nie mają rozkładu normalnego.\")\n",
    "\n",
    "weights_before = dataset['Weight before'].to_numpy()\n",
    "shapiro_test = shapiro(weights_before)\n",
    "\n",
    "if shapiro_test.pvalue >  ALPHA:\n",
    "    print(\"Weight before: Dane mają rozkład normalny.\")\n",
    "else:\n",
    "    print(\"Weight before: Dane nie mają rozkładu normalnego.\")\n",
    "\n",
    "weights_after = dataset['Weight after'].to_numpy()\n",
    "shapiro_test = shapiro(weights_after)\n",
    "\n",
    "if shapiro_test.pvalue >  ALPHA:\n",
    "    print(\"Weight after: Dane mają rozkład normalny.\")\n",
    "else:\n",
    "    print(\"Weight after: Dane nie mają rozkładu normalnego.\")\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Testowanie hipotez metodą bootstrap\n",
    "\n",
    "**Bootstrap** – metoda szacowania (estymacji) wyników poprzez wielokrotne losowanie ze zwracaniem z próby. Polega ona na utworzeniu nowego rozkładu wyników, na podstawie posiadanych danych, poprzez wielokrotne losowanie wartości z posiadanej próby. Metoda ze zwracaniem polega na tym, że po wylosowaniu danej wartości, “wraca” ona z powrotem do zbioru.\n",
    "\n",
    "Metoda bootstrapowa znajduje zastosowanie w sytuacji, w której nie znamy rozkładu z populacji z której pochodzi próbka lub w przypadku rozkładów małych lub asymetrycznych. W takim wypadku, dzięki tej metodzie, wyniki testów parametrycznych i analiz opartych o modele liniowe są bardziej precyzyjne. Zazwyczaj losuje się wiele próbek, np. 2000 czy 5000."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 556,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "def generate_bootstraps(data, n_bootstraps=100):\n",
    "    data_size = data.shape[0]\n",
    "    for _ in range(n_bootstraps):\n",
    "        indices =  np.random.choice(len(data), size=data_size)\n",
    "        yield data.iloc[indices, :]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Test t studenta dla jednej próby\n",
    "\n",
    "**Test t Studenta dla jednej próby** wykorzystujemy gdy chcemy porównać średnią “teoretyczną” ze średnią, którą faktycznie możemy zaobserwować w naszej bazie danych. Średnia teoretyczna to średnia pochodząca z innych badań lub po prostu bez większych uzasadnień pochodząca z naszej głowy.\n",
    "\n",
    "Wyobraźmy sobie, że mamy dane z takimi zmiennymi jak wzrost pewnej grupy ludzi. Dzięki testowi t Studenta dla jednej próby możemy dowiedzieć się np. czy wzrost naszego młodszego brata wynoszący 155cm odbiega znacząco od średniej wzrostu tej grupy. Hipoteza zerowa w takim badaniu wyglądałaby następująco H0: Badana próba została wylosowana z populacji, w której wzrost osób wynosi średnio 155cm. Z kolei hipoteza alternatywna będzie brzmiała H1: Badana próba nie została wylosowana z populacji gdzie średni wzrost wynosi 155cm\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 557,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "def bootstrap_one_sample(sample, population_mean, alternative=Alternatives.LESS):\n",
    "    p, t, ts = t_test_1_samp(\n",
    "        sample_1=sample,\n",
    "        population_mean=population_mean,\n",
    "        alternative=alternative,\n",
    "    )\n",
    "    \n",
    "    pretty_print_test(p, t, ts, f'średnia jest równa {population_mean}', alternative)\n",
    "    print()\n",
    "    return p, t, ts"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Test t studenta dla prób niezależnych\n",
    "\n",
    "**Test t Studenta dla prób niezależnych** jest najczęściej stosowaną metodą statystyczną w celu porównania średnich z dwóch niezależnych od siebie grup. Wykorzystujemy go gdy chcemy porównać dwie grupy pod względem jakiejś zmiennej ilościowej. Na przykład gdy chcemy porównać średni wzrost kobiet i mężczyzn w danej grupie.\n",
    "\n",
    "Zazwyczaj dwie średnie z różnych od siebie grup będą się różnić. Test t Studenta powie nam jednak czy owe różnice są istotne statystycznie – czy nie są przypadkowe. Hipoteza zerowa takiego testu będzie brzmiała H0: Średni wzrost w grupie mężczyzn jest taki sam jak średni w grupie kobiet. Hipoteza alternatywna z kolei H1: Kobiety będą różnić się od mężczyzn pod wzrostu.\n",
    "Jeśli wynik testu t Studenta będzie istotny na poziomie p < 0,05 możemy odrzucić hipotezę zerową na rzecz hipotezy alternatywnej.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 558,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "def bootstrap_independent(sample_1, sample_2, alternative=Alternatives.LESS):\n",
    "    p, t, ts = t_test_ind(\n",
    "        sample_1=sample_1,\n",
    "        sample_2=sample_2,\n",
    "        alternative=alternative,\n",
    "    )\n",
    "    \n",
    "    pretty_print_test(p, t, ts, 'średnie są takie same', alternative)\n",
    "    return p, t, ts"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 559,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "def bootstrap_dependent(sample_1, sample_2, alternative=Alternatives.LESS):\n",
    "    p, t, ts = t_test_dep(\n",
    "        sample_1=sample_1,\n",
    "        sample_2=sample_2,\n",
    "        alternative=alternative,\n",
    "    )\n",
    "    \n",
    "    pretty_print_test(p, t, ts, 'średnie są takie same', alternative)\n",
    "    return p, t, ts"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 560,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "def draw_distribution(stats, comparision_value):\n",
    "    \"\"\"\n",
    "    Funkcja rysuje rozkład statystyki testowej\n",
    "    @param stats: lista statystyk testowych\n",
    "    @param comparision_value: pierwotna próbka\n",
    "    \"\"\"\n",
    "    plt.hist(stats)\n",
    "    plt.axvline(comparision_value, color='red')\n",
    "    plt.xlabel('Test statistic value')\n",
    "    plt.ylabel('Frequency')\n",
    "    plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "source": [
    "# Wczytanie danych"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 561,
   "outputs": [],
   "source": [
    "dataset = pd.read_csv('experiment_data.csv')\n",
    "heights_female = pd.DataFrame(dataset['Female height'].to_numpy())  # xd\n",
    "heights_male = pd.DataFrame(dataset['Male height'].to_numpy())\n",
    "weights_before = pd.DataFrame(dataset['Weight before'].to_numpy())\n",
    "weights_after = pd.DataFrame(dataset['Weight after'].to_numpy())"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "# Jedna próba\n",
    "\n",
    "### Hipoteza\n",
    "\n",
    "### Sprawdzenie założeń\n"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Test\n"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 561,
   "outputs": [],
   "source": [],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Wniosek"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "# Dwie próby niezależne\n",
    "\n",
    "### Hipoteza\n",
    "\n",
    "### Sprawdzenie założeń\n",
    "\n"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Test"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 561,
   "outputs": [],
   "source": [],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Wniosek"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "# Dwie próby zależne\n",
    "\n",
    "W odróżnieniu od testu dla prób niezależnych, gdzie porównujemy dwie grupy, ten rodzaj testu stosujemy gdy poddajemy analizie tą samą pojedynczą grupę, ale dwukrotnie w czasie.\n",
    "\n",
    "**Przykład**: Porównane zostały wagi przed dietą i po diecie.\n"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "### Hipoteza\n",
    "H0 - Średnia waga nie uległa zmianie po zastosowaniu diety\n",
    "H1 - Średnia waga po diecie jest znacząco mniejsza od wagi przed dietą\n"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "\n",
    "### Sprawdzenie założeń\n",
    "\n",
    "Założenie o rozkładzie normalnym danych - sprawdzane testem Shapiro-Wilka"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 562,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "p = 0.0627\n"
     ]
    }
   ],
   "source": [
    "shapiro_test = shapiro(weights_before)\n",
    "print(f\"p = {round(shapiro_test.pvalue,4)}\")"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "Wartość **p** w teście Shapiro-Wilka powyżej **0.05** -> Dane prawdopodobnie mają rozkład normalny"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Test"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 563,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Wyniki bootstrapowej wersji testu T-studenta\n",
      "\n",
      "Hipoteza: średnie są takie same\n",
      "Hipoteza alternatywna: średnia jest mniejsza\n",
      "\n",
      "p: 1.0\n",
      "Wartość statystyki testowej z próby: [7.89079918]\n",
      "Wartości statystyk z prób boostrapowych:\n",
      "[-2.17000034], [-0.74957325], [-1.53238091], [-2.4791557], [1.17261618], ... (i 95 pozostałych)\n",
      "\n",
      "\n"
     ]
    },
    {
     "data": {
      "text/plain": "<Figure size 432x288 with 1 Axes>",
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEGCAYAAAB/+QKOAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjUuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8qNh9FAAAACXBIWXMAAAsTAAALEwEAmpwYAAAWIUlEQVR4nO3de7hddX3n8feHgCCIgpIiAjHUMlhURHpELWpj8YKAUjuOwtSOWsdoHxwv006N2kedzuXBp+OllhaaKsULouMFBw0q2Iq3egsYLoIUhkZNQIhiuagjDX7nj71Sdo+/k+yc7L1Xcs779TzrOWv91m+t9d0JnE/WZf9WqgpJkmbbre8CJEk7JwNCktRkQEiSmgwISVKTASFJatq97wLG6YADDqjly5f3XYYkTc911w1+HnHEvDa/7LLLflBVS1vrFlRALF++nLVr1/ZdhiRNz4oVg5+XXjqvzZN8Z651XmKSJDUZEJKkJgNCktRkQEiSmgwISVKTASFJajIgJElNBoQkqcmAkCQ1LahvUms0y1etmfe26884aYyVSNqZeQYhSWoyICRJTQaEJKnJgJAkNRkQkqQmA0KS1GRASJKaDAhJUpMBIUlqMiAkSU0GhCSpyYCQJDVNbLC+JOcAJwO3VtUju7YPAUd0XfYD/qmqjm5sux64E7gH2FxVM5OqU5LUNsnRXM8FzgTeu6Whqp6/ZT7JW4Hbt7L9U6rqBxOrTpK0VRMLiKr6QpLlrXVJAjwP+M1JHV+StGP6ugfxJOCWqrp+jvUFXJzksiQrt7ajJCuTrE2ydtOmTWMvVJIWq74C4jTg/K2sf2JVHQM8Ezg9yZPn6lhVq6tqpqpmli5dOu46JWnRmnpAJNkd+G3gQ3P1qaqN3c9bgQuAY6dTnSRpiz7OIJ4KfLuqNrRWJtknyb5b5oGnA1dPsT5JEhMMiCTnA18BjkiyIclLulWnMuvyUpKHJLmoWzwQ+FKSK4CvA2uq6tOTqlOS1DbJp5hOm6P9RY22m4ATu/kbgUdPqi5J0mgm+T0ILUDLV62Z97brzzhpjJVImjSH2pAkNRkQkqQmA0KS1GRASJKaDAhJUpMBIUlqMiAkSU0GhCSpyYCQJDUZEJKkJgNCktRkQEiSmgwISVKTASFJajIgJElNBoQkqcmAkCQ1TfKd1OckuTXJ1UNtb06yMcm6bjpxjm1PSHJdkhuSrJpUjZKkuU3yDOJc4IRG+9ur6uhuumj2yiRLgL8AngkcCZyW5MgJ1ilJaphYQFTVF4Db5rHpscANVXVjVd0NfBA4ZazFSZK2qY97EK9IcmV3CWr/xvqDge8NLW/o2pqSrEyyNsnaTZs2jbtWSVq0ph0QZwEPA44GbgbeuqM7rKrVVTVTVTNLly7d0d1JkjpTDYiquqWq7qmqnwN/zeBy0mwbgUOHlg/p2iRJUzTVgEhy0NDic4CrG92+ARye5LAk9wFOBS6cRn2SpHvtPqkdJzkfWAEckGQD8CZgRZKjgQLWAy/r+j4EeFdVnVhVm5O8AvgMsAQ4p6q+Nak6JUltEwuIqjqt0fzuOfreBJw4tHwR8AuPwEqSpsdvUkuSmgwISVKTASFJajIgJElNBoQkqWliTzFpspavWtN3CZIWOM8gJElNBoQkqcmAkCQ1GRCSpCYDQpLUZEBIkpoMCElSkwEhSWoyICRJTQaEJKnJgJAkNRkQkqSmiQVEknOS3Jrk6qG2P03y7SRXJrkgyX5zbLs+yVVJ1iVZO6kaJUlzm+QZxLnACbPaLgEeWVVHAf8AvG4r2z+lqo6uqpkJ1SdJ2oqJBURVfQG4bVbbxVW1uVv8KnDIpI4vSdoxfd6D+D3gU3OsK+DiJJclWTnFmiRJnV5eGJTkDcBm4Lw5ujyxqjYm+SXgkiTf7s5IWvtaCawEWLZs2UTqlaTFaOpnEEleBJwM/E5VVatPVW3sft4KXAAcO9f+qmp1Vc1U1czSpUsnULEkLU5TDYgkJwB/BDy7qn4yR599kuy7ZR54OnB1q68kaXIm+Zjr+cBXgCOSbEjyEuBMYF8Gl43WJTm76/uQJBd1mx4IfCnJFcDXgTVV9elJ1SlJahvpHkSSR1XVVduz46o6rdH87jn63gSc2M3fCDx6e44lSRq/UW9S/2WSPRl8t+G8qrp9ciVpoVq+as28t11/xkljrETSKEa6xFRVTwJ+BzgUuCzJB5I8baKVSZJ6NfI9iKq6Hvhj4LXAbwDv7IbN+O1JFSdJ6s9IAZHkqCRvB64FfhN4VlX9ajf/9gnWJ0nqyaj3IP4ceBfw+qr66ZbGqropyR9PpDJJUq9GDYiTgJ9W1T0ASXYD9qqqn1TV+yZWnSSpN6Peg/gscN+h5b27NknSAjVqQOxVVXdtWejm955MSZKkncGoAfHjJMdsWUjya8BPt9JfkrSLG/UexKuBDye5CQjwYOD5kypKktS/kQKiqr6R5OHAEV3TdVX1z5MrS5LUt+15H8RjgeXdNsckoareO5GqJEm9G3WwvvcBDwPWAfd0zQUYEJK0QI16BjEDHDnXC34kSQvPqE8xXc3gxrQkaZEY9QziAOCaJF8HfralsaqePZGqJEm9GzUg3jzJIiRJO59RH3P9fJKHAodX1WeT7A0smWxpkqQ+jTrc90uBjwB/1TUdDHx8QjVJknYCo96kPh04DrgD/uXlQb+0rY2SnJPk1iRXD7U9MMklSa7vfu4/x7Yv7Ppcn+SFI9YpSRqTUQPiZ1V195aFJLsz+B7EtpwLnDCrbRXwt1V1OPC33fK/kuSBwJuAxwHHAm+aK0gkSZMxakB8Psnrgft276L+MPCJbW1UVV8AbpvVfArwnm7+PcBvNTZ9BnBJVd1WVT8CLuEXg0aSNEGjPsW0CngJcBXwMuAiBm+Ym48Dq+rmbv77wIGNPgcD3xta3tC1/YIkK4GVAMuWLZtnSf1ZvmpN3yXsEnbkz2n9GSeNsRJp8Rj1KaafA3/dTWNTVZVkh76dXVWrgdUAMzMzftNbksZk1LGY/pHGPYeq+uV5HPOWJAdV1c1JDgJubfTZCKwYWj4EuHQex5IkzdP2jMW0xV7AvwMeOM9jXgi8EDij+/l/Gn0+A/zPoRvTTwdeN8/jSZLmYaSb1FX1w6FpY1W9A9jmhd0k5wNfAY5IsiHJSxgEw9OSXA88tVsmyUySd3XHuw34b8A3uulPujZJ0pSMeonpmKHF3RicUWxz26o6bY5Vxzf6rgX+49DyOcA5o9QnSRq/US8xvXVofjOwHnje2KuRJO00Rn2K6SmTLkSStHMZ9RLTf97a+qp623jKkSTtLLbnKabHMngCCeBZwNeB6ydRlCSpf6MGxCHAMVV1J0CSNwNrquoFkypMktSvUcdiOhC4e2j5btpDZEiSFohRzyDeC3w9yQXd8m9x74B7kqQFaNSnmP5Hkk8BT+qaXlxV35xcWZKkvo16iQlgb+COqvozYEOSwyZUkyRpJzDqK0ffBLyWe8dD2gN4/6SKkiT1b9QziOcAzwZ+DFBVNwH7TqooSVL/Rg2Iu6uq6Ib8TrLP5EqSJO0MRg2I/53kr4D9krwU+CxjfnmQJGnnss2nmJIE+BDwcOAO4AjgjVV1yYRrkyT1aJQhuyvJRVX1KMBQkKRFYtRLTJcneexEK5Ek7VRG/Sb144AXJFnP4EmmMDi5OGpShUmS+rXVgEiyrKq+CzxjSvVIknYS27rE9HGAqvoO8Laq+s7wNJ8DJjkiybqh6Y4kr57VZ0WS24f6vHE+x5Ikzd+2LjFlaP6Xx3HAqroOOBogyRJgI3BBo+sXq+rkcRxTkrT9tnUGUXPMj8vxwP+d79mIJGlythUQj+4uAd0JHNXN35HkziR3jOH4pwLnz7HuCUmuSPKpJI+YawdJViZZm2Ttpk2bxlCSJAm2cYmpqpZM6sBJ7sNgfKfXNVZfDjy0qu5KciKDeyGHz1HjamA1wMzMzCTOciRpUdqe4b7H7ZnA5VV1y+wVVXVHVd3VzV8E7JHkgGkXKEmLWZ8BcRpzXF5K8uBuiA+SHMugzh9OsTZJWvRG/aLcWHWjwT4NeNlQ28sBqups4LnA7yfZDPwUOLU
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "p, t, ts = bootstrap_dependent(weights_before, weights_after)\n",
    "ts = [x[0] for x in ts]\n",
    "draw_distribution(ts, t)"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Wniosek\n",
    "\n",
    "???"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "outputs": [],
   "source": [],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "code",
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "source": [],
   "execution_count": null,
   "outputs": []
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "11938c6bc6919ae2720b4d5011047913343b08a43b18698fd82dedb0d4417594"
  },
  "kernelspec": {
   "display_name": "Python 3.8.10 64-bit",
   "metadata": {
    "interpreter": {
     "hash": "767d51c1340bd893661ea55ea3124f6de3c7a262a8b4abca0554b478b1e2ff90"
    }
   },
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}