364 lines
41 KiB
Plaintext
364 lines
41 KiB
Plaintext
|
{
|
||
|
|
"cells": [
|
||
|
|
{
|
||
|
|
"cell_type": "markdown",
|
||
|
|
"metadata": {},
|
||
|
|
"source": [
|
||
|
|
"# Zadania domowe\n",
|
||
|
|
"\n",
|
||
|
|
"W ramach tego modułu do zdobycia są 4 punkty. \n",
|
||
|
|
"\n",
|
||
|
|
"> **Uwaga**: Zdanie 4.1 można wykonać conajwyżej 2 razy u różnych dostawców. Pozostałe zadania można wykonać tylko raz.\n",
|
||
|
|
"\n",
|
||
|
|
"> **Uwaga**: Zadanie 4.2 można wykonać tylko u dostawców oferujących usługę automatycznego skalowania (AWS, Azure).\n",
|
||
|
|
"\n",
|
||
|
|
"> **Uwaga**: Łącznie można wykonać zadania za znacznie więcej niż dostępnych 4 punktów. Uzyskany wynik zostanie jednak obcięty do wartości maksymalnej.\n"
|
||
|
|
]
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"cell_type": "markdown",
|
||
|
|
"metadata": {},
|
||
|
|
"source": [
|
||
|
|
"## Zadanie 4.1 (2 punkty)\n",
|
||
|
|
"Celem tego zadania jest przedstawienie rozwiązania tylu *load balancer*.\n",
|
||
|
|
"\n",
|
||
|
|
"Zadanie polega na uruchomieniu prostego webserwisu w infrastrukturze chmurowej w wielu instancjach jednocześnie z zapewnieniem pojedynczego punktu dostępowego, który będzie dynamicznie delegował żądania do dostępnych instancji.\n",
|
||
|
|
"\n",
|
||
|
|
"Webserwis udostępnia jeden endpoint HTTP `/factors/<liczba>`, zwracający odpowiedź w formacie `JSON`, która zawiera listę czynników pierwszych liczby zawartej w żądaniu. Przesłana w żądaniu liczba musi być liczbą całkowitą, większą od 1, w przeciwnym razie serwis zwraca kod błędu 400. Nie ma ograniczenia na wielkość danych wejściowych. Dla dostatecznie dużej liczby czas oczekiwania na odpowiedź może być bardzo długi.\n",
|
||
|
|
"\n",
|
||
|
|
"Przykładowo dla zapytania\n",
|
||
|
|
"```bash\n",
|
||
|
|
"curl <adres_serwera>:<port>/factors/10\n",
|
||
|
|
"```\n",
|
||
|
|
"odpowiedź to\n",
|
||
|
|
"```json\n",
|
||
|
|
"[2, 5]\n",
|
||
|
|
"```\n",
|
||
|
|
"\n",
|
||
|
|
"Dany jest program w postaci binarnej (skompilowanej na architekturę `amd64`, jednowątkowy), realizujący ten webserwis na porcie 8080.\n",
|
||
|
|
"\n",
|
||
|
|
"### Sposób sprawdzania zadania\n",
|
||
|
|
"Zadanie będzie sprawdzane półautomatycznie. Do skryptu sprawdzającego należy podać adres URL webserwisu. Sprawdzarka będzie w kilku wątkach jednocześnie wysyłała żądania pod wskazany adres. Jeden wątek (t0) wysyłać będzie małe liczby, dla których rozkład będzie zajmował poniżej sekundy. W tym samym czasie kolejne wątki, dodawane w regularnych odstępach czasu, będą wysyłały bardzo duże liczby, dla których rozkład na czynniki pierwsze będzie wymagał przynajmniej kilku sekund. Zadanie zostanie zaliczone wtedy, gdy wątek wysyłający małe liczby (t0) będzie otrzymywać odpowiedzi z serwera szybko, bez oczekiwania na rozłożenie większych liczb.\n",
|
||
|
|
"\n",
|
||
|
|
"Poniżej przykładowe wykresy dla różnych konfiguracji:\n",
|
||
|
|
"\n",
|
||
|
|
"* brak równoważenia obciążenia (1 worker) \n",
|
||
|
|
"\n",
|
||
|
|
" \n",
|
||
|
|
"* równoważenie obciążenia bez skalowania (2 workery) \n",
|
||
|
|
"\n",
|
||
|
|
" \n",
|
||
|
|
"* równoważenie obciążenia (4 workery) \n",
|
||
|
|
"\n",
|
||
|
|
" \n",
|
||
|
|
"* równoważenie obciążenia bez skalowania (5 workerów) \n",
|
||
|
|
"\n",
|
||
|
|
" "
|
||
|
|
]
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"cell_type": "code",
|
||
|
|
"execution_count": 5,
|
||
|
|
"metadata": {},
|
||
|
|
"outputs": [
|
||
|
|
{
|
||
|
|
"name": "stderr",
|
||
|
|
"output_type": "stream",
|
||
|
|
"text": [
|
||
|
|
"INFO:root:Thread: 0\treqs: 5\tmean time: 0.096s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 5\tmean time: 0.096s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 1\treqs: 2\tmean time: 1.403s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 5\tmean time: 0.098s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 5\tmean time: 0.096s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 1\treqs: 2\tmean time: 1.539s\t\n",
|
||
|
|
"INFO:root:Thread: 2\treqs: 2\tmean time: 2.062s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 4\tmean time: 0.194s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 1\treqs: 1\tmean time: 2.307s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 4\tmean time: 0.149s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 2\treqs: 2\tmean time: 1.845s\t\n",
|
||
|
|
"INFO:root:Thread: 3\treqs: 1\tmean time: 2.299s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 4\tmean time: 0.196s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 1\treqs: 2\tmean time: 2.098s\t\n",
|
||
|
|
"INFO:root:Thread: 3\treqs: 2\tmean time: 1.765s\t\n",
|
||
|
|
"INFO:root:Thread: 2\treqs: 1\tmean time: 2.092s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 4\tmean time: 0.164s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 4\treqs: 1\tmean time: 2.503s\t\n",
|
||
|
|
"INFO:root:Thread: 1\treqs: 1\tmean time: 2.268s\t\n",
|
||
|
|
"INFO:root:Thread: 2\treqs: 1\tmean time: 2.200s\t\n",
|
||
|
|
"INFO:root:Thread: 3\treqs: 1\tmean time: 2.651s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 4\tmean time: 0.183s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 1\treqs: 1\tmean time: 2.306s\t\n",
|
||
|
|
"INFO:root:Thread: 4\treqs: 1\tmean time: 2.493s\t\n",
|
||
|
|
"INFO:root:Thread: 2\treqs: 1\tmean time: 2.536s\t\n",
|
||
|
|
"INFO:root:Thread: 3\treqs: 1\tmean time: 2.698s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 4\tmean time: 0.179s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 4\treqs: 2\tmean time: 1.972s\t\n",
|
||
|
|
"INFO:root:Thread: 2\treqs: 1\tmean time: 2.053s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 4\tmean time: 0.140s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 3\treqs: 1\tmean time: 2.207s\t\n",
|
||
|
|
"INFO:root:Thread: 1\treqs: 1\tmean time: 2.321s\t\n",
|
||
|
|
"INFO:root:Thread: 3\treqs: 1\tmean time: 2.080s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 5\tmean time: 0.101s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 2\treqs: 2\tmean time: 1.699s\t\n",
|
||
|
|
"INFO:root:Thread: 1\treqs: 2\tmean time: 1.651s\t\n",
|
||
|
|
"INFO:root:Thread: 1\treqs: 1\tmean time: 1.333s\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 5\tmean time: 0.104s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 5\tmean time: 0.099s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 5\tmean time: 0.098s\tfast\t\n",
|
||
|
|
"INFO:root:Thread: 0\treqs: 5\tmean time: 0.100s\tfast\t\n"
|
||
|
|
]
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"source": [
|
||
|
|
"import requests\n",
|
||
|
|
"import random\n",
|
||
|
|
"import math\n",
|
||
|
|
"import time\n",
|
||
|
|
"import threading\n",
|
||
|
|
"import logging\n",
|
||
|
|
"logging.getLogger().setLevel(logging.INFO)\n",
|
||
|
|
"\n",
|
||
|
|
"\n",
|
||
|
|
"API_URL=\"http://localhost:8080\"\n",
|
||
|
|
"\n",
|
||
|
|
"\n",
|
||
|
|
"UNIT = 5.0 # secs\n",
|
||
|
|
"\n",
|
||
|
|
"# Pre generated primes\n",
|
||
|
|
"first_primes_list = [2, 3, 5, 7, 11, 13, 17, 19, 23, 29,\n",
|
||
|
|
" 31, 37, 41, 43, 47, 53, 59, 61, 67,\n",
|
||
|
|
" 71, 73, 79, 83, 89, 97, 101, 103,\n",
|
||
|
|
" 107, 109, 113, 127, 131, 137, 139,\n",
|
||
|
|
" 149, 151, 157, 163, 167, 173, 179,\n",
|
||
|
|
" 181, 191, 193, 197, 199, 211, 223,\n",
|
||
|
|
" 227, 229, 233, 239, 241, 251, 257,\n",
|
||
|
|
" 263, 269, 271, 277, 281, 283, 293,\n",
|
||
|
|
" 307, 311, 313, 317, 331, 337, 347, 349]\n",
|
||
|
|
"\n",
|
||
|
|
"\n",
|
||
|
|
"def nBitRandom(n):\n",
|
||
|
|
" return random.randrange(2**(n-1)+1, 2**n - 1)\n",
|
||
|
|
" \n",
|
||
|
|
"def getLowLevelPrime(n):\n",
|
||
|
|
" '''Generate a prime candidate divisible\n",
|
||
|
|
" by first primes'''\n",
|
||
|
|
" while True:\n",
|
||
|
|
" # Obtain a random number\n",
|
||
|
|
" pc = nBitRandom(n)\n",
|
||
|
|
" \n",
|
||
|
|
" # Test divisibility by pre-generated\n",
|
||
|
|
" # primes\n",
|
||
|
|
" for divisor in first_primes_list:\n",
|
||
|
|
" if pc % divisor == 0 and divisor**2 <= pc:\n",
|
||
|
|
" break\n",
|
||
|
|
" else: return pc\n",
|
||
|
|
" \n",
|
||
|
|
"def isMillerRabinPassed(mrc):\n",
|
||
|
|
" '''Run 20 iterations of Rabin Miller Primality test'''\n",
|
||
|
|
" maxDivisionsByTwo = 0\n",
|
||
|
|
" ec = mrc-1\n",
|
||
|
|
" while ec % 2 == 0:\n",
|
||
|
|
" ec >>= 1\n",
|
||
|
|
" maxDivisionsByTwo += 1\n",
|
||
|
|
" assert(2**maxDivisionsByTwo * ec == mrc-1)\n",
|
||
|
|
" \n",
|
||
|
|
" def trialComposite(round_tester):\n",
|
||
|
|
" if pow(round_tester, ec, mrc) == 1:\n",
|
||
|
|
" return False\n",
|
||
|
|
" for i in range(maxDivisionsByTwo):\n",
|
||
|
|
" if pow(round_tester, 2**i * ec, mrc) == mrc-1:\n",
|
||
|
|
" return False\n",
|
||
|
|
" return True\n",
|
||
|
|
" \n",
|
||
|
|
" # Set number of trials here\n",
|
||
|
|
" numberOfRabinTrials = 20\n",
|
||
|
|
" for i in range(numberOfRabinTrials):\n",
|
||
|
|
" round_tester = random.randrange(2, mrc)\n",
|
||
|
|
" if trialComposite(round_tester):\n",
|
||
|
|
" return False\n",
|
||
|
|
" return True\n",
|
||
|
|
" \n",
|
||
|
|
"def random_large_prime(bits):\n",
|
||
|
|
" while True:\n",
|
||
|
|
" prime_candidate = getLowLevelPrime(bits)\n",
|
||
|
|
" if not isMillerRabinPassed(prime_candidate):\n",
|
||
|
|
" continue\n",
|
||
|
|
" else:\n",
|
||
|
|
" return prime_candidate\n",
|
||
|
|
"\n",
|
||
|
|
"def thread_function(i, fast, timeout):\n",
|
||
|
|
" start = time.time()\n",
|
||
|
|
"\n",
|
||
|
|
" c = 5 # bits: 20: 200ms; 21: 350ms; 22: 700ms 23: 1.5s; 25: 6s; 26: 10s; 27: 24s\n",
|
||
|
|
" bits = 19 if fast else 23\n",
|
||
|
|
" last_report = time.time()\n",
|
||
|
|
" processing_time = 0.0\n",
|
||
|
|
" reqs = 0\n",
|
||
|
|
" while True:\n",
|
||
|
|
" iter_start = time.time()\n",
|
||
|
|
" if iter_start - start > timeout:\n",
|
||
|
|
" logging.info(\"Thread: %d\\treqs: %d\\tmean time: %.3fs\\t%s\"%(i, reqs, processing_time/reqs if reqs>0 else 0.0, \"fast\\t\" if fast else \"\"))\n",
|
||
|
|
" results[i][iter_start] = processing_time/reqs if reqs>0 else 0.0\n",
|
||
|
|
" return\n",
|
||
|
|
" if iter_start - last_report > UNIT/2:\n",
|
||
|
|
" if len(results[i])%2 == 0:\n",
|
||
|
|
" logging.info(\"Thread: %d\\treqs: %d\\tmean time: %.3fs\\t%s\"%(i, reqs, processing_time/reqs if reqs>0 else 0.0, \"fast\\t\" if fast else \"\"))\n",
|
||
|
|
" results[i][iter_start] = processing_time/reqs if reqs>0 else 0.0\n",
|
||
|
|
" processing_time = 0.0\n",
|
||
|
|
" reqs = 0\n",
|
||
|
|
" last_report=iter_start\n",
|
||
|
|
"\n",
|
||
|
|
" factors = [random_large_prime(bits) for i in range(c)]\n",
|
||
|
|
" factors.sort()\n",
|
||
|
|
" n=math.prod(factors)\n",
|
||
|
|
"\n",
|
||
|
|
" r = requests.get(API_URL+'/factors/%d'%(n))\n",
|
||
|
|
" if r.status_code != 200:\n",
|
||
|
|
" logging.error(\"wrong status code from webservice\")\n",
|
||
|
|
" else:\n",
|
||
|
|
" result = r.json()\n",
|
||
|
|
" if result != factors:\n",
|
||
|
|
" logging.error(\"Wrong factors\")\n",
|
||
|
|
"\n",
|
||
|
|
" processing_time+=time.time() - iter_start\n",
|
||
|
|
" reqs+=1\n",
|
||
|
|
" time.sleep(0.5)\n",
|
||
|
|
"\n",
|
||
|
|
"START = time.time()\n",
|
||
|
|
"slow_threads = 4\n",
|
||
|
|
"\n",
|
||
|
|
"results = [ {} for i in range(slow_threads+1)]\n",
|
||
|
|
"\n",
|
||
|
|
"t0 = threading.Thread(target=thread_function, args=(0, True, (5 + slow_threads*3) * UNIT))\n",
|
||
|
|
"t0.start()\n",
|
||
|
|
"time.sleep(2 * UNIT)\n",
|
||
|
|
"for i in range(slow_threads):\n",
|
||
|
|
" t = threading.Thread(target=thread_function, args=(i+1, False, (slow_threads-i) * 3 * UNIT))\n",
|
||
|
|
" t.start()\n",
|
||
|
|
" time.sleep(2 * UNIT)\n",
|
||
|
|
"\n",
|
||
|
|
"t0.join()"
|
||
|
|
]
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"cell_type": "code",
|
||
|
|
"execution_count": 6,
|
||
|
|
"metadata": {},
|
||
|
|
"outputs": [
|
||
|
|
{
|
||
|
|
"data": {
|
||
|
|
"image/png": "iVBORw0KGgoAAAANSUhEUgAAAXkAAAD4CAYAAAAJmJb0AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAABFU0lEQVR4nO3dd3xT5f7A8c+TNN2lu6WlhbJkQ9lbcQKOqyheca8rovC7OFGve8/rHohXnCgOFEERt4ILKKuUIbIpo3TvNk3y/P446W7pIG1K+n2/Xnk1Oeck55tD+ObJc57zfZTWGiGEEJ7J5O4AhBBCtBxJ8kII4cEkyQshhAeTJC+EEB5MkrwQQngwL3ftOCIiQickJLhr90IIcVxau3ZthtY6srHbuy3JJyQkkJSU5K7dCyHEcUkptbcp20t3jRBCeDBJ8kII4cEkyQshhAdzW5+8EEK0lrKyMlJTUykpKXF3KI3m6+tLXFwcFovlmF5HkrwQwuOlpqYSFBREQkICSil3h9MgrTWZmZmkpqbStWvXY3ot6a4RQni8kpISwsPDj4sED6CUIjw83CW/PCTJCyHaheMlwZdzVbyS5IVoCYeSYc9v7o5CCEnyQrSIr++AxTe4OwrRRuTk5PDqq69WPH7nnXfo2bMnPXv25J133mnRfUuSF8LV7GVwcD3k7AVrobujEW1A1SSflZXFgw8+yKpVq1i9ejUPPvgg2dnZLbZvSfJCuFraZrAVG/fT/3JvLKJNuPPOO9m5cyeJiYmMHDmS008/nbCwMEJDQzn99NNZvnx5i+1bhlAK4Wqpayrvp2+DTkPcF4uo5cGlm9lyMM+lr9k3tgP3n9Ov3vVPPPEEKSkpbNiwgWeeeabaqJm4uDgOHDjg0niqkpa8EK6WmgQBkWCyGEleiCrqmle7JUf+SEteCFdLXQPxIyFrFxyRJN/WHK3F3Rri4uL4+eefKx6npqYyYcKEFtuftOSFcKWiLMjaCXHDIbK3tOQFAEFBQeTn5wMwceJEvv32W7Kzs8nOzubbb79l4sSJLbZvackL4UqpzjkS4oaDrRQ2f2aMsPEOcG9cwq3Cw8MZO3Ys/fv3Z/Lkydx7770MHz4cgPvuu4+wsLAW27ckeSFcKXU1KDPEJkJRhrEsYzvEDnZrWML9Pvjgg2qPr7nmmlbZr3TXCOFKqWsgup/Rco/sbSyTfnnhRpLkhXAVhx1S1xpdNQBh3WSEjXA7SfJCuErGdrDmVyZ5swXCe0iSF24lSV4IVym/CKo8yQNEyQgb4V6S5IVwldQ14BsC4d0rl0X2gey9YC1yW1iifZMkL4SrpCYZrfiqVy9G9gI0tiNbsDlsbgtNtF+S5IVwhZI8OLK1elcNQFQfAG5Nepybf77ZDYGJtqBmqeFJkyYREhLC2Wef3eL7liQvhCscXAdoiBtWfXlYN6wmC6sz/6bXvB85lLTSLeEJ96qZ5G+//Xbee++9Vtl3g0leKeWrlFqtlNqolNqslHqwjm2UUupFpdQOpVSyUkrK7on2JXUNoGonebOFTZFdOWmdnVM3ODh0z71oh8MtIQr3qVpq+Pbbb+fUU08lKCioVfbdmCteS4FTtNYFSikL8KtS6mut9Z9VtpkM9HTeRgKvOf8K0T6kJhn9777BtVat9w5myu8F5AaZCd6TRt7SpQSfe64bghQAfH0nHN7k2tfsOAAmP1Hv6qqlhltbgy15bShwPrQ4bzVrZZ4LvOvc9k8gRCkV49pQhWijtDZa8jVb8U6m1Xl0KIYdd0xhV0c4/NxzOEpLWzlI0V41qnaNUsoMrAV6AK9orVfV2KQTsL/K41TnskOuCFKINi17NxRl1j7pChSnHWbw7/kc6G5j3KAx/GfCZ9y7MI3sDz8k/KqrWj9WcdQWtydq1IlXrbVda50IxAEjlFL9a2xSV8X7WpXxlVLTlVJJSqmk9PT0JgcrRJu0v46LoJx2vvA4FhuYEwtJKMqjbGhfdvYKIvO1udidpWeF56taari1NWl0jdY6B/gZmFRjVSoQX+VxHHCwjufP01oP01oPi4yMbFqkQrRVqWvAO7CyIJmTdf9+1Bff82OiItGvDNK3MjFhIq+PKcKem0vmG/9zU8CitVUtNXz77bczfvx4LrzwQn744Qfi4uL45ptvWmzfDXbXKKUigTKtdY5Syg84DXiyxmZLgFlKqYUYJ1xztdbSVSPah9Q1xjyuJnO1xekvvYTDBElnduPfeUFwZBsTR17LCx1fIGNcH9S77xJ66SVYoqPdFLhoTTVLDbeWxrTkY4CflFLJwBrgO631l0qpGUqpGc5tlgG7gB3AG8CNLRKtEG2NtQjSUmp11ZT89Rd5S79k+XAvevUcXTFLVHxQPP3C+/H+eI2228l4+RU3BS7ai8aMrknWWg/WWg/UWvfXWj/kXD5Xaz3XeV9rrWdqrbtrrQdorZNaOnAh2oRDG8Fhq5Xk0599Dh3gz6IRdoZ3dE4FmL0HrEVMSpjE7+zA64KzyFm0iNKdO90Tu2gX5IpXIY5FeeXJTpXDJ4uSkij45Rf2nTuEQj/F0OihRjVKNGT+zcQEYz7PX0/riMnPjyPPPeeGwEV7IUleiGORugZCEyDQGEigtebIs8/hFRnJV0OhW3A3wv3CjWqUAEe2ERMYw6DIQXyZtYLw6/5Fwfc/ULRuvfveg/BokuSFOBbllSedCn7+meJ16wi7cQarszcaXTXgnCXKq6K2/KSESWzP3k7ueSdijozgyDPPoHWtUcdCHDNJ8kI0V+4ByD9YkeS13U76s89h6dKZQyf3pchWxLBoZzeOl3e1WaLOSDgDheLbtF+InDmL4nXrKPjpJ3e9E+HBJMkL0VwVM0EZiTzvyy8p/ftvombPJiljAwDDOlYpdRDZqyLJR/lHMSR6CN/s/oaQqRfgnZDAkWefRduk5rwnqlqFcsOGDYwePZp+/foxcOBAPvrooxbdtyR5IZordQ14+UL0ABxWK+kvvoRv374ETZrEmrQ1JHRIIMIvonL7yD6QtRvKigGjy2Zn7k525O8m8pabse7YSe7ixe55L6JFVU3y/v7+vPvuu2zevJnly5dz0003kZOT02L7liQvRHOlJkFMInh5k/PRx5QdOEDkLbfgQLMubV31VjxUzBJFxt8AnNblNEzKxPI9ywk6/XT8Bg0i/aWXcRQXt/pbES2raqnhN954g549ewIQGxtLVFQULVnmpVEFyoQQNdiscGgDDP8X9oJCMl57Df+RIwkYO4atWVspKCuo7I8v55wlivRtEDOQCL8Ihncczjd7vmFW4iyibruVvZdfQdb77xNx3XWt/pbaiydXP8m2LNdOrt47rDd3jLij3vX1lRpevXo1VquV7t271/1EF5CWvBDNkbYJbCUQN5ysd97GnpVF1C03o5RizWGjr75Wkg/rboywObK1YtGkhEnszdvLtqxt+A8fTuCECWTOewNbdnZrvhvhBocOHeLyyy/nrbfewmRquVQsLXkhmiPVuKjbFtCTrPmPVHS3ACSlJdE5qDPRATVq0nh5G4k+/a+KRad1Po1H/3yU5XuW0ye8D5G33Mzu86aQOe8Nou+Y02pvpz05Wou7teTl5XHWWWfxyCOPMGrUqBbdl7TkhWiO1DUQFEvmh0txFBcTedNsABzaUXd/fLmo3pBe2ZIP8Q1hZOxIvtnzDVprfE84geDzziP7/fcpO3CgNd6JaAVVSw1brVamTJnCFVdcwYUXXtji+5YkL0RzpK6hLHAA2R98QPCU8/Bx9qluz95OnjWvdldNufIaNmWVJ1cnJUziQMEBUjJSjE3+bxYoRfqLL7X0uxCtpGqp4V69erFixQrefvttEhMTSUxMbNFpAaW7RoimKkiH7D2k7+8KShE5c2bFqqTDRjfOUZO8dhgjbGIGAnBK51N46I+HWL5nOQMiB2CJiSH08svImv8WYddcg2+vE1r8LYmW15ZLDQshqjqQRGmuF7l/bCf0kkuwxMZWrEpKS6JTYCdiAuuZ4rh8YpEq/fIdvDswNnYs3+z5Bod2ABAxfTomf38y5r7WYm9DtA/SkhcCyFu2jNLduzH5+WPy98cU4I/
|
||
|
|
"text/plain": [
|
||
|
|
"<Figure size 432x288 with 1 Axes>"
|
||
|
|
]
|
||
|
|
},
|
||
|
|
"metadata": {
|
||
|
|
"needs_background": "light"
|
||
|
|
},
|
||
|
|
"output_type": "display_data"
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"source": [
|
||
|
|
"import numpy as np\n",
|
||
|
|
"import matplotlib.pyplot as plt\n",
|
||
|
|
"import scipy.stats as stats\n",
|
||
|
|
"mu = 0\n",
|
||
|
|
"std = 1\n",
|
||
|
|
"for i, result in enumerate(results):\n",
|
||
|
|
" x = [(x - START)/UNIT for x in result.keys()]\n",
|
||
|
|
" y = result.values()\n",
|
||
|
|
" plt.plot(x, y, label=\"t%d\"%(i,))\n",
|
||
|
|
"\n",
|
||
|
|
"plt.legend()\n",
|
||
|
|
"plt.show()"
|
||
|
|
]
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"cell_type": "markdown",
|
||
|
|
"metadata": {},
|
||
|
|
"source": [
|
||
|
|
"## Zadanie 4.2 (2 punkty + 2 punkty za 4.1)\n",
|
||
|
|
"\n",
|
||
|
|
"Zadanie polega na rozbudowaniu rozwiązania 4.1 o usługę automatycznego skalowania. Webserwis w wariancie początkowym powinien dysponować 2 instancjami (jak w zadaniu 4.1). Jednak w przypadku wzrostu ilości żądań powinien automatycznie przeskalować się poprzez dodanie nowych instancji (do maksymalnie 5).\n",
|
||
|
|
"\n",
|
||
|
|
"### Sposób sprawdzania zadania\n",
|
||
|
|
"Zadanie będzie sprawdzane półautomatycznie z wykorzystaniem skryptu z zadania poprzedniego.\n",
|
||
|
|
"\n",
|
||
|
|
"> **Wskazówka**: Mechaznim autoamtycznego skalowania potrzebuje trochę czasu aby zadziałać, konieczne może okazać się zwiększenie wartości zmiennej UNIT z 5 sekund do 30-60 sekund.\n",
|
||
|
|
"\n",
|
||
|
|
"## Zadanie 4.3 (2 punkty, wymaga zaliczenia zadania 4.1 lub 4.2)\n",
|
||
|
|
"Zautomatyzuj wykonanie zadania 4.1 lub 4.2 tak aby cała infrastruktura (łącznie z zasobami chmurowymi, konfiguracją maszyn i oprogramowania) wykonywana była przez odpowiedni skrypt za pośrednictwem jednej komendy w konsoli. Na koniec swojego działania komenda ma wyświetlać URL dostępowy do webserwisu.\n",
|
||
|
|
"\n",
|
||
|
|
"Sam skrypt oraz wszystkie niezbędne pliki (np. cloud-init, pliki konfiguracyjne, itp.) powinny znajdować się na repozytorium Git.\n",
|
||
|
|
"\n",
|
||
|
|
"> Uwaga: Pamiętaj aby przygotować stosowną dokumentację (w formacie Markdown w pliku README.md) opisującą konfigurację środowiska wymaganą przez ten skrypt (autoryzacja do platform chmury obliczeniowej, zmienne środowiskowe, itp.). Nie powinna ona jednak być zbyt skomplikowana i wykraczać znacznie poza autoryzację do chmury.\n",
|
||
|
|
"\n",
|
||
|
|
"> Wskazówka: Technologia w której przygotowany zostanie skrypt nie jest ograniczona, wymagane jest tylko umożliwienie uruchomienia jej na systemie Linux (np. Ubuntu/Debian) bez potrzeby nadmiernej rekonfiguracji systemu. W przypadku potrzeby skorzystania z niestandardowych narzędzi, zalecane jest skorzystanie z narzędzia Docker, zbudowanie specjalnego obrazu i wykonanie skryptu z jego poziomu.\n",
|
||
|
|
"\n",
|
||
|
|
"### Sposób sprawdzania zadania\n",
|
||
|
|
"Zadanie sprawdzane jest ręcznie poprzez sklonowanie repozytorium Git, wykonanie konfiguracji zgodnie z dokumentacją, wywołanie odpowiedniego skryptu i ręczne sprawdzenie czy system został zbudowany zgodnie ze specyfikacją. Skrypt będzie wykonywany w środowisku zapewnionym i skonfigurowanym przez prowadzącego zajęcia. Przykład sposobu wykonania skryptu przez prowadzącego:\n",
|
||
|
|
"\n",
|
||
|
|
"```bash\n",
|
||
|
|
"git clone git@git.wmi.amu.edu.pl:s<index>/<repo_name>.git\n",
|
||
|
|
"cd <repo_name>\n",
|
||
|
|
"./deploy.sh\n",
|
||
|
|
"```\n",
|
||
|
|
"\n",
|
||
|
|
"Po zakończeniu skryptu deploy, przeprowadzona zostanie procedura sprawdzania zadania 4.1 lub zadania 4.2."
|
||
|
|
]
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"cell_type": "markdown",
|
||
|
|
"metadata": {},
|
||
|
|
"source": [
|
||
|
|
"## Zadanie 4.4 (3 punkty)\n",
|
||
|
|
"Zadanie ma na celu uświadomienie różnic w cennikach różnych dostawców usług chmurowych.\n",
|
||
|
|
"\n",
|
||
|
|
"> **Wskazówka**: Zadanie można realizować we dwie osoby, obie otrzymują wtedy taką samą ilość punktów.\n",
|
||
|
|
"\n",
|
||
|
|
"Zadanie polega na przeanalizowaniu kosztów wdrożenia przykładowego systemu informatycznego u różnych dostawców chmury obliczeniowej. Rozwiązaniem zadania będzie raport przygotowany w formacie PDF porównujący koszt wdrożenia danego systemu w przynajmniej 4 wariantach u przynajmniej dwóch różnych dostawców. Oprócz łącznego kosztu (startowego i miesiecznego) należy porównać też koszt poszczególnych składowych, uwzględnić możliwe promocje (reserved, spot, itp). Zakładamy, że system będzie działał nieprzerwanie przez rok.\n",
|
||
|
|
"\n",
|
||
|
|
"**Specyfikacja systemu**\n",
|
||
|
|
"\n",
|
||
|
|
"> **Uwaga**: Opisywana specyfikacja dotyczy rzeczywistego systemu informatycznego będącego kopalnią kryptowalut.\n",
|
||
|
|
"\n",
|
||
|
|
"1. Główny węzłeł sieci kryptowalutowej. Wymagane przynajmniej 32GB RAM, 8vCPU, 600GB dysku twardego. Wymagania specjalne: bardzo duża wydajność dysku twardego, transfer sieciowy na poziomie 2-3TB/miesiąc.\n",
|
||
|
|
"1. Zapasowy węzeł sieci kryptowalutowej. Wymagane przynajmniej 8GB RAM, 3vCPU, 600GB dysku twardego. Wymagania specjalne: duża wydajność dysku twardego, transfer sieciowy na poziomie 2-3TB/miesiąc.\n",
|
||
|
|
"1. Baza danych Redis. Wymagane przynajmniej 2GB RAM, 2vCPU, 10GB dysku twardego. Wymagania specjalne: wysoka dostępność, brak dostępu do bazy danych uniemożliwia działania wszyskich innych modułów\n",
|
||
|
|
"1. Moduł kopania. Wymagane przynajmniej 4GB RAM, 8vCPU, 10GB dysku twardego. Wymagania specjalne: transfer sieciowy na poziomie 1TB/miesiąc, stały adres IP\n",
|
||
|
|
"1. Moduł API i WWW. Wymagane przynajmniej 4GB RAM, 2vCPU, 10GB dysku twardego.\n",
|
||
|
|
"1. Moduł wypłat. Wymagane przynajmniej 2GB RAM, 1vCPU, 10GB dysku twardego.\n",
|
||
|
|
"\n",
|
||
|
|
"Każdy moduł, baza danych oraz węzły powinny działać w odseparowanym środowisku z zachowaniem następująch połączeń:\n",
|
||
|
|
"* wszystkie moduły łączą sie z bazą danych\n",
|
||
|
|
"* moduł kopania łączy się z węzłem głównym i zapasowym\n",
|
||
|
|
"* moduł wypłat łączy się z węzłem zapasowym"
|
||
|
|
]
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"metadata": {
|
||
|
|
"interpreter": {
|
||
|
|
"hash": "98b0a9b7b4eaaa670588a142fd0a9b87eaafe866f1db4228be72b4211d12040f"
|
||
|
|
},
|
||
|
|
"kernelspec": {
|
||
|
|
"display_name": "Python 3.9.5 64-bit ('base': conda)",
|
||
|
|
"name": "python3"
|
||
|
|
},
|
||
|
|
"language_info": {
|
||
|
|
"codemirror_mode": {
|
||
|
|
"name": "ipython",
|
||
|
|
"version": 3
|
||
|
|
},
|
||
|
|
"file_extension": ".py",
|
||
|
|
"mimetype": "text/x-python",
|
||
|
|
"name": "python",
|
||
|
|
"nbconvert_exporter": "python",
|
||
|
|
"pygments_lexer": "ipython3",
|
||
|
|
"version": "3.9.6"
|
||
|
|
},
|
||
|
|
"orig_nbformat": 4
|
||
|
|
},
|
||
|
|
"nbformat": 4,
|
||
|
|
"nbformat_minor": 2
|
||
|
|
}
|