" - Śledzenie wyników działania buildu jak i debugowanie ewentualnych problemów ułatwiają:\n",
" - Wyjście z konsoli [(Console Output)](http://tzietkiewicz.vm.wmi.amu.edu.pl:8080/job/hello-world/10/console) - tutaj widać logi wypisywane zarówno przez polecenia/funkcje Jenkinsowe jak i standardowe wyjście / wyjście błędów wykonywanych poleceń systemowych\n",
" - Workspace - to katalog roboczy, w którym uruchamiane są polecenia. Tutaj zostaje sklonowane repozytorium (jeśli je klonujemy), tu wywoływane będę polecenia systemowe. Można je przeglądać z poziomu przeglądarki, np. [tutaj](http://tzietkiewicz.vm.wmi.amu.edu.pl:8080/job/hello-world-scripted/1/execution/node/3/ws/)\n",
" - Każdy uruchomiony build można zatrzymać (abort) co powoduje zaprzestanie jego wykonywania\n",
" - Build zakończony można usunąć (np. jeśli przez przypadek wypisaliśmy na konsolę nasze hasło)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Terminologia c.d.\n",
" - **Step (Krok?)** - każdy pipeline to sekwencja kroków do wykonania. \n",
" - W przypadku projektów typu Pipeline, kroki definiuje się w pliku \"Jenkinsfile\"\n",
" - kopiowanie artefaktów z innego zadania (copyArtifacts)\n",
" - uruchomienie innego zadania (build)\n",
" - **Stage (Etap?)** - Pozwala grupować kroki (steps). Na głównej stronie każdego pipeline możemy zobaczyć wizualizację poszczególnych etapów wraz z czasami ich wykonywania\n",
" - **Artifact (artefakt)** - plik zapisany przez zadanie do późniejszego wykorzytania (przez inne zadania, albo przez użytkownika). Jeśli jednym z kroków zdefiniowanych w projekcie będzie archiwizacja artefaktów, to każde pomyślnie zakończone zadanie będzie miało zapisane swoje artefakty\n"
"Na dzisiejszych zajęciach przygotujemy dwa połączone ze sobą zadania:\n",
"1. Zadanie \"s123456-create-dataset\":\n",
" - pobiera i wybrany na poprzednich zajęciach zbiór danych\n",
" - dokonuje \"data preprocessing\"\n",
" - zapisuje wynik jako artefakt\n",
"2. Zadanie \"s123456-dataset-stats\":\n",
" - obliczy statystyki dla tego zbioru\n",
" - zapisze je jako artefakty"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Polecenia"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### 1. Zaloguj się\n",
" - zaloguj się na http://tzietkiewicz.vm.wmi.amu.edu.pl:8080 za pomocą konta wydziałowego (jak w laboratoriach WMI)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### 2. Utwórz nowy projekt (Job) [1pkt]\n",
"\n",
" - Istnieje kilka rodzajów projektów w Jenkinsie.\n",
"\n",
" - Po kliknięciu \"Nowy projekt\" zobaczymy listę dostępnych rodzajów projektów. Nas interesuje projekt typu \"Pipeline\".\n",
"\n",
" - Jako nazwę wpisz \"s123456-create-dataset\" (w miejsce 123456 proszę wstawić swój numer indeksu)\n",
" "
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### 3. Definicja Pipeline [2pkt]\n",
"\n",
" - Projekty typu Pipeline definiuje się w pliku Jenkinsfile za pomocą skryptu napisanego w jednym z dwóch dostępnych DSL (Domain Specific Language):\n",
" - [Scripted pipeline](https://www.jenkins.io/doc/book/pipeline/syntax/#scripted-pipeline) (podzbiór języka Groovy)\n",
" - Pierwszy z nich daje większe możliwości, drugi jest łatwiejszy, lepiej udokumentowany, ale ma mniejszą siłę ekpresji.\n",
"\n",
" - Fragmenty kodu można również generować przy pomocy kreatora, dostępnego pod linkiem [Pipeline syntax](http://tzietkiewicz.vm.wmi.amu.edu.pl:8080/job/hello-world/pipeline-syntax/) na stronie każdego projektu. Jest to bardzo przydatna funkcjonalność, nie tylko dla początkujących użytkowników\n",
"\n",
" - Jenkinsfile może być wprowadzony bezpośrednio z poziomu przeglądarki, albo pobrany z repozytorium.\n",
"\n",
" - Zacznijmy od pierwszej opcji. Jako przykładowego pipeline użyj przykładu Hello World podanego na https://jenkins.io/doc/book/pipeline/getting-started/\n",
"\n",
" - Zapisz projekt i spróbuj go uruchomić (przycisk \"Uruchom\"/\"Run\" na głównej stronie projektu).\n",
" W przypadku problemów z utworzeniem repozytorium zdalnie, może być to również dodwolne inne, publicznie dostępne repozytorium, np. na [GitHub](https://github.com/).\n",
" \n",
"* Sklonuj repozytorium lokalnie zgodnie ze wskazówkami wyświetlonymi po jego utworzeniu.\n",
" \n",
"* Utwórz plik \"Jenkinsfile\" (zawartość taka sama jak w punkcie 3.) i dodaj go do repozytorium.\n",
" \n",
"* W ustawieniach (konfiguracji) projektu przełącz \"Pipeline definition\" na \"Pipeline script from SCM\" i podaj ścieżkę do nowo utworzonego repozytorim.\n",
" \n",
"* Projekt powinien się uruchamiać za każdym razem, kiedy pojawią się nowe zmiany w repozytorium:\n",
"* W razie problemów z klonowaniem/pushowaniem repozytorium, użyj protokołu ssh zamiast https (przy kopiowaniu ścieżki do repozytorium). Będzie to wymagało skopiowania zawartości pliku ~/.ssh/id_rsa.pub i wklejenia go w ustawieniach wydziałowego gita w zakładce SSH Keys"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### 5. Zapisanie zbioru danych [4 pkt]\n",
"Edytuj zawartość Jenkinsfile tak, żeby realizował on następujące zadania:\n",
" 1. Sklonowanie repozytorium git (krok \"checkout: Check out from version control\")\n",
" - Skrypt powinien pobrać zbiór danych i zapisać wyniki jako artefakty\n",
" - Proszę też zasymulować przetwarzanie pliku, np. podział na podzbiory (shuf + head/tail), przycięcie do określonej długości (head/tail) lub usunięcie niektórych kolumn (cut).\n",
" - Domyślnie tutaj będzie skrypt, który napisali Państwo jako zadanie 1., ale ze względu na brakujące zależności, zapewne nie będzie on działać (rozwiążemy to na następnych zajęciach, korzystając z Dockera). Dlatego proszę w tym celu stworzyć prosty skrypt bash (*.sh).\n",
" - Skrypt powinien być zapisany w repozytorium. Unikamy wpisywania treści skryptów bezpośrednio w Jenkinsfile!\n",
" - Skrypt powinien zapisywać wyniki swojego działania do pliku\n",
" 3. Plik powstały w kroku 2. należy zarchiwizować (krok \"archiveArtifacts\"), tak, żeby mógł być wykorzystany przez kolejne projekty.\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### 6. Hasło do Kaggle\n",
" - Jeśli pobierasz swój zbiór z Kaggle, to możesz mieć problem z uwierzytelnieniem.\n",
" - Żeby kaggle CLI mogło połączyć się z Kaggle API, musi mieć podaną nazwę użytkownika i token.\n",
" - Kiedy używamy CLI lokalnie, korzysta ono z ściągniętego przez nas wcześniej pliku ~/.kaggle/kaggle.json, zawierającego nazwę użytkownika i hasło\n",
" - Zadania na Jenkinsie są wywoływane w systemie przez specjalnego użytkownika (jenkins). Użytkownik ten nie ma w swoim katalogu domowym pliku kaggle.json, więc wywołania kaggle CLI się nie powiodą.\n",
" - Na szczęście, Kaggle CLI umożliwia podanie danych uwierzytelniających w postaci zmiennych środowiskowych [link](https://github.com/Kaggle/kaggle-api#api-credentials):\n",
" ```bash\n",
"export KAGGLE_USERNAME=datadinosaur\n",
"export KAGGLE_KEY=xxxxxxxxxxxxxx\n",
" ```\n",
" - Jenkins natomiast umożliwia utworzenie parametru typu password, którego wartość nie jest nigdzie zapisywana (wartości pozostałych parametrów są zapisywane w zakładce \"Parameters\" każdego build-a, np. [tutaj](http://tzietkiewicz.vm.wmi.amu.edu.pl:8080/job/hello-world-scripted/1/parameters/)\n",
" - konstukcja `withEnv` w Jenkinsfile, pozwala wywołać wszystkie otoczone nią polecenia z wyeksportowanymi wartościami zmiennych systemowych. Pozwala to np. przekazać wartości parametrów zadania Jenkinsowego do shella (poleceń wywoływanych z `sh`). \n",
" - ten sam rezultat co przy wykorzystaniu `withEnv` można by osiągnąć wywołując: `sh \"KAGGLE_USERNAME=${params.KAGGLE_USERNAME} KAGGLE_KEY=${params.KAGGLE_KEY} kaggle datasets list`, ale ten pierwszy wydahe się bardziej elegancki\n",
"1. Dodaj do projektu `s123456-create-dataset` parametr teksotwy `CUTOFF`, który umożliwi zdefiniowanie wielkości odcięcia zbioru danych (czyli obetnie liczbę przykładów do `CUTOFF` pierwszych/losowych przykładów).\n",
"2. Wykorzystaj parametr w wywołaniu skryptu tworzącego zbiór\n",
"\n",
"- generowanie kodu definiującego parametry poprzez \"Pipeline syntax -> Snippet Generator\":\n",
" - wybierzz listy pozycji \"Properties: Set job properties\"\n",
" - zaznacz \"This project is parameterized\"\n",
" - Kliknij na \"Add parameter\" i wybierz rodzaj parametru"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### 6. Statystki [5 pkt]\n",
"Stwórz projekt (job) s123456-dataset-stats, który zrealizuje następujące kroki:\n",
" 1. Sklonuje repozytorium git \n",
" 2. Skopiuje zarchiwizowane pliki ze zbiorem danych z artefaktów projektu s123456-create-dataset\n",
" - możesz wygenerować potrzebny kod za pomocą generatorów w \"Pipeline Syntax\")\n",
" - dodaj paremetr typu \"Build selector for Copy artifact\", w którym będziesz mógł ustalić z którego builda zadania s123456-create-dataset chcesz skopiować artefakt. Wartość tego parametru będziesz musiał przekazać jako parametr `which build` -> \"Specified by a build parameter\"\n",