updated to combine docker with jenkins
This commit is contained in:
parent
cb19135fb7
commit
c7ff03a1c9
68
Jenkinsfile1
68
Jenkinsfile1
|
@ -1,68 +0,0 @@
|
||||||
pipeline {
|
|
||||||
agent any
|
|
||||||
|
|
||||||
parameters{
|
|
||||||
string(
|
|
||||||
defaultValue: 'mattkrawl',
|
|
||||||
description: 'Kaggle username',
|
|
||||||
name: 'KAGGLE_USERNAME',
|
|
||||||
trim: false
|
|
||||||
)
|
|
||||||
password(
|
|
||||||
defaultValue: '8e6132e627c5c176f7e19d880270d22e',
|
|
||||||
description: 'Kaggle token taken from kaggle.json file, as described in https://github.com/Kaggle/kaggle-api#api-credentials',
|
|
||||||
name: 'KAGGLE_KEY'
|
|
||||||
)
|
|
||||||
string(
|
|
||||||
defaultValue: '100',
|
|
||||||
description: 'CUTOFF',
|
|
||||||
name: 'CUTOFF',
|
|
||||||
trim: false
|
|
||||||
)
|
|
||||||
}
|
|
||||||
stages {
|
|
||||||
stage('clear_all') {
|
|
||||||
steps {
|
|
||||||
sh 'rm -rf *'
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
stage('Build'){
|
|
||||||
steps{
|
|
||||||
//cloning github
|
|
||||||
sh 'git clone https://git.wmi.amu.edu.pl/s458023/ium_458023'
|
|
||||||
|
|
||||||
//running Build
|
|
||||||
withEnv(["KAGGLE_USERNAME=${params.KAGGLE_USERNAME}",
|
|
||||||
"KAGGLE_KEY=${params.KAGGLE_KEY}" ]) {
|
|
||||||
// downloading and unzipping kaggle dataset
|
|
||||||
sh 'kaggle datasets download -d arnabchaki/data-science-salaries-2023'
|
|
||||||
sh 'unzip data-science-salaries-2023.zip -d ./ium_458023'
|
|
||||||
|
|
||||||
// removing zip file
|
|
||||||
sh 'rm data-science-salaries-2023.zip'
|
|
||||||
sh 'ls -a'
|
|
||||||
sh 'ls -a ./ium_458023'
|
|
||||||
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
stage('Docker'){
|
|
||||||
agent{
|
|
||||||
dockerfile{
|
|
||||||
filename 'Dockerfile'
|
|
||||||
dir 'ium_458023'
|
|
||||||
reuseNode true
|
|
||||||
}
|
|
||||||
}
|
|
||||||
steps{
|
|
||||||
sh 'ls -a'
|
|
||||||
sh 'python ium_458023/create-dataset.py'
|
|
||||||
archiveArtifacts 'salaries_test.csv'
|
|
||||||
archiveArtifacts 'salaries_dev.csv'
|
|
||||||
archiveArtifacts 'salaries_train.csv'
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
}
|
|
||||||
}
|
|
|
@ -0,0 +1,63 @@
|
||||||
|
pipeline {
|
||||||
|
agent {
|
||||||
|
dockerfile {
|
||||||
|
filename 'lab4.dockerfile'
|
||||||
|
reuseNode true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
parameters{
|
||||||
|
string(
|
||||||
|
defaultValue: 'mattkrawl',
|
||||||
|
description: 'Kaggle username',
|
||||||
|
name: 'KAGGLE_USERNAME',
|
||||||
|
trim: false
|
||||||
|
)
|
||||||
|
password(
|
||||||
|
defaultValue: 'c21878a7463faa44361330ffbcea68a6',
|
||||||
|
description: 'Kaggle token taken from kaggle.json file, as described in https://github.com/Kaggle/kaggle-api#api-credentials',
|
||||||
|
name: 'KAGGLE_KEY'
|
||||||
|
)
|
||||||
|
string(
|
||||||
|
defaultValue: '1000',
|
||||||
|
description: 'CUTOFF',
|
||||||
|
name: 'CUTOFF',
|
||||||
|
trim: false
|
||||||
|
)
|
||||||
|
}
|
||||||
|
stages {
|
||||||
|
stage('Checkout') {
|
||||||
|
steps {
|
||||||
|
checkout scmGit(
|
||||||
|
branches: [[name: '*/master']],
|
||||||
|
extensions: [cleanBeforeChceckout()],
|
||||||
|
userRemoteConfigs: [[url: 'https://git.wmi.amu.edu.pl/s458023/ium_458023.git']]
|
||||||
|
)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
stage('Prepare data'){
|
||||||
|
steps{
|
||||||
|
//running Build
|
||||||
|
withEnv(["KAGGLE_USERNAME=${params.KAGGLE_USERNAME}",
|
||||||
|
"KAGGLE_KEY=${params.KAGGLE_KEY}" ]) {
|
||||||
|
// downloading and unzipping kaggle dataset
|
||||||
|
sh 'echo "{\"username\":\"$KAGGLE_USERNAME\",\"key\":\"$KAGGLE_KEY\"}" > /.kaggle/kaggle.json'
|
||||||
|
sh './get-data.sh'
|
||||||
|
sh 'python3 prepare_dataset.py'
|
||||||
|
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
stage('Archive artifacts'){
|
||||||
|
steps{
|
||||||
|
withEnv(["CUTOFF=${params.CUTOFF}"]){
|
||||||
|
archiveArtifacts 'wines_test.csv'
|
||||||
|
archiveArtifacts 'wines_dev.csv'
|
||||||
|
archiveArtifacts 'wines_train.csv'
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
Loading…
Reference in New Issue