Compare commits
13 Commits
1a16fb2768
...
b06db2db4b
Author | SHA1 | Date | |
---|---|---|---|
|
b06db2db4b | ||
|
fc008c6bd3 | ||
|
546e7fe2dc | ||
|
8023d47c4b | ||
|
2dc8d9e218 | ||
|
8eae5ceb6f | ||
|
6528a26016 | ||
|
32c580f9ba | ||
|
4bd4dbd6fa | ||
|
1062a56730 | ||
|
cc90764bad | ||
|
ef512a6c43 | ||
|
308dc3a68f |
11
Dockerfile
11
Dockerfile
@ -1,6 +1,8 @@
|
|||||||
FROM ubuntu:latest
|
FROM ubuntu:latest
|
||||||
|
|
||||||
RUN apt-get update && apt-get install -y python3-pip unzip coreutils python3-venv
|
RUN apt-get update && apt-get install -y python3-pip unzip coreutils
|
||||||
|
|
||||||
|
RUN pip install --user kaggle pandas scikit-learn tensorflow
|
||||||
|
|
||||||
WORKDIR /app
|
WORKDIR /app
|
||||||
|
|
||||||
@ -9,11 +11,4 @@ COPY ./OrangeQualityData.csv ./
|
|||||||
COPY ./orange_quality_model_tf.h5 ./
|
COPY ./orange_quality_model_tf.h5 ./
|
||||||
COPY ./predictions_tf.json ./
|
COPY ./predictions_tf.json ./
|
||||||
|
|
||||||
RUN python3 -m venv venv
|
|
||||||
RUN /bin/bash -c "source venv/bin/activate"
|
|
||||||
|
|
||||||
RUN pip install tensorflow
|
|
||||||
|
|
||||||
RUN apt-get install -y python3-sklearn
|
|
||||||
|
|
||||||
CMD ["python3", "data_processing.sh"]
|
CMD ["python3", "data_processing.sh"]
|
||||||
|
@ -1,85 +0,0 @@
|
|||||||
pipeline {
|
|
||||||
agent {
|
|
||||||
dockerfile {
|
|
||||||
filename 'Dockerfile'
|
|
||||||
label 'docker'
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
triggers {
|
|
||||||
upstream(upstreamProjects: 's123456-create-dataset', threshold: hudson.model.Result.SUCCESS)
|
|
||||||
}
|
|
||||||
|
|
||||||
parameters {
|
|
||||||
string(
|
|
||||||
defaultValue: '--epochs 100 --batch_size 32 --learning_rate 0.01',
|
|
||||||
description: 'Parametry trenowania',
|
|
||||||
name: 'TRAINING_PARAMS'
|
|
||||||
)
|
|
||||||
}
|
|
||||||
|
|
||||||
environment {
|
|
||||||
DATASET_PROJECT = 's123456-create-dataset'
|
|
||||||
DATA_DIR = 'data'
|
|
||||||
}
|
|
||||||
|
|
||||||
stages {
|
|
||||||
stage('Clone repository') {
|
|
||||||
steps {
|
|
||||||
checkout scm
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
stage('Copy Dataset') {
|
|
||||||
steps {
|
|
||||||
script {
|
|
||||||
copyArtifacts(
|
|
||||||
projectName: "${env.DATASET_PROJECT}",
|
|
||||||
selector: lastSuccessful(),
|
|
||||||
target: "${env.DATA_DIR}"
|
|
||||||
)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
stage('Set execute permission') {
|
|
||||||
steps {
|
|
||||||
script {
|
|
||||||
sh 'chmod +x data_processing.sh'
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
stage('Run shell script') {
|
|
||||||
steps {
|
|
||||||
script {
|
|
||||||
sh './data_processing.sh'
|
|
||||||
}
|
|
||||||
}
|
|
||||||
post {
|
|
||||||
success {
|
|
||||||
archiveArtifacts artifacts: 'results.txt', allowEmptyArchive: true
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
stage('Train Model') {
|
|
||||||
steps {
|
|
||||||
sh "python3 model.py ${params.TRAINING_PARAMS}"
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
stage('Archive Model') {
|
|
||||||
steps {
|
|
||||||
archiveArtifacts artifacts: 'orange_quality_model_tf.h5', allowEmptyArchive: true
|
|
||||||
archiveArtifacts artifacts: 'predictions_tf.json', allowEmptyArchive: true
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
post {
|
|
||||||
always {
|
|
||||||
cleanWs()
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
2
Jenkinsfile
vendored
2
Jenkinsfile
vendored
@ -6,7 +6,7 @@ pipeline {
|
|||||||
parameters {
|
parameters {
|
||||||
string(
|
string(
|
||||||
defaultValue: '10000',
|
defaultValue: '10000',
|
||||||
name: 'CUTOFF',
|
name: 'CUTOFF',
|
||||||
description: 'Liczba wierszy do obcięcia ze zbioru danych')
|
description: 'Liczba wierszy do obcięcia ze zbioru danych')
|
||||||
}
|
}
|
||||||
|
|
||||||
|
BIN
environment.yml
BIN
environment.yml
Binary file not shown.
@ -1,4 +0,0 @@
|
|||||||
pandas
|
|
||||||
scikit-learn
|
|
||||||
tensorflow
|
|
||||||
kaggle
|
|
Loading…
Reference in New Issue
Block a user