DVC
This commit is contained in:
Alagris
parent
27d16b68c7
commit
492d211046
3
.dvc/.gitignore
vendored
Normal file
3
.dvc/.gitignore
vendored
Normal file
@ -0,0 +1,3 @@
|
|||||||
|
/config.local
|
||||||
|
/tmp
|
||||||
|
/cache
|
||||||
4
.dvc/config
Normal file
4
.dvc/config
Normal file
@ -0,0 +1,4 @@
|
|||||||
|
[core]
|
||||||
|
remote = ium_ssh_remote
|
||||||
|
['remote "ium_ssh_remote"']
|
||||||
|
url = ssh://ium-sftp@tzietkiewicz.vm.wmi.amu.edu.pl/ium-sftp
|
||||||
107
.dvc/plots/confusion.json
Normal file
107
.dvc/plots/confusion.json
Normal file
@ -0,0 +1,107 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://vega.github.io/schema/vega-lite/v4.json",
|
||||||
|
"data": {
|
||||||
|
"values": "<DVC_METRIC_DATA>"
|
||||||
|
},
|
||||||
|
"title": "<DVC_METRIC_TITLE>",
|
||||||
|
"facet": {
|
||||||
|
"field": "rev",
|
||||||
|
"type": "nominal"
|
||||||
|
},
|
||||||
|
"spec": {
|
||||||
|
"transform": [
|
||||||
|
{
|
||||||
|
"aggregate": [
|
||||||
|
{
|
||||||
|
"op": "count",
|
||||||
|
"as": "xy_count"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"groupby": [
|
||||||
|
"<DVC_METRIC_Y>",
|
||||||
|
"<DVC_METRIC_X>"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"impute": "xy_count",
|
||||||
|
"groupby": [
|
||||||
|
"rev",
|
||||||
|
"<DVC_METRIC_Y>"
|
||||||
|
],
|
||||||
|
"key": "<DVC_METRIC_X>",
|
||||||
|
"value": 0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"impute": "xy_count",
|
||||||
|
"groupby": [
|
||||||
|
"rev",
|
||||||
|
"<DVC_METRIC_X>"
|
||||||
|
],
|
||||||
|
"key": "<DVC_METRIC_Y>",
|
||||||
|
"value": 0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"joinaggregate": [
|
||||||
|
{
|
||||||
|
"op": "max",
|
||||||
|
"field": "xy_count",
|
||||||
|
"as": "max_count"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"groupby": []
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"calculate": "datum.xy_count / datum.max_count",
|
||||||
|
"as": "percent_of_max"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"encoding": {
|
||||||
|
"x": {
|
||||||
|
"field": "<DVC_METRIC_X>",
|
||||||
|
"type": "nominal",
|
||||||
|
"sort": "ascending",
|
||||||
|
"title": "<DVC_METRIC_X_LABEL>"
|
||||||
|
},
|
||||||
|
"y": {
|
||||||
|
"field": "<DVC_METRIC_Y>",
|
||||||
|
"type": "nominal",
|
||||||
|
"sort": "ascending",
|
||||||
|
"title": "<DVC_METRIC_Y_LABEL>"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"mark": "rect",
|
||||||
|
"width": 300,
|
||||||
|
"height": 300,
|
||||||
|
"encoding": {
|
||||||
|
"color": {
|
||||||
|
"field": "xy_count",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "",
|
||||||
|
"scale": {
|
||||||
|
"domainMin": 0,
|
||||||
|
"nice": true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"mark": "text",
|
||||||
|
"encoding": {
|
||||||
|
"text": {
|
||||||
|
"field": "xy_count",
|
||||||
|
"type": "quantitative"
|
||||||
|
},
|
||||||
|
"color": {
|
||||||
|
"condition": {
|
||||||
|
"test": "datum.percent_of_max > 0.5",
|
||||||
|
"value": "white"
|
||||||
|
},
|
||||||
|
"value": "black"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
112
.dvc/plots/confusion_normalized.json
Normal file
112
.dvc/plots/confusion_normalized.json
Normal file
@ -0,0 +1,112 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://vega.github.io/schema/vega-lite/v4.json",
|
||||||
|
"data": {
|
||||||
|
"values": "<DVC_METRIC_DATA>"
|
||||||
|
},
|
||||||
|
"title": "<DVC_METRIC_TITLE>",
|
||||||
|
"facet": {
|
||||||
|
"field": "rev",
|
||||||
|
"type": "nominal"
|
||||||
|
},
|
||||||
|
"spec": {
|
||||||
|
"transform": [
|
||||||
|
{
|
||||||
|
"aggregate": [
|
||||||
|
{
|
||||||
|
"op": "count",
|
||||||
|
"as": "xy_count"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"groupby": [
|
||||||
|
"<DVC_METRIC_Y>",
|
||||||
|
"<DVC_METRIC_X>"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"impute": "xy_count",
|
||||||
|
"groupby": [
|
||||||
|
"rev",
|
||||||
|
"<DVC_METRIC_Y>"
|
||||||
|
],
|
||||||
|
"key": "<DVC_METRIC_X>",
|
||||||
|
"value": 0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"impute": "xy_count",
|
||||||
|
"groupby": [
|
||||||
|
"rev",
|
||||||
|
"<DVC_METRIC_X>"
|
||||||
|
],
|
||||||
|
"key": "<DVC_METRIC_Y>",
|
||||||
|
"value": 0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"joinaggregate": [
|
||||||
|
{
|
||||||
|
"op": "sum",
|
||||||
|
"field": "xy_count",
|
||||||
|
"as": "sum_y"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"groupby": [
|
||||||
|
"<DVC_METRIC_Y>"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"calculate": "datum.xy_count / datum.sum_y",
|
||||||
|
"as": "percent_of_y"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"encoding": {
|
||||||
|
"x": {
|
||||||
|
"field": "<DVC_METRIC_X>",
|
||||||
|
"type": "nominal",
|
||||||
|
"sort": "ascending",
|
||||||
|
"title": "<DVC_METRIC_X_LABEL>"
|
||||||
|
},
|
||||||
|
"y": {
|
||||||
|
"field": "<DVC_METRIC_Y>",
|
||||||
|
"type": "nominal",
|
||||||
|
"sort": "ascending",
|
||||||
|
"title": "<DVC_METRIC_Y_LABEL>"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"mark": "rect",
|
||||||
|
"width": 300,
|
||||||
|
"height": 300,
|
||||||
|
"encoding": {
|
||||||
|
"color": {
|
||||||
|
"field": "percent_of_y",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "",
|
||||||
|
"scale": {
|
||||||
|
"domain": [
|
||||||
|
0,
|
||||||
|
1
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"mark": "text",
|
||||||
|
"encoding": {
|
||||||
|
"text": {
|
||||||
|
"field": "percent_of_y",
|
||||||
|
"type": "quantitative",
|
||||||
|
"format": ".2f"
|
||||||
|
},
|
||||||
|
"color": {
|
||||||
|
"condition": {
|
||||||
|
"test": "datum.percent_of_y > 0.5",
|
||||||
|
"value": "white"
|
||||||
|
},
|
||||||
|
"value": "black"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
31
.dvc/plots/default.json
Normal file
31
.dvc/plots/default.json
Normal file
@ -0,0 +1,31 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://vega.github.io/schema/vega-lite/v4.json",
|
||||||
|
"data": {
|
||||||
|
"values": "<DVC_METRIC_DATA>"
|
||||||
|
},
|
||||||
|
"title": "<DVC_METRIC_TITLE>",
|
||||||
|
"width": 300,
|
||||||
|
"height": 300,
|
||||||
|
"mark": {
|
||||||
|
"type": "line"
|
||||||
|
},
|
||||||
|
"encoding": {
|
||||||
|
"x": {
|
||||||
|
"field": "<DVC_METRIC_X>",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "<DVC_METRIC_X_LABEL>"
|
||||||
|
},
|
||||||
|
"y": {
|
||||||
|
"field": "<DVC_METRIC_Y>",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "<DVC_METRIC_Y_LABEL>",
|
||||||
|
"scale": {
|
||||||
|
"zero": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"color": {
|
||||||
|
"field": "rev",
|
||||||
|
"type": "nominal"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
116
.dvc/plots/linear.json
Normal file
116
.dvc/plots/linear.json
Normal file
@ -0,0 +1,116 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://vega.github.io/schema/vega-lite/v4.json",
|
||||||
|
"data": {
|
||||||
|
"values": "<DVC_METRIC_DATA>"
|
||||||
|
},
|
||||||
|
"title": "<DVC_METRIC_TITLE>",
|
||||||
|
"width": 300,
|
||||||
|
"height": 300,
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"encoding": {
|
||||||
|
"x": {
|
||||||
|
"field": "<DVC_METRIC_X>",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "<DVC_METRIC_X_LABEL>"
|
||||||
|
},
|
||||||
|
"y": {
|
||||||
|
"field": "<DVC_METRIC_Y>",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "<DVC_METRIC_Y_LABEL>",
|
||||||
|
"scale": {
|
||||||
|
"zero": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"color": {
|
||||||
|
"field": "rev",
|
||||||
|
"type": "nominal"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"mark": "line"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"selection": {
|
||||||
|
"label": {
|
||||||
|
"type": "single",
|
||||||
|
"nearest": true,
|
||||||
|
"on": "mouseover",
|
||||||
|
"encodings": [
|
||||||
|
"x"
|
||||||
|
],
|
||||||
|
"empty": "none",
|
||||||
|
"clear": "mouseout"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mark": "point",
|
||||||
|
"encoding": {
|
||||||
|
"opacity": {
|
||||||
|
"condition": {
|
||||||
|
"selection": "label",
|
||||||
|
"value": 1
|
||||||
|
},
|
||||||
|
"value": 0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"transform": [
|
||||||
|
{
|
||||||
|
"filter": {
|
||||||
|
"selection": "label"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"mark": {
|
||||||
|
"type": "rule",
|
||||||
|
"color": "gray"
|
||||||
|
},
|
||||||
|
"encoding": {
|
||||||
|
"x": {
|
||||||
|
"field": "<DVC_METRIC_X>",
|
||||||
|
"type": "quantitative"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"encoding": {
|
||||||
|
"text": {
|
||||||
|
"type": "quantitative",
|
||||||
|
"field": "<DVC_METRIC_Y>"
|
||||||
|
},
|
||||||
|
"x": {
|
||||||
|
"field": "<DVC_METRIC_X>",
|
||||||
|
"type": "quantitative"
|
||||||
|
},
|
||||||
|
"y": {
|
||||||
|
"field": "<DVC_METRIC_Y>",
|
||||||
|
"type": "quantitative"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"mark": {
|
||||||
|
"type": "text",
|
||||||
|
"align": "left",
|
||||||
|
"dx": 5,
|
||||||
|
"dy": -5
|
||||||
|
},
|
||||||
|
"encoding": {
|
||||||
|
"color": {
|
||||||
|
"type": "nominal",
|
||||||
|
"field": "rev"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
104
.dvc/plots/scatter.json
Normal file
104
.dvc/plots/scatter.json
Normal file
@ -0,0 +1,104 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://vega.github.io/schema/vega-lite/v4.json",
|
||||||
|
"data": {
|
||||||
|
"values": "<DVC_METRIC_DATA>"
|
||||||
|
},
|
||||||
|
"title": "<DVC_METRIC_TITLE>",
|
||||||
|
"width": 300,
|
||||||
|
"height": 300,
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"encoding": {
|
||||||
|
"x": {
|
||||||
|
"field": "<DVC_METRIC_X>",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "<DVC_METRIC_X_LABEL>"
|
||||||
|
},
|
||||||
|
"y": {
|
||||||
|
"field": "<DVC_METRIC_Y>",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "<DVC_METRIC_Y_LABEL>",
|
||||||
|
"scale": {
|
||||||
|
"zero": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"color": {
|
||||||
|
"field": "rev",
|
||||||
|
"type": "nominal"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"mark": "point"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"selection": {
|
||||||
|
"label": {
|
||||||
|
"type": "single",
|
||||||
|
"nearest": true,
|
||||||
|
"on": "mouseover",
|
||||||
|
"encodings": [
|
||||||
|
"x"
|
||||||
|
],
|
||||||
|
"empty": "none",
|
||||||
|
"clear": "mouseout"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mark": "point",
|
||||||
|
"encoding": {
|
||||||
|
"opacity": {
|
||||||
|
"condition": {
|
||||||
|
"selection": "label",
|
||||||
|
"value": 1
|
||||||
|
},
|
||||||
|
"value": 0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"transform": [
|
||||||
|
{
|
||||||
|
"filter": {
|
||||||
|
"selection": "label"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"encoding": {
|
||||||
|
"text": {
|
||||||
|
"type": "quantitative",
|
||||||
|
"field": "<DVC_METRIC_Y>"
|
||||||
|
},
|
||||||
|
"x": {
|
||||||
|
"field": "<DVC_METRIC_X>",
|
||||||
|
"type": "quantitative"
|
||||||
|
},
|
||||||
|
"y": {
|
||||||
|
"field": "<DVC_METRIC_Y>",
|
||||||
|
"type": "quantitative"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"layer": [
|
||||||
|
{
|
||||||
|
"mark": {
|
||||||
|
"type": "text",
|
||||||
|
"align": "left",
|
||||||
|
"dx": 5,
|
||||||
|
"dy": -5
|
||||||
|
},
|
||||||
|
"encoding": {
|
||||||
|
"color": {
|
||||||
|
"type": "nominal",
|
||||||
|
"field": "rev"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
39
.dvc/plots/smooth.json
Normal file
39
.dvc/plots/smooth.json
Normal file
@ -0,0 +1,39 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://vega.github.io/schema/vega-lite/v4.json",
|
||||||
|
"data": {
|
||||||
|
"values": "<DVC_METRIC_DATA>"
|
||||||
|
},
|
||||||
|
"title": "<DVC_METRIC_TITLE>",
|
||||||
|
"mark": {
|
||||||
|
"type": "line"
|
||||||
|
},
|
||||||
|
"encoding": {
|
||||||
|
"x": {
|
||||||
|
"field": "<DVC_METRIC_X>",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "<DVC_METRIC_X_LABEL>"
|
||||||
|
},
|
||||||
|
"y": {
|
||||||
|
"field": "<DVC_METRIC_Y>",
|
||||||
|
"type": "quantitative",
|
||||||
|
"title": "<DVC_METRIC_Y_LABEL>",
|
||||||
|
"scale": {
|
||||||
|
"zero": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"color": {
|
||||||
|
"field": "rev",
|
||||||
|
"type": "nominal"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"transform": [
|
||||||
|
{
|
||||||
|
"loess": "<DVC_METRIC_Y>",
|
||||||
|
"on": "<DVC_METRIC_X>",
|
||||||
|
"groupby": [
|
||||||
|
"rev"
|
||||||
|
],
|
||||||
|
"bandwidth": 0.3
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
3
.dvcignore
Normal file
3
.dvcignore
Normal file
@ -0,0 +1,3 @@
|
|||||||
|
# Add patterns of files dvc should ignore, which could improve
|
||||||
|
# the performance. Learn more at
|
||||||
|
# https://dvc.org/doc/user-guide/dvcignore
|
||||||
43
dvc.lock
Normal file
43
dvc.lock
Normal file
@ -0,0 +1,43 @@
|
|||||||
|
schema: '2.0'
|
||||||
|
stages:
|
||||||
|
train_model:
|
||||||
|
cmd: python3 train_model.py
|
||||||
|
deps:
|
||||||
|
- path: en_US.txt
|
||||||
|
md5: 98a7a516abd1868d5a7295ebd95b48b9
|
||||||
|
size: 3180205
|
||||||
|
- path: in_alphabet
|
||||||
|
md5: 78c5ed78278e9bfa34481f95b6cab5f0
|
||||||
|
size: 26
|
||||||
|
- path: out_alphabet
|
||||||
|
md5: 19a9c4125f6767586e8e8ee8acfbac9d
|
||||||
|
size: 51
|
||||||
|
- path: train_model.py
|
||||||
|
md5: 8fce842b4797c27d654638421036e67c
|
||||||
|
size: 56
|
||||||
|
outs:
|
||||||
|
- path: cnn.pth
|
||||||
|
md5: f6255bb01c648fe967714d52a89e8e9c
|
||||||
|
size: 3
|
||||||
|
eval_model:
|
||||||
|
cmd: python3 train_model.py with mode=eval
|
||||||
|
deps:
|
||||||
|
- path: cnn.pth
|
||||||
|
md5: f6255bb01c648fe967714d52a89e8e9c
|
||||||
|
size: 3
|
||||||
|
- path: en_US.txt
|
||||||
|
md5: 98a7a516abd1868d5a7295ebd95b48b9
|
||||||
|
size: 3180205
|
||||||
|
- path: in_alphabet
|
||||||
|
md5: 78c5ed78278e9bfa34481f95b6cab5f0
|
||||||
|
size: 26
|
||||||
|
- path: out_alphabet
|
||||||
|
md5: 19a9c4125f6767586e8e8ee8acfbac9d
|
||||||
|
size: 51
|
||||||
|
- path: train_model.py
|
||||||
|
md5: f3135da983811c0ca9333a06931e46f0
|
||||||
|
size: 60
|
||||||
|
outs:
|
||||||
|
- path: results.txt
|
||||||
|
md5: f6255bb01c648fe967714d52a89e8e9c
|
||||||
|
size: 3
|
||||||
20
dvc.yaml
Normal file
20
dvc.yaml
Normal file
@ -0,0 +1,20 @@
|
|||||||
|
stages:
|
||||||
|
train_model:
|
||||||
|
cmd: python3 train_model.py
|
||||||
|
deps:
|
||||||
|
- en_US.txt
|
||||||
|
- in_alphabet
|
||||||
|
- out_alphabet
|
||||||
|
- train_model.py
|
||||||
|
outs:
|
||||||
|
- cnn.pth
|
||||||
|
eval_model:
|
||||||
|
cmd: python3 train_model.py with mode=eval
|
||||||
|
deps:
|
||||||
|
- cnn.pth
|
||||||
|
- en_US.txt
|
||||||
|
- in_alphabet
|
||||||
|
- out_alphabet
|
||||||
|
- train_model.py
|
||||||
|
outs:
|
||||||
|
- results.txt
|
||||||
Loading…
Reference in New Issue
Block a user