challenging-america-word-gap-prediction-alpha/fine_tuning.ipynb

Alpha fine-tuning

Fine-tuning parametru wygładzania alpha. Tylko 10000 linii ze zbioru trenującego, aby oszczędzić czas.
Ostatecznie trening na całym zbiorze z wybranym parametrem.

Alpha 0.001

!py run.py 0.001

!./geval -t dev-0

597.71

Alpha 0.005

!py run.py 0.005

!./geval -t dev-0

717.87

Alpha 0.01

!py run.py 0.01

!./geval -t dev-0

774.42

Alpha 0.05

!py run.py 0.05

!./geval -t dev-0

892.35

Alpha 0.1

!py run.py 0.1

!./geval -t dev-0

931.42

Alpha 0.0001

!py run.py 0.0001

!./geval -t dev-0

Alpha 0.0005

!py run.py 0.0005

!./geval -t dev-0

alpha	dev-0 score
0.0001
0.0005
0.001	597.71
0.005	717.87
0.01	774.42
0.05	892.35
0.1	931.42