27 lines
1.3 KiB
Bash
27 lines
1.3 KiB
Bash
#zad1) zlicza liczbe linijek w pliku wikinews_results i zapisuje ten wynik do pliku lines_number.txt
|
|
wc -l wikiniews_results.tsv > lines_number.txt
|
|
|
|
#zad3)
|
|
|
|
cut -f2 wikiniews_results.tsv > hypothesis.txt
|
|
cut -f3 wikiniews_results.tsv > reference.txt
|
|
|
|
awk 'BEGIN{FS=OFS="\t"}{print $0,"(sp1_"NR")"}' < reference.txt > reference.trn
|
|
awk 'BEGIN{FS=OFS="\t"}{print $0,"(sp1_"NR")"}' < hypothesis.txt > hypothesis.trn
|
|
|
|
#Sclite sluzy do obliczenia WER. Kod ponizej z pkt 3.Metryki
|
|
#W hypothesis.trn powinny znaleźć się wyniki działania ASR W reference.trn - referencyjne zdania
|
|
sclite -f 0 -r reference.trn trn -h hypothesis.trn trn -e utf-8 -i rm -o all stdout | grep Scores > wyniki
|
|
|
|
#z wynikow pobiera (C,S,D,I), czyli 6,7,8,9 linie
|
|
#zeby potem wedlug wzoru (S+D+I)/(S+D+C), czyli linie (2+3+4)/(2+3+1) przeniesc do wer.tsv
|
|
awk 'BEGIN{OFS="\t"}{print $6, $7, $8, $9}' < wyniki | awk '{ print ($2 + $3 + $4)/($2 + $3 + $1) }' > wer.tsv
|
|
|
|
#WER dla każdego zdania dopisujemy w 5 kolumnie do pliku wejściowego
|
|
paste wikiniews_results.tsv wer.tsv > wikiniews_results_with_wer.tsv
|
|
|
|
#wer - procent niepoprawnie rozpoznanych wyrazów
|
|
awk 'BEGIN{FS=OFS="\t"}{ bad = bad + $1; all++ }END{ print bad/all }' < wer.tsv >> wer.txt
|
|
#srr - procent całkowicie poprawnie rozpoznanych zdań
|
|
awk 'BEGIN{FS=OFS="\t"}{ if ( $1 == 0 ) good++; all++ }END{ print good/all }' < wer.tsv >> srr.txt
|