diff --git a/lines.sh b/lines.sh index fcaf37c..94db2c2 100644 --- a/lines.sh +++ b/lines.sh @@ -1,4 +1,4 @@ -# zliczenie liczby linijekw pliku wikinews i zapisanie do lines_number.txt +# zliczenie liczby linijek w pliku wikinews i zapisanie do lines_number.txt wc -l wikiniews_results.tsv > lines_number.txt #utworzenie plików hypothesis i reference @@ -7,26 +7,25 @@ cut -f2 wikiniews_results.tsv > hypothesis.txt #wycięcie trzeciej kolumnu (referencje - poprawne zdania) cut -f3 wikiniews_results.tsv > reference.txt -#przekształcenie plików txt na trn +#przekształcenie plików txt na trn przy użyciu programu Sclite (służy on do obliczania WER) awk 'BEGIN{FS=OFS="\t"}{print $0,"(sp1_"NR")"}' < reference.txt > reference.trn awk 'BEGIN{FS=OFS="\t"}{print $0,"(sp1_"NR")"}' < hypothesis.txt > hypothesis.trn -#przenieś i zapisz 50 obserwacji -mv wer.txt wer1.txt -mv srr.txt srr1.txt -#wyświetlanie i zapisywanie -cat wer1.txt | tail -n 49 > wer.txt -cat srr1.txt | tail -n 49 > srr.txt +#wywołanie sclite; grep szuka napisu Scores w raporcie stworzonym przez sclite i zapisuje do zmiennej scores +#szukamy w tym raporcie wyrażenia wyniki i zapisujemy do zmienej scores. -#wywołanie sclite +#stary plik + współczynniki na końcu każdej kolumny sclite -f 0 -r reference.trn trn -h hypothesis.trn trn -e utf-8 -i rm -o all stdout | grep Scores > scores -#hyphothesis - wyniki działania ARS -#reference - referencyjne zdania +#procentowe niepoprawne rozpoznawanie wyrazów - obliczanie WER awk 'BEGIN{OFS="\t"}{print $6, $7, $8, $9}' < scores | awk '{ print ($2 + $3 + $4)/($2 + $3 + $1) }' > wer.tsv +#zapisanie WER do 5 kolumny paste wikiniews_results.tsv wer.tsv > wikiniews_results_with_wer.tsv +#zliczamy całkowity współczynnik (średnią) dla wszystkich i zapisujemy do wer.txt awk 'BEGIN{FS=OFS="\t"}{ bad = bad + $1; all++ }END{ print bad/all }' < wer.tsv >> wer.txt +#liczymy SRR +#Jeśli pierwsza kolumna jest równa zero, to zliczamy liczbę dobrych i dzielimy przez liczbę wszystkich awk 'BEGIN{FS=OFS="\t"}{ if ( $1 == 0 ) good++; all++ }END{ print good/all }' < wer.tsv >> srr.txt \ No newline at end of file