s444498/wko_anime-face-similarity
2
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

Mierzenie accuracy nie tylko na top 1 outpucie #7

Merged
s444409 merged 1 commits from top-k-validation into main 2023-02-01 18:09:26 +01:00
Conversation 0 Commits 1 Files Changed 1 +19 -10
s444409 commented 2023-02-01 13:54:37 +01:00
Collaborator
Copy Link

Generalnie nie chcemy podawać użytkownikowi tylko jednej postaci do której jest podobny, ale powiedzmy top 5. Dlatego mierzenie accuracy przy walidacji na podstawie "największa wartość metryki jaką model wyliczy ma być taka jak label" jest średnie, więc dorzuciłem walidacje "top 5 największych wartości metryk i conajmniej jedna pasuje do labela".

Wyniki się dużo różnią, na przykład 'correlation' jest teraz dużo bardziej skuteczna niż poprzednie 'structural-similarity' w top 1:

Top 1 matches results:
Accuracy using structural-similarity: 6.0%
Accuracy using euclidean-distance: 0.0%
Accuracy using chi-square: 2.0%
Accuracy using correlation: 4.0%
Accuracy using intersection: 4.0%
Accuracy using bhattacharyya-distance: 0.0%
Top 3 matches results:
Accuracy using structural-similarity: 16.0%
Accuracy using euclidean-distance: 6.0%
Accuracy using chi-square: 12.0%
Accuracy using correlation: 20.0%
Accuracy using intersection: 8.0%
Accuracy using bhattacharyya-distance: 2.0%
Top 5 matches results:
Accuracy using structural-similarity: 20.0%
Accuracy using euclidean-distance: 8.0%
Accuracy using chi-square: 12.0%
Accuracy using correlation: 24.0%
Accuracy using intersection: 18.0%
Accuracy using bhattacharyya-distance: 6.0%
Generalnie nie chcemy podawać użytkownikowi tylko jednej postaci do której jest podobny, ale powiedzmy top 5. Dlatego mierzenie accuracy przy walidacji na podstawie "największa wartość metryki jaką model wyliczy ma być taka jak label" jest średnie, więc dorzuciłem walidacje "top 5 największych wartości metryk i conajmniej jedna pasuje do labela". Wyniki się dużo różnią, na przykład 'correlation' jest teraz dużo bardziej skuteczna niż poprzednie 'structural-similarity' w top 1: ``` Top 1 matches results: Accuracy using structural-similarity: 6.0% Accuracy using euclidean-distance: 0.0% Accuracy using chi-square: 2.0% Accuracy using correlation: 4.0% Accuracy using intersection: 4.0% Accuracy using bhattacharyya-distance: 0.0% Top 3 matches results: Accuracy using structural-similarity: 16.0% Accuracy using euclidean-distance: 6.0% Accuracy using chi-square: 12.0% Accuracy using correlation: 20.0% Accuracy using intersection: 8.0% Accuracy using bhattacharyya-distance: 2.0% Top 5 matches results: Accuracy using structural-similarity: 20.0% Accuracy using euclidean-distance: 8.0% Accuracy using chi-square: 12.0% Accuracy using correlation: 24.0% Accuracy using intersection: 18.0% Accuracy using bhattacharyya-distance: 6.0% ```
s444409 added 1 commit 2023-02-01 13:54:37 +01:00
s444409 merged commit 7e76f516fd into main 2023-02-01 18:09:26 +01:00
Sign in to join this conversation.
Reviewers
No reviewers
Labels
Clear labels
No items
No Label
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: s444498/wko_anime-face-similarity#7
No description provided.
Delete Branch "top-k-validation"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?