1.6 KiB
Skeptic vs paranormal subreddits
Classify a reddit as either from Skeptic subreddit or one of the "paranormal" subreddits (Paranormal, UFOs, TheTruthIsHere, Ghosts, ,Glitch-in-the-Matrix, conspiracytheories).
Output label is the probability of a paranormal subreddit.
Sources
Data taken from https://archive.org/details/2015_reddit_comments_corpus.
Cel projektu
Przewidzenie czy dany post na reddicie pochodzi ze „sceptycznych” subredditów, czy z „paranormalnych” subredditów.
Dane
Dane pochodzą z wyzwania „Skeptic vs paranormal subreddits” na platformie gonito.net (link: https://gonito.net/challenge/paranormal-or-skeptic. Zbiór jest podzielony na 289579 przykładów uczących oraz 5272 przykładów testowych.
Modele
W projekcie porównano działanie 3 modeli:
- Regresja liniowa.
- Regresja logistyczna korzystająca z solvera lbfgs.
- Klasyfikator SGD.
Ewaluacja
Do ewaluacji wykorzystano metryki accuracy, precision, recall i F1-score. Wyniki ewaluacji przedstawia poniższa tabelka:
Model | Accuracy | Precision | Recall | F1-score |
---|---|---|---|---|
Regresja liniowa | 0.7083 | 0.6513 | 0.3783 | 0.4786 |
Regresja logistyczna | 0.7123 | 0.6382 | 0.4319 | 0.5152 |
Klasyfikator SGD | 0.7191 | 0.6224 | 0.5247 | 0.5694 |
Wnioski
Najlepsze rezultaty uzyskał Klasyfikator SGD. Warto zauważyć, że Recall malał wraz ze wzrostem pozostałych metryk. Stąd też w przypadku regresji liniowej Precision było największe, mimo najsłabszych pozostałych wyników, a w przypadku SGD Precision było najniższe, mimo najlepszych wyników (szczególnie Recall i F1).