init

.gitignore

@@ -6,3 +6,4 @@
 *.o
 .DS_Store
 .token
+.idea

.idea/modules.xml

@@ -2,7 +2,7 @@
 <project version="4">
   <component name="ProjectModuleManager">
     <modules>
-      <module fileurl="file://$PROJECT_DIR$/.idea/paranormal-or-skeptic-ISI-public.iml" filepath="$PROJECT_DIR$/.idea/paranormal-or-skeptic-ISI-public.iml" />
+      <module fileurl="file://$PROJECT_DIR$/.idea/log_reg_um.iml" filepath="$PROJECT_DIR$/.idea/log_reg_um.iml" />
     </modules>
   </component>
 </project>

.idea/paranormal-or-skeptic-ISI-public.iml

@@ -1,9 +0,0 @@
-<?xml version="1.0" encoding="UTF-8"?>
-<module type="JAVA_MODULE" version="4">
-  <component name="NewModuleRootManager" inherit-compiler-output="true">
-    <exclude-output />
-    <content url="file://$MODULE_DIR$" />
-    <orderEntry type="inheritedJdk" />
-    <orderEntry type="sourceFolder" forTests="false" />
-  </component>
-</module>

.idea/sonarlint/issuestore/index.pb

@@ -0,0 +1,7 @@
+
+:
+
+.gitignore,a/5/a5cc2925ca8258af241be7e5b0381edf30266302
+:
+
+log_reg.py,8/d/8defb5199d336fa9e58cbe5b8c4833d0e222ccf9

README.md

@@ -1,13 +0,0 @@
-Skeptic vs paranormal subreddits
-================================
-
-Classify a reddit as either from Skeptic subreddit or one of the
-"paranormal" subreddits (Paranormal, UFOs, TheTruthIsHere, Ghosts,
-,Glitch-in-the-Matrix, conspiracytheories).
-
-Output label is the probability of a paranormal subreddit.
-
-Sources
--------
-
-Data taken from <https://archive.org/details/2015_reddit_comments_corpus>.

config.txt

@@ -1 +0,0 @@
---metric Likelihood --metric Accuracy --metric F1 --metric F0:N<Precision> --metric F9999999:N<Recall>  --precision 4 --in-header in-header.tsv --out-header out-header.tsv

dev-out.tsv

@@ -16,7 +16,7 @@
 1
 0
 0
-0
+1
 1
 1
 0
@@ -95,7 +95,7 @@
 0
 0
 1
-0
+1
 1
 0
 0
@@ -123,7 +123,7 @@
 0
 0
 0
-0
+1
 0
 0
 0
@@ -189,7 +189,7 @@
 0
 0
 1
-1
+0
 0
 0
 1
@@ -321,7 +321,7 @@
 0
 1
 0
-0
+1
 1
 0
 0
@@ -367,7 +367,7 @@
 0
 0
 0
-0
+1
 0
 0
 0
@@ -425,7 +425,7 @@
 1
 0
 0
-0
+1
 0
 1
 1
@@ -436,7 +436,7 @@
 0
 0
 0
-0
+1
 0
 0
 1
@@ -497,7 +497,6 @@
 0
 0
 0
-0
 1
 0
 0
@@ -508,6 +507,7 @@
 0
 0
 0
+0
 1
 0
 0
@@ -529,7 +529,7 @@
 0
 0
 1
-0
+1
 0
 0
 0
@@ -639,8 +639,8 @@
 0
 1
 0
-1
-1
+0
+0
 1
 0
 1
@@ -652,7 +652,7 @@
 1
 0
 1
-0
+1
 1
 1
 0
@@ -691,11 +691,11 @@
 0
 0
 1
-1
 0
 0
 0
 1
+1
 0
 0
 1
@@ -782,7 +782,7 @@
 1
 0
 1
-0
+1
 0
 1
 0
@@ -846,7 +846,7 @@
 1
 0
 0
-0
+1
 0
 1
 1
@@ -1056,7 +1056,7 @@
 0
 1
 0
-1
+0
 0
 0
 0
@@ -1067,7 +1067,7 @@
 0
 0
 1
-1
+0
 0
 0
 0
@@ -1110,7 +1110,7 @@
 0
 0
 0
-1
+0
 0
 0
 1
@@ -1311,13 +1311,13 @@
 0
 0
 0
-0
 1
 0
 0
 0
 0
 0
+0
 1
 1
 1
@@ -1366,7 +1366,7 @@
 0
 0
 0
-0
+1
 1
 0
 0
@@ -1395,7 +1395,7 @@
 0
 0
 1
-1
+0
 0
 0
 1
@@ -1416,7 +1416,7 @@
 0
 0
 0
-1
+0
 1
 0
 0
@@ -1435,7 +1435,7 @@
 0
 0
 1
-0
+1
 0
 0
 1
@@ -1476,7 +1476,7 @@
 0
 0
 0
-1
+0
 1
 0
 0
@@ -1504,7 +1504,7 @@
 0
 0
 0
-0
+1
 1
 0
 0
@@ -1524,7 +1524,7 @@
 0
 1
 0
-0
+1
 0
 0
 1
@@ -1739,7 +1739,7 @@
 1
 0
 0
-0
+1
 0
 1
 1
@@ -1820,7 +1820,7 @@
 0
 0
 0
-0
+1
 0
 0
 0
@@ -1848,7 +1848,7 @@
 1
 0
 0
-0
+1
 1
 0
 0
@@ -1922,7 +1922,7 @@
 1
 0
 0
-0
+1
 0
 0
 1
@@ -1995,7 +1995,7 @@
 0
 0
 1
-0
+1
 1
 0
 0
@@ -2116,7 +2116,7 @@
 0
 0
 1
-1
+0
 1
 0
 0
@@ -2182,12 +2182,12 @@
 0
 1
 0
+1
 0
 0
 0
 0
-0
-0
+1
 0
 0
 0
@@ -2295,7 +2295,7 @@
 0
 0
 0
-0
+1
 0
 0
 0
@@ -2520,7 +2520,7 @@
 0
 0
 1
-0
+1
 0
 0
 0
@@ -2584,7 +2584,7 @@
 0
 0
 0
-0
+1
 0
 0
 1
@@ -2660,13 +2660,13 @@
 0
 0
 0
-0
+1
 0
 0
 1
 1
 0
-0
+1
 1
 0
 0
@@ -2821,7 +2821,7 @@
 0
 0
 0
-1
+0
 1
 0
 0
@@ -2893,7 +2893,7 @@
 0
 0
 1
-0
+1
 0
 0
 1
@@ -2920,7 +2920,7 @@
 0
 1
 0
-1
+0
 0
 1
 1
@@ -2961,14 +2961,14 @@
 0
 0
 0
-1
 0
 0
 0
 0
 0
-1
 0
+1
+1
 0
 0
 0
@@ -2997,13 +2997,13 @@
 1
 1
 0
-0
+1
 1
 0
 0
 0
 1
-0
+1
 0
 0
 0
@@ -3092,7 +3092,7 @@
 0
 1
 0
-0
+1
 0
 0
 0
@@ -3135,7 +3135,7 @@
 0
 0
 1
-1
+0
 1
 0
 0
@@ -3179,7 +3179,7 @@
 0
 0
 1
-0
+1
 1
 1
 1
@@ -3197,7 +3197,7 @@
 0
 0
 0
-0
+1
 0
 1
 0
@@ -3259,7 +3259,7 @@
 0
 0
 0
-0
+1
 1
 1
 0
@@ -3356,7 +3356,7 @@
 0
 0
 0
-0
+1
 0
 0
 0
@@ -3400,14 +3400,14 @@
 0
 0
 0
-1
 0
 0
-1
 0
+1
 0
 0
 0
+1
 0
 1
 0
@@ -3494,7 +3494,7 @@
 0
 1
 0
-0
+1
 0
 0
 0
@@ -3632,7 +3632,7 @@
 0
 0
 0
-1
+0
 1
 0
 0
@@ -3710,7 +3710,7 @@
 0
 0
 1
-0
+1
 0
 0
 0
@@ -3754,7 +3754,7 @@
 0
 1
 0
-1
+0
 0
 1
 0
@@ -3822,7 +3822,7 @@
 0
 1
 0
-0
+1
 0
 1
 1
@@ -3879,7 +3879,7 @@
 1
 0
 0
-0
+1
 0
 0
 1
@@ -3910,7 +3910,7 @@
 0
 1
 0
-1
+0
 0
 0
 0
@@ -3966,7 +3966,7 @@
 0
 1
 0
-0
+1
 0
 0
 1
@@ -4011,7 +4011,7 @@
 1
 0
 0
-0
+1
 0
 0
 1
@@ -4208,7 +4208,7 @@
 0
 1
 1
-0
+1
 1
 1
 0
@@ -4238,7 +4238,7 @@
 0
 0
 0
-1
+0
 0
 1
 1
@@ -4277,7 +4277,7 @@
 1
 0
 0
-1
+0
 1
 0
 0
@@ -4459,14 +4459,14 @@
 1
 0
 0
-1
+0
 1
 0
 0
 0
 1
 0
-0
+1
 0
 0
 0
@@ -4495,11 +4495,11 @@
 0
 0
 0
+1
 0
 0
 0
-0
-0
+1
 0
 0
 0
@@ -4527,7 +4527,7 @@
 0
 1
 1
-0
+1
 0
 1
 0
@@ -4537,7 +4537,7 @@
 1
 0
 0
-0
+1
 0
 0
 1
@@ -4743,7 +4743,7 @@
 0
 0
 0
-1
+0
 0
 0
 0
@@ -4895,9 +4895,9 @@
 0
 0
 0
-0
 1
 1
+0
 1
 0
 0
@@ -4909,7 +4909,7 @@
 0
 0
 1
-0
+1
 0
 0
 0
@@ -5057,7 +5057,7 @@
 1
 0
 0
-0
+1
 0
 1
 0
@@ -5135,7 +5135,7 @@
 0
 0
 0
-1
+0
 1
 0
 0
@@ -5162,7 +5162,7 @@
 0
 0
 0
-0
+1
 0
 0
 0
@@ -5235,7 +5235,7 @@
 1
 1
 0
-0
+1
 1
 1
 1

dev-stats.txt

@@ -0,0 +1,5 @@
+Likelihood	0.0000
+Accuracy	0.7627
+F1.0	0.6495
+Precision	0.6806
+Recall	0.6211

in-header.tsv

@@ -1 +0,0 @@
-PostText	Timestamp

log_reg.py

@@ -23,23 +23,19 @@ def doc2vec(doc):
     return np.mean([word2vec[word] for word in doc if word in word2vec] or [np.zeros(300)], axis=0)
 
 
-x_train = pd.read_table('train/in.tsv.xz', compression='xz', sep='\t', header=None, error_bad_lines=False, quoting=3)
-y_train = pd.read_table('train/expected.tsv', sep='\t', header=None, quoting=3)
-x_dev = pd.read_table('dev-0/in.tsv.xz', compression='xz', sep='\t', header=None, quoting=3)
-x_test = pd.read_table('test-A/in.tsv.xz', compression='xz', sep='\t', header=None, quoting=3)
+x_train = pd.read_table('in-train.tsv.xz', compression='xz', sep='\t', header=None, error_bad_lines=False, quoting=3)
+y_train = pd.read_table('expected-train.tsv', sep='\t', header=None, quoting=3)
+x_dev = pd.read_table('in-dev.tsv.xz', compression='xz', sep='\t', header=None, quoting=3)
 
 y_train = y_train[0]
 x_train = x_train[0].str.lower()
 x_train = [word_tokenize(x) for x in x_train]
 x_dev = x_dev[0].str.lower()
 x_dev = [word_tokenize(x) for x in x_dev]
-x_test = x_test[0].str.lower()
-x_test = [word_tokenize(x) for x in x_test]
 
 word2vec = gensim.load('word2vec-google-news-300')
 x_train = [doc2vec(doc) for doc in x_train]
 x_dev = [doc2vec(doc) for doc in x_dev]
-x_test = [doc2vec(doc) for doc in x_test]
 
 model = NeuralNetworkModel()
 BATCH_SIZE = 1024
@@ -71,16 +67,6 @@ with torch.no_grad():
         y = (outputs > 0.5)
         y_dev.extend(y)
 
-    for i in range(0, len(x_test), BATCH_SIZE):
-        X = x_test[i:i + BATCH_SIZE]
-        X = torch.tensor(X)
-        outputs = model(X.float())
-        y = (outputs >= 0.5)
-        y_test.extend(y)
-
 y_dev = np.asarray(y_dev, dtype=np.int32)
 Y_dev = pd.DataFrame({'label': y_dev})
-Y_dev.to_csv(r'dev-0/out.tsv', sep='\t', index=False, header=False)
-y_test = np.asarray(y_test, dtype=np.int32)
-Y_test = pd.DataFrame({'label': y_test})
-Y_test.to_csv(r'test-A/out.tsv', sep='\t', index=False, header=False)
+Y_dev.to_csv(r'dev-out.tsv', sep='\t', index=False, header=False)

out-header.tsv

@@ -1 +0,0 @@
-Label