diff --git a/.predict.py.swp b/.predict.py.swp index 30a67ed..15034ad 100644 Binary files a/.predict.py.swp and b/.predict.py.swp differ diff --git a/.train.py.swp b/.train.py.swp index 7b698e4..db2aef5 100644 Binary files a/.train.py.swp and b/.train.py.swp differ diff --git a/dev-0/out.tsv b/dev-0/out.tsv index c4f333d..4f7262d 100644 --- a/dev-0/out.tsv +++ b/dev-0/out.tsv @@ -1,18 +1,17 @@ S P - S P S - P S S S + P + S S S - P S - P S + P S S S @@ -20,6 +19,7 @@ S P S + S P S P @@ -48,7 +48,7 @@ S P P - S + P S P S @@ -61,20 +61,20 @@ P P S - S P S S - P - P - P + S P S + P S S S + P S P + P S S S @@ -85,7 +85,7 @@ S P P - S + P S P S @@ -95,18 +95,18 @@ S S P - P + S P S S P S - S + P S P S S - P + S P P S @@ -123,7 +123,7 @@ S S S - S + P S S S @@ -131,13 +131,13 @@ S P P - S + P S P S S S - P + S S S S @@ -147,29 +147,29 @@ S P S - S P S - P S - P + S S P + P + P + S S S - P S P S S S - P + S S S P P S - S + P S P S @@ -180,17 +180,17 @@ S P S - S - S + P S P + S P S S S P P - P + S S S S @@ -203,7 +203,7 @@ P S S - P + S P P P @@ -243,14 +243,14 @@ S S S - S P P - S + P S S P S + S P P S @@ -274,14 +274,14 @@ S S S - P S - P + S + S S S S P - P + S P S S @@ -291,8 +291,7 @@ S S S - P - P + S S S S @@ -302,6 +301,7 @@ P P P + P S S P @@ -309,7 +309,7 @@ S P S - S + P S S P @@ -319,7 +319,7 @@ S S S - S + P P S P @@ -343,10 +343,10 @@ S S S + P S S P - P S S S @@ -364,7 +364,7 @@ S S S - S + P S S P @@ -379,7 +379,7 @@ S P S - P + S P S S @@ -389,11 +389,11 @@ P S S + P S S S P - P S P S @@ -408,18 +408,18 @@ S S S - P S S - P S P + P + P S + P S S S S - P S P P @@ -431,16 +431,16 @@ P S P - S - S - S + P S S S P S + P S S + P S P S @@ -460,7 +460,7 @@ P P S - S + P S S S @@ -470,9 +470,9 @@ P P P + S P P - S P S S @@ -485,16 +485,16 @@ S S P + P S S S - S - S + P P S S S - P + S S P S @@ -508,10 +508,10 @@ S P S + P S S S - P S P S @@ -528,15 +528,15 @@ P S S - S - S - S + P + P S S S S P P + S P S P @@ -552,35 +552,35 @@ P S S - P S S S - P S + P S S P P P - S - S P S + P + P S S S + P S S S S S - S + P S S P P - S + P S P S @@ -600,7 +600,7 @@ P P P - S + P S S S @@ -608,7 +608,7 @@ S S S - P + S P S S @@ -619,12 +619,11 @@ S S S - P S S P P - S + P S S S @@ -639,13 +638,14 @@ S S S + S P P P S + P S - S - S + P S P S @@ -654,7 +654,7 @@ S S P - S + P S P P @@ -676,7 +676,7 @@ S S S - P + S S S S @@ -689,17 +689,17 @@ P S S - P S - P S P - S P P S + P + P S P + P S S S @@ -717,7 +717,7 @@ S S S - S + P S S S @@ -734,16 +734,16 @@ S S S - S - S P S - S P P S + P + S S S + P S P S @@ -754,16 +754,16 @@ P S P - P S + P S S S P - S P - S P + P + S S P S @@ -777,31 +777,19 @@ S S S - S - S - S - P P S P - P S P - P S P - S - P - P P S P S S P - P - S - S S P P @@ -809,43 +797,33 @@ S P S + S P P S - S - S - S P S - S - S - S - P P P S S - S - S P + S P P S - S - S P S + S P S S S S P - S - S P P - S + P S S S @@ -853,22 +831,14 @@ S S S - S - S - P P S P S S S - P - S S P - S - S - S P P S @@ -879,36 +849,20 @@ S S S - S P S S S S S + P S S P - P - P - P - P - P - P - P - P S S P P - P - P - P - P - P - S - S - S S S S @@ -917,14 +871,10 @@ S P P - P S S P - S - S P - S P S S @@ -932,33 +882,18 @@ S P S - P - S - P S S P S S S - S - S - S - S - S - S - S P S - S - S P P - S - S P - S - S + P P P P @@ -970,7 +905,6 @@ P P P - S P S S @@ -981,18 +915,13 @@ P S S - P S P - P - P S - P S S S S - P S P S @@ -1000,18 +929,15 @@ S S S - P - S - S - S - S S S S + P S P S S + P S S S @@ -1020,20 +946,17 @@ S S P - P S S P + P S S S - S - P P S S - S - S + P S S P @@ -1042,22 +965,10 @@ S S S - S P S S S - S - S - S - S - S - S - S - S - S - S - S P S S @@ -1067,20 +978,16 @@ S S S - S P - P - S S S + P S P P + P S - S - S - S - S + P S S S @@ -1089,7 +996,6 @@ S P S - S P S S @@ -1103,41 +1009,45 @@ S S S + P S S S S + P S S S S P + P S S P - P - S S S S S P S - S + P S S P S - P S P - S P P S S S + P + P + P S + P + P S S S @@ -1153,16 +1063,22 @@ S S S + P S S S S + P S S S S S + P + P + P S + P S S S @@ -1171,8 +1087,10 @@ S S S + P S S + P S S S @@ -1188,6 +1106,7 @@ S S S + P S S S @@ -1195,33 +1114,114 @@ S S S + P + P S S S S S + P S S S S + P S + P S - S - S - S - S + P + P + P S S S S P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P + P S + P S S S S P - P S P S @@ -1231,7 +1231,7 @@ S P S - S + P S S S @@ -1256,9 +1256,9 @@ S S S - S P - S + P + P P S P @@ -1269,7 +1269,7 @@ S P S - S + P P S S @@ -1283,24 +1283,24 @@ S P S - S P P - S - S + P P S + P S S S S P P - P + S + S P P S - P + S S S P @@ -1311,7 +1311,7 @@ S S P - S + P P S S @@ -1319,7 +1319,7 @@ P S S - S + P P S S @@ -1333,14 +1333,14 @@ S P S - P S S S S S S - P + S + S S S P @@ -1361,19 +1361,19 @@ S P P + P S S S S S P - P - S S S S P P + P S S S @@ -1384,23 +1384,23 @@ S S S - S + P P S S + P S - S - S - S + P S S S P + P S S S S - S + P S S S @@ -1414,11 +1414,11 @@ P S S - S + P S P P - S + P S S S @@ -1427,6 +1427,7 @@ S S P + P S S S @@ -1439,13 +1440,12 @@ S P P - P S S P S P - P + S S S S @@ -1457,11 +1457,10 @@ S S P - S + P S S P - P S S S @@ -1471,9 +1470,10 @@ S S S - P S P + P + P S S S @@ -1493,10 +1493,10 @@ S S S - S P - S P + S + S P P S @@ -1510,15 +1510,15 @@ S P S - P S - P S P - P S S + P + S S + P S P S @@ -1528,27 +1528,27 @@ P P P - S - S - S - S - S - S + P S S P S P + P S + P S S S P + P S + P S S S S + P S S S @@ -1567,7 +1567,7 @@ P S P - S + P S P S @@ -1576,25 +1576,24 @@ S S P - S + P S P P S S S - P - P - S S P S P P - P S S + P + P S + P S S S @@ -1602,6 +1601,7 @@ S S P + P S S S @@ -1610,15 +1610,15 @@ P S P - P - P S S - P S S - P S + S + S + S + P P S P @@ -1637,10 +1637,10 @@ P S P + P S S S - P S S S @@ -1655,11 +1655,11 @@ S S S - P S P - S P + S + S P S P @@ -1680,7 +1680,7 @@ S S S - P + S P S S @@ -1689,7 +1689,7 @@ S S P - P + S S P P @@ -1719,8 +1719,8 @@ S S P - P - P + S + S S S P @@ -1728,7 +1728,7 @@ S S S - P + S S S P @@ -1742,10 +1742,10 @@ S S S - S P S S + S P S S @@ -1755,7 +1755,7 @@ S S S - P + S P P P @@ -1771,7 +1771,7 @@ S S S - S + P S S S @@ -1789,7 +1789,7 @@ P S S - P + S P S S @@ -1804,15 +1804,15 @@ S S S + P S S S S S + P S - S - S - S + P S S P @@ -1824,8 +1824,9 @@ S P S - S P + S + S P P S @@ -1833,37 +1834,36 @@ S S S - S P - S - S P + S P P + S P S P P - S + P P S S S S - P - S S S - P S S P P + S P S P S P + P + S S P S @@ -1880,12 +1880,12 @@ P S S - P S S S S - P + S + S S S P @@ -1897,13 +1897,13 @@ P S S - P - P S P S S S + P + S S P P @@ -1931,8 +1931,8 @@ S S S - S - S + P + P S P P @@ -1977,9 +1977,8 @@ S P P - P S - P + S S S S @@ -1990,32 +1989,33 @@ P P P - S P S + P S S P P + P + S S P P S S - S P S P - P + S P S S P S - P S S - P + S + S S S P @@ -2024,13 +2024,13 @@ S S S + P + S S S - P S S S - P S P S @@ -2043,15 +2043,15 @@ S P P - P + S P S S S - P - P S - P + S + S + S P P P @@ -2072,20 +2072,20 @@ S S S - P - S - P S S P + P S + P S + P S S S P P - P + S S P S @@ -2098,17 +2098,17 @@ S S S + P S S S - P S S S P S S - P + S S S S @@ -2116,7 +2116,7 @@ P P S - P + S S S P @@ -2133,13 +2133,13 @@ S S S - S + P S S P P P - S + P S S P @@ -2148,30 +2148,30 @@ S S P - P - P S P S + P S S S S P - S - S - P P S S S + P S + P + P S - S + P S S S P + S P P P @@ -2183,7 +2183,7 @@ S S P - S + P P S S @@ -2194,12 +2194,12 @@ P S S + P + P + P S S - S - S - S - S + P S S S @@ -2215,8 +2215,8 @@ P P P - P S + P S P P @@ -2237,25 +2237,25 @@ S S P - S - S P S + P S + P S P S S P - P + S S S S S P + S P P - S P S P @@ -2287,12 +2287,12 @@ P S S - P + S P S S P - P + S P S S @@ -2321,11 +2321,11 @@ S S S - S P S S S + S P S S @@ -2338,7 +2338,7 @@ P S S - S + P P S P @@ -2357,14 +2357,14 @@ P P P - P - S S - P S S P S + P + P + P S S P @@ -2394,14 +2394,14 @@ S P P - P S - P S S S P S + P + S S S P @@ -2427,7 +2427,7 @@ S P S - S + P P P S @@ -2448,24 +2448,24 @@ S S P - P - P S P S P + P + P + S + S S S S S - P S S S S S S - P P P P @@ -2478,7 +2478,7 @@ S S S - S + P P S P @@ -2489,9 +2489,9 @@ S P S - S - S P + P + S S S P @@ -2500,24 +2500,24 @@ S P S - P + S S S P P S S - P S P P - S P S + P S S S P + P S P P @@ -2526,7 +2526,7 @@ S S S - S + P P S P @@ -2535,7 +2535,7 @@ S S P - P + S S S S @@ -2558,15 +2558,15 @@ P S S - P S S S S P - S P + S P + S P P P @@ -2584,13 +2584,13 @@ S S S - S + P S S P S S - P + S S S S @@ -2613,7 +2613,7 @@ P P S - S + P P S S @@ -2637,34 +2637,33 @@ S P S - P S S S P + P S - S + P S S S S P - P - S - S S + P S P + S P P S S S + S P S S P - S P S S @@ -2672,6 +2671,7 @@ S S S + S P S S @@ -2681,7 +2681,7 @@ S S S - S + P S S S @@ -2690,11 +2690,11 @@ S S P + P S S S P - P S S S @@ -2706,7 +2706,7 @@ P S S - S + P S S S @@ -2721,14 +2721,14 @@ S S S - S + P S P S P S S - P + S P S S @@ -2749,9 +2749,9 @@ P S S - P S - P + S + S S S S @@ -2773,12 +2773,12 @@ S P S - S + P P S S P - P + S S S P @@ -2792,19 +2792,20 @@ S S P - P - P - S S + P S S S S + P S S + P S S S + P S S S @@ -2815,7 +2816,6 @@ P P S - S P P S @@ -2826,7 +2826,7 @@ S S P - S + P S P S @@ -2839,7 +2839,7 @@ S S P - P + S S P S @@ -2871,9 +2871,9 @@ S S S + P S - S - S + P S P P @@ -2881,29 +2881,29 @@ S P S - P - P S S S S S - P + S S P S + P S P P + P S - S + P S S S P S - S P + S P P S @@ -2913,7 +2913,7 @@ S P S - P + S S S S @@ -2924,17 +2924,17 @@ S S P - P - P S P S + P S + P S S P S - S + P P S S @@ -2943,14 +2943,14 @@ S S S + S P P S S - S P S - P + S P P S @@ -2975,7 +2975,6 @@ S S S - P S S S @@ -2983,8 +2982,8 @@ S S S - P S + P S S S @@ -2992,6 +2991,7 @@ S S S + P S S P @@ -3000,15 +3000,15 @@ S S S - P - S S S + P S S S P P + P S S P @@ -3016,8 +3016,8 @@ S S S - P S + P S S S @@ -3026,7 +3026,7 @@ P S P - S + P P P P @@ -3050,10 +3050,9 @@ S S S - S - P P S + P S S S @@ -3061,16 +3060,17 @@ S S S + P S + P S S S + P S S - S - S - S - S + P + P S P S @@ -3088,23 +3088,23 @@ P S P - P - S S - P S S P S S S + P S S S - P S S + P S + P + P S P P @@ -3129,11 +3129,11 @@ S S S - S P - S P S + S + S P P S @@ -3146,7 +3146,7 @@ S P S - P + S S P S @@ -3165,7 +3165,7 @@ S P S - P + S S S P @@ -3179,13 +3179,13 @@ P S P - P + S P S S P S - S + P S P S @@ -3194,16 +3194,13 @@ P P P - S - S P + S P S S - P - P - P S + P S S S @@ -3213,25 +3210,20 @@ P S S - S - P P S S - P S P P S S + P S S S S S - P - S - S S S S @@ -3242,19 +3234,27 @@ S S P + P S S P S S S - S + P + P S P + P + S S S + P + P S + P S + P S P S @@ -3267,7 +3267,7 @@ S S S - P + S S S P @@ -3275,8 +3275,6 @@ S S S - S - S P S P @@ -3284,6 +3282,8 @@ S S S + P + S S S P @@ -3300,11 +3300,11 @@ S S P - S P S S S + S P S S @@ -3313,9 +3313,9 @@ S P S + P S - S - S + P S S P @@ -3342,9 +3342,9 @@ S S S + P S - S - S + P S S S @@ -3373,11 +3373,11 @@ S S P - S - S P S + P S + P S S S @@ -3388,7 +3388,7 @@ S P S - P + S P S P @@ -3409,7 +3409,7 @@ S S S - S + P S S P @@ -3417,7 +3417,7 @@ P S P - P + S S S S @@ -3449,12 +3449,12 @@ S P P - P S S - P S S + P + S S S P @@ -3469,12 +3469,12 @@ P S P - P - P S + P S S P + P S S P @@ -3482,8 +3482,8 @@ S S S - P S + P S S S @@ -3502,26 +3502,26 @@ S S S - S - P P S P P P S - S P + S + S + S P P S P P + P S S S S - P S S S @@ -3532,21 +3532,18 @@ S S P + P S S S S S - P S S S P S - P S - P - P S P S @@ -3559,6 +3556,9 @@ S S S + P + S + S S S S @@ -3574,7 +3574,7 @@ S S S - S + P S S S @@ -3592,7 +3592,7 @@ S S P - P + S P S S @@ -3621,7 +3621,7 @@ P S S - P + S P S S @@ -3632,7 +3632,7 @@ S S S - S + P P S S @@ -3659,7 +3659,7 @@ S P S - P + S S S S @@ -3675,17 +3675,17 @@ P S P - P + S P S P P S S - S + P P S - S + P S S P @@ -3698,8 +3698,8 @@ S S S - S - S + P + P S S S @@ -3723,12 +3723,12 @@ S S S - P + S P P S S - P + S S P S @@ -3736,12 +3736,12 @@ S S S - P S S S S P + S P S S @@ -3753,15 +3753,15 @@ S S S - S P P P - S + P S S S P + S P S S @@ -3781,7 +3781,7 @@ P S P - P + S S S P @@ -3792,12 +3792,12 @@ P S S - S + P S S P S - P + S P S S @@ -3812,13 +3812,13 @@ S S P + P S - S - S + P S S P - S + P S P S @@ -3831,18 +3831,18 @@ S P P + P S S S S - P S P S S S S - S + P S P S @@ -3852,11 +3852,11 @@ S S S - P - P S + P S P + P S S S @@ -3883,7 +3883,7 @@ S S S - P + S S S S @@ -3891,7 +3891,7 @@ S P P - S + P S S P @@ -3901,36 +3901,36 @@ S S S - P - P S S S S S + S + P P S P S S S - P + S P P S + S P S S + S + S + S P - P S P - P S P S - P - P S S S @@ -3940,14 +3940,14 @@ P S S - S + P S P P P S S - S + P S P P @@ -3955,7 +3955,7 @@ S S S - S + P P P S @@ -3974,6 +3974,7 @@ S P S + P S S S @@ -3989,7 +3990,6 @@ S S P - P S S P @@ -4001,7 +4001,7 @@ S S P - S + P S S S @@ -4010,8 +4010,6 @@ S P S - P - P S S S @@ -4019,7 +4017,9 @@ S S S - P + S + S + S S S S @@ -4027,18 +4027,18 @@ P P S - P S S S S S - P S S S S - P + S + S + S S S S @@ -4050,7 +4050,7 @@ S S S - P + S S S S @@ -4070,7 +4070,7 @@ S S S - P + S S S S @@ -4083,7 +4083,7 @@ S S P - P + S P P S @@ -4097,7 +4097,7 @@ S S S - P + S S S S @@ -4114,30 +4114,31 @@ P S P - S + P S S P P - P S - P S S S + P + S S + P S S S P P - P S S P S S P + P S S S @@ -4145,16 +4146,15 @@ S S P - S P S S S + S P P P S - P S S P @@ -4165,7 +4165,7 @@ S S P - S + P S P S @@ -4188,9 +4188,9 @@ S S S + P S S - P S S P @@ -4206,7 +4206,7 @@ S S S - S + P P P P @@ -4223,14 +4223,14 @@ S S P - S - S + P S P S S S S + S P P P @@ -4244,8 +4244,8 @@ S S S - P - P + S + S S P S @@ -4258,10 +4258,10 @@ P S P - P S P P + P S P S @@ -4273,7 +4273,7 @@ S S S - P + S P S S @@ -4287,14 +4287,14 @@ S S S - S + P S S P P - S P S + P S P S @@ -4312,7 +4312,7 @@ S S P - P + S S S S @@ -4328,23 +4328,23 @@ S S S + P S - S - S + P S S S P P S - S + P P S S S S P - P + S S P P @@ -4380,7 +4380,7 @@ S S S - P + S S S P @@ -4391,14 +4391,11 @@ P S P - P S - P S P P P - S P S S @@ -4408,18 +4405,21 @@ S S S - P S S P + P S S P - S + P S P S S + P + S + P S S S @@ -4438,9 +4438,8 @@ P S P - S - S - S + P + P S S S @@ -4451,9 +4450,10 @@ P P P - S P S + S + S P S S @@ -4462,20 +4462,20 @@ P S S - P S S + P S P S S - P + S S P P S S - S + P S S S @@ -4484,7 +4484,7 @@ S S P - S + P P S S @@ -4502,7 +4502,7 @@ P S P - P + S P P S @@ -4515,19 +4515,19 @@ S S P - S + P P S S - P + S S P S S P - S P P + S P P S @@ -4541,8 +4541,8 @@ S S P - S - S + P + P S P S @@ -4552,19 +4552,19 @@ P S P - S + P P S S P S - S + P S S P S S - S + P S S P @@ -4589,15 +4589,15 @@ P P S - S P - S - S P S S + P + P S S + P S S S @@ -4606,7 +4606,7 @@ S P P - P + S S P S @@ -4628,10 +4628,10 @@ S P S - P S S S + P S S S @@ -4640,7 +4640,7 @@ P S S - S + P P S S @@ -4653,13 +4653,13 @@ P S S - P + S P P P S - P - P + S + S P S S @@ -4681,25 +4681,25 @@ S P S - P + S S P P S S S - S - S P + S P P S S S S - P S - P + S + S + S S P S @@ -4716,8 +4716,8 @@ P S S - P - P + S + S S S S @@ -4736,11 +4736,11 @@ S S S - S + P S P P - S + P S S S @@ -4759,7 +4759,7 @@ P S P - P + S S S S @@ -4776,10 +4776,10 @@ P S S + P + S S S - P - P S P P @@ -4797,22 +4797,21 @@ S S P - S + P S S P P S S - P - P + S + S S S P S S S - P S S S @@ -4833,18 +4832,19 @@ S S S - P S P S P S + P S S S S P P + P S S S @@ -4863,7 +4863,7 @@ S P S - S + P P S S @@ -4875,10 +4875,10 @@ S S S + P S S - S - S + P P S S @@ -4892,14 +4892,14 @@ S S S - P S S - P S P S + P S + P S P P @@ -4908,15 +4908,15 @@ S P P - S + P S S P P S + P S - S - S + P S P S @@ -4930,7 +4930,7 @@ S S S - P + S S S P @@ -4963,7 +4963,7 @@ P S S - P + S S P S @@ -4991,9 +4991,9 @@ P S P - S P P + S P S S @@ -5008,29 +5008,29 @@ S P S - S + P P S S S - P S S S - P S + P S P + P S P P S S S + S P P - P - P + S S S P @@ -5040,7 +5040,7 @@ P S S - P + S P S S @@ -5054,21 +5054,21 @@ S P P - S - S P S P S - S - S + P + P S S S S P S + P S + P S S S @@ -5079,7 +5079,7 @@ S S S - P + S S S S @@ -5099,13 +5099,13 @@ P P S - S + P S P S P P - S + P P S S @@ -5113,13 +5113,13 @@ S P S - P S S S S S S + P S S S @@ -5129,7 +5129,7 @@ S S S - S + P S P P @@ -5140,28 +5140,28 @@ S S S - P + S P S P P S - P + S S S P P S P - P S S S - P S + P S S S + P S S S @@ -5176,7 +5176,7 @@ S S S - P + S S P S @@ -5189,19 +5189,19 @@ S S S - S - P P P P S P + S P P S - P S P + S + S P P P @@ -5211,10 +5211,10 @@ P P S + P S S - S - S + P P S S @@ -5223,7 +5223,6 @@ S S P - P S S S @@ -5231,18 +5230,19 @@ S S S - P - P S S P S + S + P P P - S P + S P S + S P P S diff --git a/naive_base_model.pkl b/naive_base_model.pkl index 784759f..cb3b449 100644 Binary files a/naive_base_model.pkl and b/naive_base_model.pkl differ diff --git a/predict.py b/predict.py index 4ddf6a4..0dc2c91 100755 --- a/predict.py +++ b/predict.py @@ -6,6 +6,7 @@ import re def clear_tokens(tokens, is_text=True): tokens = tokens.replace('\\n', ' ') + return tokens tokens = re.sub(r'\(((http)|(https)).*((\.com)|(\.net)|(\.jpg)|(\.html))\)'," ", tokens) tokens = re.sub(r'[\n\&\"\?\\\'\*\[\]\,\;\.\=\+\(\)\!\/\:\`\~\%\^\$\#\@\’\＞\″\±]+', ' ', tokens) tokens = re.sub(r'[\.\-][\.\-]+', ' ', tokens) @@ -22,7 +23,8 @@ def calc_post_prob(post, paranormal_class_logprob, sceptic_class_logprob, word_l text, timestap = post.rstrip('\n').split('\t') text = clear_tokens(text, True) tokens = text.lower().split(' ') - probs = {0.0 : 'sceptic', 0.0 : 'paranormal'} + #probs = {0.0 : 'sceptic', 0.0 : 'paranormal'} + probs = {} for class_ in word_logprobs.keys(): product = 1 for token in tokens: @@ -30,7 +32,7 @@ def calc_post_prob(post, paranormal_class_logprob, sceptic_class_logprob, word_l try: product += word_logprobs[class_][token] except KeyError: - pass + product += 0 # tu wzoru uzyj if class_ == 'sceptic': product += sceptic_class_logprob diff --git a/test-A/out.tsv b/test-A/out.tsv index 48c4cbd..c006842 100644 --- a/test-A/out.tsv +++ b/test-A/out.tsv @@ -9,80 +9,80 @@ S S S - S - S - S - P P S P P S S - P + S P S S P S S + S + P + P + S P S S S S - P S - P S P + S P P P P + S P + S + S P P S - P S - P S S S P P - P - P S S - P S S - P - P - P - P - P S S S - P + S + S + S S P + S P + S P + S P S S P + S + S P - P + S P S S S - P + S + S P P P @@ -94,35 +94,39 @@ S P S - P + S P P S + S P P P P + S + S + S + S P P S + P S + P S P S S + P + S S S - P - P - P - P S P S P S S - P S P P @@ -131,23 +135,19 @@ P P P - S P - S P P S P S - P - P S P P P S S - P + S P S S @@ -160,7 +160,10 @@ P S S - P + S + S + S + S S P S @@ -169,7 +172,10 @@ S S P + P S + P + P S S P @@ -179,68 +185,62 @@ P S S - P S S P - S - S + P S S P P - P S - P - P S S S S - P S P - S - S P + S P + S P P P S - P - P + S P S P P P + P S S P - P - P S P P + S P P + S P P P P - S P S S + P S S + P S S S S S - P S S P @@ -253,12 +253,12 @@ S P S - P S S - P - P - P + S + S + S + S S S P @@ -269,52 +269,52 @@ P S P - S - S - P P S P S S P - P - P - P + S + S P S S S S - P S - P S - P - P - P S S S - P S + P S + P S P S S + S P P S P S S - P S S P S - P + S + S + S + S + S + S + S + S + S S S P @@ -326,95 +326,89 @@ S S S + P S S S S - P - P S P P P P + P S S - P S S S - P S S - P S S S S S S - P S S S P + P + S + S + S S P S P P P - S P + S P P S S P - P - P S - P - P S - P S - P - P - P S P - P S - P S S S S + P S P + S + S P S S + P S P P P S S + P S + P + P S S - P S S S S S - P S S - P S S P @@ -423,6 +417,9 @@ S P S + P + S + S S P S @@ -431,17 +428,20 @@ P P P + P + P + P S S P S P - P S S + P + S S S - P S P P @@ -452,14 +452,14 @@ P P S - P - P - P S P P S - P + S + S + S + S P P P @@ -469,7 +469,7 @@ P S S - P + S P P S @@ -477,30 +477,32 @@ S S P - P S + P S S P S - S P P S + S P S P S S S + P + P S + P S S - P - P S S P + P S P S @@ -514,26 +516,19 @@ S P S - P - S S P S - P S S S - P S P - P + S P P S S - P - P - P S S P @@ -541,110 +536,115 @@ S S S + S + S + S + S + S P P P P S S - P - P S S - P S S S - P S S S P S S - P - P - P S - P - P + S + S S S P P P - S P + S + S P S P P + S P S + S P S + P S P P + S P P S + P S S S P + P S S P S P S - P - P - P S S - P S + P S P P S S - S - P P S S S + P + P S S S P P + S P P - S P S S P + S + S P S + S P S + P S S S S P P - P S P S P - P + S P P S @@ -663,27 +663,25 @@ S S S - P + S P S S S - P - P S P S P S S - P + S + S + S S S S P - P - P - P + S P P P @@ -692,14 +690,16 @@ P S S - P S S + P + P S S P P - S + P + P S S S @@ -715,19 +715,19 @@ P P P - P + S S P - P + S S P P S P S - P S P + S P S S @@ -735,55 +735,45 @@ S P S - P - P S S - P S - P - P - P + S P S P + S P P + S P P P S - P S - P S S P S P S - S P - S P + S P S S S - P S P S - P - P S P - P S S S P - P + S S P P @@ -792,36 +782,49 @@ S S S - S - S P P S - P + S + S P S S S S + S + S P P P + S P + P + S + S S S P + S P S S + P S P S S + S P S P P + S + S + S P + S + S P P S @@ -830,9 +833,6 @@ S P P - P - P - S S P P @@ -840,7 +840,7 @@ S P S - P + S P P P @@ -851,12 +851,12 @@ S S P - P - P S + P S P P + P S P P @@ -870,9 +870,9 @@ P S P - P - S S + P + P S S S @@ -883,25 +883,28 @@ S S P + P S S P P - P - P S S - P - P + S P P S P - P + S + S + S P S P + S + S P + S P S S @@ -909,76 +912,73 @@ S S S + P + S S S - P - P S - P S - P S - P S P P P - P - P - P - P + S + S P S S S S + S P + S P P S S - P - P + S + S S S S P + S P P + S P - P - P - P + S S P S S + P S S S P P - P S P S P S S - P S S - P - P - P S P P S + S P S + P S P + P + S S P P @@ -987,92 +987,85 @@ P P S - P + S P P S P P S - P S - P + S + S P P P S - P S S S S P + S P - P + S P S S S P - P + S P S S S S - P S - P S P - P - P S S - P - P - S S S S - P S S S - P S S P + S P S S S + P S S - P S S S S - P - P S - P S S P + S + S P + S P P - P - P + S P S P + S + S + S P P S - P S S P @@ -1080,49 +1073,56 @@ S S P - P - P - P + S S P S + S + S + S + S P S + S P + S P + S P P S - S P S + S P P P P - P + S + S + S P S P P P S - P S S - P - P S - P S S S - P + S + S S S P P S + P + P + S S S P @@ -1130,14 +1130,14 @@ S P P - P S S S S P + S P - P + S S P S @@ -1147,7 +1147,7 @@ P P S - P + S S S S @@ -1163,28 +1163,28 @@ P P S - P - P S S S - P S - P - P + S + S S P P - P + S P S S + P S S P S - S P + S + S + S P S P @@ -1200,8 +1200,10 @@ S P S + S + S P - P + S P P P @@ -1216,36 +1218,54 @@ S S S + P S + P + P + P + P + P S S + P S S P S S S + P S S P S + S + S + S + S + S + S P P S S S + S + P + P P S S - P S P S + S P P S S S + P S S S @@ -1253,46 +1273,30 @@ S P P - P S S P - P - P S - P - P + S P S S P - P S - P + S S S P P S S - P - P - P - P S P P - P S S S - P - P S - P - P - P - P S P S @@ -1302,25 +1306,26 @@ S S S - S P - S + P P S S - P S + P S P P P P + S + S P P P S S - P + S S P S @@ -1328,35 +1333,28 @@ S S P - P - S S P P - S P S - S - S - S P P S + S P S S P P - P + S S P - P - P + S P P S P - P S P S @@ -1365,41 +1363,32 @@ P S S - P - P S - P S - P - P S P S - P - P - P - P S - P - P S P S + S P S P + S P + S + S P S S S S S - P - P S - P - P + S + S P S S @@ -1407,25 +1396,36 @@ S P P + P + P S S P S S S + S + P P S S P S S + S P S + S P P S P S + S + S + S + P + P P S P @@ -1433,16 +1433,16 @@ P S S - P S S S S + P S P S S - P + S S S S @@ -1451,28 +1451,28 @@ P P S - P + S P S S P P P + S + S + S + S P S S - P - P S S - P S S - P - P S - P - P + S + S + S S P P @@ -1493,7 +1493,7 @@ S P S - P + S S S S @@ -1506,22 +1506,22 @@ S S P - S - S P + S P S S - P S + P S P + S P P S P S - P + S S S S @@ -1531,32 +1531,26 @@ S S S - P - P - P - P - P - S S S P P P P - P S P P S - S - P P + S P S P + S + S + S P P - S P S P @@ -1567,14 +1561,10 @@ S S P - P S - P - P - P S - P - P + S + S S P P @@ -1582,65 +1572,75 @@ P P S - P - P - P S S - P - P S - P S S P S P - P S S - P - P - P - P S P P S + S P P + S + S + S + S P + S + S P P S P - P + S S S P P P - P + S + S + S P S S + S P S P + S P + S P P S S - P + S + S + S + S P S + S + S P P P S P + S + P + S P + S P S P @@ -1656,9 +1656,9 @@ P S P - S P - S + P + P S S S @@ -1666,28 +1666,28 @@ P S S - P + S P S P S S - P S - P - P S S P - P - P S S - P S P + S + S + S + S P S + S + S P P S @@ -1701,34 +1701,33 @@ P S P - P S S - P S + P S S S P + S P S S - P - P S P - P - P + S S P P S S P + S + S + S P P S - P S P P @@ -1737,9 +1736,10 @@ P P P - S P S + S + S P P P @@ -1747,31 +1747,31 @@ S P P - P S S - P S - P S P - S P P S + S P P S - S - P P + S + S + S P P + S + S P P S P - S + P P S S @@ -1781,35 +1781,35 @@ P P P - P S - P S P S S S S + S + S P P S S - P S - P S S - P + S + S + S P S S S S - P S S - P S + P + P S P S @@ -1823,12 +1823,12 @@ P P S - P S P S S S + S P S P @@ -1840,26 +1840,24 @@ P S P - P + S S S P S S S + S + S P P P - P - S S - P S S S S S - P S P S @@ -1867,27 +1865,29 @@ S P S - P S S + P S S - P S P P P - S P P S + S P P S P S + S P S + S + S P P S @@ -1897,35 +1897,45 @@ S S S + P S + P + P + P + P S S P P P + P S S S P - P S S + P + P + S + P S + P S S S + P S S S S - P S P S S - S P S + P S S S @@ -1936,87 +1946,76 @@ S S P - P + S P S S + S + S P + S P P P + S + S P P S - P S - P S S S P P - P S S - P - P - P S S S S - P - P + S P S S - P + S S P S S P - S P P S - P - P S P - P - P S P S S P - P - P - P S S P S - S + P S P P S - P S S + P S S S S P - P S + P S P P - S P P S @@ -2024,42 +2023,35 @@ S P P + S P S P S S P - P - P S P S P S S - P - P - P - S S S S P + P + S S S - P - P S - P S S S - P - P P P S + P S S S @@ -2069,21 +2061,22 @@ P S P + S P P P S - S P S P - P S S P + S + S P - P - P + S + S P S S @@ -2092,31 +2085,38 @@ P S P + S + S P P P - P + S + S + S P S S P + S + S P S S + S P P S S S - P S P P + P S S P - S P + S P S S @@ -2127,8 +2127,8 @@ P S S - S - S + P + P P P S @@ -2138,25 +2138,31 @@ P S P - P + S P P P S - P + S P P S P + S + S P - P + S P S P S P S + S + S + S P + S P P S @@ -2166,23 +2172,26 @@ P P S + S P P - S P S - S + P S P + S P P S - P S P S + S P + S P + S P P P @@ -2192,30 +2201,21 @@ S S S - P - P - S S S P S - P S - P S P S - S - P P S - P S - P S S S - P + S S P P @@ -2226,26 +2226,26 @@ S P P - P - P - P S S - P - P + S S P S S S + S P S + S P S S S + S P P + S P S P @@ -2254,10 +2254,10 @@ S P S + P S S S - P S S P @@ -2265,6 +2265,7 @@ S S S + P S S P @@ -2272,21 +2273,20 @@ S S S - S P S P - P + S S P - P + S S P P - S P P S + S P P P @@ -2299,51 +2299,51 @@ P S S - P + S P P S S P - P + S S P S S P S + S + S P + S P S S - P S S P - P - P S S S - P S P - S P + S + S + S P P S S S S - P S - P - P S + P S S S + P S P S @@ -2352,7 +2352,7 @@ P S S - P + S S S S @@ -2371,19 +2371,19 @@ S P P - S - S - S + P + P + P S P S P P P - S P P - S + P + P S P S @@ -2391,63 +2391,63 @@ S P S - S - S + P S S P S S S + S P S P S S - P S P S P S + S P P S P - S P S - P S + P S S S P P - P S S - P S S - P - P S - P S - P - P - P + S P S S S + S P + S P P S + S + S + S P - P + S + S + S + S P P S @@ -2457,6 +2457,7 @@ S P S + S P P P @@ -2465,19 +2466,16 @@ P P P - P - P - P - P + S + S + S P P S S S S - P S - P S P S @@ -2486,53 +2484,55 @@ S S S - P - P S S - P - P - P S - P - P + S S S S P - P + S P S S S + S + S P + S P S S P P + P S + S + P P S S P + S + P P P + S P P S S S - P S P S - P + S S S P P - P + S S P P @@ -2546,17 +2546,17 @@ P S S - S P P + S P S S - P S S S P + P S P P @@ -2566,9 +2566,8 @@ S S S - P - P S + P S P P @@ -2576,19 +2575,20 @@ P P S + P S S P P S - S - S - P P + S P S S S + S + S P P S @@ -2599,34 +2599,28 @@ S P P - P + S P P P P S + P S S P P S P - P S S S S P S - P - P - P - S S P S - P - P S S P @@ -2638,28 +2632,36 @@ P P S - S P + S + S P S S + S P S + S + S P + S P S S S - P S + P S P S + S P P P S - P + S + S + S S S S @@ -2668,8 +2670,10 @@ P P P - P - P + S + S + S + S S S S @@ -2679,67 +2683,54 @@ S P P + P S S S - P - P S S - P S S S - P S S - P - P S S S P - P S P S - P S - P - P - P - P S P S - P S P - P - P - P - P S P + S P S S P P + P S S + P S + P S S S S + P S P S S - P S - P S P S @@ -2754,25 +2745,34 @@ S P S - S P S - P + S + S S P + S P + S + S + S P P - P + S P P P S P + S + S P + S P S + P S + P S S S @@ -2780,18 +2780,18 @@ P S P + S + S P P P - P - P - P + S P S S S P - S + P P S P @@ -2800,23 +2800,23 @@ S P S - P S P P + P + P S S P S - P S S S S P + P S S - P S P S @@ -2830,14 +2830,14 @@ S S S - S + P S P S S + P S S - P S P S @@ -2845,26 +2845,26 @@ S S S - P + S P P S S - S + P P S S S S - S + P P S + S P P P S S - S P S S @@ -2881,27 +2881,27 @@ S S P + S P + S + S P S + P S S S P P - S P S P S S - P - P S S S - P - P + S S P S @@ -2914,14 +2914,14 @@ P P S - P S P S S S + S P - P + S S S P @@ -2931,64 +2931,64 @@ S P P - P + S S P S S - P S S S - P S P S P - P S P S + S P + S P P + S P P S S - S + P P P S S S P - S P P P S + S P P S S S S - P + S + S + S S P P S P - S - S P S P S S P - S + P P P S @@ -2996,25 +2996,25 @@ P S S - P - P S P S P - P S P + P S P P - S P P + S P P P S + S + S P P S @@ -3022,71 +3022,70 @@ S P S - P + S S P S P P S - S + P S P S S P - P S P - S P S P S S - P - P S S - P - P - P S P S + S P P + S + S P + S P S S - P S S S S - P S - P - P + S + S + S + S + S P P S P + S P P P P S + P S - S + P S S P S S P - P S S S @@ -3094,12 +3093,13 @@ S S S - P + S P S S - P - P + S + S + S S S P @@ -3109,7 +3109,7 @@ S P S - P + S S P S @@ -3122,37 +3122,37 @@ S P S - P + S S S S P P S + S P S S S - P S - P S - P - P + S P S S + S + S P P - P - S S S P + S P P P S + S P S P @@ -3167,22 +3167,14 @@ P S S - P S S S S - P - P S - P S S - P S - P - P - P S S S @@ -3191,47 +3183,50 @@ P P S + S + S P S S P P S + S + S + S + S + S + S P P P S S P - P S S S S S - P S - P S - P + S P S P P - S P S P + S P S S S S P - P S P - P S P S @@ -3239,13 +3234,18 @@ P S S + S + S P - P + S + S P S S S - P + S + S + S P S P @@ -3274,7 +3274,7 @@ P S S - P + S P P S @@ -3283,13 +3283,15 @@ P S S - P + S P P S P S - P + S + S + S S S P @@ -3297,18 +3299,16 @@ P S S + P + S S S P P S S - P - P S - P S - P S S P @@ -3316,19 +3316,19 @@ P P S - P S - P - P S - P + S S S P + S + S P P P - P + S + S P S S @@ -3360,7 +3360,7 @@ S P P - P + S P P P @@ -3382,14 +3382,14 @@ S S S - S P P P - S P S P + P + S S P S @@ -3399,27 +3399,27 @@ S P P + P S S P - P - P S S S - P S + P + P S P P P - S P S P - S P S + P + P S S P @@ -3433,66 +3433,66 @@ S S S - S - S P S P - P S S P S - P - P S S - P + S P S + P S P P S + S P + S P P S + P S S S - P S - P - P - P S S S P + S + S P S P P P - S P S - P S S P S S P + S + P + S P + S P S S S S S - P + S + S P S S @@ -3503,7 +3503,7 @@ S S P - P + S S P S @@ -3514,9 +3514,9 @@ S P P + P S S - P S P S @@ -3526,21 +3526,20 @@ P S S - P S S S - P + S S P P - S + P S S S S P - S + P S S S @@ -3548,30 +3547,22 @@ S S P - S P S S P P - P - P - P - P S - P - P - P S - P S S S P - P S P P + S + S P S S @@ -3580,11 +3571,10 @@ S S P - P S P - P - P + S + S S P S @@ -3596,26 +3586,34 @@ P P S - S + P P S + S P P S + S P P + S P + S P + S + S + S + S P P - S P P S S - S P S + S + S P P S @@ -3624,6 +3622,8 @@ S S S + S + S P S P @@ -3631,23 +3631,23 @@ S S P - P + S P P S P S S + P S S - P S S S P S - P S + P S P S @@ -3672,23 +3672,23 @@ S P S - S - P - P P P S S P + S + S P P S P S - S P S + P S + P S S P @@ -3707,50 +3707,50 @@ P S S - P - P + S + S P S P S S + P S S P - P S P S S S - S - S - S - S P S P + S P + S P S S - P S S P S + P + P S S P P S P + P S P S S - P - P + S + S S P S @@ -3760,35 +3760,35 @@ S P P - P + S P S + S P P - S P S S S - P + S P P S P S S - P S P - S + P S S S P S + S + S P - P - P + S S P S @@ -3796,7 +3796,7 @@ S S P - P + S P P S @@ -3808,31 +3808,31 @@ S S P - S P P P P P - S P S P + S + S P S P S S P - P - P S P - S P P + S + S P P + S P P P @@ -3841,24 +3841,24 @@ S S S + S P - P - P + S P S P P - S + P P P S P P - S + P P S S - S + P P S S @@ -3873,68 +3873,68 @@ S S P - P + S S P - P + S S P + S + S P S S S P P - S P P + S P S P P P S - P S S S S + P + P + P S S S P - S P S P - P S P P P P + S + S + P P P S S + P S S S S S - P - S - P S S S S P S - S P - P - S S P S @@ -3947,21 +3947,16 @@ P P S - P - P - P - P + S P S S P - P - P - P - P S S P + P + P S P S @@ -3975,13 +3970,11 @@ S P S - S - S P P S P - S + P S S P @@ -3989,11 +3982,17 @@ S P S + S + S P S + S + P + P P S P + S P S S @@ -4006,8 +4005,15 @@ P S S + S + S + P + P + S P P + S + S P S P @@ -4019,27 +4025,21 @@ P S S - P S P - P S - P S S - P - P - P S - P + S S P - P + S P S S S - P + S P P S @@ -4048,9 +4048,9 @@ S P P - P - P - P + S + S + S P P P @@ -4061,75 +4061,75 @@ S S P - S + P P S S P S P - P S - P - P S P - P - P S S - P - P S P P S S S - P - P S S P P S + P S P S S + S + S P P P P S + S + S P S + S P S S + P S S S S P - P S P + P S P P - S - S - S - S + P + P P S P + S P P P S + S P + S + S P S P @@ -4140,16 +4140,16 @@ S P P + S P + S + S P P P P S - P S - P - P S S P @@ -4159,25 +4159,25 @@ P P S - P + S + S S S S P - P - P + S P S P S S P - P - P - P + S P P S + S + S P S P @@ -4193,16 +4193,15 @@ S S S - S P P S S S + S P P S - S P S S @@ -4212,49 +4211,50 @@ S S S - P S S P S + S + S + S P S P P P - S P S - S + P P P S S S P - P - P S S S - P S S S - P - P + S + S S P + S + S P - P - P + S + S P S P S P P - S + P + P S S S @@ -4266,22 +4266,22 @@ S P P - P - S - P S - P S S S P + S + S P + S P P S S - P - P + S + S + S P P S @@ -4300,24 +4300,24 @@ P P S - P - P S - P - P S - P S S S S P - P - P S - P + S + S + S + S S P + S + S + S + S P S S @@ -4325,14 +4325,14 @@ S S S - P + S P S S S - P - P - P + S + S + S P P P @@ -4343,15 +4343,18 @@ S S S - P + S P P S + P + P S + P S S P - P + S S P S @@ -4362,33 +4365,30 @@ P P S - P S S S P S - S - S P P S P S + S P P S S S - S - S + P S S S P S P - P + S P S S @@ -4396,9 +4396,9 @@ P P S - P S - P + S + S S S P @@ -4407,7 +4407,7 @@ P P S - P + S S P P @@ -4416,12 +4416,12 @@ S P P - P S - P S S S + S + P P P S @@ -4431,23 +4431,23 @@ P P S + P S S - P S P P S P + S P - P + S + S S P P P P - P - P S S S @@ -4457,20 +4457,20 @@ S P P - S P P P P - S P S + P S S S + P + P S S - P S P P @@ -4489,31 +4489,24 @@ S P S - P - S S S P + S P S S S S - P - P S S - P - P S S - P - P - P - P S P S + S + S P P P @@ -4522,9 +4515,10 @@ S S S - S P P + P + S S S S @@ -4537,12 +4531,16 @@ P P P - P S S S + S + S + P P S + S + S P P P @@ -4550,6 +4548,8 @@ S P S + P + S S S P @@ -4559,68 +4559,72 @@ S S P - P - P S + P S S S S P S - P S S + S + P P S S - P S - P S + P S S P P P P - S + P S S P - S P S - S + P S S P + S P + S P S S + S P S S - P - P - P - P + S S P S S S + S + S P P S P S S + P + P + S S S P S + S P P S @@ -4632,40 +4636,36 @@ P P P - S P + S + S P S P S S - P S - P - P S - P S - P S - P - P - P - P - P S S S S P - P S - P - P + S + S + S S P + S + S + S + S + S P - P + S P P S @@ -4674,51 +4674,51 @@ S P S + S P - P - P + S P P S S - P S S S S - P S - P - P S - P S S S - P + S + S + S + S S P - P + S P S P + S P S S S + S P S S S S - P + S S P S S P P - P + S P S S @@ -4726,11 +4726,9 @@ S S P - P S P - P - P + S S P S @@ -4738,14 +4736,16 @@ S S S + S + S P P P S - S - P P + S P + S P S P @@ -4755,8 +4755,8 @@ S S S - P - P + S + S S S P @@ -4764,7 +4764,7 @@ P P S - S + P P S S @@ -4781,20 +4781,20 @@ P S S - S - P - P - P - P P S - P + S + S P S S P S S + S + P + P + S P S P @@ -4806,15 +4806,15 @@ S S S + P S S S S S P - P - S S + P S P S @@ -4822,34 +4822,28 @@ P S S - P S S - P S P S - P S S P S + S P S S S S - P S - P - P S P S P S S - S P S S @@ -4857,30 +4851,33 @@ S S S - P - P - P S S P - P S S S S S + P + S + S S S - P - P S P + S P S S S S + P + S + P + P S + P S S S @@ -4889,32 +4886,35 @@ P S P - S + P S P S S P P + S + P P P P S S - P S P - P S P + S + S + S + S P P S S - P S S - P + S P S S @@ -4924,64 +4924,63 @@ S P P - P - P S P - P S S S - P - P - P S - P - P + S S P P - P + S + S S P + S P P + S + S P S S P S + S + S + S P P P S - P - P S P S P + S P + S P S S - P S P P - P S S S S S S - P + S P S S S - P + S + S P P S @@ -4989,11 +4988,12 @@ S S S - P S P + S P S + S P P P @@ -5001,18 +5001,18 @@ P S P - S + P S P S S S + S P P S S S - S P P S @@ -5027,21 +5027,20 @@ P S P - P - P - P S P S S S + P + P + P S S S S S P - P S S S @@ -5049,33 +5048,34 @@ S S S - P S P P P S + P S P + S P S S P P S - S P P P - S + P S S P S S + S P P - P + S P S P @@ -5086,8 +5086,8 @@ S S P - P S + P S P P @@ -5096,19 +5096,17 @@ S S S - P S S - P + S P S S - P - P S - P S - P + S + S + S S S S @@ -5117,36 +5115,38 @@ P S P + S + S P P P S + P S S S - S - P - S P S P P - S P P S P - P S - P S P S S S S + S + S + S + S + P + P P P P P - S diff --git a/train.py b/train.py index 2394882..4e5fbf7 100755 --- a/train.py +++ b/train.py @@ -23,6 +23,7 @@ def calc_class_logprob(expected_path): def clear_tokens(tokens, is_text=True): tokens = tokens.replace('\\n', ' ') + return tokens # delete links, special characters, kropki, and \n tokens = re.sub(r'\(((http)|(https)).*((\.com)|(\.net)|(\.jpg)|(\.html))\)'," ", tokens) tokens = re.sub(r'(|\-|\_)([a-z]+(\-|\_))+[a-z]+(|\-|\_)', ' ', tokens)