{ "cells": [ { "cell_type": "code", "execution_count": 1, "id": "initial_id", "metadata": { "collapsed": true, "ExecuteTime": { "end_time": "2024-05-18T13:48:56.414451700Z", "start_time": "2024-05-18T13:48:54.900019200Z" } }, "outputs": [], "source": [ "# Read in the data and clean up column names\n", "import gensim\n", "import numpy as np\n", "import pandas as pd\n", "from sklearn.model_selection import train_test_split\n", "pd.set_option('display.max_colwidth', 100)\n", "data = pd.read_csv(\"train.tsv\", sep=\"\\t\", on_bad_lines='skip')" ] }, { "cell_type": "code", "execution_count": 2, "outputs": [ { "data": { "text/plain": " label \\\n0 1 \n1 0 \n2 1 \n3 0 \n4 1 \n\n text \n0 Przyjmujący reprezentacji Polski wrócił do PGE Skry Bełchatów Tylko rok trwał rozbrat Artura Sza... \n1 FEN 9: Zapowiedź walki Róża Gumienna vs Katarzyna Posiadała (wideo) Podczas Fight Exclusive Nigh... \n2 Aleksander Filipiak: Czuję się dobrze w nowym klubie Aleksander Filipiak w przerwie letniej zami... \n3 Victoria Carl i Aleksiej Czerwotkin mistrzami świata juniorów na 5 i 10 kilometrów Biegi na 5 i ... \n4 Świat poznał ją na mundialu. Francuska WAG czaruje pięknym ciałem Rachel Legrain-Trapani to jedn... ", "text/html": "
\n | label | \ntext | \n
---|---|---|
0 | \n1 | \nPrzyjmujący reprezentacji Polski wrócił do PGE Skry Bełchatów Tylko rok trwał rozbrat Artura Sza... | \n
1 | \n0 | \nFEN 9: Zapowiedź walki Róża Gumienna vs Katarzyna Posiadała (wideo) Podczas Fight Exclusive Nigh... | \n
2 | \n1 | \nAleksander Filipiak: Czuję się dobrze w nowym klubie Aleksander Filipiak w przerwie letniej zami... | \n
3 | \n0 | \nVictoria Carl i Aleksiej Czerwotkin mistrzami świata juniorów na 5 i 10 kilometrów Biegi na 5 i ... | \n
4 | \n1 | \nŚwiat poznał ją na mundialu. Francuska WAG czaruje pięknym ciałem Rachel Legrain-Trapani to jedn... | \n
\n | label | \ntext | \ntext_clean | \n
---|---|---|---|
0 | \n1 | \nPrzyjmujący reprezentacji Polski wrócił do PGE Skry Bełchatów Tylko rok trwał rozbrat Artura Sza... | \n[przyjmujący, reprezentacji, polski, wrócił, do, pge, skry, bełchatów, tylko, rok, trwał, rozbra... | \n
1 | \n0 | \nFEN 9: Zapowiedź walki Róża Gumienna vs Katarzyna Posiadała (wideo) Podczas Fight Exclusive Nigh... | \n[fen, zapowiedź, walki, róża, gumienna, vs, katarzyna, posiadała, wideo, podczas, fight, exclusi... | \n
2 | \n1 | \nAleksander Filipiak: Czuję się dobrze w nowym klubie Aleksander Filipiak w przerwie letniej zami... | \n[aleksander, filipiak, czuję, się, dobrze, nowym, klubie, aleksander, filipiak, przerwie, letnie... | \n
3 | \n0 | \nVictoria Carl i Aleksiej Czerwotkin mistrzami świata juniorów na 5 i 10 kilometrów Biegi na 5 i ... | \n[victoria, carl, aleksiej, czerwotkin, mistrzami, świata, juniorów, na, kilometrów, biegi, na, k... | \n
4 | \n1 | \nŚwiat poznał ją na mundialu. Francuska WAG czaruje pięknym ciałem Rachel Legrain-Trapani to jedn... | \n[świat, poznał, ją, na, mundialu, francuska, wag, czaruje, pięknym, ciałem, rachel, legrain, tra... | \n
\n | 0 | \n
---|---|
0 | \n1 | \n
1 | \n1 | \n
2 | \n0 | \n
3 | \n1 | \n
4 | \n1 | \n
... | \n... | \n
5439 | \n1 | \n
5440 | \n1 | \n
5441 | \n1 | \n
5442 | \n0 | \n
5443 | \n1 | \n
5444 rows × 1 columns
\n