#!/bin/sh

mkdir -p data
kaggle datasets download -p data --unzip clmentbisaillon/fake-and-real-news-dataset
##############################
INPUT_FAKE=data/Fake.csv
INPUT_TRUE=data/True.csv
DATASET=data/dataset.csv

# INPUT_FAKE=data/test.csv
# INPUT_TRUE=data/test.csv

FAKE_DATA=$(tail -n +2 $INPUT_FAKE)
TRUE_DATA=$(tail -n +2 $INPUT_TRUE)
DATA="${FAKE_DATA}\n${TRUE_DATA}"
# DATA =$(head -n $1 $DATA)
echo -e "$DATA" | shuf | head -n $1 > $DATASET
rm data/True.csv
rm data/Fake.csv