.gitignore | ||
flan-t5.ipynb | ||
GPT2.ipynb | ||
README.md | ||
RobertaSequanceClassification.ipynb | ||
T5Classification.ipynb |
Projekt na przedmiot Uczenie głębokie w przetwarzaniu tekstu
Skład grupy:
- Michał Kozłowski 444415
- Szymon Jadczak 444386
Modele:
- RobertaForSequenceClassification
- GPT2ForSequenceClassification
- T5
- FLAN-T5
Accuracy test split
- RobertaForSequenceClassification -> 0.9392201834862385
- GPT2ForSequenceClassification -> 0.9174311926605505
- T5 -> 0.9129464285714286
- FLAN-T5 -> 0.903114186851211
Trenowanie
- Google Colab
Link do modeli na google drive
https://drive.google.com/drive/folders/1GWNah7-LZI7jrFzUpL9Le1E7b73RutbU?usp=sharing
Linki do poszczególnych modeli na huggingface oraz wykresów na tensorboard znajdują się w notatnikach
Dataset:
- Orginalny dataset: https://huggingface.co/datasets/sst2
- Przetworzony dataset: https://huggingface.co/datasets/Zombely/sst2-project-dataset