GPT2 custom & dataset metrics

2023-02-18 10:25:07 +01:00 · 2023-02-18 10:25:07 +01:00 · dc373e55a8
parent bb87963601
commit dc373e55a8
6 changed files with 18510 additions and 12979 deletions
--- a/projekt/BERT_sms_spam.ipynb
+++ b/projekt/BERT_sms_spam.ipynb
--- a/projekt/FLAN_T5_sms_spam.ipynb
+++ b/projekt/FLAN_T5_sms_spam.ipynb
--- a/projekt/GPT2_custom_sms_spam.ipynb
+++ b/projekt/GPT2_custom_sms_spam.ipynb
--- a/projekt/GPT2_sms_spam.ipynb
+++ b/projekt/GPT2_sms_spam.ipynb
--- a/projekt/README.md
+++ b/projekt/README.md
@ -62,6 +62,20 @@ Najważniejsze cechy:
 - Accuracy: 99%
 - MCC: 0.960

+### Transformer Decoder - GPT2 - modyfikacja
+Najważniejsze cechy:
+- wytrenowany model gpt2
+- typ modelu zmodyfikowany transformers.GPT2ForSequenceClassification - dodatkowe dwie warstwy liniowe
+- input modelu - treść smsa
+- output modelu - klasa 1 lub 2
+- finetuning na zbiorze treningowym
+  - adamW optimizer
+  - learning rate 2e-5
+  - 8 batch size
+  - 4 epoch
+- Accuracy: 99.1%
+- MCC: 0.958
+
 ### Transformer Encoder-Decoder - T5
 Najważniejsze cechy:
 - wytrenowany model t5-base
--- a/projekt/T5_sms_spam.ipynb
+++ b/projekt/T5_sms_spam.ipynb