Wykorzystaliśmy zbiór danych [sms spam](https://huggingface.co/datasets/sms_spam). Dataset posiada tylko zbiór treningowy dlatego w trakcie uczenia modeli podzielilśmy go losowo na 3 podzbiory (wyjątek few-shot learning):
- Matthews’s correlation coefficient - w skrócie accuracy, tylko bierze pod uwagę zbalansowanie zbioru, wyniki: -1 przeciwne predykcje, 0 losowe, 1 idealna predykcja.
SMS: Go until jurong point, crazy.. Available only in bugis n great world la e buffet... Cine there got amore wat...
Spam: False
SMS: Todays Voda numbers ending 7548 are selected to receive a $350 award. If you have a match please call 08712300220 quoting claim code 4041 standard rates app
Spam: True
SMS: LMAO where's your fish memory when I need it?
Spam: False
SMS: This message is free. Welcome to the new & improved Sex & Dogging club! To unsubscribe from this service reply STOP. msgs@150p 18+only
Spam: True
SMS: treść docelowego smsa
Spam:
```
- output modelu - tekstowo 'True' lub 'False'
- Ewaluacja na całym zbiorze bez 4 przykładów
- Accauracy: 46%
- MCC: -0.001
## Wnioski
### BERT oraz GPT2
Dzięki głowie modelu, która jest przeznaczona specjalnie do zadania klasyfikacji tekstu, modele osiągnęły prawie perfekcyjny wynik accuracy i MCC. Dalsze modyfikacje są zbędne, ponieważ nie poprawiłby znacząco rezultatów.
### T5 oraz FLAN-T5
Modele T5 oraz FLAN-T5 to modele text-2-text, których głównym celem jest multizadaniowość. Nie są zoptymalizowane do zadania klasyfikacji, ale mimo to osiągnęły dobry wynik. W modelu T5 bardzo ważne jest określnie zadania w prefixie inputu, które będzie wykonywał model. Testowaliśmy różne kombinacje - brak prefixu, dokładny opis zadania, różne klasy wyjściowe, ale najlepsze rezultaty uzyskał prefix 'binary classification: ' z klasami wyjściowymi '0' lub '1'. Niski MCC świadczy o niezbalansowaniu predykcji.
FLAN-T5 to zoptymalizowany model T5. Został dodatkowo finetunowany na większym zbiorze danych. Przy uczeniu FLAN-T5 zastosowaliśmy metodę few-shot learning. Model mimo bardzo małej ilości przykładów osiągnął accuracy na poziomie 46%, jednak wynik MCC wskazuje na duże niezbalansowanie i losowe predykcje. Jest to jednak bardzo ciekawe, że wykorzystując tylko 4 przykady do uczenia, model może odpowiadać z pasującymi wynikami (niekoniecznie prawdziwymi).
### FLAN-T5 - testy
|Wersja|Rozmiar|Prefiks|Acc|
|---|---|---|---|
|1|base|SMS - Content of the text message: <br/>Result - Answer if this text message is spam or not|0.503593244699964|
|2|large|SMS - Content of the text message: <br/>Result - Answer if this text message is spam or not|0.46119295724038806|
|3|base|SMS - The text message contains the following content: <br/>Result - Is it true that the content of a text message is spam:|0.2551203736974488|
|4|large|SMS - The text message contains the following content: <br/>Result - Is it true that the content of a text message is spam:|0.1433704635285663|
|5|base|SMS - The text message: <br/>Result - Is this sms spam? Ans:|0.28404599353215954|
|6|large|SMS - The text message: <br/>Result - Is this sms spam? Ans:|0.20786920589292132|