s444341/Przetwarzanie_tekstu
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

FLAN-T5 kilka wersji

Browse Source
This commit is contained in:
MikolajPaterka 2023-02-17 19:21:51 +01:00
parent db977db1a5
commit 2392c398de
7 changed files with 27 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

22
projekt/README.md
View File

@ -96,4 +96,24 @@ Dzięki głowie modelu, która jest przeznaczona specjalnie do zadania klasyfika
### T5 oraz FLAN-T5
Modele T5 oraz FLAN-T5 to modele text-2-text, których głównym celem jest multizadaniowość. Nie są zoptymalizowane do zadania klasyfikacji, ale mimo to osiągnęły dobry wynik. W modelu T5 bardzo ważne jest określnie zadania w prefixie inputu, które będzie wykonywał model. Testowaliśmy różne kombinacje - brak prefixu, dokładny opis zadania, różne klasy wyjściowe, ale najlepsze rezultaty uzyskał prefix 'binary classification: ' z klasami wyjściowymi '0' lub '1'. Niski MCC świadczy o niezbalansowaniu predykcji.
<br/><br/>
FLAN-T5 to zoptymalizowany model T5. Został dodatkowo finetunowany na większym zbiorze danych. Przy uczeniu FLAN-T5 zastosowaliśmy metodę few-shot learning. Model mimo bardzo małej ilości przykładów osiągnął accuracy na poziomie 46%, jednak wynik MCC wskazuje na duże niezbalansowanie i losowe predykcje. Jest to jednak bardzo ciekawe, że wykorzystując tylko 4 przykady do uczenia, model może odpowiadać z pasującymi wynikami (niekoniecznie prawdziwymi).
FLAN-T5 to zoptymalizowany model T5. Został dodatkowo finetunowany na większym zbiorze danych. Przy uczeniu FLAN-T5 zastosowaliśmy metodę few-shot learning. Model mimo bardzo małej ilości przykładów osiągnął accuracy na poziomie 46%, jednak wynik MCC wskazuje na duże niezbalansowanie i losowe predykcje. Jest to jednak bardzo ciekawe, że wykorzystując tylko 4 przykady do uczenia, model może odpowiadać z pasującymi wynikami (niekoniecznie prawdziwymi).
### FLAN-T5 - testy
|Wersja|Rozmiar|Prefiks|Acc|
|---|---|---|---|
|1|base|SMS - Content of the text message: <br />Result - Answer if this text message is spam or not|0.503593244699964|
|2|large|SMS - Content of the text message: <br />Result - Answer if this text message is spam or not|0.46119295724038806|
|3|base|SMS - The text message contains the following content: <br />Result - Is it true that the content of a text message is spam:|0.2551203736974488|
|4|large|SMS - The text message contains the following content: <br />Result - Is it true that the content of a text message is spam:|0.1433704635285663|
|5|base|SMS - The text message: <br />Result - Is this sms spam? Ans:|0.28404599353215954|
|6|large|SMS - The text message: <br />Result - Is this sms spam? Ans:|0.20786920589292132|
### Modele FLAN_T5
1. https://drive.google.com/drive/folders/1XO2TEMIKKFXCwpeW1X51hpC89LShCZ6c?usp=share_link
2. https://drive.google.com/drive/folders/1-3DEVCcxhRGSmEVx3jK4SUVVIUixNKqS?usp=share_link
3. https://drive.google.com/drive/folders/1-0Ct4JFzRhyo3bGuOc9ttZhaV4ghQRFx?usp=share_link
4. https://drive.google.com/drive/folders/1-1YgvI9-2cpkRO1hSlYU-hJFH2a1rmDp?usp=share_link
5. https://drive.google.com/drive/folders/1-4KINMK9L_VyCZGpCDueazmF2DUbRXTn?usp=share_link
6. https://drive.google.com/drive/folders/1-3gQuzZVq6IMqcY1nDu2hazVD0dN6F-K?usp=share_link

1
projekt/Ver1_FLAN-T5_sms_spam.ipynb Normal file
View File

File diff suppressed because one or more lines are too long

1
projekt/Ver3_FLAN-T5_sms_spam.ipynb Normal file
View File

File diff suppressed because one or more lines are too long

1
projekt/Ver_2_FLAN-T5_sms_spam.ipynb Normal file
View File

File diff suppressed because one or more lines are too long

1
projekt/Ver_4_FLAN-T5_sms_spam.ipynb Normal file
View File

File diff suppressed because one or more lines are too long

1
projekt/Ver_5_FLAN-T5_sms_spam.ipynb Normal file
View File

File diff suppressed because one or more lines are too long

1
projekt/Ver_6_FLAN-T5_sms_spam.ipynb Normal file
View File

File diff suppressed because one or more lines are too long