moj-2024-ns-cw/sprawy_organizacyjne.ipynb

Informacje ogólne

Prowadzący

mgr Ryszard Staruch

Kontakt: mail (ryssta@amu.edu.pl) lub przez Teamsy

Literatura

Polecana literatura do przedmiotu:

• Koehn, P. (2009). Statistical Machine Translation. Cambridge: Cambridge University Press. doi:10.1017/CBO9780511815829
• Philipp Koehn. "Neural Machine Translation". 2020.
• https://web.stanford.edu/~jurafsky/slp3/3.pdf
• Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Association for Computational Linguistics (NAACL).
• Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu. 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research vol 21, number 140, pages 1-67.
• Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya. 2019. Language Models are Unsupervised Multitask Learners
• https://jalammar.github.io/illustrated-transformer/
• https://www.youtube.com/watch?v=-9evrZnBorM&ab_channel=YannicKilcher
• https://www.youtube.com/watch?v=u1_qMdb0kYU&ab_channel=YannicKilcher

Gorąco polecane materiały uzupełniające (praktyczna strona przedstawiona w zrozumiały sposób)

https://www.coursera.org/learn/nlp-sequence-models?specialization=deep-learning#modules - kurs prowadzony przez prof. Andrewa Ng ze Stanfordu https://www.youtube.com/watch?v=kCc8FmEb1nY - 2 godzinny szczegółowy kurs zbudowania modelu języka opartego na architekturze transformer - prowadzony przez byłego pracownika OpenAI

Artykuły naukowe

• (2003) A Neural Probabilistic Language Model https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf
• (2013) Efficient Estimation of Word Representations in Vector Space https://arxiv.org/pdf/1301.3781.pdf
• (2017) Attention Is All You Need https://arxiv.org/pdf/1706.03762.pdf

Podział materiału

Materiał — zarówno na wykładzie, jak i na laboratoriach — podzielony jest na trzy, mniej więcej równe objętością, działy:

1. Podstawy modelowania języka.
2. Neuronowe modele języka (bez sieci Transformer).
3. Sieci Transformer.

Zasady zaliczenia laboratoriów

Zaliczenia z laboratoriów uzyskujemy przez zdobywanie punktów za zadania (oraz ewentualny projekt). Punkty zdobywamy poprzez wykonywanie zadań na bieżąco na ćwiczeniach lub najpóźniej 6 dni od dnia przeprowadzonych zajęć (czyli jeżeli zajęcia były przeprowadzone dnia 05.04.2024 to rozwiązanie należy przesłać najpóźniej do 11.04.2024 do godziny 23:59). Jeśli rozwiązania do zadań zostaną przesłane po terminie będzie za nie do zdobycia mniej punktów (około 75-80% całkowitej liczby punktów za dany zestaw zadań)

Przelicznik punktów na ocenę:

• 0-299 — 2
• 300-349 — 3
• 350-399 — 3+
• 400-449 — 4
• 450-499 — 4+
• 500- — 5

Technicznie rozwiązania zadań zgłaszamy na platformie Teams.

W celu zdobycia dodatkowych punktów (maksymalnie 250 punktów) będzie można wykonać projekt w formie zgłoszenia rozwiązania w wyzwaniu https://gonito.net/challenge/challenging-america-word-gap-prediction Swoje rozwiązanie należy zaprezentować na ostatnich zajęciach przed grupą (około 5 minut - co się zrobiło, jaki wynik się uzyskało, co pomogło/przeszkodziło w uzyskaniu najlepszego wyniku). Ilość punktów będzie zależała od:

• uzyskanego wyniku
• wykorzystanych narzędzi
• prezentacji

Łącznie (za zadania oraz projekt) do zdobycia będzie co najmniej 600 punktów.

ocena z ćwiczeń 5 = przepis z egzaminu

Obecność na zajęciach

Obecność na zajęciach jest obowiązkowa. Nieobecność może być usprawiedliwiona w przypadku choroby potwierdzonej zwolnieniem lekarskim. Dopuszczalne są maksymalnie 2 nieusprawiedliwione nieobecności. Jeżeli kogoś nie było na zajęciach to tak jak było wspomiane wyżej - jest 6 dni na wykonanie zadań od dnia, w którym odbywały się dane zajęcia.