moj-2024/lab/00_Informacje_na_temat_przedmiotu.ipynb

Modelowanie języka

0. Informacje na temat przedmiotu [ćwiczenia]

Informacje ogólne

Kontakt z prowadzącym

prowadzący: dr Paweł Skórzewski

Najlepiej kontaktowąć się ze mną przez MS Teams lub mailowo (pawel.skorzewski@amu.edu.pl).

Literatura

Polecana literatura do przedmiotu:

• Koehn, P. (2009). Statistical Machine Translation. Cambridge: Cambridge University Press. doi:10.1017/CBO9780511815829
• Philipp Koehn. "Neural Machine Translation". 2020.
• https://web.stanford.edu/~jurafsky/slp3/3.pdf
• Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Association for Computational Linguistics (NAACL).
• Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu. 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research vol 21, number 140, pages 1-67.
• Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya. 2019. Language Models are Unsupervised Multitask Learners
• https://jalammar.github.io/illustrated-transformer/
• https://www.youtube.com/watch?v=-9evrZnBorM&ab_channel=YannicKilcher
• https://www.youtube.com/watch?v=u1_qMdb0kYU&ab_channel=YannicKilcher

Podział materiału

Materiał — zarówno na wykładzie, jak i na laboratoriach — podzielony jest na trzy, mniej więcej równe objętością, działy:

1. Podstawy modelowania języka.
2. Neuronowe modele języka (bez sieci Transformer).
3. Sieci Transformer.

Zasady zaliczenia laboratoriów

Zaliczenia z laboratoriów uzyskujemy przez zdobywanie punktów za zadania i projekty. Zasadniczo punkty zdobywamy poprzez wykonywanie zadań na bieżąco na ćwiczeniach lub najpóźniej do kolejnych zajęć. Dodatkowo będzie też możliwość zdobywania punktów poprzez wykonywanie projektów.

Na ogół na każdych ćwiczeniach jest do zdobycia 40 punktów, z czego zazwyczaj 20 punktów będzie do zdobycia za wykonanie części zadania od razu w trakcie zajęć. W praktyce oznacza to, że jeżeli ktoś ma wpisaną obecność na zajęciach, to uznaje się, że całość zadania została wykonana na zajęciach.

Przelicznik punktów na ocenę:

• -299 — 2
• 300-349 — 3
• 350-399 — 3+
• 400-449 — 4
• 450-499 — 4+
• 500- — 5

⚠️ Dodatkowo przyjmuje się następujące ograniczenie: za każdy dział można zdobyć nie więcej niż 200 punktów.

Technicznie rozwiązania zadań zgłaszamy na platformie Moodle lub na platformie Gonito (w zależności od zadania).

Łącznie do zdobycia będzie co najmniej 600 punktów.

Obecność na zajęciach

Obecność na zajęciach jest obowiązkowa. Nieobecność może być usprawiedliwiona w przypadku choroby potwierdzonej zwolnieniem lekarskim. Dopuszczalne są maksymalnie 3 nieusprawiedliwione nieobecności.