moj-2024-ns-cw/sprawy_organizacyjne.ipynb
2024-04-19 17:08:23 +02:00

97 lines
4.9 KiB
Plaintext

{
"cells": [
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# Informacje ogólne"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Prowadzący\n",
"\n",
"mgr Ryszard Staruch\n",
"\n",
"Kontakt: mail (ryssta@amu.edu.pl) lub przez Teamsy\n",
"\n",
"\n",
"## Literatura\n",
"Polecana literatura do przedmiotu:\n",
"\n",
"- Koehn, P. (2009). Statistical Machine Translation. Cambridge: Cambridge University Press. doi:10.1017/CBO9780511815829\n",
"- Philipp Koehn. \"Neural Machine Translation\". 2020.\n",
"- https://web.stanford.edu/~jurafsky/slp3/3.pdf\n",
"- Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Association for Computational Linguistics (NAACL).\n",
"- Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu. 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research vol 21, number 140, pages 1-67.\n",
"- Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya. 2019. Language Models are Unsupervised Multitask Learners\n",
"- https://jalammar.github.io/illustrated-transformer/\n",
"- https://www.youtube.com/watch?v=-9evrZnBorM&ab_channel=YannicKilcher\n",
"- https://www.youtube.com/watch?v=u1_qMdb0kYU&ab_channel=YannicKilcher\n",
"\n",
"\n",
"## Gorąco polecane materiały uzupełniające (praktyczna strona przedstawiona w zrozumiały sposób)\n",
"\n",
"https://www.coursera.org/learn/nlp-sequence-models?specialization=deep-learning#modules - kurs prowadzony przez prof. Andrewa Ng ze Stanfordu\n",
"https://www.youtube.com/watch?v=kCc8FmEb1nY - 2 godzinny szczegółowy kurs zbudowania modelu języka opartego na architekturze transformer - prowadzony przez byłego pracownika OpenAI\n",
"\n",
"\n",
"## Artykuły naukowe\n",
"* (2003) A Neural Probabilistic Language Model https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf\n",
"* (2013) Efficient Estimation of Word Representations in Vector Space https://arxiv.org/pdf/1301.3781.pdf\n",
"* (2017) Attention Is All You Need https://arxiv.org/pdf/1706.03762.pdf\n",
"\n",
"\n",
"## Podział materiału\n",
"\n",
"Materiał — zarówno na wykładzie, jak i na laboratoriach — podzielony jest\n",
"na trzy, mniej więcej równe objętością, działy:\n",
"\n",
"1. Podstawy modelowania języka.\n",
"2. Neuronowe modele języka (bez sieci Transformer).\n",
"3. Sieci Transformer.\n",
"\n",
"\n",
"## Zasady zaliczenia laboratoriów\n",
"\n",
"Zaliczenia z laboratoriów uzyskujemy przez zdobywanie punktów za zadania (oraz ewentualny projekt). \n",
"Punkty zdobywamy poprzez wykonywanie zadań na bieżąco na ćwiczeniach lub najpóźniej 6 dni od dnia przeprowadzonych zajęć (czyli jeżeli zajęcia były przeprowadzone dnia 05.04.2024 to rozwiązanie należy przesłać najpóźniej do 11.04.2024 do godziny 23:59). Jeśli rozwiązania do zadań zostaną przesłane po terminie będzie za nie do zdobycia mniej punktów (około 75-80% całkowitej liczby punktów za dany zestaw zadań)\n",
"\n",
"\n",
"Przelicznik punktów na ocenę:\n",
"* 0-299 — 2\n",
"* 300-349 — 3\n",
"* 350-399 — 3+\n",
"* 400-449 — 4\n",
"* 450-499 — 4+\n",
"* 500- — 5\n",
"\n",
"Technicznie rozwiązania zadań zgłaszamy na platformie Teams.\n",
"\n",
"W celu zdobycia dodatkowych punktów (maksymalnie 250 punktów) będzie można wykonać projekt w formie zgłoszenia rozwiązania w wyzwaniu https://gonito.net/challenge/challenging-america-word-gap-prediction Swoje rozwiązanie należy zaprezentować na ostatnich zajęciach przed grupą (około 5 minut - co się zrobiło, jaki wynik się uzyskało, co pomogło/przeszkodziło w uzyskaniu najlepszego wyniku). Ilość punktów będzie zależała od:\n",
"* uzyskanego wyniku\n",
"* wykorzystanych narzędzi\n",
"* prezentacji\n",
"\n",
"\n",
"Łącznie (za zadania oraz projekt) do zdobycia będzie co najmniej 600 punktów.\n",
"\n",
"ocena z ćwiczeń 5 = przepis z egzaminu\n",
"\n",
"## Obecność na zajęciach\n",
"\n",
"Obecność na zajęciach jest **obowiązkowa**. Nieobecność może być usprawiedliwiona w przypadku choroby potwierdzonej zwolnieniem lekarskim. Dopuszczalne są maksymalnie 2 nieusprawiedliwione nieobecności. Jeżeli kogoś nie było na zajęciach to tak jak było wspomiane wyżej - jest 6 dni na wykonanie zadań od dnia, w którym odbywały się dane zajęcia."
]
}
],
"metadata": {
"language_info": {
"name": "python"
}
},
"nbformat": 4,
"nbformat_minor": 2
}