{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Informacje ogólne"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Prowadzący\n",
    "\n",
    "mgr Ryszard Staruch\n",
    "\n",
    "Kontakt: mail (ryssta@amu.edu.pl) lub przez Teamsy\n",
    "\n",
    "\n",
    "## Literatura\n",
    "Polecana literatura do przedmiotu:\n",
    "\n",
    "- Koehn, P. (2009). Statistical Machine Translation. Cambridge: Cambridge University Press. doi:10.1017/CBO9780511815829\n",
    "- Philipp Koehn. \"Neural Machine Translation\". 2020.\n",
    "- https://web.stanford.edu/~jurafsky/slp3/3.pdf\n",
    "- Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Association for Computational Linguistics (NAACL).\n",
    "- Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu. 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research vol 21, number 140, pages 1-67.\n",
    "- Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya. 2019. Language Models are Unsupervised Multitask Learners\n",
    "- https://jalammar.github.io/illustrated-transformer/\n",
    "- https://www.youtube.com/watch?v=-9evrZnBorM&ab_channel=YannicKilcher\n",
    "- https://www.youtube.com/watch?v=u1_qMdb0kYU&ab_channel=YannicKilcher\n",
    "\n",
    "\n",
    "## Gorąco polecane materiały uzupełniające (praktyczna strona przedstawiona w zrozumiały sposób)\n",
    "\n",
    "https://www.coursera.org/learn/nlp-sequence-models?specialization=deep-learning#modules - kurs prowadzony przez prof. Andrewa Ng ze Stanfordu\n",
    "https://www.youtube.com/watch?v=kCc8FmEb1nY - 2 godzinny szczegółowy kurs zbudowania modelu języka opartego na architekturze transformer - prowadzony przez byłego pracownika OpenAI\n",
    "\n",
    "\n",
    "## Artykuły naukowe\n",
    "* (2003) A Neural Probabilistic Language Model https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf\n",
    "* (2013) Efficient Estimation of Word Representations in Vector Space https://arxiv.org/pdf/1301.3781.pdf\n",
    "* (2017) Attention Is All You Need https://arxiv.org/pdf/1706.03762.pdf\n",
    "\n",
    "\n",
    "## Podział materiału\n",
    "\n",
    "Materiał — zarówno na wykładzie, jak i na laboratoriach — podzielony jest\n",
    "na trzy, mniej więcej równe objętością, działy:\n",
    "\n",
    "1. Podstawy modelowania języka.\n",
    "2. Neuronowe modele języka (bez sieci Transformer).\n",
    "3. Sieci Transformer.\n",
    "\n",
    "\n",
    "## Zasady zaliczenia laboratoriów\n",
    "\n",
    "Zaliczenia z laboratoriów uzyskujemy przez zdobywanie punktów za zadania (oraz ewentualny projekt). \n",
    "Punkty zdobywamy poprzez wykonywanie zadań na bieżąco na ćwiczeniach lub najpóźniej 6 dni od dnia przeprowadzonych zajęć (czyli jeżeli zajęcia były przeprowadzone dnia 05.04.2024 to rozwiązanie należy przesłać najpóźniej do 11.04.2024 do godziny 23:59). Jeśli rozwiązania do zadań zostaną przesłane po terminie będzie za nie do zdobycia mniej punktów (około 75-80% całkowitej liczby punktów za dany zestaw zadań)\n",
    "\n",
    "\n",
    "Przelicznik punktów na ocenę:\n",
    "* 0-299 — 2\n",
    "* 300-349 — 3\n",
    "* 350-399 — 3+\n",
    "* 400-449 — 4\n",
    "* 450-499 — 4+\n",
    "* 500- — 5\n",
    "\n",
    "Technicznie rozwiązania zadań zgłaszamy na platformie Teams.\n",
    "\n",
    "W celu zdobycia dodatkowych punktów (maksymalnie 250 punktów) będzie można wykonać projekt w formie zgłoszenia rozwiązania w wyzwaniu https://gonito.net/challenge/challenging-america-word-gap-prediction Swoje rozwiązanie należy zaprezentować na ostatnich zajęciach przed grupą (około 5 minut - co się zrobiło, jaki wynik się uzyskało, co pomogło/przeszkodziło w uzyskaniu najlepszego wyniku). Ilość punktów będzie zależała od:\n",
    "* uzyskanego wyniku\n",
    "* wykorzystanych narzędzi\n",
    "* prezentacji\n",
    "\n",
    "\n",
    "Łącznie (za zadania oraz projekt) do zdobycia będzie co najmniej 600 punktów.\n",
    "\n",
    "ocena z ćwiczeń 5 = przepis z egzaminu\n",
    "\n",
    "## Obecność na zajęciach\n",
    "\n",
    "Obecność na zajęciach jest **obowiązkowa**. Nieobecność może być usprawiedliwiona w przypadku choroby potwierdzonej zwolnieniem lekarskim. Dopuszczalne są maksymalnie 2 nieusprawiedliwione nieobecności. Jeżeli kogoś nie było na zajęciach to tak jak było wspomiane wyżej - jest 6 dni na wykonanie zadań od dnia, w którym odbywały się dane zajęcia."
   ]
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}