3.1 KiB
3.1 KiB
Modelowanie języka
0. Informacje na temat przedmiotu [ćwiczenia]
Informacje ogólne
Kontakt z prowadzącym
prowadzący: dr Paweł Skórzewski
Najlepiej kontaktowąć się ze mną przez MS Teams lub mailowo.
Literatura
Polecana literatura do przedmiotu:
- Koehn, P. (2009). Statistical Machine Translation. Cambridge: Cambridge University Press. doi:10.1017/CBO9780511815829
- Philipp Koehn. "Neural Machine Translation". 2020.
- https://web.stanford.edu/~jurafsky/slp3/3.pdf
- Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Association for Computational Linguistics (NAACL).
- Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu. 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research vol 21, number 140, pages 1-67.
- Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya. 2019. Language Models are Unsupervised Multitask Learners
- https://jalammar.github.io/illustrated-transformer/
- https://www.youtube.com/watch?v=-9evrZnBorM&ab_channel=YannicKilcher
- https://www.youtube.com/watch?v=u1_qMdb0kYU&ab_channel=YannicKilcher
Zaliczenie
Do zdobycia będzie conajmniej 600 punktów.
Ocena:
-299 — 2300-349 — 3350-399 — 3+400-449 — 4450—499 — 4+500- — 5