forked from filipg/aitech-eks-pub
add cw1
This commit is contained in:
kubapok
parent
f62e68ccab
commit
098588f2bd
81
cw/00_Informacje_na_temat_przedmiotu.ipynb
Normal file
81
cw/00_Informacje_na_temat_przedmiotu.ipynb
Normal file
@ -0,0 +1,81 @@
|
|||||||
|
{
|
||||||
|
"cells": [
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"# Informacje ogólne"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"## Kontakt z prowadzącym\n",
|
||||||
|
"\n",
|
||||||
|
"prowadzący: mgr inż. Jakub Pokrywka\n",
|
||||||
|
"\n",
|
||||||
|
"Najlepiej kontaktowąć się ze mną przez MS TEAMS na grupie kanału (ogólne sprawy) lub w prywatnych wiadomościach. Odpisuję co 2-3 dni. Można też umówić się na zdzwonko w godzinach dyżuru (wt 12.00-13.00) lub umówić się w innym terminie.\n",
|
||||||
|
"\n",
|
||||||
|
"\n",
|
||||||
|
"## Literatura\n",
|
||||||
|
"Polecana literatura do przedmiotu:\n",
|
||||||
|
"\n",
|
||||||
|
"\n",
|
||||||
|
"- https://www.manning.com/books/relevant-search#toc (darmowa) Polecam chociaż przejrzeć.\n",
|
||||||
|
"- Marie-Francine Moens. 2006. Information Extraction: Algorithms and Prospects in a Retrieval Context. Springer. (polecam mniej, jest trochę nieaktualna)\n",
|
||||||
|
"- Alex Graves. 2012. Supervised sequence labelling. Studies in Computational Intelligence, vol 385. Springer. Berlin, Heidelberg. \n",
|
||||||
|
"\n",
|
||||||
|
"- Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Association for Computational Linguistics (NAACL). \n",
|
||||||
|
"\n",
|
||||||
|
"- Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu. 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research vol 21, number 140, pages 1-67. \n",
|
||||||
|
"\n",
|
||||||
|
"- Flip Graliński, Tomasz Stanisławek, Anna Wróblewska, Dawid Lipiński, Agnieszka Kaliska, Paulina Rosalska, Bartosz Topolski, Przemysław Biecek. 2020. Kleister: A novel task for information extraction involving long documents with complex layout. URL https://arxiv.org/abs/2003.02356 \n",
|
||||||
|
"\n",
|
||||||
|
"- Łukasz Garncarek, Rafał Powalski, Tomasz Stanisławek, Bartosz Topolski, Piotr Halama, Filip Graliński. 2020. LAMBERT: Layout-Aware (Language) Modeling using BERT. URL https://arxiv.org/pdf/2002.08087 \n",
|
||||||
|
"\n",
|
||||||
|
"## Zaliczenie\n",
|
||||||
|
"\n",
|
||||||
|
"\n",
|
||||||
|
"\n",
|
||||||
|
"Do zdobycia będzie conajmniej 500 punktów.\n",
|
||||||
|
"\n",
|
||||||
|
"Ocena:\n",
|
||||||
|
"\n",
|
||||||
|
"- -299 — 2\n",
|
||||||
|
"\n",
|
||||||
|
"- 300-349 — 3\n",
|
||||||
|
"\n",
|
||||||
|
"- 350-399 — 3+\n",
|
||||||
|
"\n",
|
||||||
|
"- 400-449 — 4\n",
|
||||||
|
"\n",
|
||||||
|
"- 450—499 — 4+\n",
|
||||||
|
"\n",
|
||||||
|
"- 500- — 5\n",
|
||||||
|
"\n"
|
||||||
|
]
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"metadata": {
|
||||||
|
"kernelspec": {
|
||||||
|
"display_name": "Python 3",
|
||||||
|
"language": "python",
|
||||||
|
"name": "python3"
|
||||||
|
},
|
||||||
|
"language_info": {
|
||||||
|
"codemirror_mode": {
|
||||||
|
"name": "ipython",
|
||||||
|
"version": 3
|
||||||
|
},
|
||||||
|
"file_extension": ".py",
|
||||||
|
"mimetype": "text/x-python",
|
||||||
|
"name": "python",
|
||||||
|
"nbconvert_exporter": "python",
|
||||||
|
"pygments_lexer": "ipython3",
|
||||||
|
"version": "3.8.5"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"nbformat": 4,
|
||||||
|
"nbformat_minor": 4
|
||||||
|
}
|
||||||
256
cw/01_Wyszukiwarki-wprowadzenie.ipynb
Normal file
256
cw/01_Wyszukiwarki-wprowadzenie.ipynb
Normal file
@ -0,0 +1,256 @@
|
|||||||
|
{
|
||||||
|
"cells": [
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"# Zajecia 1\n",
|
||||||
|
"\n",
|
||||||
|
"Na tych zajęciach za aktywnośc można otrzymać po 5 punktów za wartościową wypowiedź. Maksymalnie jedna osoba może zdobyć na tych ćwiczeniach do 15 punktów."
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"# Przydatne materiały:\n",
|
||||||
|
"\n",
|
||||||
|
"https://www.google.com/advanced_search\n",
|
||||||
|
"\n",
|
||||||
|
"https://www.google.pl/advanced_image_search\n",
|
||||||
|
"\n",
|
||||||
|
"https://support.google.com/websearch/answer/2466433?hl=en\n",
|
||||||
|
"\n",
|
||||||
|
"https://allegro.pl/pomoc/dla-kupujacych/wyszukiwanie-i-obserwowanie/jak-korzystac-z-wyszukiwarki-i-znalezc-przedmiot-mGwAg2jRrU7\n",
|
||||||
|
"\n",
|
||||||
|
"https://allegro.pl/dla-sprzedajacych/trafnosc-xGmVjoPwOTo\n",
|
||||||
|
"\n",
|
||||||
|
"https://developer.allegro.pl/about/\n",
|
||||||
|
"\n",
|
||||||
|
"https://serpapi.com/"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"Będziemy omawiać: \n",
|
||||||
|
"- Wyszukiwarki ogólnego przeznaczenia (google, bing, ...)\n",
|
||||||
|
"- Wyszukiwarki na konkretną platformę (amazon, allegro, olx, spar, ...)"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"## Wyszukiwanie zaawansowane google\n",
|
||||||
|
"\n",
|
||||||
|
"- poduszka |/OR drzwi \n",
|
||||||
|
"- poduszka -biała\n",
|
||||||
|
"- poduszka * drzwi\n",
|
||||||
|
"- define:pillow\n",
|
||||||
|
"- cache:wp.pl\n",
|
||||||
|
"- poduszka filetype:pdf\n",
|
||||||
|
"- poduszka site:allegro.pl\n",
|
||||||
|
"- related:allegro.pl\n",
|
||||||
|
"- intitle:poduszka\n",
|
||||||
|
"- allintitle:poduszka biała\n",
|
||||||
|
"- inurl:poduszka\n",
|
||||||
|
"- allinurl:poduszka biała\n",
|
||||||
|
"- poduszka AROUND(4) drzwi\n",
|
||||||
|
"- weather:poznan\n",
|
||||||
|
"- stocks:gme\n",
|
||||||
|
"- map:poznań\n",
|
||||||
|
"- $329 in pln\n",
|
||||||
|
"- euro 1990..2000\n",
|
||||||
|
"- 15*30\n",
|
||||||
|
"- color picker\n",
|
||||||
|
"- elon musk @twitter\n",
|
||||||
|
"\n"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"## Komponenty wyszukiwarki google\n",
|
||||||
|
"- pole do wpisywania tekstu i search button \n",
|
||||||
|
"- sugestie do wpisywania\n",
|
||||||
|
"- ghosting\n",
|
||||||
|
"- autokorekta, np. pdouszka\n",
|
||||||
|
"- ilość wyświetleń dla wyniku \n",
|
||||||
|
"- elementy dodaktowe po wpisaniu frazy (odpowiedzi na pytania ogólne, wyszukiwania powiązane, itp)\n",
|
||||||
|
"- lista elementów (podzielona na strony)\n",
|
||||||
|
"- jak działają strony na urządzeniach mobilnych?\n",
|
||||||
|
"- prezentacja wyników: nazwa strony oraz tam gdzie jest match pogrubienie (czy google ma prawo do umieszczania takich tekstów na swojej stronie)?\n",
|
||||||
|
"- inne komponenty - np best games for nintendo switch\n",
|
||||||
|
"- reklamy"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"## Komponenty wyszukiwarki specjalistycznej na przykładzie allegro\n",
|
||||||
|
"\n",
|
||||||
|
"- wyszukiwarna tekstowa albo nawigowanie bezpośrednio po kategoriach\n",
|
||||||
|
"- każdy ma własny unikalny sposób wyszukiwania\n",
|
||||||
|
"- okno wyszukiwania\n",
|
||||||
|
"- sugestie przy wpisywaniu frazy\n",
|
||||||
|
"- ghosting (np santander.pl)\n",
|
||||||
|
"- autokorekta (sugestia oraz przekierowanie)\n",
|
||||||
|
"- można też wpisać, że szukamy również w opisach, parametrach itp.\n",
|
||||||
|
"- komentarz: tutaj wpisujemy jakąś frazę\n",
|
||||||
|
"- mamy zbiór dokumumentów oraz są posortowane w jakiś sposób (ale niekoniecznie tak musi być)\n",
|
||||||
|
"- jak działa odzyskiwanie dokumentów?\n",
|
||||||
|
" - stopwordy \n",
|
||||||
|
" - normalizacja do lowercase\n",
|
||||||
|
" - lista synonimów, fleksja, odmiana (także ujednoznacznienie do jednej formy → wielka poduszka/ wielki poduszka, kubek kubki)\n",
|
||||||
|
"- sortowania (omówić możliwe sortowania)- element którego nie ma w google\n",
|
||||||
|
"https://allegro.pl/dla-sprzedajacych/trafnosc-xGmVjoPwOTo#moja-oferta-ma-duza-sprzedaz-a-mimo-tego-jest-ona-nizej-w-sortowaniu-po-trafnosci-niz-inne-nowe-oferty-dlaczego-\n",
|
||||||
|
"- trafność dla każdego może znaczyć coś innego\n",
|
||||||
|
"- sortowanie domyślne- jakie jest jego znaczenie?\n",
|
||||||
|
"- inne rodzaje sortowania\n",
|
||||||
|
"- rerankowanie \n",
|
||||||
|
"- po lewej stronie mamy zawężenie do kategorii oraz filtry, wyszukiwanie facetowe- nie ma w google\n",
|
||||||
|
"- mamy także oferty sponsorowane oraz promowane - dylemat- ważniejszy jest biznes czy użytkownik\n",
|
||||||
|
"- rekomendacje dla użytkowników na dole- właściwie to jest osobny dział \n",
|
||||||
|
"- inne możliwości (szukaj wielu)\n",
|
||||||
|
"- wyszukiwanie zaawansowane: https://allegro.pl/pomoc/dla-kupujacych/wyszukiwanie-i-obserwowanie/jak-korzystac-z-wyszukiwarki-i-znalezc-przedmiot-mGwAg2jRrU7\n",
|
||||||
|
"- ewaluacja jakości wyszukiwarki- dyskusja, kto by co wybrał, jak wygląda sprawa z uczeniem maszynowym?\n",
|
||||||
|
"- jakie cele musi spełniać inżynier trafonośći?\n",
|
||||||
|
"- jak ewaluować wyszukiwarki?"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"## API do wyszukiwarek\n",
|
||||||
|
"- https://developer.allegro.pl/listing/"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"## Google trends"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"## SEO (Search Engine Optimization)\n",
|
||||||
|
"- pod google\n",
|
||||||
|
"- pod wyszukiwarki typu allegro, olx \n",
|
||||||
|
"- https://allegro.pl/pomoc/dla-kupujacych/wyszukiwanie-i-obserwowanie/jak-korzystac-z-wyszukiwarki-i-znalezc-przedmiot-mGwAg2jRrU7"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"cell_type": "markdown",
|
||||||
|
"metadata": {},
|
||||||
|
"source": [
|
||||||
|
"## Zadanie domowe\n",
|
||||||
|
"\n",
|
||||||
|
"----------------------\n",
|
||||||
|
"Maksymalnie do zdobycia za zadania 100: 30\n",
|
||||||
|
"\n",
|
||||||
|
"Maksymalnie do zdobycia za zadania 101-107: 50\n",
|
||||||
|
"\n",
|
||||||
|
"\n",
|
||||||
|
"Zadania proszę oddawać w formie pliku pdf w MS TEAMS (grupa kanału → assignments) do końca 17.03.2021.\n",
|
||||||
|
"\n",
|
||||||
|
"Oprocz samego rozwiązania, proszę umieścić sposób w jaki Państwo do niego doszli (np frazy wpisywane w wysuzkiwarkę, itp.).\n",
|
||||||
|
"\n",
|
||||||
|
"## Zadanie 100\n",
|
||||||
|
"\n",
|
||||||
|
"Znaleźć przykłady „wyzwań” researcherskich — nagród pieniężnych za\n",
|
||||||
|
"znalezienie jakiejś informacji, najwcześniejszego wystąpienia jakiegoś słowa itp.\n",
|
||||||
|
"Wyzwanie musi polegać na znalezieniu jakieś informacji w powszechnie dostępnych źródłach (internet, biblioteki).\n",
|
||||||
|
"Zatem nie liczą sie np. nagrody za udzielenie informacji o jakimś mordercy, itp.\n",
|
||||||
|
"Interesują nas tylko „otwarte” wyzwania. Język, jakiego dotyczy wyzwanie — dowolny.\n",
|
||||||
|
"\n",
|
||||||
|
"Wyzwania podać w formie tabelki: nagroda, link, krótki opis.\n",
|
||||||
|
"\n",
|
||||||
|
"Liczba punktów za każde znalezione wyzwanie: max( 30, 5*log_10(nagroda w dolarach) )\n",
|
||||||
|
"\n",
|
||||||
|
"Przykład: [nagroda $250 za znalezienie wzmianki dotyczącej chupacabry\n",
|
||||||
|
"(potwora) przed 1990 rokiem](http://www.cryptozoonews.com/chupa-250/).\n",
|
||||||
|
"\n",
|
||||||
|
"Maksymalna liczba punktów: 30.\n",
|
||||||
|
"\n",
|
||||||
|
"\n",
|
||||||
|
"## Zadanie 101\n",
|
||||||
|
"\n",
|
||||||
|
"Podać 3 przykłady zapytań na allegro, które daje zaskakujące/niesatysfakcjonujące wyniki. Napisz jaka może być przyczyna takich wyników?\n",
|
||||||
|
"\n",
|
||||||
|
"Maksymalna liczba punktów: 20.\n",
|
||||||
|
"\n",
|
||||||
|
"## Zadanie 102\n",
|
||||||
|
" \n",
|
||||||
|
"Znaleźć PDF-a w języku francuskim opublikowanego w Internecie przed\n",
|
||||||
|
"10 marca 2021 roku z największą ilością stron.\n",
|
||||||
|
"\n",
|
||||||
|
"Punkty: 30 (za największy plik).\n",
|
||||||
|
" \n",
|
||||||
|
"## Zadanie 103\n",
|
||||||
|
"\n",
|
||||||
|
"Znajdź najwcześniejsze poświadczenie w języku angielskim słowa \"coronavirus\".\n",
|
||||||
|
"\n",
|
||||||
|
"Punkty: 35\n",
|
||||||
|
"\n",
|
||||||
|
"## Zadanie 104\n",
|
||||||
|
"\n",
|
||||||
|
"Znajdź najwcześniejsze poświadczenie w języku angielskim słowa \"SARS-CoV-2\".\n",
|
||||||
|
"Punkty: 35\n",
|
||||||
|
" \n",
|
||||||
|
" \n",
|
||||||
|
"## Zadanie 105\n",
|
||||||
|
" \n",
|
||||||
|
"Podaj 3 przykłady ofert na portalach (allegro, olx, inne), które mają nieoczywiste tytuły w celu pojawienia się\n",
|
||||||
|
"dla jak największej ilości zapytań. Powinny to być 3 różne powody. Napisz jakie to są powody przy ofercie.\n",
|
||||||
|
"\n",
|
||||||
|
"Punkty: 20\n",
|
||||||
|
"\n",
|
||||||
|
"\n",
|
||||||
|
"## Zadanie 106\n",
|
||||||
|
"\n",
|
||||||
|
"Znajdź wykres na google trends, który pokazuje równoczesny wzrost zainteresowania jednej frazy, gdy maleje\n",
|
||||||
|
"zainteresowanie drugą frazą. Obie frazy powinny być choć trochę popularne. Niekoniecznie musi występować \n",
|
||||||
|
"powiązanie przyczynowo-skutkowe, ale jeżeli zachodzi- tym lepiej. Skorzystaj z opcji porównywania trendów.\n",
|
||||||
|
"\n",
|
||||||
|
"Punkty: 20\n",
|
||||||
|
"\n",
|
||||||
|
"## Zadanie 107\n",
|
||||||
|
"\n",
|
||||||
|
"Znajdź zapytanie na google trends, które jest popularne w niektórych regionach polski, a w innych nie. Z czego mogą wynikać te różnice?\n",
|
||||||
|
"\n",
|
||||||
|
"Punkty: 20\n",
|
||||||
|
" \n",
|
||||||
|
" \n"
|
||||||
|
]
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"metadata": {
|
||||||
|
"kernelspec": {
|
||||||
|
"display_name": "Python 3",
|
||||||
|
"language": "python",
|
||||||
|
"name": "python3"
|
||||||
|
},
|
||||||
|
"language_info": {
|
||||||
|
"codemirror_mode": {
|
||||||
|
"name": "ipython",
|
||||||
|
"version": 3
|
||||||
|
},
|
||||||
|
"file_extension": ".py",
|
||||||
|
"mimetype": "text/x-python",
|
||||||
|
"name": "python",
|
||||||
|
"nbconvert_exporter": "python",
|
||||||
|
"pygments_lexer": "ipython3",
|
||||||
|
"version": "3.8.5"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"nbformat": 4,
|
||||||
|
"nbformat_minor": 4
|
||||||
|
}
|
||||||
Loading…
Reference in New Issue
Block a user