% !TeX encoding = UTF-8 % !TeX spellcheck = pl_PL \chapter{Digitalizacja treści w projekcie Chronicling America}\hypertarget{chap:3}{} \section{Przedstawienie projektu Chronicling America} \subsection{Geneza i podstawowe informacje} Projekt Chronicling America prowadzony był na terenie Stanów Zjednoczonych, a jego celem było rozpowszechnienie dostępu do zdigitalizowanych treści wśród jak najliczniejszej grupy osób, szczególnie wśród młodego pokolenia Amerykanów, bazę tego projektu stanowiły historyczne amerykańskie gazety. Korzystanie z materiałów zgromadzonych i przetworzonych podczas prac nad tym projektem jest całkowicie darmowe dla wszystkich użytkowników, co potwierdza założenia projektu o rozszerzaniu skali potencjalnych czytelników zasobów biblioteki. Szczególnie, że projekt dotyczy gazet nawet sprzed setek lat, które ze względu na stan i wartość prawdopodobnie nie byłyby dopuszczone do powszechnego użytku. Chronicling America został stworzony przez organizacje United States National Digital Newspaper (NDNP), która narodziła się dzięki współpracy rządowej agencji National Endowment for the Humanities (NEH) oraz Biblioteki Kongresu \cite{ContributorstoWikimediaprojects2022Feb}. NEH jest niezależną agencją federalną, która jest jednym z największych fundatorów programów humanistycznych w całych Stanach Zjednoczony, a jej historia sięga aż 1965 roku. Aktualnie jej główna działalność opiera się na rozdysponowywaniu grantów na projekty humanistyczne, które jak sami określają promują doskonałość w naukach humanistycznych i przekazują lekcje historii wszystkim Amerykanom. Dotacje NEH są zazwyczaj przyznawane instytucjom kulturalnym, takim jak muzea, archiwa, biblioteki, szkoły wyższe, uniwersytety, publiczne stacje telewizyjne i radiowe, a także indywidualnym naukowcom \cite{BibEntry2022Jun}. Z kolei Biblioteka Kongresu Stanów Zjednoczonych z główną siedzibą w Waszyngtonie, w Dystrykcie Columbia jest największą biblioteką na świecie. Rozpoczęcie jej działania datuje się na 1800 rok. Pełni ona funkcje biblioteki narodowej, jest również głównym ośrodkiem badawczym Kongresu USA, a także siedzibą Biura Praw Autorskich USA. Biblioteka Kongresu może poszczycić się zbiorami liczącymi ponad 171 milionów pozycji, które obejmują aż 40 milionów skatalogowanych książek i innych materiałów drukowanych w 470 językach, ponad 74 miliony rękopisów, największą kolekcję rzadkich książek w Ameryce Północnej oraz największą na świecie kolekcję materiałów prawnych, filmów, map, nut i nagrań dźwiękowych \cite{BibEntry2022Jun_congres}. \newline Podwaliny dla projektu Chronicling America stanowił program znany pod nazwą United States Newspaper Program (USNP) przeprowadzony w latach 1982-2011 również przez agencje National Endowment for the Humanities przy technicznej pomocy Biblioteki Kongresu. Projekt ten miał na celu wyselekcjonowanie, skatalogowanie i zapisanie w postaci mikrofilmów historycznych gazet wydawanych w Stanach Zjednoczonych od XVIII wieku, a dokładniej 1690 roku, aż do czasów współczesnych. USNP zleciło przeprowadzenie projektu w każdym ze stanów, a także w Portoryko i na Wyspach Dziewiczych. Za organizacje odpowiedzialne były konkretne jednostki terytorialne, najczęściej największe stanowe repozytoria gazet. Odpowiedzialne były one między innymi za inwentaryzację zbiorów zawartych głównie w bibliotekach publicznych oraz sądach, biurach prasowych, muzeach, bibliotekach uniwersyteckich, archiwach i towarzystwach historycznych. Rekordy katalogowe zostały wprowadzone do krajowej bazy danych prowadzonej przez Online Computer Library Center (OCLC) i dostępnej na całym świecie poprzez WorldCat, czyli katalog łączący zbiory 71 tysięcy bibliotek ze 112 krajów, co czyni go największą na świecie bibliograficzną bazą danych \cite{BibEntry2022Jun_NEH}. \newline Dobre praktyki digitalizacji wymagają, aby katalogowane dzieła zawierały opis. Gazety skatalogowane w ramach projektu Chronicling America również posiadają standardowe krótkie opis. To jednak nie wszystko, ponieważ osoby odpowiedzialne za ten projekt poszły o krok dalej. Oprócz klasycznych opisów gazety zawierają również specjalne opisy uzupełniające, zwane esejami tytułowymi (\emph{z ang. title essays}). Są one opracowywane na specjalne zlecenie Chronicling America, a nad ich jakością pieczę sprawuje agencja National Endowment of the Humanities, która dokonuje przeglądów sporządzonych prac. Opisy uzupełniające stanowią punkt wyjścia do dalszych badań nad zrozumieniem roli, jaką odgrywała dana gazeta wśród swoich czytelników. Wśród elementów, jakie znajdują się w esejach tytułowych wyróżnić możemy takie jak na przykład: \begin{itemize} \item[$\bullet$] miejsce publikacji, \item[$\bullet$] daty i harmonogram publikacji (np. co tydzień, codziennie, rano lub wieczorem), \item[$\bullet$] zasięg geograficzny i nakład, \item[$\bullet$] przynależność polityczna i religijna, \item[$\bullet$] powód publikacji, \item[$\bullet$] cechy i stan fizyczny, \item[$\bullet$] historia zmian nazw, formatów i praw własności, \item[$\bullet$] spis wyróżniających się redaktorów, wydawców lub reporterów biorących udział w jej tworzeniu, \item[$\bullet$] rodzaje prezentowanych artykułów, \item[$\bullet$] relacje z innymi okolicznymi wydawnictwami, \item[$\bullet$] innowacyjne podejście do produkcji. \end{itemize} \ \\ Opisy te realizują jeden z najważniejszych celów, jakie stawia przed sobą projekt Chronicling America, a mianowicie rozumienie treści, jakie prezentują gazety w kontekście czasu i miejsca ich wydawania. Aby to osiągnąć, uczestniczące w projekcie instytucje posiadające w tym kontekście interesujące zbiory otrzymują nagrody za wybranie i zdigitalizowanie około 100\,000 stron gazet reprezentujących historię regionalną danego stanu, swój zasięg geograficzny oraz interesujące wydarzenia. Proces selekcji jest bardzo dokładny oraz ostrożny i musi być przeprowadzany w kontakcie z innymi podmiotami w celu minimalizacji powtarzających się materiałów, ze względu na duże koszta całego przedsięwzięcia. Biblioteka Kongresu odpowiedzialna była za przygotowanie technicznej specyfikacji przeprowadzania całości tego procesu \cite{Humanities2022Jun}. \newline Biblioteka Kongresu odpowiedzialna jest za opracowywanie standardów przeprowadzanych przed uczestników projektu procesów digitalizacyjnych. Dokument, w którym przedstawione są wypracowane standardy, jest aktualizowany na bieżąco, raz w roku. Aktualna wersja zawiera 67 stron, na których szczegółowo opisano podejście do digitalizacji \cite{DocLibCong}. Na stronie Biblioteki Kongresu można zapoznać się z zarówno aktualnym standardem, jak i historycznymi. Cele, jakie określiła Biblioteka Kongresu, to między innymi określenie wspólnego interfejs dostępnego dla każdego potencjalnego użytkownika poprzez sieć WWW za pomocą standardowego protokołu HTTP. Ponadto zadbali oni również o określenie odpowiedniego standardu digitalizacji, aby późniejsze wykorzystanie technologii OCR przebiegało efektywnie, a także o stosowanie formatów cyfrowych o wysokim prawdopodobieństwie trwałości, czy przykładanie szczególnej uwagi na koszty konwersji cyfrowej i konserwacji powstałych w ten sposób zasobów. Obecne podejście opiera się w głównej mierze na kilku kluczowych aspektach. Pierwszym z nich jest to, że obrazy odtwarza się z kopii zachowawczej mikrofilmów, na których są przechowywane pozyskane zdjęcia stron gazet. Pliki zaś przetrzymuje się w formacie TIFF 6, czyli w formacie opartym na znacznikach, służącym do przechowywania i wymiany obrazów bitmapowych (rastrowych) \cite{BibEntry2022Jun_tech}. Pozwala on na przechowywanie informacje o kanałach alfa, ścieżkach, profilu kolorów, komentarzach, umożliwia także zapisywanie dokumentów wielostronicowych. Możliwa jest również kompresja w tym kompresja ZIP. Wersja 6 jako pierwsza zapewnia również możliwość kompresji do formatu JPEG. \cite{WspoltworcyprojektowFundacjiWikimedia2003Feb}. Jeśli chodzi o jakość tych obrazów to wymagana jest konwersja obrazów w 8-bitowej skali szarości skanowanych z maksymalną możliwą rozdzielczością, która wynosi 300-400 DPI \cite{BibEntry2022Jun_tech}. Wspomniana wcześniej miara DPI (\emph{z ang. dots per inch}) określa liczbę pikseli (ich gęstość) na jeden cal kwadratowy, która reprezentuje jakość przedstawianych obrazów czy wydruków. Na rysunku \ref{dotspi} wyjaśnione zostało, jak w zależności od wartości DPI zmienia się jakość przedstawianego obrazu czarnej kropki. Jak nietrudno zauważyć, im wyższa wartość miary, tym obraz jest dokładniejszy i bardziej wygładzony \cite{BibEntry2022Jun_dpi}. \begin{figure}[h!] \centering \includegraphics[width=0.6\textwidth]{images/dpi.png} \caption{Przykład różnych wartości DPI \cite{DuggalVisualSolutions2022Jun}.} \label{dotspi} \end{figure} \ \\ Kolejnymi kluczowymi aspektami, które porusza przygotowany przez Bibliotekę Kongresu dokument, to: \begin{itemize} \item[$\bullet$] wykorzystanie OCR z ramkami zawierającymi pojedyncze wyrazy, z uwzględnieniem rozpoznawania kolumn na stronie, ale bez segmentacji stron na artykuły, \item[$\bullet$] opracowanie strukturalnych metadanych dla stron, wydań, edycji i tytułów w celu obsługi interfejsu przeglądania chronologicznego, \item[$\bullet$] zdeponowanie kopii wszystkich obrazów stron i powiązanych metadanych w zbiorach Biblioteki Kongresu, \item[$\bullet$] zaimplementowany interfejs zaprojektowany specjalnie dla dostępu do historycznych gazet w domenie publicznej dostępny z ramienia Biblioteki Kongresu umożliwiający wyszukiwanie pełnotekstowe, a także poszczególnych obrazów stron oraz podświetlanie wyszukiwanych słów na obrazach, \item[$\bullet$] replikowalność podejścia przez każdego uczestnika projektu, tak aby mógł wykorzystywać wytworzone zdigitalizowane treści w innych potrzebnych projektach, jeżeli zajdzie taka potrzeba. \end{itemize} \ \\ W dokumencie sporządzono bardzo szczegółowy opis metadanych, jakie mają zostać opracowane. Organizacje biorące udział w projekcie zostały poinstruowane w zakresie wypełniania około 60 pól z czego tylko 26 z nich było polami obowiązkowymi. Przedstawiona została również dokładna struktura pliku XML, w którym mają być one zawarte. Instrukcja zawiera między innymi nazwę opisywanych danych, ich typ, przykład, notatkę z dokładniejszym wytłumaczeniem, czy konkretną ścieżkę w pliku XML, w jakiej mają zostać zawarte. Przykładami pól są: oryginalne repozytorium, z którego pochodzi dany materiał, wykonawca obsługujący skaner pozyskujący obraz, model takiego skanera, jego oprogramowanie, tytuł materiału, data wydania, format źródłowy, czy wymiary \cite{BibEntry2022Jun_tech}. \clearpage \subsection{Narzędzie do przeszukiwania zbioru historycznych gazet} Interfejs internetowej aplikacji do przeszukiwania i przeglądania zbiorów zebranych w ramach Chronicling America dostępny jest pod adresem: \url{https://chroniclingamerica.loc.gov/newspapers/}. Jego główną stronę prezentuje rysunek \ref{chronicamer}. \newline \begin{figure}[h!] \centering \includegraphics[width=1\textwidth]{images/ca_base.png} \caption{Interfejs aplikacji do obsługi zbiorów Chronicling America \cite{Humanities2022Jun_CA_inter}} \label{chronicamer} \end{figure} Ze strony internetowej Chronicling America mamy swobodny dostęp do bazy wszystkich zebranych w ramach tego projektu obrazów. Na dzień dzisiejszy zbiór ten obfituje w 19\,706\,097 zdjęć pojedynczych stron gazet. Liczba ta przekłada się na około 3\,750 historycznych gazet, czyli ponad 2,5 miliona egzemplarzy. Aby przeszukiwać bazę danych możemy wybrać z takich opcji filtrowania jak: filtrowanie po regionie oraz po zakresie daty wydania. Zważając na ilość metadanych, jakie zostały zebrane i ilość informacji, jakie przechowywane są w bazie Chronicling America na temat każdej z gazet, liczba filtrów jest jednak dość mała, chociaż możliwość przeszukiwania tekstu obrazów po dowolnych frazach i fakt, że podkreślane są one w wynikach wydaje się zaspokajać większość potrzeb z tym związanych. Jest to zdecydowanie najważniejsza funkcjonalność jaką oferuje ta witryna. Dzięki zastosowaniu technologii OCR możemy wyszukać dowolną frazę wpisując ją w panel wyszukiwania w prawym górnym rogu. Wyjątkowo interesującym rozwiązaniem jest podkreślenie na każdym z rezultatów wyszukiwanej frazy, co znacznie ułatwia wyszukiwanie interesujących treści, już później na etapie samych wyników. Przykład działania zademonstrowano wyszukując frazę ,,polish''. \begin{figure}[h!] \centering \includegraphics[width=0.9\textwidth]{images/polish_ca.png} \caption{Wyniki wyszukiwania frazy ,,polish'' na stronie głównej projektu Chronicling America \cite{Humanities2022Jun_CA_inter}} \end{figure} Po wpisaniu tej frazy w wyszukiwarkę liczba wyników to 1\,350\,355. Pomimo identycznej pisowni w języku angielskim słów ,,polerować'' oraz ,,polski'' zapewne większość z tych wyników nie dotyczy wzmianek o Polakach czy Polsce. Jednakże już na pierwszy rzut oka dostrzec możemy takie pozycje jak ,,Dziennik Chicagowski'' czy pismo ,,Katolik''. \clearpage \begin{figure}[h!] \centering \subfloat[\centering Strona tytułowa pisma Katolik]{{\includegraphics[width=6cm]{images/pdf_katolik.png} }}% \qquad \subfloat[\centering Wycinek transkryptu strony tytułowej]{{\includegraphics[width=3cm]{images/trans_katolik.png} }}% \caption{Przykład polskiego pisma w zbiorach Chronicling America \cite{Humanities2022Jun_CA_inter}}% \label{katol} \end{figure} \begin{figure}[h!] \centering \includegraphics[width=0.85\textwidth]{images/stron_info_katol.png} \caption{Strona informacyjna dla czasopisma ,,Katolik'' \cite{Humanities2022Jun_ca_katol}} \end{figure} Zaprezentowane na rysunku \ref{katol} czasopismo to ,,Katolik'', wydanie z dnia 12 kwietnia 1894 roku. Pod tą nazwą pismo to wydawane było jednak jedynie przez 2 lata (1893-1895) swojej historii. Szerzej znane jako ,,Wiarus'', który zadebiutował w 1886 roku w stanie Minnesota, a dokładniej w miejscowości Winona, która stanowiła centrum polskiej emigracji dla tego stanu. Treści w niej przedstawiane były w większości w języku polskim, chociaż już na prezentowanej stronie można zauważyć również fragmenty w języku angielskim. Sam ,,Wiarus'' ma bardzo ciekawą historie, ponieważ już początki tego pisma nie należały do najprostszych, mimo ambicji zarządu wydawnictwa. Po utracie dwóch redaktorów w ciągu dziesięciu numerów, w tym jednego rosyjskiego szpiega, który wypełniał gazetę antypolskimi nastrojami, wydawnictwo dość niechętnie zatrudniło Hieronima Derdowskiego, byłego redaktora gazety ,,Pielgrzym Polski'' z Detroit o dość szemranej przeszłości. Derdowski był z pochodzenia Kaszubą i właśnie swojemu pochodzeniu zawdzięcza on sukces, jaki udało mu się osiągnąć, ponieważ to Winony masowo emigrowali właśnie Kaszubi. Dzięki znajomości języka kaszubskiego szybko nawiązał on kontakt z osadnikami w Winonie. Rozpowszechniając język polski, edukując, a także przystosowując polską ludność do życia w Ameryce, Derdowski odniósł tak duży sukces, że 19 września 1889 r. udało mu się nabyć całe wydawnictwo. Jak jednak bywa z każdym sukcesem, a co za tym idzie i rozgłosem, ,,Wiarus'' otrzymywał również głosy sprzeciwu ze względu na ataki na osoby publiczne jakich dokonywał Derdowski w swojej gazecie. Największy sprzeciw i wystawienie na publiczną debatę przyniosła zmiana nazwy pisma na ,,Katolik'', które jednak ugięło się pod naporem opinii publicznej i po dwóch latach powróciło do swojej pierwotnej nazwy. Gazeta wydawana była nawet po śmierci Derdowskiego, wciąż głosząc jego poglądy aż do 1919 roku. Historia ta to zaledwie streszczenie informacji, jakie zawarte są dla tej gazety na stronie Chronicling Amercica, jest to o tyle imponujące że przedstawiona jest tam cała historia dość niszowego pisma i to w dodatku w innym języku niż angielski, co podkreśla nakład prac i staranność z jakim przeprowadzony został ten projekt. Zrzut ekranu ze strony z informacjami na temat pisma ,,Katolik'' przedstawiony został poniżej. Dla każdej gazety istnieje też możliwość pobrania transkryptu, jednakże jak nietrudno zauważyć w tym przypadku jakościowo nie należy on do najlepszych. Możliwe jest jednak zrozumienie sensu przewodniego prezentowanej treści, co jest już i tak dużym sukcesem zważając na to, że polskojęzyczne treści to zaledwie mikroskopijna część zbioru i nie są one zbiorem docelowym, a jedynie dodatkiem wzbogacającym bujną historie amerykańskiego piśmiennictwa \cite{Humanities2022Jun_ca_katol}. \subsection{Statystyki zbioru Chronicling America} Strona Chronicling America nie oferuje jednak dostępu do żadnych statystyk związanych z zebranym zbiorem, dlatego aby uniknąć żmudnego ręcznego zapisywania liczebności wynikła potrzeba skorzystania z technik web scrapingu, dzięki temu zostały pozyskane takie dane jak rozkład liczebności stron gazet ze względu na lata wydawania czy region z którego pochodzą. \newline \begin{figure}[h!] \centering \includegraphics[width=0.87\textwidth]{images/strony_per_year.png} \caption{Liczba wszystkich zebranych stron gazet w repozytorium Chronicling America w rozbiciu na lata ich wydawania} \label{wykres0} \end{figure} Rycina \ref{wykres0} przedstawia wykres z liczebnościami zebranych obrazów stron poszczególnych gazet ze względu na lata, w których je wydawano. Jak nietrudno zauważyć, najstarsze okazy charakteryzują się bardzo znikomą liczebnością. Dla trzech pierwszych lat (1777-1779), spośród obejmowanych przez projekt Chronicling America dat, zbiór zdigitalizowanych stron gazet wynosi zaledwie 316 obrazów. Kolejne 9 lat (1780-1788) to z kolei brak jakichkolwiek materiałów, co wydaje się być dość zrozumiałe ze względu na burzliwą historie Stanów Zjednoczonych i panujące w tych latach walki o niepodległość. Największa ilość publikacji, jaka została zebrana w ramach projektu pochodzi z lat 1908-1921, ta liczba wynosi aż 6\,876\,837 stron, co stanowi 35\% całości zbiorów. Jest to o tyle ciekawe, że spodziewać by się można było tendencji wzrostowej przez cały zakres dat jeżeli chodzi o liczbę skatalogowanych materiałów, a z danych ewidentnie wynika, że po 1921 roku zauważalny jest drastyczny spadek ich ilości. \newline \begin{figure}[h!] \centering \includegraphics[width=0.85\textwidth]{images/gazety_per_terytorium.png} \caption{Liczba wszystkich zebranych gazet w repozytorium Chronicling America w rozbiciu na poszczególne obszary} \label{wykres1} \end{figure} Na rysunku \ref{wykres1} zaprezentowany został wykres liczebności gazet jakie zostały zebrane w ramach Chronicling America do których dostęp możliwy jest z wykorzystaniem przedstawianego interfejsu. Jak widzimy na samym szycie plasuje się stan Virginia, który to dysponuje zbiorem 125 tysięcy gazet przeznaczonych do digitalizacji w ramach projektu. Tuż za nim znajduje się Dystrykt Columbia, co jest w pełni zrozumiałe ze względu na jego główną siedzibę, Waszyngton, jednocześnie będący stolicą Stanów Zjednoczonych, choć i tak dziwić może fakt, że nie znajduje się on na miejscu pierwszym. Szczególne zainteresowanie wzbudza jedna pozycja w tym rankingu, a mianowicie pozycja ostatnia ,,Piedmont''. Pomimo, że na stronie w opcji filtrowania mamy dostępne filtrowanie po stanach, to znalazły się tutaj też miejsca takie jak Puerto Rico czy Wyspy Dziewicze (\emph{z ang. Virgin Islands}) i wspomniany wcześniej, zamykający ranking z zaledwie 773 zdigitalizowanymi pozycjami, Piedmont. Jest to o tyle zaskakujące, że nie jest to ani stan ani terytorium zależne, jak chociażby Wyspy Dziewicze, a jest to region płaskowyżu położony we wschodnich Stanach Zjednoczonych rozciągający się od Nowego Jorku na północy do środkowej Alabamy na południu. Nie sposób jednak znaleźć informacji, z jakich pobudek miejsce to znalazło się w listingu ,,stanów'' w opcji filtrowania i czy aby na pewno jest to poprawne miejsce, a nie swego rodzaju niedopatrzenie. \begin{figure}[h!] \centering \includegraphics[width=1\textwidth]{images/strony_per_terytorium.png} \caption{Liczba wszystkich zebranych stron gazet w repozytorium Chronicling America w rozbiciu na poszczególne obszary} \label{wykres2} \end{figure} Dla porządku wykres na rysunku \ref{wykres2}, przedstawiający pojedyncze strony w rozbiciu na miejsce pochodzenia posiada dokładnie tą samą kolejność co poprzedni. Jak widzimy poniżej w tym zestawieniu Dystrykt Columbia już zdecydowanie nie ma sobie równych. Obrazów pochodzących z tamtego regionu skatalogowane w ramach projektu dla tego stanu w repozytroium znajduje sie zawrotna liczba 1\,835\,519, która stanowi 10\% całości zbioru. To dwukrotnie więcej niż drugi w tym zestawieniu stan Nowy Jork. W tym wypadku Virginia uplasowała się dopiero na pozycji trzeciej. Stawkę ponownie zamyka Piedmont w ramach którego dostępne jest jedynie 32\,120 pojedynczych stron gazet. \newline Pod auspicjami Chronicling America narodził się kolejny projekt, który stanowi następny krok w stronę pełnej cyfryzacji posiadanych treści. Projekt ten nazywa się Newspaper Navigator, a jego celem było dołożyć kolejną cegiełkę do już i tak mocno rozbudowanych możliwości przeszukiwania zebranych zbiorów, a mianowicie rozpoznawania znajdujących się w nich konkretnych rodzajów elementów, głównie będących różnego rodzaju obrazami. \section{Opis podejścia Newspaper Navigator} Newspaper Navigator to nazwa eksperymentu z dziedziny uczenia maszynowego, a będąc bardziej precyzyjnym głębokich sieci neuronowych, opartego wyłącznie na zbiorze danych wyodrębnionym z zebranych pozycji podczas projektu Chronicling America. Ten pilotażowy projekt oferował możliwość zbadania historycznych relacji prasowych z I wojny światowej i przyczynienia się do cyfrowej nauki w tym samym czasie. Zawartość wizualna gazet została zidentyfikowana przy użyciu modelu wykrywania obiektów wyuczonego na stronach gazet pochodzących z okresu I wojny światowej. Adnotacje do tych materiałów zostały zebrane w ramach projektu crowdsourcingowego Beyond Words. Projekt ten był przeprowadzony latach 2017-2021, a w ramach niego Biblioteka Kongresu poprosiła społeczeństwo o identyfikacje wizualnych elementów znajdujących się w przygotowanym pod projekt Newspaper Navigator zbiorze. Wolontariusze mieli do wykonania 1 lub więcej z 3 możliwych rodzajów zadań, po pierwsze była wspomniana już identyfikacja, po drugie transkrypcja, oraz po trzecie weryfikacja poprawności zaznaczonych przez innych wolontariuszy treści. W rezultacie powstały adnotacje do treści wizualnych pojawiających się na zebranych stronach gazet, które dzielą się na następujące kategorie: \begin{enumerate} \item[$\bullet$] fotografia (\emph{z ang. photograph}), \item[$\bullet$] ilustracja (\emph{z ang. illustration}), \item[$\bullet$] mapa (\emph{z ang. map}), \item[$\bullet$] komiks (\emph{z ang. cartoon}), \item[$\bullet$] karykatura (\emph{z ang. editorial cartoon}), \item[$\bullet$] tytuł (\emph{z ang. headline}), \item[$\bullet$] reklama (\emph{z ang. advertisement}). \end{enumerate} Pomoc wolontariuszy była niezbędna do przygotowana zbioru uczącego dla sztucznych sieci neuronowych, aby je wyuczyć i dokonać predykcji na pozostałej, znacznie bardziej licznej, części zbioru po otrzymaniu satysfakcjonujących wyników na wydzielonym zbiorze testowym. Całość zebranego zbioru została wykorzystana przez badaczy Biblioteki Kongresu do stworzenia witryny pozwalającej na wyszukiwanie treści wizualnych pochodzących z dawnych gazet po dowolnie wybranych frazach. \cite{BibEntry2020May_NNNNN}. Na rysunkach \ref{wysz00} oraz \ref{wysz01} przedstawiono interfejs wyszukiwarki dla przykładu wyszukiwania frazy 'football' (\emph{z ang. futbol amerykański}): \begin{figure}[h!] \centering \includegraphics[width=1\textwidth]{images/nn_interface_football.png} \caption{Przykład użycia wyszukiwarki Newspaper Nawigator dla frazy 'football' \cite{BibEntry2022Jul_nn_search}} \label{wysz00} \includegraphics[width=1\textwidth]{images/elem_search_nn.png} \caption{Szczegółowy widok wybranego rezultatu wyszukiwania \cite{BibEntry2022Jul_nn_search}} \label{wysz01} \end{figure} Jak można zauważyć dokładny zakres dat, które obejmuje wyszukiwarka, to lata 1900 do 1963. Daty te są datami granicznymi, wyniki nie obejmują ani okresów wcześniejszych, ani późniejszych. Zakres dat jest dostępny w postaci filtra, tak samo jak lokalizacja gazety z której pochodzą wyszukiwane elementy wizualne. Wyniki wyszukiwania zdają się być dobrze dopasowane, zauważyć możemy grupowe zdjęcia drużyn futbolu amerykańskiego oraz pojedyncze zdjęcia poszczególnych zawodników. Po kliknięciu w dowolny rezultat wyszukiwania sprawdzić możemy dlaczego został on zaklasyfikowany do wyszukiwanej frazy, ponieważ tuż obok powiększenia wybranego elementu znajdziemy przypisaną do niego transkrypcje wyekstrahowaną przez zastosowany system OCR. Na powyższym przykładzie widzimy, że wybrane zdjęcie przedstawia grupę zawodników męskiej drużyny futbolu amerykańskiego z nowojorskiego uniwersytetu Columbia. Fraza, którą wyszukiwaliśmy, została podkreślona, aby ułatwić użytkownikowi orientacje. Konkretny element wyszukiwania możemy zapisać w postaci obrazu, zobaczyć pełną wersje gazety, z której pochodzi, poznać szczegółowe dane o tej gazecie, a także pobrać jej cytat. Nazwa oraz data wydania konkretnego egzemplarza zostały pogrubione i umieszczone nad tekstem pochodzącym z OCR. Przykład powyżej przedstawia wyszukiwarkę jedynie z jej dobrej strony, prezentując dobrze dopasowane wyniki do wyszukiwanej frazy. Choć niewątpliwie wyszukiwarka działa w większości przypadków działa przyzwoicie zdarzają się też takie, na których wyniki dopasowywane są dość słabo. Dlatego też wypadałoby jako kontrprzykład przedstawić wyniki wyszukiwania dla innej frazy, gdzie nie radzi sobie ona wystarczająco dobrze. Kolejną wyszukiwaną frazą będzie zatem słowo 'bar' (\emph{z ang. bar}): \begin{figure}[h!] \centering \includegraphics[width=1\textwidth]{images/nn_interface_bar.png} \caption{Przykład użycia wyszukiwarki Newspaper Nawigator dla frazy 'bar' \cite{BibEntry2022Jul_nn_search}} \label{wysz1} \end{figure} \clearpage \begin{figure}[h!] \centering \includegraphics[width=1\textwidth]{images/elem_search_nn_2_wrong.png} \caption{Szczegółowy widok wybranego błędnego rezultatu wyszukiwania 1 \cite{BibEntry2022Jul_nn_search}} \label{wysz2} \includegraphics[width=1\textwidth]{images/elem_search_nn_3_wrong.png} \caption{Szczegółowy widok wybranego błędnego rezultatu wyszukiwania 2 \cite{BibEntry2022Jul_nn_search}} \label{wysz3} \end{figure} Jak widać na rysunku \ref{wysz1}, tylko jeden z wyników w rzeczywistości pasuje do wprowadzonej frazy (środkowy obrazek w skrajnie lewej kolumnie wyników). Dwa przykładowe błędne wyniki wyszukiwania przedstawione są poniżej kolejno na rysunku \ref{wysz2} oraz \ref{wysz3}. Pierwszy z nich prezentuje rabarbarową galaretkę (\emph{z ang. rhubarb jelly}), drugi zaś według transkryptu przedstawia spotkanie w sprawie podpisania umowy na budowę drogi podziemnej, na którym znajduje się osoba o nazwisku Barclat. Jak nietrudno zauważyć zarówno słowo rhubarb oraz nazwisko Barclat zawierają w sobie wyszukiwaną frazę. Pokazuje to, iż zaimplementowana logika wyszukiwania jest dość prosta i opiera się jedynie na występowaniu danej frazy w jakiejkolwiek możliwej postaci w tekście. Podkreśla ten fakt również brak możliwości sortowania wyników po pewności wyszukiwania, a jedynie po dacie. \newline Zbiór, na którym został przeprowadzony eksperyment Newspaper Navigator, składał się z 3,559 stron gazet, na których łącznie zidentyfikowano 48\,409 obiektów. Podział tych obiektów na kategorie prezentuje tabela \ref{tabnn}. \begin{table}[h!] \centering \begin{tabular}{c c c c} \toprule Kategoria & & Liczebność zbioru: & \\ & ogółem & uczącego & testowego \\ \toprule Fotografie & 4\,254 & 3\,375 & 879 \\ \midrule Ilustracje & 1\,048 & 842 & 206 \\ \midrule Mapy & 215 & 181 & 34 \\ \midrule Komiksy & 1\,150 & 939 & 211 \\ \midrule Karykatury & 293 & 239 & 54 \\ \midrule Tytuły & 27\,868 & 22\,179 & 5\,689 \\ \midrule Reklamy & 13\,581 & 10\,723 & 2\,858 \\ \bottomrule Suma & 48\,409 & 38\,478 & 9\,931 \\ \bottomrule \end{tabular} \caption{Liczebność adnotacji w projekcie Newspaper Navigator z podziałem na zbiór} \label{tabnn} \end{table} Do stworzenia modelu ekstrakcji treści wizualnych i ich klasyfikacji użyto architektury sieci neuronowych o nazwie Faster-RCNN. Dokładniej mówiąc jest to implementacja tej architektury w bibliotece Detectron2 stworzonej dla języka programowania Python, w którym powstał opisywany model, a także przeprowadzone zostało podejście stworzone na potrzeby niniejszej pracy magisterskiej. Użyta sieć została uprzednio wyuczona na popularnym zbiorze danych COCO i jedynie douczenia na zbiorze danych Newspaper Navigator \cite{Lee2020May_paper}. Detectron2 to platforma badawcza i biblioteka produkcyjna operująca w języku programowania Python, służąca do wykrywania obiektów, zbudowana przez zespół Facebook AI Research (FAIR). Pozwala ona na bardzo szybką implementację wyuczonych już sieci neuronowych służących do pracy z obrazem i dostosowanie ich do posiadanego własnego zbioru danych \cite{BibEntry2021Aug_fb_d2}. Zbiór COCO, na którym wyuczona została użyta sieć neuronowa, pochodzi od firmy Microsoft, zebrano w nim 328 tysięcy zdjęć, zawierających ponad 2,5 miliona oznaczonych obiektów, podzielonych na 91 kategorii \cite{Lin2014May}. Użycie uprzednio wyuczonego modelu na innym zbiorze danych jest bardzo często spotykaną praktyką. Takie podejście znacząco skraca czas treningu oraz niezbędne do tego zasoby, a ponadto często pozwala również osiągnąć lepsze wyniki. Wówczas sieć neuronowa zamiast inicjalizować wagi losowo na samym początku korzysta z ich wyjściowych wartości osiągniętych na wcześniej użytym zestawie treningowym. W takim przypadku zamiast uczyć model od zera, jedynie dostosowuje się jego parametry do konkretnego przypadku, często modelując jedynie ostatnią warstwę, która odpowiada wyłącznie za klasyfikacje. Sama architektura Faster-RCNN oraz wykorzystywanie już częściowo wyuczonych modeli zostanie szerzej opisane przy okazji opisu mojego podejścia do opisywanego zbioru danych, w kolejnym rozdziale. Ostateczne wyniki, jakie zostały osiągnięte przez badaczy z Biblioteki Kongresu, opisuje tabela \ref{NN_wynik}. \begin{table}[h!] \centering \begin{tabular}{c c} \toprule Kategoria & Wartość metryki AP \\ \toprule Fotografie & 0,616 \\ \midrule Ilustracje & 0,309 \\ \midrule Mapy & 0,695 \\ \midrule Komiksy & 0,656 \\ \midrule Karykatura & 0,630 \\ \midrule Tytuły & 0,743 \\ \midrule Reklamy & 0,787 \\ \bottomrule Średnia (mAP) & 0,634 \\ \bottomrule \end{tabular} \caption{Wyniki modelu detekcji w projekcie Newspaper Navigator} \label{NN_wynik} \end{table} Metryka, za pomocą której przedstawione zostały powyższe wyniki, to średnia predykcja (\emph{z ang. average precision - AP}). Metryka ta jest najpopularniejszym sposobem prezentowania wyników w przypadku zagadnień z zakresu detekcji obrazu (\emph{z ang. object detection}). AP bazuje na następujących pojęciach: \begin{enumerate} \item[$\bullet$] \textbf{Tablica pomyłek (\emph{z ang. confusion matrix})} \\ Dane oznaczone etykietami: pozytywną i negatywną poddawane są klasyfikacji, która przypisuje im przewidywaną klasę pozytywną albo przewidywaną klasę negatywną. Możliwe błędy, jakie może popełnić klasyfikator, opisuje właśnie tablica pomyłek. \begin{center} \item[{\includegraphics[scale=0.6]{images/conf_mat.png}}] \end{center} Dla przykładu rozważmy klasyfikacje, czy dany pacjent jest chory, wówczas: \begin{enumerate} \item[$\bullet$] TP = Ludzie chorzy poprawnie zdiagnozowani jako chorzy \item[$\bullet$] FP = Ludzie zdrowi błędnie zdiagnozowani jako chorzy \item[$\bullet$] FN = Ludzie chorzy błędnie zdiagnozowani jako zdrowi \item[$\bullet$] TN = Ludzie zdrowi poprawnie zdiagnozowani jako zdrowi \cite{WspoltworcyprojektowFundacjiWikimedia2015Feb_CONF_MATRIX} \\ \end{enumerate} \item[$\bullet$] \textbf{Indeks Jaccarda (\emph{z ang. Intersection over Union - IoU})} \\ Indeks Jaccarda pozwala określić, na ile przewidywana współrzędne obiektu na obrazie pokrywają się z ich rzeczywistymi wartościami. Działanie tej metryki prezentuje poniższy schemat: \begin{center} \item[{\includegraphics[scale=0.45]{images/iou.png}}] \end{center} Im wyższa wartość opisywanej metryki, tym model lepiej przewidział położenie obiektu znajdującego się na obrazie \cite{BibEntry2022Jul_mAP}. \\ \item[$\bullet$] \textbf{Precyzja} \\ Precyzja jest stosunkiem wartości poprawnie sklasyfikowanych jako pozytywne (TP) do sumy obiektów poprawnie oraz fałszywie sklasyfikowanych jako pozytywne (TP + FP). \begin{center} \begin{equation} \dfrac{TP}{TP+FP} \end{equation} \end{center} Metryka ta informuje, jak dokładny jest klasyfikator względem predykcji przypisanych do klasy pozytywnej, inaczej mówiąc, ile z tych przewidywanych pozytywnych obserwacji jest faktycznie pozytywna \cite{Shung2020Apr}. W przypadku zagadnień detekcji obiektów na obrazie precyzja jest obliczana przy użyciu progu IoU. Zakładając próg IoU równy 0,5, w przypadku gdy dana predykcja ma wartość tej metryki równą 0,3 (IoU < próg) jest ona klasyfikowana jako fałszywie pozytywna (FP). Natomiast jeżeli ta predykcja miała by wartość IoU równą przykładowo 0,7 (IoU > próg), wówczas byłaby ona sklasyfikowana jako prawdziwie pozytywna (TP) \cite{BibEntry2022Jul_mAP}. \\ \item[$\bullet$] \textbf{Recall} \\ Recall jest stosunkiem wartości poprawnie sklasyfikowanych jako pozytywne (TP) do sumy obiektów poprawnie sklasyfikowanych jako pozytywne oraz negatywne (TP + FN). \begin{center} \begin{equation} \dfrac{TP}{TP+FN} \end{equation} \end{center} Metryka ta oblicza, jak wiele z rzeczywistych pozytywnych obserwacji klasyfikator faktycznie przewiduje jako obserwacje pozytywne \cite{Shung2020Apr}. \end{enumerate} Średnia precyzja (AP) jest obliczana jako średnia ważona precyzji przy każdym progu IoU, gdzie wagą jest wzrost wartości recall od poprzedniego progu. Średnią precyzje wyraża wzór \ref{AP}. \begin{equation} AP = \sum_{n}(R_{n}-R_{n-1})P_{n} \label{AP} \end{equation} W powyższym wzorze P oraz R oznaczają kolejno precyzję i recall przy n-tym progu IoU. \begin{equation} mAP = \dfrac{1}{N}\sum_{i=1}^{N}AP_{i} \end{equation} Jeżeli chodzi o metrykę mAP to jest ona obliczana poprzez znalezienie wartości AP dla każdej z klas, a następnie uśrednienie jej \cite{BibEntry2022Jul_mAP}. \newline Cały proces, jaki został przeprowadzony w ramach eksperymentu Newspaper Navigator, jeśli chodzi o przygotowanie danych, aby następnie móc wykorzystać je na potrzeby stworzenia wyszukiwarki opisuje rysunek \ref{pipelin}. Widać na nim, że w pierwszym kroku, po pobraniu zdjęcia gazety, uruchamiany jest na nim stworzony i wytrenowany model detekcji obrazu oparty na sztucznych sieciach neuronowych, który wykrywa elementy wizualne, klasyfikuje je i przekazuje ich współrzędne. Na podstawie współrzędnych tworzone są następnie ramki ograniczające (\emph{z ang. bounding box}). Kolejnym krokiem jest wycięcie z oryginalnego obrazu wykrytych elementów wizualnych zgodnie z będącymi wyjściem modelu ramkami ograniczającymi. Następnie na wyciętych elementach uruchamiany jest system OCR, który rozpoznaje tekst na obrazie. Wykryty tekst będzie służył jako podstawa do późniejszego przeszukiwania przez stworzony silnik wyszukiwarki. Na koniec wyekstrahowane dane zostają zapisane \cite{Lee2020May_paper}. \begin{figure}[h!] \centering \includegraphics[width=1\textwidth]{images/nn_pipeline.png} \caption{Schemat przygotowania danych Newspaper Navigator \cite{Lee2020May_paper}} \label{pipelin} \end{figure} Mając na uwadze omówiony w tym rozdziale eksperyment Newspaper Navigator przeprowadzony przez badaczy z Biblioteki Kongresu w kolejnym rozdziale przedstawiony zostanie mój sposób podejścia do problemu. Zostanie w nim zaprezentowany między innymi proces przygotowania danych, opis modelu, ewaluacja jego rezultatów, porównania ich z pierwowzorem, użycie systemu OCR, czy podjęta próba stworzenia wyszukiwarki na podstawie otrzymanych wyników.