Update on Overleaf.

This commit is contained in:
Alex Drożdż 2022-06-16 22:29:29 +00:00 committed by node
parent 65a341791b
commit 506bb9c8b4
6 changed files with 111 additions and 25 deletions

View File

@ -1,6 +1,50 @@
% here the bibliographic entry for the paper itself should be given, % here the bibliographic entry for the paper itself should be given,
% used for generating declarations % used for generating declarations
@misc{WspoltworcyprojektowFundacjiWikimedia2003Feb,
author = {{Wsp{\ifmmode\acute{o}\else\'{o}\fi}{\l}tw{\ifmmode\acute{o}\else\'{o}\fi}rcy projekt{\ifmmode\acute{o}\else\'{o}\fi}w Fundacji Wikimedia}},
title = {{Tagged Image File Format {\textendash} Wikipedia, wolna encyklopedia}},
year = {2003},
month = feb,
note = {[Online; accessed 16. Jun. 2022]},
url = {https://pl.wikipedia.org/w/index.php?title=Tagged_Image_File_Format&oldid=61231387}
}
@misc{BibEntry2022Jun_dpi,
title = {{Co oznacza rozdzielczo{\ifmmode\acute{s}\else\'{s}\fi}{\ifmmode\acute{c}\else\'{c}\fi} DPI podczas drukowania i jak wybra{\ifmmode\acute{c}\else\'{c}\fi} odpowiedni{\k{a}} drukark{\k{e}}? {$\vert$} TonerPartner.pl}},
year = {2022},
month = jun,
note = {[Online; accessed 16. Jun. 2022]},
url = {https://www.tonerpartner.pl/artykuly/co-to-jest-rozdzielczosc-dpi-w-drukowaniu-i-jak-wybrac-odpowiednia-drukarke-27196pl39332}
}
@misc{DuggalVisualSolutions2022Jun,
author = {{Duggal Visual Solutions}},
title = {{Quick Guide to DPI Printing}},
journal = {Duggal Visual Solutions},
year = {2022},
month = jun,
note = {[Online; accessed 16. Jun. 2022]},
url = {https://duggal.com/quick-guide-to-dpi-printing}
}
@misc{BibEntry2022Jun_tech,
title = {{Guidelines {\&} Resources - National Digital Newspaper Program (Library of Congress)}},
year = {2022},
month = jun,
note = {[Online; accessed 16. Jun. 2022]},
url = {https://www.loc.gov/ndnp/guidelines}
}
@misc{Humanities2022Jun,
author = {Humanities, National Endowment for the},
title = {{Chronicling America {$\vert$} Library of Congress}},
year = {2022},
month = jun,
note = {[Online; accessed 16. Jun. 2022]},
url = {https://chroniclingamerica.loc.gov/about}
}
@misc{BibEntry2022Jun_NEH, @misc{BibEntry2022Jun_NEH,
title = {{U.S. Newspaper Program}}, title = {{U.S. Newspaper Program}},
journal = {National Endowment for the Humanities}, journal = {National Endowment for the Humanities},

View File

@ -120,7 +120,7 @@ Swobodne przeszukiwanie publikacji udostępnionych w ramach usługi Google Books
\caption{Schemat działania OCR \cite{PatrickFarley2022May}} \caption{Schemat działania OCR \cite{PatrickFarley2022May}}
\end{figure} \end{figure}
Na powyższym schemacie zaobserwować możemy etapy działania OCR, od momentu zeskanowania, aż po przygotowany plik JSON z zawartością przetwarzanego obrazu. Optyczne rozpoznawanie znaków umożliwia konwersję różnych różnych typów dokumentów, takich jak zeskanowane dokumenty papierowe, pliki PDF lub obrazy zarejestrowane przez aparat cyfrowy na dane ,które później można edytować i przeszukiwać. Warto podkreślić, że obrazy przechwycone przez aparat cyfrowy różnią się od zeskanowanych dokumentów lub obrazów. Mają one często przeróżne wady takie jak zniekształcenia na krawędziach i źle dopasowane światło, co utrudnia większości aplikacji OCR prawidłowe rozpoznanie tekstu. Na proces jaki przeprowadza OCR przejść składają się trzy etapy. Pierwszym z nich to segmentacja, tzn. identyfikacja poszczególnych glifów, które są podstawowymi jednostkami reprezentującymi jeden lub więcej znaków zazwyczaj przylegających do siebie, na podstawie binarnego obrazu wejściowego. Drugim krokiem jest ekstrakcja cech, czyli wyliczenie z każdego glifu wektora liczb, które posłużą jako cechy wejściowe dla sztucznej sieci neuronowej. Ostatnim zadaniem jest klasyfikacja konkretnych wystąpień słów \cite{mithe2013optical}. Na powyższym schemacie zaobserwować możemy etapy działania OCR, od momentu zeskanowania, aż po przygotowany plik JSON z zawartością przetwarzanego obrazu. Optyczne rozpoznawanie znaków umożliwia konwersję różnych różnych typów dokumentów, takich jak zeskanowane dokumenty papierowe, pliki PDF lub obrazy zarejestrowane przez aparat cyfrowy na dane ,które później można edytować i przeszukiwać. Warto podkreślić, że obrazy przechwycone przez aparat cyfrowy różnią się od zeskanowanych dokumentów lub obrazów. Mają one często przeróżne wady takie jak zniekształcenia na krawędziach i źle dopasowane światło, co utrudnia większości aplikacji OCR prawidłowe rozpoznanie tekstu. Na proces jaki przeprowadza OCR przejść składają się trzy etapy. Pierwszym z nich to segmentacja, czyli identyfikacja poszczególnych glifów, które są podstawowymi jednostkami reprezentującymi jeden lub więcej znaków zazwyczaj przylegających do siebie, na podstawie binarnego obrazu wejściowego. Drugim krokiem jest ekstrakcja cech, czyli wyliczenie z każdego glifu wektora liczb, które posłużą jako cechy wejściowe dla sztucznej sieci neuronowej. Ostatnim zadaniem jest klasyfikacja konkretnych wystąpień słów \cite{mithe2013optical}.
\section{Wyzwania i problemy digitalizacji} \section{Wyzwania i problemy digitalizacji}
@ -135,7 +135,7 @@ Digitalizacja zasobów danego podmiotu to jednak nie tylko pozytywne strony, to
\item[$\bullet$] projektowanie interfejsów użytkownika i portali, \item[$\bullet$] projektowanie interfejsów użytkownika i portali,
\item[$\bullet$] ewaluacja stron internetowych, \item[$\bullet$] ewaluacja stron internetowych,
\item[$\bullet$] umiejętność zarządzania projektami, \item[$\bullet$] umiejętność zarządzania projektami,
\item[$\bullet$] języki znaczników, przede wszystkim XML, \item[$\bullet$] języki znaczników (przede wszystkim XML),
\item[$\bullet$] technologie internetowe, \item[$\bullet$] technologie internetowe,
\item[$\bullet$] e-metryki i sposoby oceny bibliotek cyfrowych, \item[$\bullet$] e-metryki i sposoby oceny bibliotek cyfrowych,
\item[$\bullet$] wiedza i umiejętność obsługiwania baz danych, \item[$\bullet$] wiedza i umiejętność obsługiwania baz danych,
@ -143,11 +143,11 @@ Digitalizacja zasobów danego podmiotu to jednak nie tylko pozytywne strony, to
\item[$\bullet$] analiza i interpretacja informacji, \item[$\bullet$] analiza i interpretacja informacji,
\item[$\bullet$] wiedza z zakresu architektury informacji. \item[$\bullet$] wiedza z zakresu architektury informacji.
\end{itemize} \end{itemize}
\ \\
To pokazuje, że nowocześni bibliotekarze mający do czynienia z usługami cyfrowymi nie mogą ograniczać się tylko do wiedzy z zakresu jednej dziedziny. Sama wiedza dotycząca bibliotekoznawstwa nie jest już wystarczająca, nowi pracownicy powinni łączyć ją z wiedzą z zakresu informatyki, znajomością pewnych specyficznych technologii, czy teorii informacji. Jak nie trudno się domyślić znalezienie tak specyficznie wykwalifikowanego personelu pracowniczego jest nie lada wyzwaniem dla każdej biblioteki decydującej się na cyfryzacje swoich zbiorów \cite{Isfandyari-Moghaddam2008Nov}. Dość dosadnie pokazuje to, że nowocześni bibliotekarze mający do czynienia z usługami cyfrowymi nie mogą ograniczać się tylko do wiedzy z zakresu jednej dziedziny. Sama wiedza dotycząca bibliotekoznawstwa nie jest już wystarczająca, nowi pracownicy powinni łączyć ją z wiedzą z zakresu informatyki, znajomością pewnych specyficznych technologii, czy teorii informacji. Jak nie trudno się domyślić znalezienie tak specyficznie wykwalifikowanego personelu pracowniczego jest nie lada wyzwaniem dla każdej biblioteki decydującej się na cyfryzacje swoich zbiorów \cite{Isfandyari-Moghaddam2008Nov}.
\newline \newline
Kolejnym wyzwaniem z jakim muszą mierzyć się przechodzące transformacje cyfrowe biblioteki to problemy prawne. Przede wszystkim przy wyborze dzieł do digitalizacji należy zwrócić uwagę na ich status prawny. Własność fizyczna danej pozycji nie oznacza, że dana instytucja posiada prawa do jej reprodukcji. Aby móc myśleć o digitalizacji niezbędnym jest uzyskanie na nią zgody, która będzie zgodna z obowiązującymi prawami autorskimi, a także odpowiednie zabezpieczenie zasobów cyfrowych co wiąże się z dodatkowymi kosztami \cite{pandey2014digitization}. Dwa główne prawa majątkowe, które prawo autorskie przyznaje podmiotom praw autorskich, to prawo do zwielokrotniania (czyli prawo do do sporządzania kopii) oraz prawo do rozpowszechniania (czyli prawo do rozpowszechniania kopii) \cite{Panezi2014Oct}. Nie bez powodu prawa autorskie określa się jako najbardziej dokuczliwa bariera w rozwoju bibliotek cyfrowych. Obiekty cyfrowe są łatwe do skopiowania i dostępne jednocześnie dla wielu użytkowników. Stanowi to nie mały problemem w kontekście praw autorskich, które w tym wypadku są bardzo łatwe do złamania nawet na późniejszych etapach, już nie tylko przez biblioteki, ale chociażby przez samych ich użytkowników. Przeważnie wykupienie danej książki od wydawcy zwalnia z dalszej kontroli praw autorskich, jednakże biblioteki, przeciwnie do prywatnych firm, w większości nie są właścicielami oferowanych pozycji, a jedynie ich opiekunami i nie posiadają praw autorskich do przechowywanych przez siebie materiałów \cite{cleveland1998digital}. Wśród członków społeczności bibliotekarskiej stopniowo narasta niepokój związany właśnie z tym wyzwaniem, twierdzą oni iż napotkane problemy będą miały zdecydowany wpływ na możliwości bibliotek do udostępniania zbiorów i świadczenia usług internetowych. W 2010 r. szacowano, że dwadzieścia trzy procent istniejących książek powstało przed 1923 r., a więc nie są one objęte prawami autorskimi. Spośród tych, które wydrukowano po tej dacie, tylko pięć procent było nadal w druku w 2010 roku. Tak więc, około siedemdziesiąt dwa procent książek nie było dostępnych dla szerszej publiczności \cite{Shehu2016Feb}. Jednym ze sposobów na możliwość udostępnienia dzieła, które znajduje się jedynie pod opieką biblioteki, a do którego nie posiada ona żadnych praw autorskich jest wynegocjowanie z wydawcami jasnych warunków licencjonowania \cite{Panezi2014Oct}. Kolejną barierę prawną w przypadku ochrony zasobów cyfrowych stanowią tak zwane dzieła osierocone, w przypadku których bardzo trudno jest zidentyfikować lub odszukać osoby roszczące sobie prawa autorskie do danych dzieł. Jeśli nie jest możliwe odnalezienie właścicieli praw autorskich i skontaktowanie się z nimi w celu uzyskania zgody na digitalizacje, będzie ona po prostu najpewniej nie możliwa do wykonania. Proces ustalania praw autorskich jest czynnością czasochłonną i wymagającą dużych zasobów, dlatego instytucje, które podejmują się digitalizacji, najchętniej unikają w procesie selekcji materiały nadal będące pod ochroną praw autorskich. Kwestia ta jest jeszcze bardziej delikatna w przypadku dzieł zbiorowych, przykładowo nagrań spektakli czy sztuk. Wówczas wszyscy ich autorzy tj. reżyserzy, choreografowie, aktorzy, a nawet kostiumolodzy, scenografowie i oświetleniowcy mogą ubiegać się o ochronę praw autorskich. Ze względu na ogromną złożoność prawną wiele dzieł zbiorowych objętych prawami autorskimi nie jest z założenia w ogóle brana pod uwagę przy digitalizacji. Umowy licencyjne negocjowane między podmiotami praw autorskich a instytucjami, takimi jak biblioteki i archiwa, mogą nakładać pewne ograniczenia na dostęp do informacji cyfrowych i sposób ich wykorzystania. Opracowywane są nowe formy licencji otwartego dostępu, w tym licencje Creative Commons, które pozwalają na większą elastyczność w korzystaniu z materiałów chronionych prawem autorskim i mają na celu przeciwdziałanie coraz większemu komercyjnemu zamknięciu cyfrowej sfery publicznej. Licencje otwartego dostępu pozwalają właścicielom praw autorskich na udostępnianie dzieł twórczych mając na uwadze ich możliwe kopiowanie, a także rozpowszechnianie. Dzieje się to poprzez przyznawanie wyjątków (takich jak użycie niekomercyjne) od praw przysługujących im na mocy tradycyjnych praw autorskich. W rzeczywistości takie modele licencji mają na celu rozszerzenie zakresu, który został ograniczony oraz przywrócenie równowagi w przepisach prawa autorskiego w celu maksymalnego otwarcia na dzieła twórcze i naukowe \cite{Evens2011May}. Kolejnym wyzwaniem z jakim muszą mierzyć się przechodzące transformacje cyfrowe biblioteki to problemy prawne. Przede wszystkim przy wyborze dzieł do digitalizacji należy zwrócić uwagę na ich status prawny. Własność fizyczna danej pozycji nie oznacza, że dana instytucja posiada prawa do jej reprodukcji. Aby móc myśleć o digitalizacji niezbędnym jest uzyskanie na nią zgody, która będzie zgodna z obowiązującymi prawami autorskimi, a także odpowiednie zabezpieczenie zasobów cyfrowych co wiąże się z dodatkowymi kosztami \cite{pandey2014digitization}. Dwa główne prawa majątkowe, które prawo autorskie przyznaje podmiotom praw autorskich, to prawo do zwielokrotniania (czyli prawo do do sporządzania kopii) oraz prawo do rozpowszechniania (czyli prawo do rozpowszechniania kopii) \cite{Panezi2014Oct}. Nie bez powodu prawa autorskie określa się jako najbardziej dokuczliwa bariera w rozwoju bibliotek cyfrowych. Obiekty cyfrowe są łatwe do skopiowania i dostępne jednocześnie dla wielu użytkowników. Stanowi to nie mały problemem w kontekście praw autorskich, które w tym wypadku są bardzo łatwe do złamania nawet na późniejszych etapach, już nie tylko przez biblioteki, ale chociażby przez samych ich użytkowników. Przeważnie wykupienie danej książki od wydawcy zwalnia z dalszej kontroli praw autorskich, jednakże biblioteki, przeciwnie do prywatnych firm, w większości nie są właścicielami oferowanych pozycji, a jedynie ich opiekunami i nie posiadają praw autorskich do przechowywanych przez siebie materiałów \cite{cleveland1998digital}. Wśród członków społeczności bibliotekarskiej stopniowo narasta niepokój związany właśnie z tym wyzwaniem, twierdzą oni iż napotkane problemy będą miały zdecydowany wpływ na możliwości bibliotek do udostępniania zbiorów i świadczenia usług internetowych. W 2010 roku szacowano, że dwadzieścia trzy procent istniejących książek powstało przed 1923 rokiem, a więc nie są one objęte prawami autorskimi. Spośród tych tylko pięć procent było nadal w druku w 2010 roku. Tak więc, około siedemdziesiąt dwa procent książek nie było dostępnych dla szerszej publiczności \cite{Shehu2016Feb}. Jednym ze sposobów na możliwość udostępnienia dzieła, które znajduje się jedynie pod opieką biblioteki, a do którego nie posiada ona żadnych praw autorskich jest wynegocjowanie z wydawcami jasnych warunków licencjonowania \cite{Panezi2014Oct}. Kolejną barierę prawną w przypadku ochrony zasobów cyfrowych stanowią tak zwane dzieła osierocone, w przypadku których bardzo trudno jest zidentyfikować lub odszukać osoby roszczące sobie prawa autorskie do danych dzieł. Jeśli nie jest możliwe odnalezienie właścicieli praw autorskich i skontaktowanie się z nimi w celu uzyskania zgody na digitalizacje, będzie ona po prostu najpewniej nie możliwa do wykonania. Proces ustalania praw autorskich jest czynnością czasochłonną i wymagającą dużych zasobów, dlatego instytucje, które podejmują się digitalizacji, najchętniej unikają w procesie selekcji materiały nadal będące pod ochroną praw autorskich. Kwestia ta jest jeszcze bardziej delikatna w przypadku dzieł zbiorowych, przykładowo nagrań spektakli czy sztuk. Wówczas wszyscy ich autorzy tj. reżyserzy, choreografowie, aktorzy, a nawet kostiumolodzy, scenografowie i oświetleniowcy mogą ubiegać się o ochronę praw autorskich. Ze względu na ogromną złożoność prawną wiele dzieł zbiorowych objętych prawami autorskimi nie jest z założenia w ogóle brana pod uwagę przy digitalizacji. Umowy licencyjne negocjowane między podmiotami praw autorskich a instytucjami, takimi jak biblioteki i archiwa, mogą nakładać pewne ograniczenia na dostęp do informacji cyfrowych i sposób ich wykorzystania. Opracowywane są nowe formy licencji otwartego dostępu, w tym licencje Creative Commons, które pozwalają na większą elastyczność w korzystaniu z materiałów chronionych prawem autorskim i mają na celu przeciwdziałanie coraz większemu komercyjnemu zamknięciu cyfrowej sfery publicznej. Licencje otwartego dostępu pozwalają właścicielom praw autorskich na udostępnianie dzieł twórczych mając na uwadze ich możliwe kopiowanie, a także rozpowszechnianie. Dzieje się to poprzez przyznawanie wyjątków (takich jak użycie niekomercyjne) od praw przysługujących im na mocy tradycyjnych praw autorskich. W rzeczywistości takie modele licencji mają na celu rozszerzenie zakresu, który został ograniczony oraz przywrócenie równowagi w przepisach prawa autorskiego w celu maksymalnego otwarcia na dzieła twórcze i naukowe \cite{Evens2011May}.
\newline \newline
W przypadku ochrony materiałów cyfrowych jednym z problemów jest starzenie się technologii, co w dłuższej perspektywie czasowej, w przypadku braku reakcji, może prowadzić do kompletnego utracenie możliwości oglądania danych zbiorów, a co za tym idzie zabicia głównego celu digitalizacji, czyli powszechnego, bezpiecznego i długowiecznego dostępu do danych materiałów. Starzenie się technologii w erze cyfrowej jest porównywalne do niszczenia papieru w epoce papieru. Biblioteki w swojej tradycyjnej formie musiały dbać o takie rzeczy jak kontrola klimatu w pomieszczeniach ze zgromadzonymi zbiorami oraz przykładowo ich odkwaszaniem. Te cyfrowe również muszą odpowiednio dbać o zdigitalizowane dzieła, poprzez nieustanne opracowywania nowych rozwiązań technicznych. W dłuższej perspektywie materiały przechowywane na starszych nośnikach mogą zostać utracone, ponieważ nie będzie już sprzętu ani oprogramowania do ich odczytu. Biblioteki będą więc musiały stale przenosić informacje cyfrowe z nośnika na nośnik lub rozważyć nowoczesne technologie chmurowe, a co za tym idzie zlecić zadanie innemu podmiotowi i dodatkowo przeznaczyć część budżetu na opłacenie zewnętrznego dostawcy pamięci. Zachowaniu dostępu do treści dokumentów, niezależnie od ich formatu to kolejne wyzwanie podchodzące pod problemy natury technicznej związane z cyfrowymi bibliotekami. Jest to problem nawet większy niż w przypadku przestarzałych technologii pamięci masowej, ponieważ przenoszenie plików z jednego przestarzałego fizycznego nośnika na inny nowocześniejszy jest owszem męczące ale nie aż tak ryzykowne. W przypadku reakcji odpowiednio wcześniej i zachowania kopii zapasowych przed procesem przenoszenia treści, wszystko powinno obejść się bez większych problemów. W przypadku przestarzałego formatu pliku sprawa robi się znacznie bardziej skomplikowana. Jednym z rozwiązań jest migracja danych, czyli przetłumaczenie danych z jednego formatu na inny, zachowując zdolność użytkowników do pobierania i wyświetlania treści. Jednak i tu pojawiają się trudności, ponieważ migracja danych jest kosztowna, a ryzyko zniekształcenia lub utraty informacji w trakcie procesu migracji jest praktycznie nieuniknione. \cite{verma2009digital}. W przypadku ochrony materiałów cyfrowych jednym z problemów jest starzenie się technologii, co w dłuższej perspektywie czasowej, w przypadku braku reakcji, może prowadzić do kompletnego utracenie możliwości oglądania danych zbiorów, a co za tym idzie zabicia głównego celu digitalizacji, czyli powszechnego, bezpiecznego i długowiecznego dostępu do danych materiałów. Starzenie się technologii w erze cyfrowej jest porównywalne do niszczenia papieru w epoce papieru. Biblioteki w swojej tradycyjnej formie musiały dbać o takie rzeczy jak kontrola klimatu w pomieszczeniach ze zgromadzonymi zbiorami oraz przykładowo ich odkwaszaniem. Te cyfrowe również muszą odpowiednio dbać o zdigitalizowane dzieła, poprzez nieustanne opracowywania nowych rozwiązań technicznych. W dłuższej perspektywie materiały przechowywane na starszych nośnikach mogą zostać utracone, ponieważ nie będzie już sprzętu ani oprogramowania do ich odczytu. Biblioteki będą więc musiały stale przenosić informacje cyfrowe z nośnika na nośnik lub rozważyć nowoczesne technologie chmurowe, a co za tym idzie zlecić zadanie innemu podmiotowi i dodatkowo przeznaczyć część budżetu na opłacenie zewnętrznego dostawcy pamięci. Zachowaniu dostępu do treści dokumentów, niezależnie od ich formatu to kolejne wyzwanie podchodzące pod problemy natury technicznej związane z cyfrowymi bibliotekami. Jest to problem nawet większy niż w przypadku przestarzałych technologii pamięci masowej, ponieważ przenoszenie plików z jednego przestarzałego fizycznego nośnika na inny nowocześniejszy jest owszem męczące ale nie aż tak ryzykowne. W przypadku reakcji odpowiednio wcześniej i zachowania kopii zapasowych przed procesem przenoszenia treści, wszystko powinno obejść się bez większych problemów. W przypadku przestarzałego formatu pliku sprawa robi się znacznie bardziej skomplikowana. Jednym z rozwiązań jest migracja danych, czyli przetłumaczenie danych z jednego formatu na inny, zachowując zdolność użytkowników do pobierania i wyświetlania treści. Jednak i tu pojawiają się trudności, ponieważ migracja danych jest kosztowna, a ryzyko zniekształcenia lub utraty informacji w trakcie procesu migracji jest praktycznie nieuniknione \cite{verma2009digital}.

View File

@ -3,40 +3,82 @@
\chapter{Digitalizacja treści na podstawie projektu Chronicling America} \chapter{Digitalizacja treści na podstawie projektu Chronicling America}
\section{Opis projektu "Chronicling America"} \section{Opis projektu Chronicling America}
Projekt Chronicling America został przeprowadzony na terenie Stanów Zjednoczonych, a jego celem było rozpowszechnienie dostępu do zdigitalizowanych treści wśród jak najliczniejszej grupy osób, szczególnie wśród młodego pokolenia Amerykanów, bazę tego projektu stanowiły historyczne amerykańskie gazety. Korzystanie z materiałów zgromadzonych i przetworzonych podczas prac nad tym projektem jest całkowicie darmowe dla wszystkich użytkowników, co potwierdza założenia projektu o rozszerzaniu skali potencjalnych czytelników zasobów biblioteki. Szczególnie, że projekt dotyczy gazet nawet sprzed setek lat, które ze względu na stan i wartość prawdopodobnie nie były by dopuszczone do powszechnego użytku. Chronicling America został stworzony przez organizacje United States National Digital Newspaper (NDNP), która narodziła się dzięki współpracy rządowej agencji National Endowment for the Humanities (NEH) oraz Biblioteki Kongresu \cite{ContributorstoWikimediaprojects2022Feb}. NEH jest niezależną agencją federalną, która jest jednym z największych fundatorów programów humanistycznych w całych Stanach Zjednoczony, a jej historia sięga aż 1965 roku. Aktualnie jej główna działalność opiera się na rozdysponowywaniu grantów na projekty humanistyczne, które jak sami określają promują doskonałość w naukach humanistycznych i przekazują lekcje historii wszystkim Amerykanom. Dotacje NEH są zazwyczaj przyznawane instytucjom kulturalnym, takim jak muzea, archiwa, biblioteki, szkoły wyższe, uniwersytety, publiczne stacje telewizyjne i radiowe, a także indywidualnym naukowcom \cite{BibEntry2022Jun}. Z kolei Bibliotek Kongresu Stanów Zjednoczonych jest największą biblioteką na świecie z główną siedzibą w Waszyngtonie, w stanie District of Columbia, której początek datuje się na 1800 rok. Pełni ona funkcje biblioteki narodowej, jest również głównym ośrodkiem badawczym Kongresu USA, a także siedzibą Biura Praw Autorskich USA. Bibliotek Kongresu może poszczycić się Zbiorami liczącymi ponad 171 milionów pozycji, które obejmują aż 40 milionów skatalogowanych książek i innych materiałów drukowanych w 470 językach, ponad 74 miliony rękopisów, największą kolekcję rzadkich książek w Ameryce Północnej oraz największą na świecie kolekcję materiałów prawnych, filmów, map, nut i nagrań dźwiękowych \cite{BibEntry2022Jun_congres}. Projekt Chronicling America został przeprowadzony na terenie Stanów Zjednoczonych, a jego celem było rozpowszechnienie dostępu do zdigitalizowanych treści wśród jak najliczniejszej grupy osób, szczególnie wśród młodego pokolenia Amerykanów, bazę tego projektu stanowiły historyczne amerykańskie gazety. Korzystanie z materiałów zgromadzonych i przetworzonych podczas prac nad tym projektem jest całkowicie darmowe dla wszystkich użytkowników, co potwierdza założenia projektu o rozszerzaniu skali potencjalnych czytelników zasobów biblioteki. Szczególnie, że projekt dotyczy gazet nawet sprzed setek lat, które ze względu na stan i wartość prawdopodobnie nie były by dopuszczone do powszechnego użytku. Chronicling America został stworzony przez organizacje United States National Digital Newspaper (NDNP), która narodziła się dzięki współpracy rządowej agencji National Endowment for the Humanities (NEH) oraz Biblioteki Kongresu \cite{ContributorstoWikimediaprojects2022Feb}. NEH jest niezależną agencją federalną, która jest jednym z największych fundatorów programów humanistycznych w całych Stanach Zjednoczony, a jej historia sięga aż 1965 roku. Aktualnie jej główna działalność opiera się na rozdysponowywaniu grantów na projekty humanistyczne, które jak sami określają promują doskonałość w naukach humanistycznych i przekazują lekcje historii wszystkim Amerykanom. Dotacje NEH są zazwyczaj przyznawane instytucjom kulturalnym, takim jak muzea, archiwa, biblioteki, szkoły wyższe, uniwersytety, publiczne stacje telewizyjne i radiowe, a także indywidualnym naukowcom \cite{BibEntry2022Jun}. Z kolei Bibliotek Kongresu Stanów Zjednoczonych jest największą biblioteką na świecie z główną siedzibą w Waszyngtonie, w stanie District of Columbia, której początek datuje się na 1800 rok. Pełni ona funkcje biblioteki narodowej, jest również głównym ośrodkiem badawczym Kongresu USA, a także siedzibą Biura Praw Autorskich USA. Bibliotek Kongresu może poszczycić się Zbiorami liczącymi ponad 171 milionów pozycji, które obejmują aż 40 milionów skatalogowanych książek i innych materiałów drukowanych w 470 językach, ponad 74 miliony rękopisów, największą kolekcję rzadkich książek w Ameryce Północnej oraz największą na świecie kolekcję materiałów prawnych, filmów, map, nut i nagrań dźwiękowych \cite{BibEntry2022Jun_congres}.
\newline \newline
Podwaliny dla projektu Chronicling America stanowił program znany pod nazwą United States Newspaper Program (USNP) przeprowadzony w latach 1982-2011 również przez National Endowment for the Humanities przy technicznej pomocy Biblioteki Kongresu. Projekt ten miał na celu wyselekcjonowanie, skatalogowanie i zapisanie historycznych gazet wydawanych w Stanach Zjednoczonych od XVIII wieku, aż do czasów współczesnych w postaci mikrofilmów. \cite{BibEntry2022Jun_NEH}. Podwaliny dla projektu Chronicling America stanowił program znany pod nazwą United States Newspaper Program (USNP) przeprowadzony w latach 1982-2011 również przez agencje National Endowment for the Humanities przy technicznej pomocy Biblioteki Kongresu. Projekt ten miał na celu wyselekcjonowanie, skatalogowanie i zapisanie historycznych gazet wydawanych w Stanach Zjednoczonych od XVIII wieku, a dokładniej 1690 roku, aż do czasów współczesnych w postaci mikrofilmów. USNP zleciło przeprowadzenie projektu w każdym ze stanów, a także w Portoryko i na Wyspach Dziewiczych. Za organizacje odpowiedzialne były konkretne jednostki terytorialne, najczęściej największe stanowe repozytoria gazet. Odpowiedzialne były one między innymi za inwentaryzację zbiorów zawartych głównie w bibliotekach publicznych oraz sądach, biurach prasowych, muzeach, bibliotekach uniwersyteckich, archiwach i towarzystwach historycznych. Rekordy katalogowe zostały wprowadzone do krajowej bazy danych prowadzonej przez Online Computer Library Center (OCLC) i dostępnej na całym świecie poprzez WorldCat, czyli katalog łączący zbiory 71 tysięcy bibliotek ze 112 krajów, co czyni go największą na świecie bibliograficzną bazą danych \cite{BibEntry2022Jun_NEH}.
\newline
+++++++++++++++++++++++++++++++++++
Opis całego projektu "Chronicling America" i płynne przejście do projektu "Newspaper Navigator". Dobre praktyki digitalizacji wymagają aby katalogowane dzieła zawierały opis. Gazety skatalogowane w ramach projektu Chronicling America również posiadają standardowe krótkie opis. To jednak nie wszystko, ponieważ osoby odpowiedzialne za ten projekt poszły o krok dalej. Oprócz klasycznych opisów gazety zawierają również specjalne opisy uzupełniające, zwane esejami tytułowymi (z ang. "title essays"). Są one opracowywane na specjalne zlecenie Chronicling America, a nad ich jakością piecze sprawuje agencja National Endowment of the Humanities, która dokonuje przeglądów sporządzonych prac. Opisy uzupełniające stanowią punkt wyjścia do dalszych badań nad zrozumieniem roli jaką odgrywała dana gazeta wśród swoich czytelników. Wśród elementów jakie znajdują się w esejach tytułowych wyróżnić możemy takie jak na przykład:
kto co \begin{itemize}
\item[$\bullet$] miejsce publikacji,
\item[$\bullet$] daty i harmonogram publikacji (np. co tydzień, codziennie, rano lub wieczorem),
\item[$\bullet$] zasięg geograficzny i nakład,
\item[$\bullet$] przynależność polityczna i religijna,
\item[$\bullet$] powód publikacji,
\item[$\bullet$] cechy i stan fizyczny,
\item[$\bullet$] historia zmian nazw, formatów i praw własności,
\item[$\bullet$] spis wyróżniających się redaktorów, wydawców lub reporterów biorących udział przy jej tworzeniu,
\item[$\bullet$] rodzaje prezentowanych artykułów,
\item[$\bullet$] relacje z innymi okolicznymi wydawnictwami,
\item[$\bullet$] innowacyjność w procesie produkcji.
\end{itemize}
\ \\
Opisy te realizują jeden z najważniejszych celi jakie stawia przed sobą projekt Chronicling America, a mianowicie rozumienie treści jakie prezentują gazety w kontekście czasu i miejsca ich wydawania. Aby to osiągnąć uczestniczące w projekcie instytucje posiadające w tym kontekście interesujące zbiory otrzymują nagrody za wybranie i zdigitalizowanie około 100,000 stron gazet reprezentujących historię regionalną danego stanu, swój zasięg geograficzny oraz interesujące wydarzenia. Proces selekcji jest bardzo dokładny oraz ostrożny i musi być przeprowadzany w kontakcie z innymi podmiotami w celu minimalizacji powtarzających się materiałów, ze względu na duże koszta całego przedsięwzięcia. Biblioteka Kongresu odpowiedzialna była za przygotowanie technicznej specyfikacji przeprowadzania całości tego procesu \cite{Humanities2022Jun}.
\newline
https://chroniclingamerica.loc.gov/about/ <- strona CA Biblioteka Kongresu odpowiedzialna jest za opracowywanie standardów przeprowadzanych przed uczestników projektu procesów digitalizacyjnych. Dokument w którym przedstawione są wypracowane standardy jest aktualizowany na bieżąco, raz w roku. Aktualna wersja zawiera 67 stron na których szczegółowo opisano podejście do digitalizacji. Na stronie Biblioteki Kongresu można zapoznać się z zarówno aktualnym standardem jak i historycznymi. Cele jakie określiła Biblioteka Kongres to między innymi określenie wspólnego interfejs dostępnego dla każdego potencjalnego użytkownika poprzez sieć WWW za pomocą standardowego protokołu HTTP. Ponadto zadbali oni również o określenie odpowiedniego standardu digitalizacji, aby późniejsze wykorzystanie technologii OCR przebiegało efektywnie, a także o stosowanie formatów cyfrowych o wysokim prawdopodobieństwie trwałości, czy przykładanie szczególnej uwagi na koszty konwersji cyfrowej i konserwacji powstałych w ten sposób zasobów. Obecne podejście opiera się w głównej mierze na kilku kluczowych aspektach. Pierwszym z nich jest to, że obrazy odtwarza się z kopii zachowawczej mikrofilmów, na których są przechowywane pozyskane zdjęcia stron gazet. Pliki zaś przetrzymuje się w formacie TIFF 6.0, czyli w formacie opartym na znacznikach, służącym do przechowywania i wymiany obrazów bitmapowych (rastrowych) \cite{BibEntry2022Jun_tech}. Pozwala on na przechowywanie informacje o kanałach alfa, ścieżkach, profilu kolorów, komentarzach, umożliwia także zapisywanie dokumentów wielostronicowych. Możliwa jest również kompresja w tym kompresja ZIP. Wersja 6.0 jako pierwsza zapewnia również możliwość kompresji do formatu JPEG. \cite{WspoltworcyprojektowFundacjiWikimedia2003Feb}. Jeśli chodzi o jakość tych obrazów to wymagana jest konwersja obrazów w 8-bitowej skali szarości skanowanych z maksymalną możliwą rozdzielczością, która wynosi 300-400 DPI \cite{BibEntry2022Jun_tech}. Wspomniana wcześniej miara DPI (z ang. „dots per inch”) określa liczbę pikseli (ich gęstość) na jeden cal, która reprezentuje jakość przedstawianych obrazów czy wydruków. Na poniższej rycinie wyjaśnione zostało jak w zależności od wartości DPI zmienia się jakoś przedstawianego obrazu czarnej kropki. Jak nie trudno zauważyć im wyższa wartość miary, tym obraz jest dokładniejszy i bardziej wygładzony \cite{BibEntry2022Jun_dpi}.
https://en.wikipedia.org/wiki/Chronicling_America <- opis CA na Wikipedi \begin{figure}[h!]
https://www.loc.gov/collections/chronicling-america/ <- Library of Congress, podstrona z kolekcją z projektu CA \centering
\includegraphics[width=0.6\textwidth]{dpi.png}
\caption{Przykład różnych wartości DPI \cite{DuggalVisualSolutions2022Jun}.}
\end{figure}
\ \\
Kolejnymi kluczowymi aspektami, które porusza przygotowany przez Bibliotekę Kongresu dokument to:
\begin{itemize}
\item[$\bullet$] wykorzystanie OCR z ramkami zawierającymi pojedyncze wyrazy, z uwzględnieniem rozpoznawania kolumn na stronie, ale bez segmentacji stron na artykuł,
\item[$\bullet$] opracowanie strukturalnych metadanych dla stron, wydań, edycji i tytułów w celu obsługi interfejsu przeglądania chronologicznego,
\item[$\bullet$] zdeponowanie kopii wszystkich obrazów stron i powiązanych metadanych w zbiorach Biblioteki Kongresu,
\item[$\bullet$] zaimplementowany interfejs zaprojektowany specjalnie dla dostępu do historycznych gazet w domenie publicznej dostępny z ramienia Biblioteki Kongresu umożliwiający wyszukiwanie pełnotekstowe, a także poszczególnych obrazów stron oraz podświetlanie wyszukiwanych słów na obrazach,
\item[$\bullet$] replikowalność podejścia przez każdego uczestnika projektu, tak aby mógł wykorzystywać wytworzone zdigitalizowane treści w innych potrzebnych projektach, jeżeli zajdzie taka potrzeba.
\end{itemize}
\ \\
W dokumencie sporządzono bardzo szczegółowy opis metadanych, jakie mają zostać opracowane. Organizacje biorące udział w projekcie zostały poinstruowane w kontekście prawie 60 pól jakie mogą zostać przez nie wypełnione, z których 26 jest polami obowiązkowymi. Przedstawiona został również dokładna struktura pliku XML w którym mają być one zawarte. Instrukcja zawiera między innymi nazwę opisywanych danych, ich typ, przykład, notatkę z dokładniejszym wytłumaczeniem, czy konkretną ścieżkę w pliku XML w jakiej mają zostać zawarte. Przykładami pól są: oryginalne repozytorium z którego pochodzi dany materiał, wykonawca obsługujący skaner pozyskujący obraz, model takiego skanera, jego oprogramowanie, tytuł materiału, data wydania, format źródłowy, czy wymiary \cite{BibEntry2022Jun_tech}.
\newline
i ogólnie jak się wpisze w google Chronicling America to jest dużo wyników, można dodać tam jeszcze jakiś Chronicling America project itd. POTEM ZDJĘCIA INTERFEJSU STRONY I PRZYKŁADOWYCH POZYCJI (fajnie by było dać jakieś przykłady polskich gazet), można też dodać krótki opis stąd: \cite{Humanities2022Jun}, tam na dole jest to opisane z jakich języków to jest stworzone itd.
\newline
przykłady ze strony Na stronie głównej programu Chronicling America (\url{https://chroniclingamerica.loc.gov/newspapers/}) możemy przeczytać, że najwcześniej wydane gazety skolekcjonowane w ramach projektu Chronicling America pochodzą z 1777 roku, a najpóźniejsze zaś z 1963. Na dzień dzisiejszy zbiór ten obfituje w 3,745 historycznych gazet wydawanych na przestrzeni lat, czyli ponad 2,5 miliona egzemplarzy, co łącznie daje 19,706,097 milinów pojedynczych stron skatalogowanych gazet. Liczebność gazet dostępnych do przeglądania z poziomu przeglądarki internetowej w rozbiciu na poszczególne stany prezentuje się następująco:
dane statystyczne od kiedy trwa jaki zakres dat obejmuje jaki materiał ile tego jest ile per rok \begin{figure}[h!]
\centering
\includegraphics[width=1\textwidth]{gazety_per_terytorium.png}
\caption{Liczba wszystkich skolekcjonowanych gazet w repozytorium Chronicling America w rozbiciu na poszczególne obszary}
\end{figure}
+++++++++++++++++++++++++++++++++++ OPISAĆ CO WIDAĆ NA WYKESIE
\clearpage
\begin{figure}[h!]
\centering
\includegraphics[width=1\textwidth]{strony_per_terytorium.png}
\caption{Liczba wszystkich skolekcjonowanych stron gazet w repozytorium Chronicling America w rozbiciu na poszczególne obszary}
\end{figure}
OPISAĆ CO WIDAĆ NA WYKESIE
\clearpage
POTEM JAKIEŚ STATYSTYKI PER YEAR I CO TAM JESZCZE MI SIĘ UDA WYMYŚLIĆ
\section{Opis podejście Newspaper navigator} \section{Opis podejście Newspaper navigator}
Newspaper navigator oddzielny podrozdział Newspaper navigator oddzielny podrozdział po płynnym przejściu z Chronicling America
kto, w jaki sposób powstał z chronicling america, przykłady obrazki Kto zrobił, w jaki sposób, dlaczego w ogóle powstał taki projket na bazie zbiorów Chronicling America, przykładowe obrazki, dane statystyczne, performance modelu i opis całego podejścia.
dane statystyczne, performance modelu i całe podejście
https://news-navigator.labs.loc.gov/ <- strona NN https://news-navigator.labs.loc.gov/ <- strona NN
https://arxiv.org/abs/2005.01583 <- paper NN https://arxiv.org/abs/2005.01583 <- paper NN
polskie gazety

BIN
dpi.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 82 KiB

BIN
gazety_per_terytorium.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 653 KiB

BIN
strony_per_terytorium.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 827 KiB