s440054/twilight-library
1
0
Fork 0
forked from filipg/twilight-library
Code Issues Pull Requests Releases Wiki Activity

WIP

Browse Source
This commit is contained in:
nlitkowski 2021-04-07 00:42:40 +02:00
parent 51020ab0bb
commit e2aa05e511
1 changed files with 21 additions and 10 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

31
app/zborbielawa.hs
View File

@ -13,27 +13,38 @@ import Text.Printf
extractRecords = extractLinksWithText "//a[@class='mega-menu-link']" -- pary adres-tytuł extractRecords = extractLinksWithText "//a[@class='mega-menu-link']" -- pary adres-tytuł
>>> second (arr $ replace "\r\n " " ") -- czyścimy drugi element pary, czyli tytuł z niepotrzebnych białych znaków -- >>> second (arr $ replace "\r\n " "") -- czyścimy drugi element pary, czyli tytuł z niepotrzebnych białych znaków
>>> first (arr ((++"tr") . init)) -- modyfikujemy pierwszy element pary, czyli adres URL -- >>> second (arr $ replace " " "") -- czyścimy drugi element pary, czyli tytuł z niepotrzebnych białych znaków
>>> first (extractLinksWithText "//li/a[contains(@href,'.pdf')]") -- pobieramy stronę z adresu URL i wyciągamy linki z tej strony pasujące do wyrażenia XPathowego -- >>> first (arr ((++"tr") . init)) -- modyfikujemy pierwszy element pary, czyli adres URL
>>> first (extractLinksWithText "//a[@class='mega-menu-link']") -- pobieramy stronę z adresu URL i wyciągamy linki z tej strony pasujące do wyrażenia XPathowego
>>> first (second (arr $ replace "\r\n " ""))
>>> first (first (
extractLinksWithText "//a[contains(@href,'.pdf')]"
>>> second (arr $ replace "\r\n " "")
-- >>> first (arr $ replace "//" "/")
)
) -- pobieramy stronę z adresu URL i wyciągamy linki z tej strony pasujące do wyrażenia XPathowego
-- ostatecznie wyjdą trójki ((adres URL, tytuł artykułu), tytuł rocznika) -- ostatecznie wyjdą trójki ((adres URL, tytuł artykułu), tytuł rocznika)
-- ... a tutaj te trójki przerabiamy do docelowej struktury ShadowItem -- ... a tutaj te trójki przerabiamy do docelowej struktury ShadowItem
toShadowItem :: ((String, String), String) -> ShadowItem toShadowItem :: (((String, String), String), String) -> ShadowItem
toShadowItem ((url, articleTitle), yearlyTitle) = toShadowItem (((url, chapterTitle), articleTitle), yearlyTitle) =
(defaultShadowItem url title) { (defaultShadowItem url title) {
originalDate = Just date, originalDate = Just date,
itype = "periodical", itype = "periodical",
format = Just "pdf", format = Just "pdf",
finalUrl = url finalUrl = url
} }
where title = "Almanach Muszyny " ++ yearlyTitle ++ " " ++ (replace "\r\n" "" (replace "\r\n " "" articleTitle)) where title = articleTitle ++ (replace " " "" chapterTitle)
date = getDate url date = yearlyTitle
getDate url = getDate yearlyTitle =
case url =~~ "/(19[0-9][0-9]|20[0-9][0-9])/" :: Maybe [[String]] of case yearlyTitle =~~ "/(19[0-9][0-9]|20[0-9][0-9])/" :: Maybe [[String]] of
Just [[_, year]] -> year Just [[_, year]] -> year
otherwise -> error $ "unexpected url: " ++ url otherwise -> error $ "unexpected yearlyTitle: " ++ yearlyTitle
main = do main = do