filipg/twilight-library
1
0
Fork 51
Code Issues Pull Requests Releases Wiki Activity

update

Browse Source
This commit is contained in:
Adam Wojdyla 2022-06-05 22:01:43 +02:00
parent 6d76579ae4
commit c24cc19071
1 changed files with 7 additions and 4 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

11
app/pti.hs
View File

@ -15,20 +15,23 @@ import Text.Printf
extractRecords = extractLinksWithText "//div[@class='sidebar']/ul/li/a" -- pary adres-tytuł extractRecords = extractLinksWithText "//div[@class='sidebar']/ul/li/a" -- pary adres-tytuł
>>> second (arr $ replace "\r\n " " ") -- czyścimy drugi element pary, czyli tytuł z niepotrzebnych białych znaków >>> second (arr $ replace "\r\n " " ") -- czyścimy drugi element pary, czyli tytuł z niepotrzebnych białych znaków
-- >>> first (arr ((++"tr") . init)) -- modyfikujemy pierwszy element pary, czyli adres URL -- >>> first (arr ((++"tr") . init)) -- modyfikujemy pierwszy element pary, czyli adres URL
>>> first (extractLinksWithText "//a[contains(@href,'post.php?wpfb')]") -- pobieramy stronę z adresu URL i wyciągamy linki z tej strony pasujące do wyrażenia XPathowego >>> first (extractLinksWithText "//a[contains(@href,'?wpfb') and contains(text(),'pdf')]") -- pobieramy stronę z adresu URL i wyciągamy linki z tej strony pasujące do wyrażenia XPathowego
-- ostatecznie wyjdą trójki ((adres URL, tytuł artykułu), tytuł rocznika) -- ostatecznie wyjdą trójki ((adres URL, tytuł artykułu), tytuł rocznika)
-- ... a tutaj te trójki przerabiamy do docelowej struktury ShadowItem -- ... a tutaj te trójki przerabiamy do docelowej struktury ShadowItem
toShadowItem :: ((String, String), String) -> ShadowItem toShadowItem :: ((String, String), String) -> ShadowItem
toShadowItem ((url, articleTitle), yearlyTitle) = toShadowItem ((url, articleTitle), yearlyTitle) =
(defaultShadowItem url title) { (defaultShadowItem url title) {
originalDate = Just date, originalDate = Nothing,
itype = "periodical", itype = "periodical",
format = Just "pdf", format = Just "pdf",
finalUrl = url finalUrl = url
} }
where title = "Historia Informatyki " ++ yearlyTitle ++ " " ++ (replace "\r\n" "" (replace "\r\n " "" articleTitle))
date = "date" where title = "Historia Informatyki " ++ yearlyTitle
date = getDate url
getDate url = getDate url =
case url =~~ "/(19[0-9][0-9]|20[0-9][0-9])/" :: Maybe [[String]] of case url =~~ "/(19[0-9][0-9]|20[0-9][0-9])/" :: Maybe [[String]] of