forked from filipg/twilight-library
WIP
This commit is contained in:
parent
974e04831c
commit
0fc12d23f4
@ -14,9 +14,11 @@ import Text.Printf
|
||||
|
||||
extractNestedLinksWithText xpathCondition = (downloadDocument &&& this)
|
||||
>>> first (getXPathTrees xpathCondition
|
||||
>>> ((getXPathTrees "//a" >>> getAttrValue "href")
|
||||
&&& (listA (deep isText >>> getText)
|
||||
>>> arr (intercalate " "))))
|
||||
>>> (
|
||||
(getXPathTrees "//a" >>> getAttrValue "href")
|
||||
&&& (listA (deep isText >>> getText)
|
||||
>>> arr (intercalate " "))
|
||||
))
|
||||
>>> arr rotateSecTh
|
||||
>>> first expandURIFixed
|
||||
|
||||
@ -25,6 +27,14 @@ extractRecords = extractLinksWithText "(//aside[@class='widget widget_maxmegamen
|
||||
>>> first (first (extractNestedLinksWithText "//big/a[contains(@href,'.pdf')][img]")) -- pobieramy stronę z adresu URL i wyciągamy linki z tej strony pasujące do wyrażenia XPathowego
|
||||
-- ostatecznie wyjdą krotki (((adres URL, tytuł nr-u), tytuł podstrony 2), tytuł podstrony 1)
|
||||
|
||||
|
||||
extractRecords2 = proc x -> do
|
||||
(a, b) <- extractLinksWithText "(//aside[@class='widget widget_maxmegamenu']//a[@class='mega-menu-link'])[1]" -< x -- pary adres-tytuł podstrony
|
||||
a' <- (extractLinksWithText "(//aside[@class='widget widget_maxmegamenu']//a[@class='mega-menu-link'])[1]") -< a -- pobieramy podstronę i kolejne podstrony z menu
|
||||
a'' <- (extractNestedLinksWithText "//big/a[contains(@href,'.pdf')][img]") -< a' -- pobieramy stronę z adresu URL i wyciągamy linki z tej strony pasujące do wyrażenia XPathowego
|
||||
returnA -< a''
|
||||
-- ostatecznie wyjdą krotki (((adres URL, tytuł nr-u), tytuł podstrony 2), tytuł podstrony 1)
|
||||
|
||||
-- ... a tutaj te krotki przerabiamy do docelowej struktury ShadowItem
|
||||
toShadowItem :: (((String, String), String), String) -> ShadowItem
|
||||
toShadowItem (((url, releaseTitle), collectionTitle), categoryTitle) =
|
||||
|
Loading…
Reference in New Issue
Block a user