163 lines
7.7 KiB
Markdown
163 lines
7.7 KiB
Markdown
|
|
Guess a word in a gap in historic texts
|
|
=======================================
|
|
|
|
Give a probability distribution for a word in a gap in a corpus of
|
|
Polish historic texts spanning 1814-2013. This is a challenge for
|
|
(temporal) language models.
|
|
|
|
The metric is log-loss calculated on 10-bit fingerprints generated
|
|
with MurmurHash3 hash function.
|
|
|
|
Example
|
|
-------
|
|
|
|
For instance, you are expected guess the word in the
|
|
gap marked with **???????** here:
|
|
|
|
> od każde ; aztuki blldła i trzod1l
|
|
> chlewnej , oczne opłatll , pr.re1DlIź ' zo jqce dóchody z chowu t '
|
|
> Uch z1Diet ' zt1t . Nic wtęc dzfWM { 10 , że to betonowe .btarniki
|
|
> na obOrnik i gtlo ; ówkę wtlposożone jest każde holendenkie go- '
|
|
> POdant1Do ' OIM i le holender , ka wid fl4ldll dzil to Iwiecie do
|
|
> fI4 ; bard % iej CZ ) llto i e- ' tetuczni.e ut , ztłmGnt / ch . 1V
|
|
> ft4 , zvm wojew6clzt1Die , mestett / , zbiornikami fUl / 7łłOjówkę
|
|
> dt / sponuje 2clled1DiC ! 15-20 proc. ogółu f1O , podorlltw chlop ,
|
|
> kich , pozo .. talllch odchodU zwierzęce ob6r i chlew ni w znacznej
|
|
> częlci spluwajq do ' tawów , jezior , rzek , strumieni , bqdź wodami
|
|
> powle , zchniowlft ' ni 1Dproit do , tud ni , z których pijq wodę
|
|
> rolnict / i ich , odzint / . Wiei zatruwa lię IC1ma i truje
|
|
> lrod01Disko 1D ktÓł ' 1 / m wllpólnu t1 / jemt / . CZ1l nu
|
|
> fl4leźalobt / więc ' ięgnq do dolwiadczeń HoIQndił1 Nie pro
|
|
> pCntujem1 / konfukatt / QO ' POd4 " t1D lecz kar1 / 1D1Imłerzo tte
|
|
> niedbaluchom bcI , dzo bU .tę przt / daltl . Koszt zbi01 ' nika na
|
|
> gnojówkę nie je , t wtlloki i każd1 / , ol nik moźe 110 zbudowa wlc1
|
|
> ! nt / mi , iłami . Karzu : łć będzie miar podwóJnq : c ' l / .tq
|
|
> wodę z włalnej , tudni i Ipore i ! olci gnojówki cennego na- 1DOZU ,
|
|
> 1D1 / wożonego w beczkowozach i razlewaneQo lICI pola. sztucznych
|
|
> dla rolnictwa zwięk s się o 30 proc. a produkcja środków ochrony
|
|
> roślin trzykrotnie . W przC < ' hodżeniu na przemy słowe metody w
|
|
> produkcji roś ! innej I zWierzęcej rolnictwo NRD posiada już pewne
|
|
> doświadczenia , kt6re dostarezają np. ferma opasowa b ) ' dła w
|
|
> Ferdlnandshof , posiadająca 21 tys. stanowisk , kombinat tuczu w
|
|
> Eberswalde o ro < , znej produkeji ] 0 tys. ton mi sa , tuczarnia
|
|
> trzody chlewnej W ' 08 podarstwie PDftstwowym DI @ bensee z 12 tvs.
|
|
> st , nowi ! ; k sze r. wle ] kirh ferm kurt " ch , gos podantw m ] e
|
|
> ( ' znych itp . Prolet intensyfikacji I prze ksztakania produkcji **???????**
|
|
> jest wszechstronny i obejmuje wszystkie dziedziny : ! ycia wsi ,
|
|
> jednym z podstawowych jed ak warunków Jest wkład przem ) ' słu w
|
|
> postaci dopływu przemysłowych środków produkcji . Obrazują to nast
|
|
> pują ce dane : wartość poc1st3wowyeh środk6w produkcji na jedn o
|
|
> członka lpółdzlelnl produk < ' yjnej Wynosiła dotych < , za s '
|
|
> rednio 38 tys. marek , pod < , zas gdy w centrum agrochemicznym 150
|
|
> do 200 tys. marek , a w zakładach tuczu przemysłowelto , zaletnie od
|
|
> ro dzaju zwier t 300-800 tys. marek . Traktory w kooperacji W :
|
|
> r.ruł. WD-ł ' m wojewOdztWi1e licz ! > . rolników , któr ' y łl ! c
|
|
> ąli ai4 : w ItUłi.uOIIobOwe zesp < > I ) ' , Wypo ; iyozaJI ! z t >
|
|
> .maszynowych ItCXeoll : n ) I.n1 , c ' ycł1 ClilanJJU lub cale
|
|
> zeIIiawy S ( u ' Z4 : u . W ub. rOku \ \ all ; llcłl & rup
|
|
> kooperuJllcyc.h. w zalulaie IneOhanil.ZlicJI było zaJedWte Iu.qll
|
|
> .iaJ.e. ol > e < : n : e je . Ich vo .. ad 1110 I & ku.plaJą one
|
|
> aokołtl $ lIję t ł = . ) I ! -ł-ko -ł \ \ l , CbowAldnl , k
|
|
> l1m.kim i .w , i < lwlnaklm . Zalltą t J torń : ly ut inla zes w6w m
|
|
> ...... ' > owych J & t prZ8 < le wlzYs " iUnl 0 .. - < 1.r. ; ej " '
|
|
> ' ' ' ' I Inlczna ebpJ.oa \ \ aCJe clllll.llikuw , & .owi .. kaidJ "
|
|
> nlch pracuj « w DUl.u ioapociar atwach . Rolnic ' u.sta : 1aJI ! JrI
|
|
> , Ięuty bą koleJoojó pracy m.nyn. .1 ' 0 r.lalnym tpj , ac . , nlu
|
|
> .1- IUJortYZóicJl , obLi < .ozoneJ od warlo- > ci Sprzętu w momencie
|
|
> WypO yczanoi . , il ' Upa utytłGoWnl- ! t < > w ataJe a1ę
|
|
> w.dclclelem ma- .zyn. & zy lDu .. yn < > wI kółek ruwn : et zyskuJ "
|
|
> na tej transakcji , & .owiem nie mUA , tl I.rOtlZcitYć o obelUłi4 :
|
|
> wypożyczonych clllil1ikuw oru o k serwacJę I ! ' onty m ... y "
|
|
> , Drui4 , r6wnie-l cennll ! oc w " Pol ! , . aeT kóh , j ( z ' listą
|
|
> . " za ... nlle mechN1izac ; 1 II ! wypqj , , v " zab.i. IprZlltu
|
|
> w.warzyazllcęlC do C : IIIIUk6w , s \ \ .anowiącyClb WIUr : OK
|
|
> roJników . Takie wypntycza1n1e otwarto w w1ęJ \ \ ! o & O 601
|
|
> .mbeemów z ich " .IUC lI & orzYltalo np. w 1 & 1 » . foKU okolo U.
|
|
> roJnikÓW. ct )
|
|
|
|
(Yes, there is a lot of OCR noise here!)
|
|
|
|
The period in which this text was published is also given
|
|
(1973.1397-1973.1424 — dates are given using years with possible fractions).
|
|
|
|
(And the correct expected word here is *rolnej*.)
|
|
|
|
Directory structure
|
|
-------------------
|
|
|
|
* `README.md` — this file
|
|
* `config.txt` — GEval configuration file
|
|
* `train/` — directory with training data
|
|
* `train/train.tsv.xz` — train set (compressed with xz, not gzip!)
|
|
* `train/meta.tsv.xz` — metadata (do **not** use in training)
|
|
* `dev-0/` — directory with dev (test) data from the same sources as the train set
|
|
* `dev-0/in.tsv` — input data for the dev set
|
|
* `dev-0/expected.tsv` — expected (reference) data for the dev set
|
|
* `dev-0/meta.tsv.xz` — metadata (do **not** use while testing)
|
|
* `dev-1/` — directory with dev (test) data from different source than the train set
|
|
* `dev-1/in.tsv` — input data for the dev set
|
|
* `dev-1/expected.tsv` — expected (reference) data for the dev set
|
|
* `dev-1/meta.tsv.xz` — metadata (do **not** use while testing)
|
|
* `test-A` — directory with test data
|
|
* `test-A/in.tsv` — input data for the test set
|
|
* `test-A/expected.tsv` — expected (reference) data for the test set (hidden)
|
|
* `test-A/meta.tsv.xz` — hidden metadata
|
|
|
|
Structure of data sets
|
|
----------------------
|
|
|
|
Dev and tests test sets are balanced for years (or at least it was
|
|
attempted to balance them for years — for some years there was not enough material).
|
|
|
|
The `dev-0` dataset was created using the same sources as the train set, but
|
|
`dev-1` and `test-A` was generated using sources different from
|
|
`dev-0` (and different to each other), so `dev-0` is likely to be
|
|
easier than `dev-1`.
|
|
|
|
Metadata files are given for reference, do not use them for training.
|
|
|
|
Format of the train set
|
|
-----------------------
|
|
|
|
TAB-separated columns:
|
|
|
|
* beginning of the period in which a text is known to be published, given as a year
|
|
with a possible fraction (note that various time granularities are given in this
|
|
data set — daily, monthly, yearly, etc.),
|
|
* end of the period in which a text is known to be published,
|
|
* title normalised,
|
|
* symbol of the source (usually a Polish digital library).
|
|
* ~500-word-long text snippet.
|
|
|
|
Texts (in the train set as well as in the test sets) were tokenised
|
|
with `tokenizer.perl` script from Moses MT system.
|
|
|
|
Format of the test sets
|
|
-----------------------
|
|
|
|
The input file consists of the following columns:
|
|
|
|
* beginning of the period in which a text is known to be published,
|
|
* end of the period in which a text is known to be published,
|
|
* left context (before the gap),
|
|
* right context (after the gap).
|
|
|
|
The `expected.tsv` file is just a list of words to be filled in the gaps.
|
|
|
|
Format of the output files
|
|
--------------------------
|
|
|
|
For each input line, a probability distribution for words in a gap
|
|
must be given:
|
|
|
|
word1:logprob1 word2:logprob2 ... wordN:logprobN :logprob0
|
|
|
|
where *logprobi* is the logarithm of the probability for *wordi* and
|
|
*logprob0* is the logarithm of the probability mass for all the other
|
|
words (it will be spread between all 1024 fingerprint values). If the
|
|
respective probabilities do not sum up to 1, they will be normalised with
|
|
softmax.
|
|
|
|
Note: the separator here is space, not TAB!
|