commit bc167d5269275fd140915c7335fe41c9651617a4 Author: “Kacper Date: Wed Nov 15 10:18:33 2023 +0100 add all files diff --git a/README.md b/README.md new file mode 100644 index 0000000..fde1cae --- /dev/null +++ b/README.md @@ -0,0 +1,17 @@ +German Passage Retrieval (MIRACL) +===================================== + +German dev dataset from the [MIRACL challenge](https://project-miracl.github.io). + +The dataset consists of 305 queries in the German language. + +The `expected.tsv` file should contain tab-separated identifiers of passages relevant to the queries (max 10 per query). The identifiers correspond to passages that are located in the German split of the dataset found [here](https://huggingface.co/datasets/miracl/miracl-corpus). + +Directory structure +------------------- + +* `README.md` — this file +* `config.txt` — configuration file +* `test-A` — directory with test data +* `test-A/in.tsv` — input data for the test set + diff --git a/config.txt b/config.txt new file mode 100644 index 0000000..bbff98f --- /dev/null +++ b/config.txt @@ -0,0 +1 @@ +--metric NDCG@10 --metric NDCG@100 --precision 4 --show-as-percentage --in-header in-header.tsv \ No newline at end of file diff --git a/in-header.tsv b/in-header.tsv new file mode 100644 index 0000000..6ca848e --- /dev/null +++ b/in-header.tsv @@ -0,0 +1 @@ +Dialect PolishPhrase diff --git a/test-A/in.tsv b/test-A/in.tsv new file mode 100644 index 0000000..b6219f0 --- /dev/null +++ b/test-A/in.tsv @@ -0,0 +1,305 @@ +Wer hat die Kleidungsmarke Fila gegründet? +Wie oft findet der Fußball-Weltcup statt? +Wie viele Pflanzenarten gibt es weltweit? +Welche Währung gibt es in Mexiko? +Wann wurde das Château Frontenac in Québec City gebaut? +Wer hat Neuschwanstein gebaut? +Welche Sportart ist 2020 in Schweden am beliebtesten? +Wie hoch ist Irland über dem Meeresspiegel? +Wie lang ist die Spielzeit in einem Fußballspiel? +Was ist die älteste Universität der Welt? +Wann ist Michelle Obama geboren? +Wie groß ist der größte Berg auf der Welt? +Wie viele Jahre muss man auf die Realschule um einen Abschluss zu bekommen? +In welchem Jahr waren die Niagarafälle komplett zugefroren? +Wann fangen die Playoffs der NBA an jedes Jahr? +Wie heißt die bekannte Mall in Edmonton? +Wie kam Mendelejew auf die Idee des Periodensystems der Elemente? +Wie viele Einwohner gibt es soweit in Maine? +Ist Serbien ein NATO-Mitglied? +Welche berühmten Wissenschaftler haben am MIT studiert? +Welches Fleisch wird in einem Hamburger verwendet? +Wann ist die nächste Weltmeisterschaft in Leichtathletik? +Was ist die südlichste Stadt in Spanien? +Wann ist der Surf Rock erschienen? +Zu welcher Party gehört Präsident Joe Biden? +Wie viele Buchstaben gibt es im Polnischen? +Wann wurde das Deutsche Reich gegründet? +Welche Vogelart ist die kleinste? +Wann wurde die Wissenschaftspolitik gegründet? +Wie wurde Immanuel Kant bekannt? +Warum war das Osmanische Reich so stark? +In welchem Jahr wurde das Broadway Theatre gegründet? +Wie heißt der Leadsänger von A-Ha? +Was macht Shakira's Fundación "Pies descalzos”? +Wie viele Jahre kann man ein Kanzler bevor der nächsten Wahl? +Wer hat die Musik für das Ballett Schwanensee geschrieben? +Wie viele Polen gibt es in Deutschland heutzutage? +Welche Dienstleistungen werden in der Deutschen Botschaft in Ottawa angeboten? +Wann wurde die DDR aufgelöst? +Wer hat das World Wide Web erfunden? +Wann ist Prinzessin Diana geboren? +Welche Überreste liegen im Kölner Dom? +Wann ist die italienische Sprache aus dem Lateinischen entstanden? +Wie viele Arten von Jellyfish? +Was ist ein Kaiser in den USA? +Was bedeutet "Freistaat"? +Welche Verdienste werden mit einem MBE-Orden in Großbritannien verliehen? +In welchem Land liegen die Karlsinseln? +Wie hoch ist die Höchstgeschwindigkeit auf deutschen Autobahnen? +Welche Länder gehören zu Skandinavien? +In welchem Jahr wurde mit dem Bau der Sagrada Familia begonnen? +Wann wurde die Sklaverei in den USA abgeschafft? +Wie viele Erkrankungen gab es während der Pandemie? +Um was ging es auf dem Schiff im Film “Titanic”? +Welche Sprache spricht man in Neuseeland? +Wann wurde die erste Football Mannschaft in den USA gegründet? +Wie heißt der erste Film der über Satane gezeigt wurde? +Was genau bedeutet der Begriff “Feministin”? +Wo in Kalifornien liegt Ontario? +Warum wurde die deutsche Nationalhymne geändert? +Wann ist Prince Charles geboren? +In welchem Land liegt der tiefste See der Welt? +Wie weit ist Australien von Neuseeland entfernt? +Welche Sprache wurde in der Sowjetunion gesprochen? +In welcher Kategorie wurde der erste Bundesverband gegründet? +Wie viele Einwohner hat Eindhoven? +Was hat Robin Hood beruflich gemacht? +Wo liegt die Region Kaschmir? +Wo ist das Gebiet der Irokesen-Indianer in Kanada? +Wie lange dauert ein Operation an einem gebrochenen Fuß? +Welche Kameratypen setzt Hollywood für seine Blockbuster ein? +Wann kamen die ersten europäischen Siedler nach Kalifornien? +Wie viele Staffeln hat die Serie Sherlock ab 2020? +Wann wurde das Musical “Chicago” zum ersten Mal auf der Bühne gespielt? +Was ist der Unterschied zwischen einem PC-Spiel und einem Handyspiel? +Wer hat das Musical erfunden? +Welche Art von Straftat wird als Ordnungswidrigkeit bezeichnet? +Wann wurde Schottland Teil des Vereinigten Königreichs? +Welche Art von Krokodilen gibt es im Nil? +Welcher Fluss in Ägypten fließt am längsten? +Um was geht es in dem Buch Mein Kampf? +Warum in ein Kreuz ein Symbol für Jesus? +Seit wann gibt es die Nachrichten-App Signal? +Welches war die erste Nation, die in Australien ankam? +Wer hat das Mikroskop erfunden? +Wann wurde das erste Wachsfigurenkabinett Madame Tussauds eröffnet? +Wie kann eine Maschine menschliche Sprache in Text umwandeln? +Was ist die Etymologie des Wortes „Fantasie“? +Wie lang ist ein Wolfsbarsch? +Warum lebten Cowboys hauptsächlich im Westen Nordamerikas? +Welches Schloss in Deutschland ist das berühmteste? +Wie viele Staaten gehören zu der USA? +Wie viele Lockdowns gab es in Deutschland in 2020? +Warum ist die Schweiz in Kantone geteilt? +Wo in Hawaii ist Barrack Obama geboren? +Wann wurde Kaiserreich Österreich geteilt? +Wie viele Schularten gibt es in Deutschland? +Warum leben Indianer in Reservaten? +Wie hoch fliegen Passagierflugzeuge? +Wie groß ist die gesamte Landfläche Chinas? +Wie lang ist die Grenze zwischen Usbekistan und Tadschikistan? +Wie viele Einwohner hat Ankara? +Wozu steht die Abkürzung FIFA? +Was ist der Zweck der NATO? +Wer hatte die Idee eines Aquädukts? +Wie oft hat die UdSSR die FIFA-Weltmeisterschaft gewonnen? +Wo ist der Yellowstone Nationalpark? +Welche Sprachen spricht man in Nigeria? +Was ist das kleinste Teilchen im Universum? +Welche bekannte Universität gibt es in Pennsylvania? +Welche Religion ist hauptsächlich in Bayern? +Wo befindet sich der Hauptsitz vom Umweltbundesamt in Deutschland? +Welche Ereignisse markierten das Ende des Mittelalters in Europa? +Wie lang sind die Eisenbahnen in Finnland? +Wie viele Jahre regierte Mussolini Italien? +Was macht Paris Hilton beruflich? +Welcher Krieg in 2022 wurde ausgelöst? +Wie ist die japanische Sprache entstanden? +Mit welchen Maschinen werden Tunnel durch Gestein gebohrt? +Wie heißt die berühmteste Geige? +Woher kommt die Hunderasse Scottish Terrier her? +Aus welchem Land stammte Herodot? +Wann wurde das Radio erfunden? +Was ist der größte Hafen Deutschlands? +Wie viele Tiere kann man in einem Wildpark finden? +Wie viele Einwohner sind in Kopenhagen? +Was ist der höchste Gipfel in den Anden? +Wann hat Bob Dylan das Lied “Blowing in the Wind“ zum ersten Mal aufgeführt? +Wann kam der Buddhismus nach China? +In welchem Bundesland liegt Rastatt? +Wie heißt die berühmteste Ballerina Russlands? +In welcher Währung wird in Großbritannien bezahlt? +In welchem Jahr wurde die Universität Heidelberg gegründet? +Wie viele Sprachen gibt es insgesamt auf der Welt? +Auf welchem Modell basiert das britische Parlament? +Wird der Schiefe Turm von Pisa immer schiefer? +Was verursacht einen Tsunami? +Was ist der Grund für das Schmelzen der Gletscher? +Wann wurde die erste Brücke über eine Autobahn gebaut? +In welchem Land liegt Wien? +Was war das Ziel der Privatisierung in Russland? +Wie lange geht man auf eine Grundschule in Bayern? +Welche Qualifikationen braucht man eine Website zu erstellen? +Welche berühmten Gerichte kommen aus Italien? +Wie lange blieb Spanien unter arabischer Herrschaft? +Was ist die Funktion eines Monarchen in Schweden? +Welche Materialien werden benutzt um Polyester herzustellen? +Welcher Bahnhof ist der älteste in den USA? +Wann kam die erste Folge von “Akte X“ heraus? +Wie viele Etagen hat das Shopping Center in Frankfurt? +Welches kanadische Eishockey Team spielt in Montreal? +Wie viele Spieler sind in einem Baseball Team? +Seit wann gibt es den Bachelorabschluss in Deutschland? +Wie lange lebt ein Kaktus? +Aus wie vielen Bundessubjekten besteht Russland? +Welches Dortmunder Sportteam ist am berühmtesten? +Wie sieht eine japanische Tastatur aus? +Wie ist das Verfahren von einer Ausbürgerung? +Wann war Wladimir die Hauptstadt Russlands? +In welchem Jahr wurde der Louvre gebaut? +Welches Unternehmen bietet Kreuzfahrten von Helsinki nach Stockholm an? +In welchen Jahren existierte die Band „The Doors“? +Welche Organisation kontrolliert die Nationalparks von Kanada? +Welches Automobil ist am populärsten in den USA? +Wie groß ist die größte Militärsiedlung in Deutschland? +Wann wird die Herstellung von Plastiktüten endlich aufgehört um die Umwelt zu schützen? +Wann ist Eric Clapton zum letzten Mal auf Tour gegangen? +Wie ist das Hoheitsgebiet der Niederlande entstanden? +Wo wurde der erste Fußballstadion gebaut? +Wie oft findet die Messe in Köln statt? +Wie hieß Tunesien früher? +Wie entstehen Ammoniten? +Was lehrt uns die Bibel? +Was ist Dichotomie? +Wie hat sich die moderne spanische Sprache entwickelt? +Wie viele Schachspieler können an einer Weltmeisterschaft teilnehmen? +Wie heist Schmidt mit Vornamen in der Serie “New Girl” +Bieten deutsche Hochschulen Stipendien für Studierende an? +Welche berühmten Maler lebten früher auf Capri? +Welche Tiere leben im Schwarzwald? +Was ist das Heimstadion des FC Liverpool? +Warum sind deutsche Produkte von so guter Qualität? +Wozu hat man einen Kolben im Motor? +Was ist der höchste Berg der Alpen? +Welche Universitäten gibt es in Lüttich? +Wie lange hält eine Skulptur an die aus Eis gemacht wurde? +Wo sind die höchsten Berge in Colorado? +Wie groß ist der größte Python? +Was ist der Unterschied zwischen Waffeln und belgischen Waffeln? +Wie heißt die spektakulärste Eisenbahn Norwegens? +Wann war die Orange Revolution in der Ukraine? +Wann wurde die Golden Gate Bridge gebaut? +Was haben Sternzeichen mit Sternen zu tun? +Welcher Dino wurde als erstes entdeckt? +In welchem Jahr wurde TikTok gegründet? +Wann hatten die Pittsburgh Steelers zum letzten Mal die Super Bowl gewonnen? +Wie hat man früher die Zeit gemessen? +Wann kam die erste Folge der Fernsehserie “Silicon Valley“ heraus? +Welche Teile der modernen Ukraine gehörten früher zu Polen? +Wo ist die St. Lorenzkirche in Nürnberg? +Was ist der Unterschied zwischen einem Meer und einem Ozean? +Wo liegt Ithaka? +Wie heißt die nationale Gendarmerie in Italien? +Wie viel wiegt ein U-Boot? +Was hat den Krieg in Afghanistan ausgelöst? +Wo in Sardinien kann man am schönsten Urlaub machen? +Was macht Südostasien attraktiv für Touristen? +Welche Mechanismen helfen Computern, menschliche Sprache zu verstehen? +Wann gab es den ersten Baron? +Von welchen Ereignissen wurde der Roman “Die Liebe in Zeiten der Cholera” inspiriert? +Worauf basiert Sigmund Freuds Philosophie? +Wann wurde Kung-Fu erfunden? +Wie viele Hunderassen gibt es in der Terrier Familie? +Wer ist der bekannteste Reggae Musiker? +Wie viele Muslime gibt es in Deutschland? +Wo ist die berühmte Gummiwarenfabrik in Deutschland? +Warum hat Leo Tolstoi die Duchoborzen nach Saskatchewan umgesiedelt? +Wo ist der Hauptsitz der New York State Police? +Wo befindet sich der Europäische Gerichtshof für Menschenrechte? +Welcher berühmte Schauspieler hat in dem Film “We bought a Zoo” mitgespielt? +Wann wurde der Kinderfilm “Ferdinand” veröffentlicht? +Warum ist der Turm von Pisa schief? +Auf wie vielen Inseln liegt Griechenland? +Was bedeutet Schrödingers Katze? +Wie heißt die Bahn in Österreich? +Welche Farbe hat die Uniform der französischen Fußballnationalmannschaft? +Wie groß wird ein Tigerhai? +Wann wurde Real Madrid gegründet? +Wie viele Kilometer Autobahnen gibt es in Großbritannien? +In welchem Verlag wird “Vogue” gedruckt? +Wer hat das Lied “Off The Wall” gesungen? +Wie viele Provinzen gibt es in der Türkei? +Was ist die Hauptstadt von Illinois? +In welchem Land liegt Puerto-Rico? +Welche Religion wird in Singapur hauptsächlich ausgeübt? +Welcher berühmte Rechtsanwalt hat O. J. Simpson verteidigt? +Welche Haushaltsgeräte werden bei Saturn verkauft? +Wie wird man eine professionelle Friseurin? +Wie viele Einwohner sind noch in Kiew? +Welche Staatsform hat Afghanistan? +Was ist der Unterschied zwischen einem Psychiater und einem Psychologen? +Auf welchem Platz auf den Billboard Charts war “Dark Horse” von Katy Perry und Juicy J? +Wie wird man Bürgermeister in Deutschland? +Warum kandidierte Cristina Fernández de Kirchner für das Präsidentenamt? +Wie viele Counties gibt es in New Jersey? +Welche wichtigen Entdeckungen wurden im 13. Jahrhundert gemacht? +Wie heißt die Schauspielerin die “Phoebe” in der TV-Serie “Friends” gespielt hat? +Welches Dokument legt den Prozess der Wahl des neuen Papstes fest? +Welche Automarke bevorzugt der US-Präsident? +Wie heißt der erste Film in dem Marlene Dietrich gespielt hat? +In welcher griechischen Stadt ist das deutsche Konsulat? +Wie lange ist die Idee des Feminismus her? +Was ist ein nicht-binäres Geschlecht? +In welchem Museum wird "Das Mädchen mit dem Perlenohrgehänge" aufbewahrt? +Wie viele Einwohner hatte Oslo in 2021? +Zu welchen Ländern gehören die Alpen? +Wer hat das Radio erfunden? +Was beweist, dass das Leben auf der Erde aus dem Meer stammt? +In welchem Jahr wurde Obama zum ersten Mal Präsident? +Was ist der älteste buddhistische Tempel in Europa? +Welche US-Basketball Mannschaft spielt in ihrem Heim San Antonio? +Wann entstand die Wissenschaft der Anatomie? +Wie viele Spieler können Monopoly spielen? +Wer war Benjamin Franklin? +Welche Inseln gibt es in der Karibik? +Wie schreiben Japaner am PC? +Wann wurde die französische Monarchie eine Republik? +Wann wurde die Schulpflicht in Amerika eingeführt? +Was ist die Hauptstadt von Australien? +Welchen internationalen Organisationen gehört Litauen an? +Welche Ideen hat Nietzsche eingeführt? +Wie ist die ungarische Sprache entstanden? +Wie übersetzt man das Wort Loch aus dem Schottischen? +Wann wurde das Musik Genre Blues gegründet? +Was bestimmt ein Roman? +Welches Gerät benötigt man zum Schweißen? +Aus welchem Metall sind eigentlich Goldmedaillen? +Wie schützt Antivirus-Software einen PC? +Was war die erste Station der Moskauer U-Bahn? +Woher stammt der Name von München? +Wer führt den Staat New York? +Welche Länder gibt in Südamerika? +Für was war Johannes Calvin bekannt? +Wie entwickelt sich ein Hurrikan? +Wie heißt die Legende von Dädalus und Ikarus? +Wer ist der erfolgreichste norwegische Biathlonist? +Wie viele Länder gehören zu Europa? +Wo kann man in New York City den besten Burger essen? +Was studiert Pharmakologie? +Wo liegen die Anden? +Zu welcher Schule ging Alexander Puschkin? +Warum verschieben sich die Zeiten jedes Jahr für Ramadan in der moslemischen Religion? +Wozu steht die Abkürzung “CDU”? +Wann gab es die erste Fußballspielerin weltweit? +Wie hat die Menschheit Windpocken bekämpft? +Was ist die Hauptstadt von Australien? +Was genau ist die Royal Canadian Mounted Police? +Warum wollten die Menschen nach Australien auswandern? +Wer war der Komponist für den Film “Titanic”? +Welches Rüsseltier ist am kleinsten? +Was bedeutet SMM? +Wozu steht ZDF? +Welche Sprache wird in Bulgarien gesprochen? +Was ist die Hauptstadt des Bundesstaates Kalifornien? +Welche Sekte hat Jim Jones geführt?