redesign
This commit is contained in:
Rafał Jaworski
parent
b95e4bde17
commit
7dda4c480a
17
Dockerfile
17
Dockerfile
@ -1,17 +0,0 @@
|
||||
FROM ubuntu:16.04
|
||||
|
||||
|
||||
# Set the locale
|
||||
RUN apt-get update && apt-get install -y locales
|
||||
RUN sed -i -e 's/# pl_PL.UTF-8 UTF-8/pl_PL.UTF-8 UTF-8/' /etc/locale.gen && locale-gen
|
||||
ENV LANG pl_PL.UTF-8
|
||||
ENV LANGUAGE pl_PL:pl
|
||||
ENV LC_ALL pl_PL.UTF-8
|
||||
|
||||
RUN apt-get install -y git cmake g++
|
||||
RUN git clone https://git.wmi.amu.edu.pl/rjawor/concordia-server.git
|
||||
RUN git clone https://github.com/clab/fast_align
|
||||
RUN cd fast_align && mkdir build && cd build && cmake .. && make && cp fast_align ../../concordia-server/fast-aligner
|
||||
|
||||
|
||||
CMD cd concordia-server/fast-aligner/ && make SRC_LANG=pl TRG_LANG=en CORPUS_NAME=opensubtitles_sample
|
||||
46
Makefile
Normal file
46
Makefile
Normal file
@ -0,0 +1,46 @@
|
||||
SRC_LANG=pl
|
||||
TRG_LANG=en
|
||||
CORPUS_NAME=opensubtitles_sample
|
||||
SEPARATOR=@\#@
|
||||
|
||||
DICTIONARY_WEIGHT=3
|
||||
|
||||
all: corpora/$(CORPUS_NAME)/alignments.txt corpora/$(CORPUS_NAME)/src_clean.txt corpora/$(CORPUS_NAME)/src_clean.lem corpora/$(CORPUS_NAME)/trg_clean.txt
|
||||
|
||||
|
||||
clean:
|
||||
rm -f corpora/$(CORPUS_NAME)/*.norm
|
||||
rm -f corpora/$(CORPUS_NAME)/*.lem
|
||||
rm -f corpora/$(CORPUS_NAME)/*.dict
|
||||
rm -f corpora/$(CORPUS_NAME)/src_clean.txt
|
||||
rm -f corpora/$(CORPUS_NAME)/src_clean.lem
|
||||
rm -f corpora/$(CORPUS_NAME)/trg_clean.txt
|
||||
rm -f corpora/$(CORPUS_NAME)/ids_clean.txt
|
||||
rm -f corpora/$(CORPUS_NAME)/falign_corpus.txt
|
||||
rm -f corpora/$(CORPUS_NAME)/falign_result.txt
|
||||
rm -f corpora/$(CORPUS_NAME)/alignments.txt
|
||||
|
||||
|
||||
corpora/$(CORPUS_NAME)/alignments.txt: corpora/$(CORPUS_NAME)/falign_result.txt corpora/$(CORPUS_NAME)/src_clean.lem
|
||||
./get_alignments.py corpora/$(CORPUS_NAME)/falign_result.txt corpora/$(CORPUS_NAME)/src_clean.lem > $@
|
||||
|
||||
corpora/$(CORPUS_NAME)/src.dict:
|
||||
./collect_dict.py $(SRC_LANG) $(TRG_LANG) $(DICTIONARY_WEIGHT) > $@
|
||||
|
||||
corpora/$(CORPUS_NAME)/trg.dict:
|
||||
./collect_dict.py $(TRG_LANG) $(SRC_LANG) $(DICTIONARY_WEIGHT) > $@
|
||||
|
||||
|
||||
corpora/$(CORPUS_NAME)/src.norm corpora/$(CORPUS_NAME)/src.lem: corpora/$(CORPUS_NAME)/src.txt
|
||||
./sentence_lemmatizer.py $< $(SRC_LANG) corpora/$(CORPUS_NAME)/src.norm corpora/$(CORPUS_NAME)/src.lem
|
||||
|
||||
corpora/$(CORPUS_NAME)/trg.norm corpora/$(CORPUS_NAME)/trg.lem: corpora/$(CORPUS_NAME)/trg.txt
|
||||
./sentence_lemmatizer.py $< $(TRG_LANG) corpora/$(CORPUS_NAME)/trg.norm corpora/$(CORPUS_NAME)/trg.lem
|
||||
|
||||
|
||||
corpora/$(CORPUS_NAME)/src_clean.txt corpora/$(CORPUS_NAME)/src_clean.lem corpora/$(CORPUS_NAME)/trg_clean.txt corpora/$(CORPUS_NAME)/ids_clean.txt corpora/$(CORPUS_NAME)/falign_corpus.txt: corpora/$(CORPUS_NAME)/src.txt corpora/$(CORPUS_NAME)/trg.txt corpora/$(CORPUS_NAME)/ids.txt corpora/$(CORPUS_NAME)/src.lem corpora/$(CORPUS_NAME)/trg.lem corpora/$(CORPUS_NAME)/src.dict corpora/$(CORPUS_NAME)/trg.dict
|
||||
./prepare_corpus.py corpora/$(CORPUS_NAME)/src.norm corpora/$(CORPUS_NAME)/trg.norm corpora/$(CORPUS_NAME)/ids.txt corpora/$(CORPUS_NAME)/src.lem corpora/$(CORPUS_NAME)/trg.lem corpora/$(CORPUS_NAME)/src.dict corpora/$(CORPUS_NAME)/trg.dict corpora/$(CORPUS_NAME)/src_clean.txt corpora/$(CORPUS_NAME)/src_clean.lem corpora/$(CORPUS_NAME)/trg_clean.txt corpora/$(CORPUS_NAME)/ids_clean.txt corpora/$(CORPUS_NAME)/falign_corpus.txt $(SRC_LANG) $(TRG_LANG)
|
||||
|
||||
|
||||
corpora/$(CORPUS_NAME)/falign_result.txt: corpora/$(CORPUS_NAME)/falign_corpus.txt
|
||||
./fast_align -i $< -d -o -v > $@
|
||||
@ -1,3 +0,0 @@
|
||||
#!/bin/sh
|
||||
|
||||
docker run -it --rm --mount src="$(pwd)"/corpora,target=/concordia-server/fast-aligner/corpora,type=bind concordia-aligner:Dockerfile
|
||||
3
bad-words/parts.en
Normal file
3
bad-words/parts.en
Normal file
@ -0,0 +1,3 @@
|
||||
fuck
|
||||
shit
|
||||
nigga
|
||||
4
bad-words/parts.pl
Normal file
4
bad-words/parts.pl
Normal file
@ -0,0 +1,4 @@
|
||||
pierdol
|
||||
pierdal
|
||||
kurw
|
||||
ścierw
|
||||
70
bad-words/whole.en
Normal file
70
bad-words/whole.en
Normal file
@ -0,0 +1,70 @@
|
||||
arse
|
||||
ass
|
||||
asshole
|
||||
assholes
|
||||
ballsack
|
||||
bastard
|
||||
biatch
|
||||
bitch
|
||||
bitchcraft
|
||||
bitchen
|
||||
bitchy
|
||||
blowjob
|
||||
bollock
|
||||
bollok
|
||||
boner
|
||||
boob
|
||||
bugger
|
||||
buttplug
|
||||
cock
|
||||
coon
|
||||
crap
|
||||
cunt
|
||||
damn
|
||||
dicker
|
||||
dickerin
|
||||
dickhead
|
||||
dickheads
|
||||
dickweed
|
||||
dickweeds
|
||||
dildo
|
||||
dyke
|
||||
fag
|
||||
feck
|
||||
felch
|
||||
felching
|
||||
fellate
|
||||
fellatio
|
||||
flange
|
||||
fuck
|
||||
fudgepacker
|
||||
Goddamn
|
||||
Horsedick
|
||||
jizz
|
||||
knobend
|
||||
muff
|
||||
needledick
|
||||
nigga
|
||||
niggas
|
||||
nigger
|
||||
penis
|
||||
piss
|
||||
prick
|
||||
pussy
|
||||
queer
|
||||
scrotum
|
||||
sh1t
|
||||
shit
|
||||
slut
|
||||
sluttish
|
||||
slutty
|
||||
spunk
|
||||
tosser
|
||||
turd
|
||||
twat
|
||||
vagina
|
||||
wank
|
||||
wanker
|
||||
whore
|
||||
whorehouse
|
||||
whoremonger
|
||||
747
bad-words/whole.pl
Normal file
747
bad-words/whole.pl
Normal file
@ -0,0 +1,747 @@
|
||||
chiwać
|
||||
chuj
|
||||
chuja
|
||||
chujek
|
||||
chujem
|
||||
chujnia
|
||||
chujowa
|
||||
chujowe
|
||||
chujowy
|
||||
chuju
|
||||
cip
|
||||
cipa
|
||||
cipą
|
||||
cipe
|
||||
cipę
|
||||
cipie
|
||||
cipy
|
||||
dojeba
|
||||
dojebac
|
||||
dojebać
|
||||
dojebaca
|
||||
dojebal
|
||||
dojebał
|
||||
dojebala
|
||||
dojebała
|
||||
dojebalać
|
||||
dojebalam
|
||||
dojebałam
|
||||
dojebalem
|
||||
dojebałem
|
||||
dojebić
|
||||
dojebie
|
||||
dojebię
|
||||
dopieprzac
|
||||
dopieprzać
|
||||
dopierdal
|
||||
dopierdala
|
||||
dopierdalac
|
||||
dopierdalać
|
||||
dopierdalajacy
|
||||
dopierdalający
|
||||
dopierdalajaki
|
||||
dopierdalal
|
||||
dopierdalał
|
||||
dopierdalala
|
||||
dopierdalała
|
||||
dopierdol
|
||||
dopierdola
|
||||
dopierdole
|
||||
dopierdolę
|
||||
dopierdoli
|
||||
dopierdolic
|
||||
dopierdolić
|
||||
dopierdolica
|
||||
dopierdolil
|
||||
dopierdolił
|
||||
dup
|
||||
dupa
|
||||
dupą
|
||||
dupcia
|
||||
dupe
|
||||
dupeć
|
||||
dupeczka
|
||||
dupie
|
||||
dupy
|
||||
eba
|
||||
ebać
|
||||
ebaca
|
||||
ebal
|
||||
ebiać
|
||||
ebić
|
||||
hiwać
|
||||
huj
|
||||
huja
|
||||
huje
|
||||
hujek
|
||||
hujem
|
||||
hujnia
|
||||
huju
|
||||
jeba
|
||||
jebac
|
||||
jebać
|
||||
jebaca
|
||||
jebak
|
||||
jebaka
|
||||
jebal
|
||||
jebał
|
||||
jebana
|
||||
jebaną
|
||||
jebane
|
||||
jebanej
|
||||
jebani
|
||||
jebank
|
||||
jebanka
|
||||
jebankiem
|
||||
jebanko
|
||||
jebany
|
||||
jebanych
|
||||
jebanym
|
||||
jebanymi
|
||||
jebcia
|
||||
jebcie
|
||||
jebia
|
||||
jebią
|
||||
jebiać
|
||||
jebiaca
|
||||
jebiąca
|
||||
jebiacać
|
||||
jebiacego
|
||||
jebiącego
|
||||
jebiacej
|
||||
jebiącej
|
||||
jebiacy
|
||||
jebiący
|
||||
jebiak
|
||||
jebić
|
||||
jebie
|
||||
jebię
|
||||
jebliwy
|
||||
jebna
|
||||
jebną
|
||||
jebnac
|
||||
jebnąc
|
||||
jebnać
|
||||
jebnąć
|
||||
jebnal
|
||||
jebnął
|
||||
jebnel
|
||||
jebnela
|
||||
jebnęła
|
||||
jebnie
|
||||
jebnij
|
||||
jebny
|
||||
jebut
|
||||
koorwa
|
||||
koorwać
|
||||
kórwa
|
||||
kórwać
|
||||
kurestwo
|
||||
kurew
|
||||
kurewska
|
||||
kurewską
|
||||
kurewski
|
||||
kurewskiej
|
||||
kurewsko
|
||||
kurewstwo
|
||||
kurwa
|
||||
kurwą
|
||||
kurwaa
|
||||
kurwać
|
||||
kurwach
|
||||
kurwae
|
||||
kurwami
|
||||
kurwe
|
||||
kurwę
|
||||
kurwiący
|
||||
kurwiarz
|
||||
kurwic
|
||||
kurwić
|
||||
kurwica
|
||||
kurwice
|
||||
kurwidołek
|
||||
kurwie
|
||||
kurwik
|
||||
kurwiki
|
||||
kurwisić
|
||||
kurwiska
|
||||
kurwisko
|
||||
kurwiszcz
|
||||
kurwiszcze
|
||||
kurwiszon
|
||||
kurwiszona
|
||||
kurwiszonem
|
||||
kurwiszony
|
||||
kurwo
|
||||
kurwy
|
||||
kutas
|
||||
kutasa
|
||||
kutasach
|
||||
kutasami
|
||||
kutasem
|
||||
kutasie
|
||||
kutasow
|
||||
kutasów
|
||||
kutasy
|
||||
matkojebca
|
||||
matkojebcą
|
||||
matkojebcach
|
||||
matkojebcami
|
||||
matkojebcy
|
||||
matkojebiec
|
||||
nabarłożyć
|
||||
najebac
|
||||
najebać
|
||||
najebal
|
||||
najebał
|
||||
najebala
|
||||
najebała
|
||||
najebana
|
||||
najebaną
|
||||
najebane
|
||||
najebany
|
||||
najebia
|
||||
najebią
|
||||
najebie
|
||||
naopierdalac
|
||||
naopierdalać
|
||||
naopierdalal
|
||||
naopierdalał
|
||||
naopierdalala
|
||||
naopierdalała
|
||||
napierdalac
|
||||
napierdalać
|
||||
napierdalajacy
|
||||
napierdalający
|
||||
napierdalajaki
|
||||
napierdolic
|
||||
napierdolić
|
||||
napierdolica
|
||||
nawpierdalac
|
||||
nawpierdalać
|
||||
nawpierdalal
|
||||
nawpierdalał
|
||||
nawpierdalala
|
||||
nawpierdalała
|
||||
obsrywac
|
||||
obsrywać
|
||||
obsrywajacy
|
||||
obsrywający
|
||||
obsrywajaki
|
||||
odpieprz
|
||||
odpieprzac
|
||||
odpieprzać
|
||||
odpieprzy
|
||||
odpieprzyć
|
||||
odpieprzyl
|
||||
odpieprzył
|
||||
odpieprzyla
|
||||
odpieprzyła
|
||||
odpierdalac
|
||||
odpierdalać
|
||||
odpierdalajaca
|
||||
odpierdalająca
|
||||
odpierdalajacać
|
||||
odpierdalajacy
|
||||
odpierdalający
|
||||
odpierdalajaki
|
||||
odpierdol
|
||||
odpierdoli
|
||||
odpierdolic
|
||||
odpierdolić
|
||||
odpierdolica
|
||||
odpierdolil
|
||||
odpierdolił
|
||||
odpierdolila
|
||||
odpierdoliła
|
||||
opieprzać
|
||||
opieprzający
|
||||
opierdal
|
||||
opierdala
|
||||
opierdalac
|
||||
opierdalać
|
||||
opierdalajacy
|
||||
opierdalający
|
||||
opierdalajaki
|
||||
opierdol
|
||||
opierdola
|
||||
opierdolą
|
||||
opierdoli
|
||||
opierdolic
|
||||
opierdolić
|
||||
opierdolica
|
||||
piczka
|
||||
pieprznąć
|
||||
pieprznieta
|
||||
pieprzniety
|
||||
pieprznięty
|
||||
pieprzony
|
||||
pieprzyć
|
||||
pierdel
|
||||
pierdlu
|
||||
pierdol
|
||||
pierdola
|
||||
pierdolą
|
||||
pierdolaca
|
||||
pierdoląca
|
||||
pierdolacać
|
||||
pierdolacy
|
||||
pierdolący
|
||||
pierdolak
|
||||
pierdole
|
||||
pierdolę
|
||||
pierdolec
|
||||
pierdołek
|
||||
pierdolenie
|
||||
pierdoleniem
|
||||
pierdoleniu
|
||||
pierdoli
|
||||
pierdolic
|
||||
pierdolić
|
||||
pierdolica
|
||||
pierdolicie
|
||||
pierdolil
|
||||
pierdolił
|
||||
pierdolila
|
||||
pierdoliła
|
||||
pierdolisz
|
||||
pierdołki
|
||||
pierdolnac
|
||||
pierdolnąć
|
||||
pierdolnal
|
||||
pierdolnął
|
||||
pierdolnel
|
||||
pierdolnela
|
||||
pierdolnęła
|
||||
pierdolnić
|
||||
pierdolnie
|
||||
pierdolnieta
|
||||
pierdolniety
|
||||
pierdolnięty
|
||||
pierdolnij
|
||||
pierdolnik
|
||||
pierdolona
|
||||
pierdolone
|
||||
pierdolony
|
||||
pierdzący
|
||||
pierdzić
|
||||
pierdziec
|
||||
pierdzieć
|
||||
pizd
|
||||
pizda
|
||||
pizdą
|
||||
pizde
|
||||
pizdę
|
||||
pizdnac
|
||||
pizdnąć
|
||||
pizdu
|
||||
pizdy
|
||||
pizdzie
|
||||
piździe
|
||||
podpierdal
|
||||
podpierdala
|
||||
podpierdalac
|
||||
podpierdalać
|
||||
podpierdalajacy
|
||||
podpierdalający
|
||||
podpierdalajaki
|
||||
podpierdol
|
||||
podpierdoli
|
||||
podpierdolic
|
||||
podpierdolić
|
||||
podpierdolica
|
||||
pojeb
|
||||
pojeba
|
||||
pojebac
|
||||
pojebać
|
||||
pojebaca
|
||||
pojebala
|
||||
pojebalo
|
||||
pojebami
|
||||
pojebanego
|
||||
pojebanemu
|
||||
pojebani
|
||||
pojebany
|
||||
pojebanych
|
||||
pojebanym
|
||||
pojebanymi
|
||||
pojebem
|
||||
popierdal
|
||||
popierdala
|
||||
popierdalac
|
||||
popierdalać
|
||||
popierdol
|
||||
popierdoleni
|
||||
popierdoli
|
||||
popierdolic
|
||||
popierdolić
|
||||
popierdolica
|
||||
popierdolone
|
||||
popierdolonego
|
||||
popierdolonemu
|
||||
popierdolony
|
||||
popierdolonym
|
||||
porozpierdal
|
||||
porozpierdala
|
||||
porozpierdalac
|
||||
porozpierdalać
|
||||
poruchac
|
||||
poruchać
|
||||
przejebac
|
||||
przejebać
|
||||
przejebaca
|
||||
przejebane
|
||||
przepierdal
|
||||
przepierdala
|
||||
przepierdalac
|
||||
przepierdalać
|
||||
przepierdalajaca
|
||||
przepierdalająca
|
||||
przepierdalajacać
|
||||
przepierdalajacy
|
||||
przepierdalający
|
||||
przepierdalajaki
|
||||
przepierdolic
|
||||
przepierdolić
|
||||
przepierdolica
|
||||
przyjeba
|
||||
przyjebac
|
||||
przyjebać
|
||||
przyjebaca
|
||||
przyjebal
|
||||
przyjebał
|
||||
przyjebala
|
||||
przyjebała
|
||||
przyjebali
|
||||
przyjebie
|
||||
przypieprzac
|
||||
przypieprzać
|
||||
przypieprzajaca
|
||||
przypieprzająca
|
||||
przypieprzajacać
|
||||
przypieprzajacy
|
||||
przypieprzający
|
||||
przypieprzajaki
|
||||
przypierdal
|
||||
przypierdala
|
||||
przypierdalac
|
||||
przypierdalać
|
||||
przypierdalajacy
|
||||
przypierdalający
|
||||
przypierdalajaki
|
||||
przypierdol
|
||||
przypierdoli
|
||||
przypierdolic
|
||||
przypierdolić
|
||||
przypierdolica
|
||||
qrwa
|
||||
qrwać
|
||||
rozjeba
|
||||
rozjebac
|
||||
rozjebać
|
||||
rozjebaca
|
||||
rozjebała
|
||||
rozjebią
|
||||
rozjebić
|
||||
rozjebie
|
||||
rozpierdal
|
||||
rozpierdala
|
||||
rozpierdalac
|
||||
rozpierdalać
|
||||
rozpierdol
|
||||
rozpierdole
|
||||
rozpierdoli
|
||||
rozpierdolic
|
||||
rozpierdolić
|
||||
rozpierdolica
|
||||
rozpierduch
|
||||
rozpierducha
|
||||
skurwić
|
||||
skurwiel
|
||||
skurwiela
|
||||
skurwielać
|
||||
skurwiele
|
||||
skurwielem
|
||||
skurwielu
|
||||
skurwysyn
|
||||
skurwysyna
|
||||
skurwysynem
|
||||
skurwysyno
|
||||
skurwysynow
|
||||
skurwysynów
|
||||
skurwysynski
|
||||
skurwysyński
|
||||
skurwysynstwo
|
||||
skurwysyństwo
|
||||
skurwysynu
|
||||
skurwysyny
|
||||
śmierdziel
|
||||
śmierdzielić
|
||||
spieprz
|
||||
spieprza
|
||||
spieprzac
|
||||
spieprzać
|
||||
spieprzaj
|
||||
spieprzaja
|
||||
spieprzają
|
||||
spieprzajaca
|
||||
spieprzająca
|
||||
spieprzajacać
|
||||
spieprzajacy
|
||||
spieprzający
|
||||
spieprzajaki
|
||||
spieprzajcie
|
||||
spierdal
|
||||
spierdala
|
||||
spierdalac
|
||||
spierdalać
|
||||
spierdalajacy
|
||||
spierdalający
|
||||
spierdalajaki
|
||||
spierdalal
|
||||
spierdalał
|
||||
spierdalala
|
||||
spierdalała
|
||||
spierdalalcie
|
||||
spierdalalić
|
||||
spierdol
|
||||
spierdola
|
||||
spierdolą
|
||||
spierdoli
|
||||
spierdolic
|
||||
spierdolić
|
||||
spierdolica
|
||||
spierdoliła
|
||||
spierdoliło
|
||||
srac
|
||||
srać
|
||||
sraca
|
||||
sraj
|
||||
srajac
|
||||
srając
|
||||
srajacy
|
||||
srający
|
||||
srajaki
|
||||
sukinsyn
|
||||
sukinsyno
|
||||
sukinsynom
|
||||
sukinsynow
|
||||
sukinsynów
|
||||
sukinsynowi
|
||||
sukinsyny
|
||||
udupić
|
||||
ujeba
|
||||
ujebac
|
||||
ujebać
|
||||
ujebaca
|
||||
ujebal
|
||||
ujebał
|
||||
ujebala
|
||||
ujebała
|
||||
ujebana
|
||||
ujebany
|
||||
ujebie
|
||||
upierdal
|
||||
upierdala
|
||||
upierdalac
|
||||
upierdalać
|
||||
upierdol
|
||||
upierdola
|
||||
upierdolą
|
||||
upierdoleni
|
||||
upierdoli
|
||||
upierdolic
|
||||
upierdolić
|
||||
upierdolica
|
||||
wjeba
|
||||
wjebac
|
||||
wjebać
|
||||
wjebąć
|
||||
wjebaca
|
||||
wjebia
|
||||
wjebią
|
||||
wjebiać
|
||||
wjebić
|
||||
wjebie
|
||||
wjebiecie
|
||||
wjebiemy
|
||||
wjebieta
|
||||
wkurew
|
||||
wkurwi
|
||||
wkurwia
|
||||
wkurwią
|
||||
wkurwiac
|
||||
wkurwiać
|
||||
wkurwiacie
|
||||
wkurwiają
|
||||
wkurwiajaca
|
||||
wkurwiająca
|
||||
wkurwiajacać
|
||||
wkurwiajacy
|
||||
wkurwiający
|
||||
wkurwiajaki
|
||||
wkurwial
|
||||
wkurwiał
|
||||
wkurwiali
|
||||
wkurwic
|
||||
wkurwić
|
||||
wkurwice
|
||||
wkurwicie
|
||||
wkurwimy
|
||||
wpierdalac
|
||||
wpierdalać
|
||||
wpierdalajacy
|
||||
wpierdalający
|
||||
wpierdalajaki
|
||||
wpierdol
|
||||
wpierdolic
|
||||
wpierdolić
|
||||
wpierdolica
|
||||
wpizd
|
||||
wpizdu
|
||||
wyjeba
|
||||
wyjebac
|
||||
wyjebać
|
||||
wyjebąć
|
||||
wyjebaca
|
||||
wyjebał
|
||||
wyjebała
|
||||
wyjebali
|
||||
wyjebały
|
||||
wyjebia
|
||||
wyjebią
|
||||
wyjebiać
|
||||
wyjebić
|
||||
wyjebie
|
||||
wyjebiecie
|
||||
wyjebiemy
|
||||
wyjebiesz
|
||||
wyjebieta
|
||||
wypieprz
|
||||
wypieprza
|
||||
wypieprzac
|
||||
wypieprzać
|
||||
wypieprzal
|
||||
wypieprzał
|
||||
wypieprzala
|
||||
wypieprzała
|
||||
wypieprzy
|
||||
wypieprzyć
|
||||
wypieprzyl
|
||||
wypieprzył
|
||||
wypieprzyla
|
||||
wypieprzyła
|
||||
wypierdal
|
||||
wypierdala
|
||||
wypierdalac
|
||||
wypierdalać
|
||||
wypierdalaj
|
||||
wypierdalal
|
||||
wypierdalał
|
||||
wypierdalala
|
||||
wypierdalała
|
||||
wypierdol
|
||||
wypierdola
|
||||
wypierdolą
|
||||
wypierdoli
|
||||
wypierdolic
|
||||
wypierdolić
|
||||
wypierdolica
|
||||
wypierdolicie
|
||||
wypierdolil
|
||||
wypierdolił
|
||||
wypierdolila
|
||||
wypierdoliła
|
||||
wypierdolili
|
||||
wypierdolimy
|
||||
zajeba
|
||||
zajebac
|
||||
zajebać
|
||||
zajebaca
|
||||
zajebała
|
||||
zajebali
|
||||
zajebana
|
||||
zajebane
|
||||
zajebani
|
||||
zajebany
|
||||
zajebanych
|
||||
zajebanym
|
||||
zajebanymi
|
||||
zajebia
|
||||
zajebią
|
||||
zajebiać
|
||||
zajebial
|
||||
zajebiał
|
||||
zajebiala
|
||||
zajebić
|
||||
zajebie
|
||||
zajebisć
|
||||
zajebiscie
|
||||
zajebiście
|
||||
zajebista
|
||||
zajebiste
|
||||
zajebisty
|
||||
zajebistych
|
||||
zajebistym
|
||||
zajebistymi
|
||||
zapieprz
|
||||
zapieprza
|
||||
zapieprzą
|
||||
zapieprzy
|
||||
zapieprzyc
|
||||
zapieprzyć
|
||||
zapieprzyce
|
||||
zapieprzycie
|
||||
zapieprzyl
|
||||
zapieprzył
|
||||
zapieprzyla
|
||||
zapieprzyła
|
||||
zapieprzymy
|
||||
zapieprzysz
|
||||
zapierdal
|
||||
zapierdala
|
||||
zapierdalac
|
||||
zapierdalać
|
||||
zapierdalaj
|
||||
zapierdalaja
|
||||
zapierdalajacy
|
||||
zapierdalający
|
||||
zapierdalajaki
|
||||
zapierdalajcie
|
||||
zapierdalal
|
||||
zapierdalał
|
||||
zapierdalala
|
||||
zapierdalała
|
||||
zapierdalali
|
||||
zapierdol
|
||||
zapierdola
|
||||
zapierdolą
|
||||
zapierdoli
|
||||
zapierdolic
|
||||
zapierdolić
|
||||
zapierdolica
|
||||
zapierdolil
|
||||
zapierdolił
|
||||
zapierdolila
|
||||
zapierdoliła
|
||||
zapierniczać
|
||||
zapierniczający
|
||||
zasrać
|
||||
zasranym
|
||||
zasrywać
|
||||
zasrywający
|
||||
zesrywać
|
||||
zesrywający
|
||||
zjeba
|
||||
zjebac
|
||||
zjebać
|
||||
zjebaca
|
||||
zjebal
|
||||
zjebał
|
||||
zjebala
|
||||
zjebała
|
||||
zjebali
|
||||
zjebana
|
||||
zjebią
|
||||
zjebić
|
||||
zjeby
|
||||
38
censor_sources.py
Executable file
38
censor_sources.py
Executable file
@ -0,0 +1,38 @@
|
||||
#!/usr/bin/python3
|
||||
# -*- coding: utf-8 -*-
|
||||
|
||||
import sys, re, os
|
||||
|
||||
|
||||
raw_profanity_whole_pattern = r'\b('
|
||||
raw_profanity_parts_pattern = '('
|
||||
|
||||
for profanity_file_path in os.listdir('bad-words'):
|
||||
with open('bad-words/'+profanity_file_path) as pf:
|
||||
if profanity_file_path.startswith('whole'):
|
||||
for word in pf:
|
||||
raw_profanity_whole_pattern += word.rstrip()+'|'
|
||||
else:
|
||||
for word in pf:
|
||||
raw_profanity_parts_pattern += word.rstrip()+'|'
|
||||
|
||||
|
||||
raw_profanity_whole_pattern = raw_profanity_whole_pattern[:-1]+r')\b'
|
||||
raw_profanity_parts_pattern = raw_profanity_parts_pattern[:-1]+')'
|
||||
|
||||
profanity_whole_pattern = re.compile(raw_profanity_whole_pattern, re.IGNORECASE)
|
||||
profanity_parts_pattern = re.compile(raw_profanity_parts_pattern, re.IGNORECASE)
|
||||
|
||||
with open(sys.argv[1]) as sources_file:
|
||||
for line in sources_file:
|
||||
line = line.rstrip()
|
||||
found_whole = re.search(profanity_whole_pattern, line)
|
||||
found_parts = re.search(profanity_parts_pattern, line)
|
||||
|
||||
if found_whole or found_parts:
|
||||
censored = re.sub(profanity_whole_pattern, '*'*5,line)
|
||||
censored = re.sub(profanity_parts_pattern, '*'*5,censored)
|
||||
print(censored)
|
||||
sys.stderr.write('Censored: %s to %s\n' % (line, censored))
|
||||
else:
|
||||
print(line)
|
||||
19
collect_dict.py
Executable file
19
collect_dict.py
Executable file
@ -0,0 +1,19 @@
|
||||
#!/usr/bin/python3
|
||||
# -*- coding: utf-8 -*-
|
||||
|
||||
import sys, os, bz2
|
||||
|
||||
src_lang = sys.argv[1]
|
||||
trg_lang = sys.argv[2]
|
||||
weight = int(sys.argv[3])
|
||||
|
||||
dictionaries_path = '../dictionaries'
|
||||
|
||||
for dname in os.listdir(dictionaries_path):
|
||||
src_path = '%s/%s/%s.bz2' % (dictionaries_path, dname, src_lang)
|
||||
trg_path = '%s/%s/%s.bz2' % (dictionaries_path, dname, trg_lang)
|
||||
if os.path.isfile(src_path) and os.path.isfile(trg_path):
|
||||
with bz2.open(src_path, 'rt') as src_dict_file:
|
||||
for line in src_dict_file:
|
||||
for i in range(weight):
|
||||
print(line.strip())
|
||||
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
25
get_alignments.py
Executable file
25
get_alignments.py
Executable file
@ -0,0 +1,25 @@
|
||||
#!/usr/bin/python3
|
||||
# -*- coding: utf-8 -*-
|
||||
|
||||
import sys
|
||||
|
||||
|
||||
with open(sys.argv[1]) as falign_result, open(sys.argv[2]) as src_clean_lem:
|
||||
for line in src_clean_lem:
|
||||
src_line_lem = line.strip()
|
||||
falign_alignment_pairs = falign_result.readline().rstrip().split()
|
||||
falign_map = {}
|
||||
for pair in falign_alignment_pairs:
|
||||
numbers = pair.split('-')
|
||||
s = int(numbers[0])
|
||||
t = int(numbers[1])
|
||||
if not s in falign_map:
|
||||
falign_map[s] = []
|
||||
falign_map[s].append(t)
|
||||
res = []
|
||||
for i in range(len(src_line_lem.split())):
|
||||
if i in falign_map:
|
||||
res.append(falign_map[i])
|
||||
else:
|
||||
res.append([])
|
||||
print(res)
|
||||
80
prepare_corpus.py
Executable file
80
prepare_corpus.py
Executable file
@ -0,0 +1,80 @@
|
||||
#!/usr/bin/python3
|
||||
# -*- coding: utf-8 -*-
|
||||
|
||||
import sys, re, os
|
||||
|
||||
|
||||
def readProfanityPattern(lang, whole):
|
||||
result = None
|
||||
if whole:
|
||||
file_path = 'bad-words/whole.'+ lang
|
||||
else:
|
||||
file_path = 'bad-words/parts.'+ lang
|
||||
if os.path.isfile(file_path):
|
||||
raw_pattern = ''
|
||||
if not whole:
|
||||
raw_pattern = r'\b'
|
||||
raw_pattern += '('
|
||||
with open(file_path) as profanity_file:
|
||||
for line in profanity_file:
|
||||
raw_pattern += line.rstrip() + "|"
|
||||
raw_pattern = raw_pattern[:-1] + ')'
|
||||
if not whole:
|
||||
raw_pattern += r'\b'
|
||||
|
||||
result = re.compile(raw_pattern)
|
||||
return result
|
||||
|
||||
def containsProfanity(pattern, sentence):
|
||||
if pattern is None:
|
||||
return False
|
||||
else:
|
||||
m = re.search(pattern, sentence)
|
||||
if m:
|
||||
#sys.stderr.write('Found profanity in sentence: %s\n' % sentence)
|
||||
return True
|
||||
else:
|
||||
return False
|
||||
|
||||
max_tokens = 100
|
||||
max_ratio = 4.0
|
||||
|
||||
#./prepare_corpus.py corpora/$(CORPUS_NAME)/src.txt corpora/$(CORPUS_NAME)/trg.txt corpora/$(CORPUS_NAME)/ids.txt corpora/$(CORPUS_NAME)/src.lem corpora/$(CORPUS_NAME)/trg.lem corpora/$(CORPUS_NAME)/src.dict corpora/$(CORPUS_NAME)/trg.dict corpora/$(CORPUS_NAME)/src_clean.txt corpora/$(CORPUS_NAME)/src_clean.lem corpora/$(CORPUS_NAME)/trg_clean.txt corpora/$(CORPUS_NAME)/ids_clean.txt corpora/$(CORPUS_NAME)/falign_corpus.txt $SRC_LANG $TRG_LANG
|
||||
|
||||
src_lang = sys.argv[13]
|
||||
trg_lang = sys.argv[14]
|
||||
|
||||
src_profanity_whole_pattern = readProfanityPattern(src_lang, True)
|
||||
src_profanity_parts_pattern = readProfanityPattern(src_lang, False)
|
||||
trg_profanity_whole_pattern = readProfanityPattern(trg_lang, True)
|
||||
trg_profanity_parts_pattern = readProfanityPattern(trg_lang, False)
|
||||
|
||||
|
||||
|
||||
|
||||
with open(sys.argv[1]) as src, open(sys.argv[2]) as trg, open(sys.argv[3]) as ids, open(sys.argv[4]) as src_lem, open(sys.argv[5]) as trg_lem, open(sys.argv[6]) as src_dict, open(sys.argv[7]) as trg_dict, open(sys.argv[8], 'w') as src_clean, open(sys.argv[9], 'w') as src_clean_lem, open(sys.argv[10], 'w') as trg_clean, open(sys.argv[11], 'w') as ids_clean, open(sys.argv[12], 'w') as falign_corpus:
|
||||
for line in src:
|
||||
src_line_orig = line.strip()
|
||||
trg_line_orig = trg.readline().strip()
|
||||
id_orig = ids.readline().strip()
|
||||
src_line_lem = src_lem.readline().strip()
|
||||
trg_line_lem = trg_lem.readline().strip()
|
||||
src_token_count = len(src_line_lem.split())
|
||||
trg_token_count = len(trg_line_lem.split())
|
||||
if (src_token_count > 0 and trg_token_count > 0 and src_token_count <= max_tokens and trg_token_count <= max_tokens):
|
||||
ratio = float(src_token_count/trg_token_count) if src_token_count > trg_token_count else float(trg_token_count/src_token_count)
|
||||
if (ratio <= max_ratio
|
||||
and (not containsProfanity(src_profanity_whole_pattern, src_line_lem))
|
||||
and (not containsProfanity(src_profanity_parts_pattern, src_line_lem))
|
||||
and (not containsProfanity(trg_profanity_whole_pattern, trg_line_lem))
|
||||
and (not containsProfanity(trg_profanity_parts_pattern, trg_line_lem))
|
||||
):
|
||||
src_clean.write(src_line_orig+"\n")
|
||||
src_clean_lem.write(src_line_lem+"\n")
|
||||
trg_clean.write(trg_line_orig+"\n")
|
||||
ids_clean.write(id_orig+"\n")
|
||||
falign_corpus.write("%s ||| %s\n" % (src_line_lem, trg_line_lem))
|
||||
for line in src_dict:
|
||||
src_word = line.rstrip()
|
||||
trg_word = trg_dict.readline().rstrip()
|
||||
falign_corpus.write("%s ||| %s\n" % (src_word, trg_word))
|
||||
48
sentence_lemmatizer.py
Executable file
48
sentence_lemmatizer.py
Executable file
@ -0,0 +1,48 @@
|
||||
#!/usr/bin/python3
|
||||
# -*- coding: utf-8 -*-
|
||||
|
||||
import json
|
||||
import requests
|
||||
import sys
|
||||
|
||||
BUFFER_SIZE = 500
|
||||
|
||||
def lemmatize_sentences(language_code, sentences):
|
||||
data = {
|
||||
'lemmatize': True,
|
||||
'language':language_code,
|
||||
'sentences':sentences
|
||||
}
|
||||
response = requests.post(url = 'http://127.0.0.1:10002/preprocess', json = data)
|
||||
response_json = json.loads(response.text)
|
||||
|
||||
result = {'normalized':[], 'lemmatized':[]}
|
||||
for processed_sentence in response_json['processed_sentences']:
|
||||
result['normalized'].append(processed_sentence['normalized'])
|
||||
result['lemmatized'].append(processed_sentence['tokens'])
|
||||
return result
|
||||
|
||||
def write_result(result, norm_file, lem_file):
|
||||
for s in result['normalized']:
|
||||
norm_file.write(s+'\n')
|
||||
for s in result['lemmatized']:
|
||||
lem_file.write(s+'\n')
|
||||
|
||||
|
||||
file_name = sys.argv[1]
|
||||
language_code = sys.argv[2]
|
||||
norm_output_name = sys.argv[3]
|
||||
lem_output_name = sys.argv[4]
|
||||
|
||||
sentences_buffer = []
|
||||
with open(file_name) as in_file, open(norm_output_name, 'w') as out_norm, open(lem_output_name, 'w') as out_lem:
|
||||
for line in in_file:
|
||||
sentences_buffer.append(line.rstrip())
|
||||
if len(sentences_buffer) == BUFFER_SIZE:
|
||||
write_result(lemmatize_sentences(language_code,sentences_buffer), out_norm, out_lem)
|
||||
sentences_buffer = []
|
||||
|
||||
if len(sentences_buffer) > 0:
|
||||
write_result(lemmatize_sentences(language_code,sentences_buffer), out_norm, out_lem)
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user