rjawor/concordia-server
1
0
Fork 0
Code Issues Pull Requests Releases Wiki Activity

disabled logging, logofag dictionary

Browse Source
This commit is contained in:
Rafał Jaworski 2017-10-18 10:08:29 +02:00
parent a2b6853dcf
commit 6b807e6727
12 changed files with 41 additions and 6 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
cat/versions_available/icd_plen.cfg
View File

@ -1,7 +1,7 @@
dir@#@icd_plen dir@#@icd_plen
concordia_host@#@localhost concordia_host@#@localhost
concordia_port@#@8800 concordia_port@#@8800
tmid@#@1 tmid@#@3
desc@#@Witamy w interaktywnym demo systemu Concordia. System znajduje najdłuższe fragmenty zdania wejściowego w pamięci tłumaczeń. Proszę wpisać polskie zdanie w poniższe pole i nacisnąć Enter (albo użyć przycisku "search"). Aby zapoznać się z systemem możesz użyć wcześniej przygotowanych przykładów - po prostu kliknij link "apply" przy wybranym przykładzie. Po wyszukaniu, kliknij na wybrany podświetlony fragment, aby zobaczyć jego kontekst. desc@#@Witamy w interaktywnym demo systemu Concordia. System znajduje najdłuższe fragmenty zdania wejściowego w pamięci tłumaczeń. Proszę wpisać polskie zdanie w poniższe pole i nacisnąć Enter (albo użyć przycisku "search"). Aby zapoznać się z systemem możesz użyć wcześniej przygotowanych przykładów - po prostu kliknij link "apply" przy wybranym przykładzie. Po wyszukaniu, kliknij na wybrany podświetlony fragment, aby zobaczyć jego kontekst.
enjoy@#@Życzymy udanej pracy z systemem! enjoy@#@Życzymy udanej pracy z systemem!
prompt@#@Wprowadź zdanie (po polsku): prompt@#@Wprowadź zdanie (po polsku):

8
cat/versions_available/logofag_enpl.cfg Normal file
View File

@ -0,0 +1,8 @@
dir@#@logofag_enpl
concordia_host@#@localhost
concordia_port@#@8800
tmid@#@8
desc@#@Witamy w interaktywnym demo systemu Concordia. System znajduje najdłuższe fragmenty zdania wejściowego w pamięci tłumaczeń. Proszę wpisać polskie zdanie w poniższe pole i nacisnąć Enter (albo użyć przycisku "search"). Aby zapoznać się z systemem możesz użyć wcześniej przygotowanych przykładów - po prostu kliknij link "apply" przy wybranym przykładzie. Po wyszukaniu, kliknij na wybrany podświetlony fragment, aby zobaczyć jego kontekst.
enjoy@#@Życzymy udanej pracy z systemem!
prompt@#@Wprowadź zdanie (po polsku):
suggestion@#@Pacjent cierpi na zapalenie ucha środkowego i dur brzuszny

8
cat/versions_available/logofag_plen.cfg Normal file
View File

@ -0,0 +1,8 @@
dir@#@logofag_plen
concordia_host@#@localhost
concordia_port@#@8800
tmid@#@7
desc@#@Witamy w interaktywnym demo systemu Concordia. System znajduje najdłuższe fragmenty zdania wejściowego w pamięci tłumaczeń. Proszę wpisać polskie zdanie w poniższe pole i nacisnąć Enter (albo użyć przycisku "search"). Aby zapoznać się z systemem możesz użyć wcześniej przygotowanych przykładów - po prostu kliknij link "apply" przy wybranym przykładzie. Po wyszukaniu, kliknij na wybrany podświetlony fragment, aby zobaczyć jego kontekst.
enjoy@#@Życzymy udanej pracy z systemem!
prompt@#@Wprowadź zdanie (po polsku):
suggestion@#@Pacjent cierpi na zapalenie ucha środkowego i dur brzuszny

1
cat/versions_enabled/logofag_enpl.cfg Symbolic link
View File

@ -0,0 +1 @@
../versions_available/logofag_enpl.cfg

1
cat/versions_enabled/logofag_plen.cfg Symbolic link
View File

@ -0,0 +1 @@
../versions_available/logofag_plen.cfg

3
concordia-server/concordia_server.cpp
View File

@ -246,7 +246,8 @@ std::string ConcordiaServer::handleRequest(std::string & requestString) {
} else if (operation == CONCORDIA_SEARCH_OP) { } else if (operation == CONCORDIA_SEARCH_OP) {
std::string pattern = _getStringParameter(d, PATTERN_PARAM); std::string pattern = _getStringParameter(d, PATTERN_PARAM);
int tmId = _getIntParameter(d, TM_ID_PARAM); int tmId = _getIntParameter(d, TM_ID_PARAM);
Logger::logString("concordia search pattern", pattern); // careful! the logging below takes a lot of time
// Logger::logString("concordia search pattern", pattern);
_searcherController->concordiaSearch(jsonWriter, pattern, tmId); _searcherController->concordiaSearch(jsonWriter, pattern, tmId);
} else if (operation == CONCORDIA_PHRASE_SEARCH_OP) { } else if (operation == CONCORDIA_PHRASE_SEARCH_OP) {
std::string pattern = _getStringParameter(d, PATTERN_PARAM); std::string pattern = _getStringParameter(d, PATTERN_PARAM);

3
concordia-server/searcher_controller.cpp
View File

@ -131,7 +131,8 @@ void SearcherController::concordiaSearch(rapidjson::Writer<rapidjson::StringBuff
boost::ptr_map<int,Concordia>::iterator it = _concordiasMap->find(tmId); boost::ptr_map<int,Concordia>::iterator it = _concordiasMap->find(tmId);
if (it != _concordiasMap->end()) { if (it != _concordiasMap->end()) {
TokenizedSentence originalPattern = it->second->tokenize(pattern, false, false); TokenizedSentence originalPattern = it->second->tokenize(pattern, false, false);
std::string lemmatizedPattern = _lemmatizerFacade->lemmatizeIfNeeded(originalPattern.getTokenizedSentence(), tmId); std::string lemmatizedPattern =
_lemmatizerFacade->lemmatizeIfNeeded(originalPattern.getTokenizedSentence(), tmId);
boost::shared_ptr<ConcordiaSearchResult> rawConcordiaResult = it->second->concordiaSearch(lemmatizedPattern, true); boost::shared_ptr<ConcordiaSearchResult> rawConcordiaResult = it->second->concordiaSearch(lemmatizedPattern, true);
CompleteConcordiaSearchResult result = _unitDAO.getConcordiaResult(rawConcordiaResult, originalPattern); CompleteConcordiaSearchResult result = _unitDAO.getConcordiaResult(rawConcordiaResult, originalPattern);

BIN
mgiza-aligner/dictionaries/logofag_full/en.bz2 Normal file
View File

Binary file not shown.

BIN
mgiza-aligner/dictionaries/logofag_full/pl.bz2 Normal file
View File

Binary file not shown.

6
tests/addLemmatizedTM.sh
View File

@ -1,7 +1,7 @@
#!/bin/sh #!/bin/sh
CORPUS_NAME="icd_dictionary" CORPUS_NAME="logofag_enpl"
SRC_LANG_ID=1 SRC_LANG_ID=2
TRG_LANG_ID=2 TRG_LANG_ID=1
./addAlignedLemmatizedTM.py $CORPUS_NAME ../mgiza-aligner/corpora/$CORPUS_NAME/src_final.txt $SRC_LANG_ID ../mgiza-aligner/corpora/$CORPUS_NAME/trg_final.txt $TRG_LANG_ID ../mgiza-aligner/corpora/$CORPUS_NAME/aligned_final.txt ./addAlignedLemmatizedTM.py $CORPUS_NAME ../mgiza-aligner/corpora/$CORPUS_NAME/src_final.txt $SRC_LANG_ID ../mgiza-aligner/corpora/$CORPUS_NAME/trg_final.txt $TRG_LANG_ID ../mgiza-aligner/corpora/$CORPUS_NAME/aligned_final.txt

7
tests/addLemmatizedTMfromParams.sh Executable file
View File

@ -0,0 +1,7 @@
#!/bin/sh
CORPUS_NAME=$1
SRC_LANG_ID=$2
TRG_LANG_ID=$3
./addAlignedLemmatizedTM.py $CORPUS_NAME ../mgiza-aligner/corpora/$CORPUS_NAME/src_final.txt $SRC_LANG_ID ../mgiza-aligner/corpora/$CORPUS_NAME/trg_final.txt $TRG_LANG_ID ../mgiza-aligner/corpora/$CORPUS_NAME/aligned_final.txt

8
tests/build.sh Executable file
View File

@ -0,0 +1,8 @@
#!/bin/sh
./addLemmatizedTMfromParams.sh tmrepository_enhr 2 6
./addTm.py 1 2 placeholder 1
./addLemmatizedTMfromParams.sh icd_dictionary 1 2
./addLemmatizedTMfromParams.sh icd_filtered 1 2
./addLemmatizedTMfromParams.sh emea_plen 1 2
./addLemmatizedTMfromParams.sh jrc_enes 2 4