From 635ee523336cbb0f728f20ea28a3ed5711a8b45a Mon Sep 17 00:00:00 2001
From: pawelk <pawelk@e293616e-ec6a-49c2-aa92-f4a8b91c5d16>
Date: Thu, 10 Apr 2008 10:08:25 +0000
Subject: [PATCH] =?UTF-8?q?Wprowadzona=20zmiana=20w=20toku,=20=C5=BCe=20d?=
 =?UTF-8?q?=C5=82ugie=20formy=20tnie=20na=20segmenty=20o=20d=C5=82ugo?=
 =?UTF-8?q?=C5=9Bci=20do=2064=20znak=C3=B3w.?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

git-svn-id: svn://atos.wmid.amu.edu.pl/utt@26 e293616e-ec6a-49c2-aa92-f4a8b91c5d16
---
 app/TODO            | 2 ++
 app/src/tok.l/tok.l | 6 +++---
 2 files changed, 5 insertions(+), 3 deletions(-)

diff --git a/app/TODO b/app/TODO
index f455e04..d478cb0 100644
--- a/app/TODO
+++ b/app/TODO
@@ -4,6 +4,7 @@ BARDZO WAZNE:
 
 WAZNE:
 * zamienic kota na lepszego (Kubis) [TO]
+* sen - unikać dwukrotnego wstawiania BOSów i EOSów
 * uniezaleznic mar od attr.pm (ew. wcielic attr.pm) [TO]
 * mar nie obsluguje plikow konfiguracyjnych [JW]
 * ser i grp - parametr tags (zeby bral wskazany program tag2re) [TO]
@@ -12,3 +13,4 @@ WAZNE:
 * przygotowanie dystrybujcji slownikow [PK]
 * (zrobione dla ser?) Nazwy pmdb2re -> pmdb.tag2re (grp, ser).
 * Zadania zwiazane z rozbudowa ser (src/ser/TODO).
+* Nowa funkcjonalność dla kot? con? - każde zdanie w nowym wierszu 
diff --git a/app/src/tok.l/tok.l b/app/src/tok.l/tok.l
index 6e59383..39b9199 100644
--- a/app/src/tok.l/tok.l
+++ b/app/src/tok.l/tok.l
@@ -12,19 +12,19 @@
 
 %%
 
-[a-zA-Z±æê³ñ󶿼¡ÆÊ£ÑÓ¦¯¬]+	{
+[a-zA-Z±æê³ñ󶿼¡ÆÊ£ÑÓ¦¯¬]{1,64}	{
 					printf("%04d %02d W %s\n", filepos, yyleng, yytext);
 					filepos+=yyleng;
 					if(args.interactive_flag) fflush(stdout);
 				}
 
-[[:digit:]]+			{
+[[:digit:]]{1,64}		{
 					printf("%04d %02d N %s\n", filepos, yyleng, yytext);
 					filepos+=yyleng;
 					if(args.interactive_flag) fflush(stdout);
 				}
 
-[[:space:]\n]+			{
+[[:space:]\n]{1,64}			{
 					int i;
 					printf("%04d %02d S ", filepos, yyleng);
 					for(i=0; i<yyleng; ++i)