From 3c52d24af04eed671a2586ebbfbe131cd332898a Mon Sep 17 00:00:00 2001 From: Karol Cyganik Date: Tue, 9 Apr 2024 12:27:39 +0200 Subject: [PATCH 1/2] add example embedding search --- embeddings.py | 35 +++++++++++++++++++++++++++++++++++ 1 file changed, 35 insertions(+) create mode 100644 embeddings.py diff --git a/embeddings.py b/embeddings.py new file mode 100644 index 0000000..a7df0b3 --- /dev/null +++ b/embeddings.py @@ -0,0 +1,35 @@ +import numpy as np +import torch +from transformers import AutoModel, AutoTokenizer + +tokenizer = AutoTokenizer.from_pretrained("Geotrend/distilbert-base-pl-cased") +model = AutoModel.from_pretrained("Geotrend/distilbert-base-pl-cased") + +text = """ +"nazwa": "Tatar wołowy",""" +# "skladniki": [ +# "wołowina", +# "cebula", +# "ogórki kiszone", +# "musztarda", +# "jajko", +# "pieprz", +# "sól" +# ], +# "alergeny": [ +# "jajko", +# "gorczyca" +# ] +# """ +encoded_input = tokenizer(text, return_tensors='pt', padding=True) +output = model(**encoded_input) +prompt = "tatar" +encoded_prompt = tokenizer(prompt, return_tensors='pt', padding=True) +output_prompt = model(**encoded_prompt) + +text_embedding = output.last_hidden_state[:, 0, :] +prompt_embedding = output_prompt.last_hidden_state[:, 0, :] +cosine = torch.nn.functional.cosine_similarity( + text_embedding, prompt_embedding, dim=1) + +print(cosine.item()) From 3368ef53c413c395fd6715d88c457c5652c0742f Mon Sep 17 00:00:00 2001 From: Karol Cyganik Date: Tue, 9 Apr 2024 12:58:41 +0200 Subject: [PATCH 2/2] add dialogi21 --- data/dialog-11-02-01.tsv | 15 +++++---------- 1 file changed, 5 insertions(+), 10 deletions(-) diff --git a/data/dialog-11-02-01.tsv b/data/dialog-11-02-01.tsv index 80ae1bf..1b1aa4d 100644 --- a/data/dialog-11-02-01.tsv +++ b/data/dialog-11-02-01.tsv @@ -1,10 +1,5 @@ -user: Dzień dobry -system: Czesc, jestem agentem dialogowym przyjmujacym zamowienia w restauracji. -Moge doradzic ci w wyborze odpowiedniej pozycji z menu. -W czym moge ci pomoc? -user: Chciałbym zjeść 3-daniowy obiad z kuchni włoskiej. -system: Proponuję -"Sałatka caprese", -"Lasagne", -"Tiramisu" -user: Mógłbyś mi napisać z jakich składników składa się sałatka? \ No newline at end of file +user Dzień dobry hello() +system Czesc, jestem agentem dialogowym przyjmujacym zamowienia w restauracji. Moge doradzic ci w wyborze odpowiedniej pozycji z menu. W czym moge ci pomoc? welcomemsg() +user Chciałbym zjeść 3-daniowy obiad z kuchni włoskiej. inform() +system Proponuję "Sałatka caprese", "Lasagne", "Tiramisu" select() +user Mógłbyś mi napisać z jakich składników składa się sałatka? reqmore() \ No newline at end of file