rokn

/

slovlo-v1

like 2

Hello @rokn !

Preface

Well done on this! The repository, dataset, and model are all very advanced for a side project (which I assume this was?).

Pull Request overview

• Integrate with Sentence Transformers
• Add Sentence Transformers tag
• Add "Slovenian" language tag allowing users to find this model more easily (I'm sure there's not many other Slovenian embedding models)

Details

This PR adds the required files for Sentence Transformers. This allows the model to be loaded with ST and the third parties integrated with it (LlamaIndex, LangChain). The usage can then be simplified to:

from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer("rokn/slovlo-v1")

query = "Kam na pohod iz glavnega mesta Slovenije?"

# First, we define the documents we want to search over.
# In our case, that is a list of destination descriptions.
documents = [
    "Triglav je najvišja gora v Sloveniji (2864 m) in simbol slovenske narodne identitete. Pohod je zahteven in običajno traja dva dni. Potrebna je dobra fizična pripravljenost in osnovno znanje plezanja. Priporočena je tudi uporaba vodnika za manj izkušene pohodnike.",
    "Velika Planina je zelo priljubljena pohodniška destinacija z značilnimi pastirskimi kočami. Pohod je primeren za vse starosti in ponuja čudovite razglede na okoliške gore. Na vrh se lahko povzpnete peš ali z nihalko iz Kamniške Bistrice.",
    "Bled je znan po kremnih rezinah. Če vas zanima pohod, so pa zraven še Ojstrica, ter Mala in Velika Osojnica.",
    "Golica je znana po neskončnih poljih narcis v maju. Pohod se začne iz vasi Planina pod Golico in traja približno 2-3 ure. Pot je primerna za vse pohodnike in ponuja lepe razglede na Julijske Alpe in Avstrijo.",
    "Šmarna Gora je najbolj priljubljena pohodniška destinacija v bližini Ljubljane. Pohod traja približno 1 uro iz Tacna. Na vrhu je koča, kjer lahko uživate v tradicionalni slovenski hrani in lepih razgledih na Ljubljansko kotlino.",
    "Pohorje je pohodniško območje z različnimi potmi, primernimi za vse starosti in pripravljenosti. Posebej priljubljena je pot do Črnega jezera in Slivniškega jezera. Pozimi je Pohorje tudi priljubljena smučarska destinacija.",
]

# Embed the documents (destinations).
document_embeddings = model.encode(documents, prompt_name="document")

# Embed the user query.
query_embedding = model.encode(query, prompt_name="query")

# Compute dot product between the query and each document.
similarities = model.similarity(query_embedding, document_embeddings)

# Find the nearest neighbor.
nearest_index = torch.argmax(similarities).item()

print("Predlog za tvojo naslednjo avanturo:", documents[nearest_index])

With the output of

Predlog za tvojo naslednjo avanturo: Šmarna Gora je najbolj priljubljena pohodniška destinacija v bližini Ljubljane. Pohod traja približno 1 uro iz Tacna. Na vrhu je koča, kjer lahko uživate v tradicionalni slovenski hrani in lepih razgledih na Ljubljansko kotlino.

P.s. this gives the same similarity scores as your transformers-based snippet.

Also, if you're not interested in an integration: no hard feelings :)

• Tom Aarsen