Add new SentenceTransformer model

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+    "word_embedding_dimension": 1024,
+    "pooling_mode_cls_token": false,
+    "pooling_mode_mean_tokens": true,
+    "pooling_mode_max_tokens": false,
+    "pooling_mode_mean_sqrt_len_tokens": false,
+    "pooling_mode_weightedmean_tokens": false,
+    "pooling_mode_lasttoken": false,
+    "include_prompt": true
+}

README.md

@@ -0,0 +1,623 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:12007
+- loss:MultipleNegativesRankingLoss
+base_model: intfloat/multilingual-e5-large
+widget:
+- source_sentence: Noiz jarriko du martxan Eusko Jaurlaritzak Barakaldoko BEC sustatzeko
+    aurrez aurreko plana?
+  sentences:
+  - '[TOPIC: Galdera, Amaia Martínez Grisaleña Mistoa-Vox taldeko legebiltzarkideak
+    lehendakariari egina, autoeskolako irakasleen prestakuntza-moduluan euskara eskatzeari
+    buruz]
+
+    [MARTÍNEZ GRISALEÑA, (Mixto-Vox)]:
+
+    baina beldur gara neurri hori eredu baten hastapena baino ez dela, eta eredu hori
+    kalbarioa izango dela gaztelania-hiztunentzat, aurrekaririk gabeko grinaz inposatuko
+    baitu euskara bizitzako alor guztietan. Autoeskoletako arduradunek dagoeneko aldarri
+    egin dute zuen Gobernuaren neurriaren aurka; ez dute aurkitzen ikastaroen irakaspena
+    emateko behar besteko trebakuntza duen irakaslerik, eta ikasle asko baja ematen
+    ari dira, behar besteko ezagutza ez dutelako euskaraz. 2010az geroztik jada, Gidabaimena
+    Euskaraz planarekin, udal askok (Date: 30.09.2022)'
+  - '[TOPIC: EH Bildu legebiltzar-taldeak egindako legez besteko proposamena, Lehiaren
+    Euskal Agintaritzak Gipuzkoako Batzar Nagusiek 2013ko uztailaren 17an onartu zuten
+    klausula sozialen inguruko 4/2013 Foru Arauaren aurka jarritako auzibidea bertan
+    behera uzteari buruz. Eztabaida eta behin betiko ebazpena]
+
+    [DAMBORENEA BASTERRECHEA, (PV-ETP)]:
+
+    Gipuzkoako eraikuntzaren lan-hitzarmena ez badute eta beste lanhitzarmen bat badute,
+    Gipuzkoako eraikuntzarena aplikatu behar zaiela. Bizkaiko enpresa guztiek ez dutela
+    aplikatu behar Bizkaikoa; Gipuzkoakoa aplikatu behar dutela eskaintzak egin ahal
+    izateko. Arabakoek, Europakoek… Horixe jartzen du arau horretan. Eta arau hori
+    lan-eskubideak defendatzeko dago, ala enpresa guztiak kanpoan uzteko eta eskaintzak
+    gutxi batzuek bakarrik egin ahal izateko? Izan ere, irudipen hori ematen du, eta
+    horretaz ari gara eztabaidatzen gaur hemen. Zuek beste gauza batzuez hitz egitera
+    etorri bazarete… Gai bat bakarrik gogoraraziko dizut, ez baitakit batzuk lehiaren
+    eskubidearen kontu honekin nahasi egiten ote diren: lehiaren eskubidea kontsumitzaileei
+    mesede egiteko da; kontsumitzaileen eskubideak bermatzen dira. Kontsumitzaileen
+    eskubideak bermatzen dira, batetik, eskubide pribatuen aldean, kasu honetan Lehiaren
+    Agintaritzak ezartzen dituen isunen bidez, eta, bestetik, administrazioen aldean,
+    itxuraz printzipio horiek berak urratzen dituzten arauei errekurtsoak jarriz.
+    Horixe da lehiaren eskubidea. Horretaz gain, dakizunez, Europar Batasunaren oinarrizko
+    printzipioetako bat da langileak eta enpresak libreki ibiltzea batera eta bestera
+    Europa osoan, eta zelaiari ateak jarri nahi izatea, bada, oso ondo dago, baina
+    erabilgarritasuna eskasa edo hutsala izan daiteke. (Date: 05.06.2014)'
+  - '[TOPIC: Interpelazioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak
+    lehendakariari egina, Barakaldoko BECen finantza-egoerari eta Eusko Jaurlaritzak
+    hartzeko asmoa duen erabakiei buruz]
+
+    [MANEIRO LABAYEN, (Mixto-UPyD)]:
+
+    Nik gaur egun zer egoeratan dagoen dakit, eta oso larria da egoera. Eta ziur naiz,
+    ziur gara, eta hor daude datuak, kudeaketa erabat arduragabea izan dela urte hauetan
+    guztietan, eta administrazioek ez dutela kontrolatu. Egia esan, badirudi Bizkaiko
+    Foru Aldundia Eusko Jaurlaritzak zuzendaritza-talde berria izendatu zain dagoela,
+    azpiegitura hori sustatuko duen aurrez aurreko plana abian jar dezaten. Noiz egingo
+    dira urrats horiek? Izan ere, itxuraz, aurreko Gobernuak onartu zuen aurrez aurreko
+    (Date: 15.03.2013)'
+- source_sentence: Zein da Euskal Legebiltzar Talde Popularrak Benta Berriko babes
+    ofizialeko etxebizitzei buruz egindako legez besteko proposamena?
+  sentences:
+  - Ofizialeko Etxebizitzei dagokien Legea betearaztea.
+  - '[TOPIC: EH Bildu talde parlamentarioak egindako lege-proposamena, euskara jakiteko
+    eskubidea bermatzeko. Aintzat hartzeari buruzko eztabaida eta behin betiko ebazpena]
+
+    [ANDUEZA LORENZO, (SV-ES)]:
+
+    ekimena pasatako legealdian EH Bilduk eta Podemosek lortu zuten akordioan oinarrituta
+    dago. Gure ustez, ez da beharrezkoa lege bat. Horretarako, Euskararen Legea daukagu,
+    agian, eguneratu beharrekoa. Gai honen inguruan, lan eta bide horretatik jarraitzea
+    proposatzen dugu. Adibiderik onena, hala nola, 16 eta 30 urte bitarteko pertsonentzat
+    egiaztatutako C1 mailara arteko matrikularen doakotasuna. Hemendik aurrera, aurrerapauso
+    gehiago emateko aukera izango dugu, elkarlanaren bitartez, eta, agian, euskararekin
+    daukagun konpromisoa berrituz. (Date: 19.11.2020)'
+  - '[TOPIC: Euskal Legebiltzar Talde Popularrak egindako legez besteko proposamena,
+    Donostiako Benta Berri auzoan dauden babes ofizialeko etxebizitzei buruz. Eztabaida
+    eta behin betiko ebazpena]
+
+    [URKOLA IRIARTE, (EA-NV)]:
+
+    Eta nik esan nezake zuk zera proposatzen duzula, babes ofizialeko etxebizitzetan
+    alokairuan dauden gizon-emakumeek sei hilabete lehenago eman dezatela izena Etxebiden,
+    hala egitea baitagokie, baina Benta Berrikoek ez. Benta Berrikoak betirako erregistratuta
+    egon daitezke. Orduan, ez dezagun hona ekarri Benta Berriko auzokoentzat kaltegarri
+    bihur daitekeen hitzik. Hemen nik esan nahi izan dudan gauza bakarra da zuk proposatzen
+    duzun irtenbide bateratu hori… Ez dakit zer irtenbide den. Zuk irtenbide (Date:
+    11.02.2016)'
+- source_sentence: Zein da Eusko Jaurlaritzaren jarrera energia berriztagarri deszentralizatuaren
+    sustapenari dagokionez?
+  sentences:
+  - Eta, bueno, herri gisa, gauden bezala gaude, eta kontua da nola egin dezakegun
+    hobera energia berriztagarrien garapenari dagokionez. 2030erako Euskadiko Energia
+    Estrategiaren barruan, helburu bat dago,
+  - '[TOPIC: Interpelazio, José Ramón Becerra Carollo Elkarrekin Podemos taldeko legebiltzakideak
+    Ekonomiaren Garapen eta Azpiegituretako sailburuari egina, energia berriztagarri
+    deszentralizatua bultzatzeari buruz]
+
+    [EKONOMIAREN GARAPEN ETA AZPIEGITURETAKO SAILBURUAK (TAPIA OTAEGI), (EA-NV)]:
+
+    ahalik eta efizientziarik handienarekin egitea–, posible diren jarduketa guztiak
+    jarri behar ditugu martxan. Uste dut egiten ari garela, eta, ildo horretan, sendotu
+    egingo dugu gure jarduketa. Eta galdetu didazun guztiari erantzun diodala uste
+    dut. Eta, agian, lehenengo txandan ez naiz horren argi aritu; oraingoan gauzak
+    argixeago geldituko zirela espero dut. Eskerrik asko. (Date: 25.10.2019)'
+  - '[TOPIC: Interpelazio, José Ramón Becerra Carollo Elkarrekin Podemos taldeko legebiltzakideak
+    Ekonomiaren Garapen eta Azpiegituretako sailburuari egina, energia berriztagarri
+    deszentralizatua bultzatzeari buruz]
+
+    [EKONOMIAREN GARAPEN ETA AZPIEGITURETAKO SAILBURUAK (TAPIA OTAEGI), (EA-NV)]:
+
+    ahalik eta efizientziarik handienarekin egitea–, posible diren jarduketa guztiak
+    jarri behar ditugu martxan. Uste dut egiten ari garela, eta, ildo horretan, sendotu
+    egingo dugu gure jarduketa. Eta galdetu didazun guztiari erantzun diodala uste
+    dut. Eta, agian, lehenengo txandan ez naiz horren argi aritu; oraingoan gauzak
+    argixeago geldituko zirela espero dut. Eskerrik asko. (Date: 25.10.2019)'
+- source_sentence: Zein da Eusko Jaurlaritzaren jarrera enpresa estrategikoen sustraitze-galeraren
+    aurrean?
+  sentences:
+  - '[TOPIC: Mozioa, David Soto Rodríguez Elkarrekin Podemos-IU taldeko legebiltzarkideak
+    aurkeztua, enpresa estrategikoen sustraitze-galera ekiditeko mekanismoei buruz.
+    Eztabaida eta behin betiko ebazpena]
+
+    [SOTO RODRÍGUEZ, (EP-IU)]:
+
+    gainera, behin baino gehiagotan entzun dut sailburu andrea esaten ez dela Eusko
+    Jaurlaritzaren interesekoa enpresek egin behar dituzten inbertsio-proiektuen buru
+    izatea. Ulertzen dut enpresek autonomia osoa dutela zertan iker dezaketen erabakitzeko.
+    Baina, bai horixe, Eusko Jaurlaritzaren interesekoa izan beharko luke, halaber,
+    interes orokorreko inbertsioak sortzeak, enpresa pribatuekin uztartuta, eta sektore
+    publikotik erakustea jarraitu beharko litzatekeen bidea. Bestalde, uste dugu Kutxabanken
+    eta aurrezkikutxen inbertsio-galeraren egitateak, eta Eusko Jaurlaritzak (Date:
+    06.05.2021)'
+  - '[TOPIC: Galdera, Miren Gorrotxategi Azurmendi Elkarrekin Podemos-IU taldeko legebiltzarkideak
+    lehendakariari egina, Euskadin lehen sektoreari eta garraiolariei produktu eta
+    zerbitzuengatik bidezko prezioak bermatzeari buruz]
+
+    [JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]:
+
+    Eskerrik asko, legebiltzarburu andrea. Gorrotxategi andrea, Jaurlaritza etenik
+    gabeko komunikazioa mantentzen ari da lehen sektorearekin eta garraio-sektorearekin.
+    Badakigu Europako legediak eta Estatuko legediak nola eragiten diguten, eta zure
+    galderatik ondorioztatzen dut zalantzak dituzuela Espainiako Gobernuak asteartean,
+    bigarren presidenteordea buru zuela, aurkeztu zituen laguntzen eraginkortasunari
+    buruz. Nolanahi ere, gogorarazi nahi dizut neurri horiek ere kontuan hartu behar
+    dutela Europar Batasunaren laguntzei buruz aurreko galderan aipatu dudan denbora-esparrua.
+    Europar (Date: 01.04.2022)'
+  - '[TOPIC: Galdera, Rosa Fresno Asensio Euskal Sozialistak taldeko legebiltzarkideak
+    Segurtasuneko sailburuari egina, indarkeria matxistaren biktimak artatzeko zerbitzu
+    espezializatuari buruz]
+
+    [SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:
+
+    duen horri buruz, oso gauza zehatzari buruz ari gara hizketan. Ezin hobeto zehaztuta
+    dago, eta denbora luzean landu da. Etxeko indarkeriaren, genero-indarkeriaren,
+    zerbitzuari buruz ari gara hizketan. Bikotekideen edo bikotekide ohien indarkeria
+    pairatu duten, pairatzen ari diren eta pairatzeko arriskua duten emakume guztiei
+    eskaintzen die zerbitzu hori Ertzaintzak, bai eta familian edo etxean indarkeria
+    pairatu dutenei edo pairatzen ari direnei ere. Begira, berriz ere datuei helduko
+    diet. Apirilaren 18an, (Date: 22.04.2016)'
+- source_sentence: Noiz egin zen itunpeko irakaskuntzaren finantzaketari buruzko barne-dokumentua?
+  sentences:
+  - '[TOPIC: Galdera, Alfonso Alonso Aranegui Euskal Talde Popularreko legebiltzarkideak
+    lehendakariari egina, Gizarteratzeko eta Diru Sarrerak Bermatzeko Legeari buruz]
+
+    [ALONSO ARANEGUI, (PV-ETP)]:
+
+    hitzemandako aldaketa? Proposamen hori bada, hortaz, esan daiteke horren aitatasuna
+    Jaurlaritzari dagokiola eta haren egiteko asmoaren pean dagoela. Eta guretzat
+    ere oso garrantzitsua da; izan ere, zuek gutxiengoan zaudete eta, lege bat aurrera
+    atera nahi baduzue edo erreforma bat aurrera atera nahi baduzue, kideren bat bilatu
+    beharko duzue, eta proposamen horrek duena maximoen, minimoen adierazpen bat bada…
+    Zenbaterainoko nahia duzue aldatzeko? Erabakitasunez aurrera egiten jarraituko
+    al duzu, tribunan askotan eskatu (Date: 25.05.2018)'
+  - Gogoan izan behar da dokumentu hori ez dela inolako akordioren ondorio, ez negoziazioen
+    ondorio, ezta horri buruzko elkarrizketen ondorio ere, presidentearen ikuspuntua
+    besterik ez baita.
+  - '[TOPIC: Galdera, José Manuel Gil Vegas Euskal Talde Popularra-Ciudadanos taldeko
+    legebiltzarkideak Hezkuntzako sailburuari egina, itunpeko irakaskuntzaren finantzaketari
+    buruz]
+
+    [GIL VEGAS, (Mixto-Ciudadanos)]:
+
+    Eskerrik asko erantzunagatik, sailburu jauna. Hala ere, ez didazu gauza handirik
+    argitu. Barne-dokumentu bat dela esan didazu, 2021eko apirilean egin zena, baina
+    oraindik ez dakigu zergatik duen prentsak Ganbera honek baino lehenago. Eta esan
+    didazu ikastetxeei eman zitzaiela, baina ez zela Legebiltzar honetara bidali.
+    Eta, beraz, uler ezazu galdetzen jarraitu beharko dudala txosten hori gaur egun
+    non dagoen eta zein den hark duen estatusa; galdetu ez ezik, berriro diot, (Date:
+    18.02.2022)'
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy
+model-index:
+- name: SentenceTransformer based on intfloat/multilingual-e5-large
+  results:
+  - task:
+      type: triplet
+      name: Triplet
+    dataset:
+      name: multilingual e5 large
+      type: multilingual-e5-large
+    metrics:
+    - type: cosine_accuracy
+      value: 0.9032633900642395
+      name: Cosine Accuracy
+---
+
+# SentenceTransformer based on intfloat/multilingual-e5-large
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 1024 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
+  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("aimarsg/mle5_parl_l_contrastive")
+# Run inference
+sentences = [
+    'Noiz egin zen itunpeko irakaskuntzaren finantzaketari buruzko barne-dokumentua?',
+    '[TOPIC: Galdera, José Manuel Gil Vegas Euskal Talde Popularra-Ciudadanos taldeko legebiltzarkideak Hezkuntzako sailburuari egina, itunpeko irakaskuntzaren finantzaketari buruz]\n[GIL VEGAS, (Mixto-Ciudadanos)]:\nEskerrik asko erantzunagatik, sailburu jauna. Hala ere, ez didazu gauza handirik argitu. Barne-dokumentu bat dela esan didazu, 2021eko apirilean egin zena, baina oraindik ez dakigu zergatik duen prentsak Ganbera honek baino lehenago. Eta esan didazu ikastetxeei eman zitzaiela, baina ez zela Legebiltzar honetara bidali. Eta, beraz, uler ezazu galdetzen jarraitu beharko dudala txosten hori gaur egun non dagoen eta zein den hark duen estatusa; galdetu ez ezik, berriro diot, (Date: 18.02.2022)',
+    'Gogoan izan behar da dokumentu hori ez dela inolako akordioren ondorio, ez negoziazioen ondorio, ezta horri buruzko elkarrizketen ondorio ere, presidentearen ikuspuntua besterik ez baita.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 1024]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities)
+# tensor([[1.0000, 0.8351, 0.1413],
+#         [0.8351, 1.0000, 0.0884],
+#         [0.1413, 0.0884, 1.0000]])
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Triplet
+
+* Dataset: `multilingual-e5-large`
+* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| **cosine_accuracy** | **0.9033** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 12,007 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                              |
+  |:--------|:-----------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                                |
+  | details | <ul><li>min: 10 tokens</li><li>mean: 26.06 tokens</li><li>max: 64 tokens</li></ul> | <ul><li>min: 144 tokens</li><li>mean: 262.69 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                              | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
+  |:----------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Zenbat pertsonak jaso dituzte ERTEak osatzeko laguntzak 2020ko azaroaren 25era arte?</code>                                                   | <code>[TOPIC: Galdera, Amaia Martínez Grisaleña, Talde Mistoko legebiltzarkideak lehenengo lehendakariorde eta Segurtasuneko sailburuari egina, San Frantzisko auzoko segurtasunari buruz]<br>[CASANOVA ALONSO, (EH Bildu)]:<br>neurriak ez dira adostu. Hauek ez dira sektoreak eskatzen dituen neurriak. Beste adibide bat. ERTE osatzeko laguntzak aipatu zenituen duela bi aste zure erantzunean: 200.000 pertsona afektatuak ERTE-engatik, 40.000 ostalaritza-sektorean, sektorearen besteren konturako langileen % 85 afektatuta. Zuek ekainean ERTEak osatzeko laguntzak iragarri zenituzten: "5.000 pertsonarengana helduko dira". Badakizu azaroaren 25ean zenbat kobratu duten, zenbat pertsonak kobratu duten laguntza hori? Zero pertsonak. Zero, ERTEak osatzeko. (Date: 27.11.2020)</code>                                                                                                  |
+  | <code>Zein da Eusko Jaurlaritzaren jarrera Errioxako Jatorri Deituraren Kontseilu Arautzaileak izapidetutako estatutuen aldaketaren aurrean?</code> | <code>[TOPIC: Galdera, Itxaso Etxebarria Astondoa EH Bildu taldeko legebiltzarkideak Ekonomiaren Garapen, Jasangarritasun eta Ingurumeneko sailburuari egina, Jaurlaritzak Errioxako Jatorri Deituraren Kontseilu Arautzaileak izapidetutako estatutuen aldaketaren aurrean hartuko dituen neurriei buruz]<br>[ETXEBARRIA ASTONDOA, (EH Bildu)]:<br>izoztuta izan duzue, zuek beste eredu bat defendatzen duzuelako. Prozesua luzatzen jarraitzen duzue oraindik ere, Arabako Mahastiek proposatutako erregelamendua onartzeko prozeduran ere. Hasieratik esan dugu: kontua ez da Errioxa jatorri-deiturak nahi duena, ez Errioxako Gobernuak, ez Madrilgoak, ez Jaurlaritzak, ez EAJk, ezta EH Bilduk zer nahi duen ere. Gure upategiek eta mahastizainek nahi dutena errespetatzea errespetua eskatzea baino askoz gehiago da. Hori errespetatzea esku-sartzeak eragoztea eta (Date: 02.12.2022)</code> |
+  | <code>Nola jokatu zuen Eusko Jaurlaritzak Chillida Leku museoa publikoari irekitzeko eta eskuratzeko asmoei dagokienez?</code>                      | <code>[TOPIC: Mozioa, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak aurkeztua, Chillida Leku museoa publikoari irekitzearen eta eskuratzearen inguruan Jaurlaritzak dituen asmoei buruz. Eztabaida eta behin betiko ebazpena]<br>[MENDIZABAL MENDIZABAL, (EA-NV)]:<br>egin behar diren bezala, zuztarretik eta familiarekin hitz eginez. Eta diskrezioz, familiak eskatu bezala. Familiak badu informazioa (…) egindako txostena eta hipotesiak lantzen ari dira denen artean, pazientzia, konfiantza eta errespetua eskatu zituen Uriarte sailburuak. Pazientzia, diskrezioa. Horregatik adostu dugu erdibidekoa. Gobernuari hasitako bidean segitzeko eskaera egiten diogu bertan. Gainerakoei, Sozialistak taldearen eta Bilduren artean egin den bezala, gainerakoei beraiek ere erdibidekora biltzeko eskaera egiten diegu Gobernuari eta (Date: 03.04.2014)</code>               |
+* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim",
+      "gather_across_devices": false
+  }
+  ```
+
+### Evaluation Dataset
+
+#### Unnamed Dataset
+
+* Size: 12,012 evaluation samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                              | negative                                                                            |
+  |:--------|:-----------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                                | string                                                                              |
+  | details | <ul><li>min: 11 tokens</li><li>mean: 26.03 tokens</li><li>max: 64 tokens</li></ul> | <ul><li>min: 143 tokens</li><li>mean: 263.01 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 2 tokens</li><li>mean: 131.34 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                     | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
+  |:---------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Noiz egin ziren hauteskunde demokratikoak Katalunian?</code>                                                         | <code>[TOPIC: Galdera, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak lehendakariari egina, Katalunian kolpismoa babesteari buruz]<br>[JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]:<br>erakundeek elkarrizketa bat eta negoziazio bat eskatu dute, eta Espainiako Gobernuak sistematikoki ukatu die. Irailaren 27an hauteskunde demokratikoak egin ziren Katalunian. Parte-hartze handia izan zen, eta herritarrek askatasun osoz hautatu zuten nor izango ziren beren erakunde-ordezkariak Parlamentuan. Pasa den azaroaren 9an legez eta demokratikoki eratutako Parlamentuak adierazpen bat onartu zuen, eta hautatutako ordezkarien gehiengo absolutuaren babesa jaso zuen adierazpen horrek. Adierazpen horren bidez, negoziazio bat hasteko eskatu zen, eskaera politiko (Date: 13.11.2015)</code>                                                                | <code>[TOPIC: EH Bildu legebiltzar-taldeak egindako legez besteko proposamena, legegintzaldiaren erdian tamainako erronkak dituen Enplegu eta Gizarte Politiketako Saila bururik gabe uzteari buruz. Eztabaida eta behin betiko ebazpena]<br>[ARRONDO ALDASORO, (EH Bildu)]:<br>Alderdi Sozialistak esatea ezin dutela gure proposamenarekin bat egin, ze irakurtzen baldin badugu atzo Idoia Mendiak El Mundon esandakoa, "Aburto lleva meses con la cabeza en el salón árabe", eta irakurtzen baldin badugu hemen esaten dena, uste dut nik esandakoa baino gehiago dela oraindik. Orduan, ardura egotea horretaz nik uste dut ezinbestekoa dela, zeren, esan dugun bezala, ez gara gu bakarrik pentsatzen dugunok egoera kezkagarri baten aurrean gaudela. Eta berriro errepikatuko (Date: 18.12.2014)</code> |
+  | <code>Zer ondorio izan zituen Madrilek onartutako lan-erreformak hitzarmen kolektiboen aurreraeraginari dagokionez?</code> | <code>[TOPIC: Mozioa, Bixen Itxaso González Euskal Sozialistak taldeko legebiltzarkideak aurkeztua, Eusko Jaurlaritzak Gizarte Elkarrizketaren Mahaia biltzeko deia egitearen gainean. Eztabaida eta behin betiko ebazpena]<br>[ARREGI ROMARATE, (EA-NV)]:<br>deialdia egiteko beharra azpimarratu zuen, mahai horretako parte-hartzaile guztien artean, Madrilek onartutako lan-erreformaren ondorio larriei aurre egiteko, erreforma horrek –nabarmendu nahi dut– ondoriorik gabe utzi baitzuen hitzarmen kolektiboen aurreraeragina. Euzko Abertzaleak taldearentzat elkarrizketa behar-beharrezkoa da, guztion aldeko elkarrizketa, adostasunetara heltzeko ezinbestekoa delako hitz egitea, besteen jarrerak entzun eta errespetatu, akordioen bila. Guk ere uste dugu beharrezkoa dela akordioetara iristea, eta uste dugu ezinbestekoa dela hitzarmenak lortzea, (Date: 17.10.2013)</code> | <code>[TOPIC: EH Bildu talde parlamentarioak egindako legez besteko proposamena, gazte prekarietatearen kontrako talka plan berria indarrean jartzeari buruz]<br>[ROJO SOLANA, (SV-ES)]:<br>deritzon, guztiok helburua erkide dugula iruditzen baitzait. Testuinguru horretan, kezka erkidea eta erabakiak hartzeko premia dugula deritzogulako, Gobernuari sostengua ematen diogun taldeok erdibideko neurri bat proposatu genuen. Lehen puntuak aintzat hartzen zuen dugun egoera, non adostasun politikoa funtsezkoa baita; beraz, poztu egiten gaitu ahobatezkotasunak; ez dakit zer deritzon Alderdi Popularrak, baina akordioa zabala da puntu horretan. Bigarrenean eskatzen genuen klima-aldaketaren eta energia-trantsizioaren borrokaren politika garatzea, Eusko (Date: 11.04.2019)</code>            |
+  | <code>Zer dio 2013-2016 aldirako Bake eta Bizikidetza Planaren bitarteko ebaluazioak?</code>                               | <code>[TOPIC: Mozioa, Gorka Maneiro Labayen MistoaUPyD taldeko legebiltzarkideak aurkeztua, Euskadiko udalek terrorismoaren biktimei egingo dizkieten omenaldiei buruz. Eztabaida eta behin betiko ebazpena]<br>[BARRIO BAROJA, (PV-ETP)]:<br>plan hori, hasieran, adierazpenekoa baino ez zela. Taldeek agertu zuten beren jarrera plana egin zenean, baina badakizu ez duzula onarpenik lortu, ez duzula akordiorik lortu, eta gainera, denborak aurrera egin ahala, legebiltzarreko taldeak gero eta urrunago dauden plan horretatik. Eta, ildo horretan, porrot egin duen plana da, zuek ebaluazioaz mintzo zareten arren. Planaren ebaluazioa aipatu duzu zuk oraintxe tribunan, 2013-2016 aldirako Bake eta Bizikidetza Planaren bitarteko ebaluazioa. (Date: 15.10.2015)</code>                                                                                                            | <code>Iragan irailaren 9an, Eusko Jaurlaritzak, Jonan Fernandez jaunak zuzentzen duen Idazkaritza Nagusiaren bitartez, txostena argitaratu zuen "Eusko Jaurlaritzaren 2013-2016 aldirako Bake eta Bizikidetza Planaren</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
+* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim",
+      "gather_across_devices": false
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `learning_rate`: 2e-05
+- `warmup_ratio`: 0.1
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 8
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 3
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `parallelism_config`: None
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `hub_revision`: None
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Training Loss | Validation Loss | multilingual-e5-large_cosine_accuracy |
+|:------:|:----:|:-------------:|:---------------:|:-------------------------------------:|
+| 0.0666 | 100  | 0.6           | -               | -                                     |
+| 0.1332 | 200  | 0.0594        | -               | -                                     |
+| 0.1999 | 300  | 0.0345        | -               | -                                     |
+| 0.2665 | 400  | 0.0348        | -               | -                                     |
+| 0.3331 | 500  | 0.0242        | -               | -                                     |
+| 0.3997 | 600  | 0.0445        | -               | -                                     |
+| 0.4664 | 700  | 0.0443        | -               | -                                     |
+| 0.5330 | 800  | 0.0218        | -               | -                                     |
+| 0.5996 | 900  | 0.0197        | -               | -                                     |
+| 0.6662 | 1000 | 0.0315        | -               | -                                     |
+| 0.7328 | 1100 | 0.0206        | -               | -                                     |
+| 0.7995 | 1200 | 0.0225        | -               | -                                     |
+| 0.8661 | 1300 | 0.0352        | -               | -                                     |
+| 0.9327 | 1400 | 0.0279        | -               | -                                     |
+| 0.9993 | 1500 | 0.0256        | -               | -                                     |
+| 1.0    | 1501 | -             | 0.3579          | 0.8662                                |
+| 1.0660 | 1600 | 0.0089        | -               | -                                     |
+| 1.1326 | 1700 | 0.0189        | -               | -                                     |
+| 1.1992 | 1800 | 0.0062        | -               | -                                     |
+| 1.2658 | 1900 | 0.0145        | -               | -                                     |
+| 1.3324 | 2000 | 0.0073        | -               | -                                     |
+| 1.3991 | 2100 | 0.0202        | -               | -                                     |
+| 1.4657 | 2200 | 0.0068        | -               | -                                     |
+| 1.5323 | 2300 | 0.0199        | -               | -                                     |
+| 1.5989 | 2400 | 0.0141        | -               | -                                     |
+| 1.6656 | 2500 | 0.0031        | -               | -                                     |
+| 1.7322 | 2600 | 0.0058        | -               | -                                     |
+| 1.7988 | 2700 | 0.0116        | -               | -                                     |
+| 1.8654 | 2800 | 0.0055        | -               | -                                     |
+| 1.9320 | 2900 | 0.0163        | -               | -                                     |
+| 1.9987 | 3000 | 0.0025        | -               | -                                     |
+| 2.0    | 3002 | -             | 0.2463          | 0.8992                                |
+| 2.0653 | 3100 | 0.0033        | -               | -                                     |
+| 2.1319 | 3200 | 0.0046        | -               | -                                     |
+| 2.1985 | 3300 | 0.0044        | -               | -                                     |
+| 2.2652 | 3400 | 0.0042        | -               | -                                     |
+| 2.3318 | 3500 | 0.0022        | -               | -                                     |
+| 2.3984 | 3600 | 0.0068        | -               | -                                     |
+| 2.4650 | 3700 | 0.0131        | -               | -                                     |
+| 2.5316 | 3800 | 0.0125        | -               | -                                     |
+| 2.5983 | 3900 | 0.0046        | -               | -                                     |
+| 2.6649 | 4000 | 0.0025        | -               | -                                     |
+| 2.7315 | 4100 | 0.0059        | -               | -                                     |
+| 2.7981 | 4200 | 0.0012        | -               | -                                     |
+| 2.8648 | 4300 | 0.0074        | -               | -                                     |
+| 2.9314 | 4400 | 0.0024        | -               | -                                     |
+| 2.9980 | 4500 | 0.004         | -               | -                                     |
+| 3.0    | 4503 | -             | 0.2380          | 0.9033                                |
+
+
+### Framework Versions
+- Python: 3.10.8
+- Sentence Transformers: 5.1.0
+- Transformers: 4.56.0
+- PyTorch: 2.8.0+cu128
+- Accelerate: 1.10.1
+- Datasets: 4.0.0
+- Tokenizers: 0.22.0
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,27 @@
+{
+  "architectures": [
+    "XLMRobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "dtype": "float32",
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 1024,
+  "initializer_range": 0.02,
+  "intermediate_size": 4096,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 16,
+  "num_hidden_layers": 24,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "transformers_version": "4.56.0",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 250002
+}

config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "model_type": "SentenceTransformer",
+  "__version__": {
+    "sentence_transformers": "5.1.0",
+    "transformers": "4.56.0",
+    "pytorch": "2.8.0+cu128"
+  },
+  "prompts": {
+    "query": "",
+    "document": ""
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f6351e6d212fa245f11ddc389f8d3227ff08257bca42c95e9ac09f3ff9fa7148
+size 2239607176

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+    "max_seq_length": 512,
+    "do_lower_case": false
+}

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
+size 5069051

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

tokenizer_config.json

@@ -0,0 +1,55 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "extra_special_tokens": {},
+  "mask_token": "<mask>",
+  "model_max_length": 512,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "unk_token": "<unk>"
+}