--- base_model: jerteh/Jerteh-355 library_name: sentence-transformers pipeline_tag: sentence-similarity tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:11968 - loss:MSELoss widget: - source_sentence: Pazi, sanse za pune stipendije su uvek male, prvo razmisli da li kod nas mozes da ulises master na stipendiju, pa onda tek kod njih. Realno neces se kajati ako probas cak i da te odbiju. sentences: - Ako radis samo ux/ui onda mislim da ne bi trebao da imas problema sa 7410. Ukoliko dodatno nesto petljas oko koda ili koristis neke CMS-ove onda 6201. Postavi ovo pitanje na dizajnzoni, moguce da je neko imao slicne nedoumice... - 'Polagao sam pre par meseci pa ovako: \n\n1. Od kada je korona polaže se isključivo na računaru, nema više papira, ali ne od kuće već u njihovim test centrima. Reading, writing i listening se rade uvek u test centru, dok se za speaking ide u prostorije kod kalemegdana gde pričaš. \n\n2. Cena je koliko se secam bila oko 20k \n\n3. Zavisi od tvog znanja, ja i par drugara smo polagali bez pripreme i svi smo imali 8, 8.5 ili 9 od 9, ali zato par ljudi nikako da položi. \n\n4. Ima dosta koji imaju istu težinu kao što su CAE, TOEFL itd. ali IELTS ti je najlakši.' - Ključna reč je *classified as*. Pojam/klasifikacija "naroda Han" je u formulaciji iz 1911 - dovoljno govori to koliko jezika govore. Danas su u "narodu Han" i Mandžurijci, o kojima su kineski antropolozi pisali pre 100 godina kao o drugoj rasi i isticali koliko su Mandžurijci "rasno inferiorni". Čak i da to zanemarimo, obrati pažnju koliki procenat kineske teritorije ima drugačiju kulturu - i koliko takvih regiona danas ima separatističke pokrete.\n\nAli čak i to da zanemarimo sve i uzmemo da je situacija takva kakvom je predstavljaš - dakle oblasti naroda Han su ubedljivo najrazvijenije i oni nemaju problema sa time, dok ostale teritorije predstavljaju nešto više od izvoznika sirovina. Da li takva treba i Srbija da bude - hoće li u Srbiji svođenje vlaških oblasti na izvoznika sirovina dovesti do pojave separatizma?\n\nU stvari, kako je ova situacija u Kini drastično drugačija od srpske - Beograd i njegovi produžeci danas nemaju nikakve separatističke namere. Da li bi ti pristao na Srbiju u kojoj skoro sva industrija biva u Vojvodini, a ostatak Srbije za nju proizvodi sirovine i radnu snagu - da li je to model ravnomernog razvoja koji promovišeš? - source_sentence: '@user @user Pobogu, ljudi, pa zato što toliko kradu i dobijaju nezaslužena mesta sa lažnim diplomama, da im se ne isplati da se stvarno svađaju. Ove nameštene sukobe ne računam.' sentences: - Kako nema veze? - Dokle će sve ovo trajati?,S obzirom da se bliže izbori, sve i da padne sadasnja vlast, šta mislite dal postoji osoba koja može bilo šta da učini da u ovoj državi bude bolje? Moje mišljenje da za najmanje 20 godina ne postoji niko ko bi to mogao da učini jer su svo korumpirani i gladni para imoći, od trenutne vlasti pa sve do opozicije. - Sa obzirom da sam pohađao Matematičku gimnaziju u Beogradu moja mišljenja se prevashodno odnose na tu školu. Znam da već neko vreme postoje posebna odeljenja za matematiku u mnogim gradovima, ali ne znam previše o njima.\n\n Kod nas ima 5 odeljenja po generaciji od po 20 učenika. Koliko ja znam, svaka druga (državna) srednja škola u Beogradu ima oko 30 učenika po odeljenju. Manja odeljenja znače da se svakom učeniku može posvetiti više pažnje tokom časa. Svi profesori koje sam pitao, a koji su radili u drugim školama, kažu da je daleko lakše predavati grupi od 20 učenika nego 30. \n\nOd ovih 5 odeljenja, jedno je specijalno i naziva se mentorsko odeljenje, u njega ide 20 najboljih učenika (određenih rang listom na upisu u prvi razred). Kasnije je moguće ući u ovo odeljenje sa dobrim uspehom (ukoliko učenik to želi). Razlika između ovog i ostalih odeljenja je što jedan dan u nedelji imamo mentorsku nastavu, kada se delimo u 4 grupe od po 5 ućenika i rotiramo između časova analize sa algebrom, geometrije, programiranja i fizike. Stvari koje se rade na mentorskoj nastavi su naprednije od regularnog programa, i ja sam lično dosta naučio ovakvim radom. \n\nPlan i program je napredniji nego u ostalim gimnazijama, ali škola je organizovana tako da svako može više da se posveti onome što ga najviše zanima. Tako su neki pratili dodatnu iz programiranja, neki iz matematike, a neki iz fizike. Ova dodatna nastava nije obavezna, već služi prevashodno kao priprema za takmičenja. Što se tiče regularne nastave, imali smo tokom 4 godine školovanja 7-8 različitih matematičkih predmeta. Profesori koji predaju matematiku, fiziku i programiranje su 90% bivši učenici Matematičke gimnazije, i odnos između njih i učenika je daleko bolji nego u ostalim školama. Što se tiče ostalih predmeta (biologija, geografija...) oni su daleko lakši nego u ostalim gimnazijama. \n\nIskreno mislim da je Matematička gimnazija najveći uspeh naše prosvete. Jedna smo od najuspešnijih škola na međunarodnim takmičenjima na svetu. Više cenim kada mi neko kaže da je završio Matematičku gimnaziju nego npr. ETF. Moje iskustvo u ovoj školi je bilo u potpunosti pozitivno.\n\nŠto se stipendija tiče, smatram da su dobra stvar. Iznosi nisu preveliki, ali su dobri da pomognu pri kupovini prevashodno kompjuterske opreme, bez koje danas nema bavljenja naukom. Ovo mišljenje je možda malo pristrasno, sa obzirom da sam dobijao mnoge novčane stipendije tokom školovanja .\n\nAko imaš bilo kakva specifična pitanja što se tiče rada škole, ili što se tiče međunarodnih takmičenja, slobodno pitaj. - source_sentence: Hvala Bogu što si se nje otarasio pre braka i dece. Ti problemi bi ti bili puno veći kasnije u braku. sentences: - If I am a Christian Arab and I moved to Serbia (not as a refugee), will I be able to integrate Serbian society?,This is a very genuine question. I am not looking to offend anyone or upset an group of people. Thank you very much. - Nasi ljudi u svetu IT-ja - Usrana venogel reklama,Sa ponosom mogu da kažem da sam odgledao venogel reklamu 9000 puta (samo danas 62 puta) odrastao sam uz tu reklamu i mnogo mi znači. "Umro sam pre 4 godine ali nakon korišćenja venogel kreme, ostvario sam svoj san i učestvovao na ultramaratonu, HVALA VITALISU." \n\nJel može neko ko je koristio tu jebenu kremu da mi potvrdi da li je stvarno tako čudotvorna pa da umrem u miru.\n\nHvala vitalisu. - source_sentence: Mislio sam da se nikada neću složiti s Eskobarom, ali slažem se s ovom izjavom da neće biti rata u BiH, ako je tačno da je to izjavio. Ali neka kaže jasno ko podržava mir, a ko ne i ko u BiH prijeti ratom i prebrojava se,a mogli smo čuti da za to ima i podršku Islamske zajednice. sentences: - paa...po verskoj je ok, jer treba biti idiot pa biti vernik, a ako mrzis idiote...\n\nnacionalna mrznja...tu i tamo, cesto nacionalnost podrazumeva odredjene slicne ili iste elemente vaspitanja, sisteme vrednosti, predrasude. na osnovu toga, u teoriji, mozes mrzeti drugi narod. cesto ces sresti srbe koji mrze hrvate, a rodili su se nakon ratova, nisu direktno osteceni od strane hrvata. to je definicija nacije. ako ti i ja nemamo bas nijednu zajednicku tacku osim sto smo se slucajno radili unutar istih granica na nekoj mapi koju su crtali ljudi pre nas, da li smo mi deo iste nacije, istog plemena? tehnicki jesmo, a realno mozemo biti i amerikanac i rus, nema razlike. - Pitanje je vremena kada ce biti odnos prema nama kao prema drugim radnicima (nece skoro ali opet ce se i to desiti) , uzivaj dok mozes dok smo im toliko potebni. Nijednoj firmi nije stalo do tebe jer te vole nego jer im trebas. Da nas ima kao bankara, gazili bi po nama. - Meni je lično zbog te globalne kompromitacije demokratske ideje i prakse žao. Ali je to urušavanje činjenica. Nažalost, još jednom se ispostavilo da u međunarodnim odnosima vladaju samo sila i moć. I da je samo ravnoteža straha jedno vreme stvarala utisak i iluziju da je drugačije. - source_sentence: Kako brat "Komita" zamišlja stručni i demokratski dijalog) Ali, dobro. Nije mu lako. Imali su težak dan😃 http sentences: - Grafika se ne moze menjati. Na novijim laptopovima cuo sam da ni ram (nzm jel tacno ovo poslednje) - '@user @user Ostaćeš upamćen u istoriji kao ostrašćeni vladar, a ne državnik. Kao onaj koji je naredio da se neistomišljenici batinaju. Živi sa tim teretom, sam si tako odlučio. Niko se neće sećati tvojih puteva i mostova, kao što se ne sećaju Tadićevih ... Sećaće se samo ovoga. http' - Obnovljena prva godina na fakultetu,Imam 21 godinu i studiram stomatologiju. Obnovila sam prvu godinu (sada bih trebala da sam druga), i osećam se mnogo loše povodom toga. Prošle godine u ovom periodu sam se osećala mnogo depresivno, anksiozno, i usamljeno (i sada se tako osećam samo malo manje), nisam tražila pomoć jer sam mislila da ću uspeti da se izborim sa sobom i na kraju položim ispite koji su mi potrebni za drugu godinu, ali nisam. Osećala sam ogromnu krivicu jer to nije smelo da mi se desi. Jedino mi majka radi, ona je medicinska sestra i ona izdržava nas četvoro. Znam koliko oni trpe i žrtvuju se samo da bih ja mogla da idem na fakultet i obezbedim sebi bolju budućnost.\n\nVeć neko vreme imam blokadu što se tiče učenja. Ostao mi je još jedan ispit da očistim godinu, i to najteži (anatomija). I imam problem da ne mogu da nateram sebe da sednem da učim, tj. kad god sednem i krenem da učim učim malo i već posle nekog vremena moje misli se razlete na sve strane i počinjem da se vraćam u prošlost i razmišljam o svojim neuspesima. Imam utisak da se uopšte nisam snašla, jer sam upisala fakultet u drugom prijemnom roku (na prvom mi je falio poen), odmah krenula na fakultet posle tolikog stresa, kasnije korona i online predavanja i vežbe, nisam dovoljno učila, više sam bila pod stresom, ne znam ni sama.\n\nProšle godine kada sam tek obnovila godinu, htela sam što pre da položim sve ispite koji su mi ostali i zaposlim se i uštedim novac za drugu godinu, ali nisam uspela, mnogo sam se razvukla sam ispitima, nisam mogla lepo da učim. Inače sam uvek bila odličan đak i nisam imala problema što se učenja tiče, uvek sam mogla da učim, ali poslednje dve godine ne znam šta mi se dešava. Samopouzdanje mi je mnogo opalo, i mislim da sam mnogo glupa i da ništa ne mogu da uradim kako treba. \n\nHtela bih da vas zamolim za neki savet kako bih mogla ovo da prebrodim jer stvarno nemam više ni motivacije ni volje, svakog dana sam tužna i plačem, ne znam šta više da radim sa sobom. --- # SentenceTransformer based on jerteh/Jerteh-355 This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [jerteh/Jerteh-355](https://huggingface.co/jerteh/Jerteh-355). It maps sentences & paragraphs to a 16-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [jerteh/Jerteh-355](https://huggingface.co/jerteh/Jerteh-355) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 16 tokens - **Similarity Function:** Cosine Similarity ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) (2): Dense({'in_features': 1024, 'out_features': 16, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("sentence_transformers_model_id") # Run inference sentences = [ 'Kako brat "Komita" zamišlja stručni i demokratski dijalog) Ali, dobro. Nije mu lako. Imali su težak dan😃 http', 'Obnovljena prva godina na fakultetu,Imam 21 godinu i studiram stomatologiju. Obnovila sam prvu godinu (sada bih trebala da sam druga), i osećam se mnogo loše povodom toga. Prošle godine u ovom periodu sam se osećala mnogo depresivno, anksiozno, i usamljeno (i sada se tako osećam samo malo manje), nisam tražila pomoć jer sam mislila da ću uspeti da se izborim sa sobom i na kraju položim ispite koji su mi potrebni za drugu godinu, ali nisam. Osećala sam ogromnu krivicu jer to nije smelo da mi se desi. Jedino mi majka radi, ona je medicinska sestra i ona izdržava nas četvoro. Znam koliko oni trpe i žrtvuju se samo da bih ja mogla da idem na fakultet i obezbedim sebi bolju budućnost.\\n\\nVeć neko vreme imam blokadu što se tiče učenja. Ostao mi je još jedan ispit da očistim godinu, i to najteži (anatomija). I imam problem da ne mogu da nateram sebe da sednem da učim, tj. kad god sednem i krenem da učim učim malo i već posle nekog vremena moje misli se razlete na sve strane i počinjem da se vraćam u prošlost i razmišljam o svojim neuspesima. Imam utisak da se uopšte nisam snašla, jer sam upisala fakultet u drugom prijemnom roku (na prvom mi je falio poen), odmah krenula na fakultet posle tolikog stresa, kasnije korona i online predavanja i vežbe, nisam dovoljno učila, više sam bila pod stresom, ne znam ni sama.\\n\\nProšle godine kada sam tek obnovila godinu, htela sam što pre da položim sve ispite koji su mi ostali i zaposlim se i uštedim novac za drugu godinu, ali nisam uspela, mnogo sam se razvukla sam ispitima, nisam mogla lepo da učim. Inače sam uvek bila odličan đak i nisam imala problema što se učenja tiče, uvek sam mogla da učim, ali poslednje dve godine ne znam šta mi se dešava. Samopouzdanje mi je mnogo opalo, i mislim da sam mnogo glupa i da ništa ne mogu da uradim kako treba. \\n\\nHtela bih da vas zamolim za neki savet kako bih mogla ovo da prebrodim jer stvarno nemam više ni motivacije ni volje, svakog dana sam tužna i plačem, ne znam šta više da radim sa sobom.', '@user @user Ostaćeš upamćen u istoriji kao ostrašćeni vladar, a ne državnik. Kao onaj koji je naredio da se neistomišljenici batinaju. Živi sa tim teretom, sam si tako odlučio. Niko se neće sećati tvojih puteva i mostova, kao što se ne sećaju Tadićevih ... Sećaće se samo ovoga. http', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 16] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Training Details ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `num_train_epochs`: 1 - `warmup_ratio`: 0.1 - `fp16`: True - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 8 - `per_device_eval_batch_size`: 8 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 5e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 1 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: True - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: False - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional
### Training Logs | Epoch | Step | Training Loss | loss | |:------:|:----:|:-------------:|:------:| | 0.2674 | 100 | 0.1507 | 0.1294 | | 0.5348 | 200 | 0.1275 | 0.1217 | | 0.8021 | 300 | 0.1205 | 0.1153 | ### Framework Versions - Python: 3.12.7 - Sentence Transformers: 3.1.1 - Transformers: 4.45.2 - PyTorch: 2.5.1+cu124 - Accelerate: 1.0.1 - Datasets: 3.0.2 - Tokenizers: 0.20.3 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### MSELoss ```bibtex @inproceedings{reimers-2020-multilingual-sentence-bert, title = "Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2020", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/2004.09813", } ```