kinedx/klue-roberta-base-klue-sts-mrc

SentenceTransformer based on kinedx/klue-roberta-base-klue-sts

This is a sentence-transformers model finetuned from kinedx/klue-roberta-base-klue-sts. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: kinedx/klue-roberta-base-klue-sts
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    "휴가에 '뱅크 2.0'을 읽고자 하는 사람 이름은?",
    '다음달 초 휴가를 가는 임종룡 금융위원장은 미국 버락 오바마 정부의 초대 재무부 장관을 지낸 티머시 가이트너가 쓴 ‘스트레스 테스트’를 읽을 계획이다. 미국의 금융위기 극복 과정 등을 담은 책이다. 윤종규 KB금융지주 회장은 휴가 때 읽을 책으로 ‘생물학 이야기’를 골랐다. 김웅진 미 캘리포니아공과대 교수가 쓴 이 책은 생물학이라는 렌즈를 통해 삶과 사회, 역사를 바라본다.금융권 최고경영자(CEO)들이 여름 휴가 때 읽을 책에 관심이 쏠리고 있다. 금융 관련 서적을 챙겨간다는 CEO도 있지만, 금융과 무관한 인문학 서적을 휴가 필독서로 꼽은 경우도 적지 않다.진웅섭 금융감독원장은 프랑스 철학자 몽테뉴가 쓴 ‘몽테뉴 수상록’을 선택했다. 몽테뉴 자신의 체험을 바탕으로 인생의 솔직한 고민을 담은 이 책을 통해 삶의 지혜를 배우겠다는 것이다. 진 원장은 “책의 요약본을 읽은 적이 있는데, 제대로 한 번 볼 생각”이라고 말했다. 성세환 BNK금융지주 회장은 ‘생각하는 힘, 노자 인문학’(저자 최진석 서강대 철학과 교수)을 읽을 계획이다.홍기택 산업은행 회장은 다음주 휴가 때 미국 온라인 결제서비스기업 페이팔 설립자인 피터 틸이 지은 ‘제로 투 원’을 탐독하기로 했다. 이 책은 “독점은 모든 성공적 기업의 현재 상태”라고 설명하며 어떻게 ‘0에서 1로’ 새로운 것을 창조하는 기업으로 키울 수 있는지 알려준다. 홍 회장은 지난 2월 한국을 찾은 틸을 직접 만나 대화를 나누기도 했다.김용환 농협금융지주 회장은 미국 GM 부회장 등을 지낸 밥 루츠가 쓴 ‘빈 카운터스’를 골랐다. ‘콩 세는 사람’이라는 뜻의 빈 카운터스는 기업에서 숫자로 모든 것을 움직이려는 사람을 말한다. 이 책은 숫자로 무장한 재무전문가들이 어떻게 기업을 망칠 수 있는지 보여준다. 박인규 DGB금융지주 회장은 ‘경영의 신’으로 불리는 일본 교세라 명예회장 이나모리 가즈오의 ‘어떻게 의욕을 불태우는가’를 읽는다. 김덕수 KB국민카드 사장과 박종복 스탠다드차타드(SC)은행장은 각각 세계적 금융 전문가인 브렛 킹이 쓴 ‘핀테크 전쟁’과 ‘뱅크 2.0’을 읽을 생각이다.    김일규/박신영/박한신 기자',
    '‘현대무용 같지 않다.’ 오는 15일까지 서울 서초동 예술의전당 자유소극장 무대에 오르는 국립현대무용단의 ‘춤이 말하다-크로스 컷(Cross Cut)’을 보고 든 생각이다.공연에 해설을 곁들인 ‘렉처 퍼포먼스’란 형식 덕분일까. ‘현대무용’ 하면 반사적으로 떠오르는 난해함과 추상성이 이 작품엔 없다. 구체적이고 직설적이다. 그래서 일반 관객들이 쉽게 받아들일 만큼 이해하기 쉽다.무대엔 이 시대를 살아가는 춤꾼 6명이 등장한다. 아니, 출연자들은 공연 시작 전에 이미 무대에 나와 몸을 풀고 있다. 상모춤 명인 김운태, 발레리나 김지영 김주원, 현대무용수 이선태 이나현, 스트리트댄서 김기헌 안지석이 그 주인공. 공연이 이미 시작됐는데도 이들은 여전히 스트레칭을 한다. 공연이 지체되나 했는데 그게 아니다. 첫 번째 문을 연 김지영은 무대에서 태연히 물을 마시고, 가방에서 의상을 꺼낸다. 관객과 무대 가운데 놓였던 보이지 않는 벽이 스르르 무너진다.자신만의 세계를 공고히 쌓은 이들 6명은 조곤조곤 이야기한다. “때론 발레가 힘들고 지겹고 그래요.”(김지영) “‘비보이 그거 언제까지 할래?’ 이런 말 들을 때 힘 빠져요.”(김기헌) “고3 때 무용콩쿠르에서 상을 타기 위해서 의미는 없지만 멋있는 동작을 짰어요. 이런 거요.”(이선태) “먹히면 무대에 서는 거고, 안 먹히면 내려오는 거죠.”(김운태)춤의 정의부터 시작해 춤꾼으로 살아가는 고충, 춤에 대한 철학을 설명하고 보여준다. 무대 조명만 있는 단출한 무대는 춤꾼들의 민낯을 보여준다는 이번 공연의 취지와 잘 어울린다. 다만 즉흥이 무대를 이끄는 동력이라 그럴까. 출연진 간의 즉흥 컬래버레이션을 볼 때 긴장돼서 조마조마하다. 안애순 국립현대무용단 예술감독은 지난 7월 취임하며 예술성과 대중성 두 마리 토끼를 잡겠다고 했다. 대중과의 거리를 좁히는 데 성공한 것 같다. 2만~3만원. (02)3472-1420',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8531
spearman_cosine	0.8473

Training Details

Training Dataset

Unnamed Dataset

• Size: 17,552 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 8 tokens mean: 17.69 tokens max: 32 tokens	min: 244 tokens mean: 437.7 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  기부채납을 한 적이 있는 기업은 몇 개인가?	“기부채납에 대한 구체적인 기준이 없다 보니 사업과 무관한 기부채납 요구가 많습니다. 지방자치단체장이 바뀐 뒤 또다시 기부채납을 요구하기도 합니다.”(유환익 전국경제인연합회 산업본부장)“지자체에 사업 신청을 하면 최종 단계까지 갔다가 막판에 계획을 변경하라고 해 처음부터 다시 절차를 거쳐야 하는 도돌이표 규제가 많습니다.”(이경상 대한상공회의소 경제연구실장)안전행정부가 3일 대한상공회의소에서 개최한 ‘지방자치단체 규제개혁을 위한 민·관 합동 토론회’에선 과도한 지방 규제에 대한 지적이 이어졌다. 토론회는 박근혜 대통령 주재로 지난달 20일 열린 규제개혁 점검회의에서 제기된 지방 규제개혁 방안을 논의하기 위한 후속 자리로 마련됐다.○“규제는 기업이 가장 잘 알아”토론회에서는 기업인, 민간 전문가, 시·도 부단체장 등 300여명이 참석해 3시간이 넘는 토론을 벌였다. 참석자들은 “지자체가 규제를 악용한 면피 및 편의 행정을 통해 자유로운 기업활동을 지나치게 압박하고 있다”고 입을 모았다.주제 발제자로 나선 김문겸 숭실대 교수(벤처중소기업학과)는 “공무원들이 기업 입장이나 현실을 고려하지 않고 규제를 보수적으로 엄격하게 해석하고 있다”며 “규제는 기업 등 이해 당사자들이 납득할 수 있도록 합리적으로 적용해야 한다”고 강조했다. 대한상의가 지난해 실시한 조사에 따르면 전체 4020개 중소기업 중 36.3%가 지자체의 조례·규칙 및 지방 공무원의 행태를 기업 규제 애로의 주된 원인으로 꼽았다.유 본부장은 “지방 규제 제정 당시엔 적절했지만 경제 규모의 변화와 기술 발전 등으로 현실과 맞지 않는 규제가 많다”고 지적했다. 대통령 직속 규제개혁위원회에 따르면 지자체 등록규제 5만여개 중 10년 이상 지난 낡은 규제가 41%에 달한다. 뿐만 아니라 미등록, 유사, 탈법 규제 등 숨은 규제도 사실상 등록 규제 못지않은 부작용을 초래하고 있다는 지적도 제기됐다. 유 본부장은 “부당한 인·허가 지연·반려 및 무리한 기부채납 요구 등 모든 규제를 개혁 대상으로 삼아야 한다”고 강조...
  프롱트낵 요새를 공격한 영국군의 지휘자는?	프롱트낵 요새 전투 7년 전쟁 동안 영국과 프랑스가 북미 대륙의 패권을 놓고 겨루고 있었다. 영국은 트롱트낵 요새가 전략적 위협이라고 생각했다. 왜냐하면 그 요새의 위치가 다른 프랑스 요새나 초소에 세인트 로렌스 강에서 오대호로 가는 해상 운송로를 따라 수송과 통신을 하기 좋은 전략적 위치였던 것이다. 예전만큼은 요새의 중요도가 높은 것은 아니었지만, 여전히 그곳에서 서부 기지들에 보급을 할 수 있는 기지였던 것이다. 영국은 이 요새를 무력화시키면 다른 요새로 가는 보급 물자가 차단되고, 외부 요새는 오래 버티지 못할 것이라고 생각했다. 또한 상류의 원주민 부족과의 거래도 중단시킬 수 있을 것이라고 생각했다. 그러나 영국이 요새를 공격하려고 생각한 것은 오직 프랑스 측의 교역로를 통제하겠다는 의도만은 아니었다. 영국이 프롱트낵 요새에서 호수를 넘어가는 곳에, 1722년에 세워진 오스위고 요새에서 역시 원주민과의 거래가 이루어지고 있었던 것이다. (나중에 이곳은 군사 거점으로서 그 질을 높이게 된다.) 실제로 프랑스 몽칼름 장군은 1756년 8월의 오스위고 요새 전투 시에 이 요새를 전략적 거점으로 사용하고 있었다. 1758년 7월, 타이컨더로가 요새에서 패배한 영국군은 사기를 회복하기 위해 , 그해 8월에 존 브래드스트리트 중장의 지휘 하에 5,000여 명의 병력을 보내 프롱트낵 요새에 공격을 가했다. 방어가 소홀했던 프롱트낵 요새는 가볍게 점령되고 말았다. 브래드스트리트는 요새의 물자와 프랑스 해군의 배를 획득하고, 요새를 파괴하라고 명령하고, 빠르게 그 자리를 떠났다. 영국 측으로서는 오스위고 요새의 안전이 확보되었고, 군의 평판도 회복한 것이었다 한편 프랑스는 요새를 잃은 것은 단순히 일시적인 것이라고 생각했다 프롱트낵 요새의 함락으로 프랑스 통신과 수송을 완전히 단절되지 않았다. 서부 방면으로는 그 밖에도 다른 루트(예를 들어 오타와 강 - 휴런 호 루트)가 있었기 때문이다. 그러나 장기 관점에서 보면 이 항복은 원주민 사이에서 프랑스의 위엄을 떨...
  유재석이 출연한 드라마의 제목은?	트로트 열풍이 케이블TV 시장을 뜨겁게 달구고 있다. ㈜홈초이스가 전국 케이블TV 가입자들을 대상으로 서비스 한 ‘1월 5주차 영화·방송 VOD’ 순위에 따르면, TV조선 ‘미스터트롯’이 방송 순위에서 5주째 1위를 지켰다. ‘미스터트롯’은 매 방송마다 화제를 모으며 시청률 고공행진을 이어가고 있다. 지난달 30일 방송에서는 최고 시청률 25.7%로, 지난해 방송된 JTBC 드라마 ‘SKY 캐슬’을 제치고 종편 최고 시청률 기록을 세웠다. 남한의 재벌 상속자와 북한 엘리트 장교의 로맨스를 다룬 tvN 주말드라마 ‘사랑의 불시착’, 지방 작은 병원에 근무하는 의사들의 이야기를 그린 SBS 월화드라마 ‘낭만닥터 김사부 2’, 프로야구 프런트를 소재로 한 SBS 금토드라마 ‘스토브리그’는 전주와 동일하게 각각 2~4위를 유지했다. TV조선 주말드라마 ‘간택 – 여인들의 전쟁’이 전주 대비 1계단 상승한 5위를 차지했다. 조선 왕실의 간택 과정을 조명한 작품으로, 국혼 행렬을 급습한 괴한들의 총격에 왕비가 즉사한 뒤 두 번째 간택이 벌어지면서 흥미를 더하고 있다. MBC ‘무한도전 Classic’이 6위에 올랐다. 종영 후 2년 가까운 시간이 흘렀지만, 여전히 많은 사랑을 받고 있다. MBC ‘놀면 뭐하니?’에서 무한도전의 출연자 유재석과 박명수, 정준하가 한 자리에 모인 모습이 공개돼 관심을 끌기도 했다. JTBC 월화드라마 ‘검사내전’이 7위에 올랐다. 검사를 화려한 법조인이 아닌 지방도시에서 근무하는 평범한 직장인으로 묘사해 색다른 재미를 준다. 영화 VOD 순위에서는 ‘백두산’이 2주째 1위 자리를 이어갔다. 백두산이 폭발한다는 상상을 영화로 옮긴 작품으로, 총 4번의 폭발 중 마지막 폭발을 막기 위해 투입된 인물들의 사투가 흥미롭게 전개된다. ‘백두산’에 이어 또 한 편의 마동석 출연작 ‘시동’이 2위를 차지했다. 어설픈 반항아 택일(박정민)과 상필(정해인), 배구선수 출신의 정혜(염정아), 단발머리 주방장 거석(마동석) 등 개성 강한 캐릭터들의 활약이 극을...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	spearman_cosine
-1	-1	-	0.8473
0.4558	500	0.159	-
0.9116	1000	0.1167	-

Environmental Impact

Carbon emissions were measured using CodeCarbon.

• Energy Consumed: 0.029 kWh
• Carbon Emitted: 0.012 kg of CO2
• Hours Used: 0.086 hours

Training Hardware

• On Cloud: No
• GPU Model: 1 x NVIDIA GeForce RTX 4080
• CPU Model: AMD Ryzen 7 7800X3D 8-Core Processor
• RAM Size: 30.91 GB

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 4.1.0
• Transformers: 4.52.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}