SentenceTransformer based on Alibaba-NLP/gte-multilingual-base

This is a sentence-transformers model finetuned from Alibaba-NLP/gte-multilingual-base on the nlpai-lab/ko-triplet-v1.0 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Alibaba-NLP/gte-multilingual-base
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity
Training Dataset:
- nlpai-lab/ko-triplet-v1.0
Language: ko

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("whybe-choi/gte-ko-triplet-v0.9")
# Run inference
sentences = [
    '은행에 방점을 두는 금융지주회사는 어떤 방식으로 고유한 지배구조를 구축할 필요가 있어',
    '(2) 금융지주회사의 역할과 한계 설정\n금융지주회사에 전업주의를 완화하는 것은 국내시장에서의 업권 간 이익의 보호, 비금융지주회사와의 형평성 등의 문제를 야기할 수 있다.\n따라서 해외의 지배구조제도를 그대로 수용하기보다는 국내 금융지주회사에 맞는 고유한 지배구조를 고안하는 것이 시급하다.\n바젤은행감독위원회는 은행 이사회가 고유의 지배구조 책임을 져야 함을 강조하였다. 이는 은행 이사회 경영권한과 지주회사의 지배권의 범위를 분별하라는 것으로서 은행 비중이 높은 국내 금융지주회사에는 변형된 책임과 한계가 설정되는 것이 필요하다.',
    '지주회사를 인정하기 위하여 지배관계의 형성 외에 다른 요소가 추가될 필요가 있는지에 관하여 논의의 여지가 있다. 전술한 것처럼 지주회사는 자회사 지배를 통하여 다양한 경제적 목적을 이루기 위해 활용된다. 지주회사의 기능적 이해를 위해 이에 대한 고려는 필요할 것이다. 나아가 지배관계 이면에 있는 특정한 목적에 따라서 제한적인 이해도 가능할 것이다. 예를 들어 다수의 기업을 단일한 지배관계로 결합시키는 것과 같은 경제력집중의 관점에서 지주회사를 이해할 수도 있을 것이다. 그러나 다양한 경제적 목적이 동시에 추구될 수 있고, 경우에 따라서 사전에 명확히 이를 인식하기 어려울 수 있다는 점에서 특정한 목적에 한정하여 지주회사를 이해하는 것이 가능하지는 의문이다. 또한 지주회사가 수행하는 업무의 범위를 자회사 지배로 한정하여 이해할 수도 있을 것이다. 이러한 이해는 후술하는 순수지주회사와 사업지주회사의 구분과도 관련된다. 그러나 자회사 지배의 업무만을 수행하는 순수한 지주회사만을 지주회사로 파악하는 것은 많은 지주회사가 자회사 지배 외에 고유한 사업을 영위하고 있다는 점에서 지나치게 제한적이며, 지주회사의 기능과 경제에 미치는 영향 등의 측면에서 고유한 사업의 영위 여부가 의미를 갖는 것으로 보기는 어렵다는 점에서 정책적으로도 타당성이 뒷받침되지는 않는다. 한편 지주회사는 자회사 지배를 위하여 많은 자본을 필요로 하므로 다양한 자금조달 방식에 의존하게 되며, 전형적으로 지주회사를 주식회사의 형태로 하여 소액 자본을 모집하는 방식이 이용될 수 있다. 이러한 점에 착안하여 지주회사를 지분을 증권화 하여 발행하는 형태의 회사로 한정하여 이해할 수도 있을 것이다. 그러나 지주회사의 자금 조달이 지주회사 체제를 유지함에 있어서 핵심적인 업무임은 분명하지만, 특정한 자금 조달 방식에 한정하여 지주회사를 이해하여야 할 근거를 찾기는 어렵다는 점에서 이를 지주회사의 요건의 하나로 받아들이기에는 한계가 있다.\n이상의 논의에 비추어 지주회사는 주식 취득에 의한 지배관계의 형성에 초점을 맞추어 이해될 필요가 있으며, 특히 경제력집중의 억제를 위한 지주회사 규제의 관점에서는 지분 보유를 통하여 하나 또는 그 이상의 기업에 대한 지배관계를 형성하고 있는 회사로 정의하는 것이 타당하다. 이 외에 경제 현실에서 나타나는 지주회사의 특징적 양상들은 구체적인 규제 내용을 정하는 과정에서 고려하는 것으로 충분할 것이다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

nlpai-lab/ko-triplet-v1.0

Dataset: nlpai-lab/ko-triplet-v1.0 at 1f5d72d
Size: 744,862 training samples
Columns: query, document, and hard_negative

Approximate statistics based on the first 1000 samples:

	query	document	hard_negative
type	string	string	string
details	min: 12 tokens mean: 24.34 tokens max: 41 tokens	min: 102 tokens mean: 270.23 tokens max: 1010 tokens	min: 46 tokens mean: 350.11 tokens max: 1055 tokens

Samples:

query	document	hard_negative
`헌법과 법원조직법은 어떤 방식을 통해 기본권 보장 등의 다양한 법적 모색을 가능하게 했어`	4. 시사점과 개선방향 앞서 살펴본 바와 같이 우리 헌법과 ｢법원조직 법｣은 대법원 구성을 다양화하여 기본권 보장과 민주주의 확립에 있어 다각적인 법적 모색을 가능하게 하는 것을 근본 규범으로 하고 있다. 더욱이 합의체로서의 대법원 원리를 채택하고 있는 것 역시 그 구성의 다양성을 요청하는 것으로 해석된다. 이와 같은 관점에서 볼 때 현직 법원장급 고위법관을 중심으로 대법원을 구성하는 관행은 개선할 필요가 있는 것으로 보인다.	□ 연방헌법재판소는 2001년 1월 24일 5:3의 다수견해로 「법원조직법」 제169조 제2문이 헌법에 합치된다는 판결을 내렸음 ○ 5인의 다수 재판관은 소송관계인의 인격권 보호, 공정한 절차의 보장과 방해받지 않는 법과 진실 발견 등을 근거로 하여 텔레비전 촬영에 대한 절대적인 금지를 헌법에 합치하는 것으로 보았음 ○ 그러나 나머지 3인의 재판관은 행정법원의 소송절차는 특별한 인격권 보호의 이익도 없으며, 텔레비전 공개주의로 인해 법과 진실 발견의 과정이 언제나 위태롭게 되는 것은 아니라면서 반대의견을 제시함 ○ 왜냐하면 행정법원의 소송절차에서는 소송당사자가 개인적으로 직접 심리에 참석하기보다는 변호사가 참석하는 경우가 많으며, 심리대상도 사실문제가 아닌 법률문제가 대부분이기 때문이라는 것임 □ 한편, 연방헌법재판소는 「연방헌법재판소법」(Bundesverfassungsgerichtsgesetz: BVerfGG) 제17a조에 따라 제한적이나마 재판에 대한 방송을 허용하고 있음 ○ 「연방헌법재판소법」 제17조에서 「법원조직법」 제14절 내지 제16절의 규정을 준용하도록 하고 있지만, 녹음이나 촬영을 통한 재판공개와 관련하여서는 「법원조직법」과 다른 내용을 규정하고 있음
`맡을 일을 하다가 위법 행위를 발견한 공무원은 어떻게 대처해야 해`	2. 공무원 직무 관련 범죄 발생시 공무원의 신고ㆍ고발 제도 (1) 법률 ｢형사소송법｣ 제234조 제2항은 ‘공무원은 직무를 행함에 있어 범죄가 있다고 사료된 때에는 고발하여야 한다’고 규정하여 공무원의 직무상 고발을 의무사항으로 정하고 있다. 또한 ｢부패방지 및 국민권익위원회의 설치와 운영에 관한 법률｣ 제56조는 ‘공직자는 그 직무를 행함에 있어 다른 공직자가 부패행위를 강요 또는 제의받은 경우에는 지체없이 이를 수사기관ㆍ감사원 또는 국민권익위원회에 신고하여야 한다’고 규정하여 공직자의 부패행위 신고의무에 대해 정하고 있다.	1990년대에 들어서면서 미국에서는 형사법의 영역에서 기업에 의한 컴플라이언스 프로그램(compliance program)의 실시가 중요한 의미를 가지게 되었다. 그 계기가 된 것이 연방양형위원회(United States Sentencing Commission)의 「연방양형지침매뉴얼(Federal Sentencing Guidelines Manual」인데, 그것에 따르면 기업과 같은 조직의 위법행위에 대해서는 종래와는 비교가 안 될 정도로 고액의 벌금형이 부과되는 한편, 컴플라이언스 프로그램이 적정하게 실시되고 있는 경우에는 그 벌금액이 필요적으로 감경된다. 그와 같이 「연방양형지침매뉴얼(Federal Sentencing Guidelines Manual」이 벌금액을 산정하는 데에 있어서 컴플라이언스 프로그램의 실시 여부를 고려한 것은 무엇보다도 기업과 같은 조직에게 범죄의 예방과 발견 및 보고를 위한 내부의 기관을 확보하는 것에 관한 동기를 부여하기 위한 것이었으며, 그것을 통해 이른바 선량한 법인격을 창출하기 위한 것이었다고 할 수 있다. 「연방양형지침매뉴얼(Federal Sentencing Guidelines Manual」에 따르면, 컴플라이언스 프로그램은 범죄행위의 효과적인 예방 및 발견을 위해 합리적으로 계획되고 실시되는 프로그램으로 정의되며, 벌금액이 감경되기 위해서 필요한 컴플라이언스 프로그램의 내용으로서 다음과 같은 점이 요구되고 있다 범죄의 발생가능성을 감소시킬수 있는 규칙 내지 절차를 정하고 있을 것, 기업과 같은 조직의 상급구성원 중의 특정인이 그 규칙 내지 절차의 운용을 감독하는 포괄적인 책임을 부담하고 있을 것, 위법행위의 성향이 인정된 자에게는 실질적인 재량권이 부여되지 않도록 적절한 주의가 행해질 것, 그 규칙 내지 절차의 내용이 직원 등에게 효과적으로 전달되기 위해 절절한 수단이 강구되어 있을 것, 그 규칙 내지 절차의 효과를 확보하기 위한 합리적 수단이 강구되어 있을 것 그리고 범죄가 발견된 후 그 재발의 방지를 위해 필요한 조치가 강구될 것 등이다. 「연방양형지침매뉴얼(Federal Sentencing Guidelines Manual」은 또한, 컴플라이언스 프로그램의 구체적인 내용을 결정하는 데에 있어서 다음과 같은 점이 충분히 고려될 것을 요구하고 있다. 첫째로, 기업과 같은 조직의 규모다. 위법행위의 방지 또는 발견을 위한 프로그램은 조직의 규모에 따라 달라진다. 조직의 규모가 클수록 프로그램의 형식적인 측면이 중시되는데, 그와 같은 조직은 일반적으로 직원 등에 의해서 준수되어야 할 규칙 내지 절차를 규정하는 명문의 매뉴얼을 작성할 것이 요구된다. 둘째로, 사업의 내용이다. 기업이 행하는 사업의 성질에 비추어 일정한 유형의 범죄가 발생할 가능성 내지 위험성이 상당히 높은 때에는 그와 같은 유형의 범죄를 예방하고 발견을 위한 적절한 수단이 강구되어야 한다. 예컨대, 유해물질에 관한 사업을 행하는 기업의 경우에는 그 적절한 취급의 확보를 도모하는 규칙 내지 절차를 정해야 하고, 기업이 상품가격의 결정권한을 가지는 판매원을 채용할 때에는 가격담합 등과 같은 행위의 방지 및 발견을 도모하는 규칙 내지 절차를 정해야 한다. 셋째로, 과거의 위법행위에 관한 경험이다. 기업이 과거에 위법행위를 한 사실은 예방조치가 강구되어야 할 범죄의 유형을 지시해줄 수 있다. 가령 과거에 행해진 범죄의 유형과 같은 범죄가 발생한 때에는 기업이 그와 같은 유형의 범죄를 방지하기 위해서 요구되는 모든 조치를 강구했는지가 중요하다. 그밖에도 「연방양형지침매뉴얼(Federal Sentencing Guidelines Manual」은 기업에 대한 특유의 형사제재로서 컴플라이언스 프로그램의 실시를 준수사항으로 하는 보호관찰을 도입하고 있다. 즉, 법원은 장래의 범죄를 예방하기 위해서 필요한 때에는 외부전문가의 의견 및 판결전조사의 결과에 기초해서 컴플라이언스 프로그램의 실시 및 그 상황의 정기적인 보고를 기업에게 명할 수 있다
`호주 퀸즈랜드의 공직자는 다른 공직자의 부정한 행위를 발견하면 어떻게 해야 해`	(2) 호주 호주 퀸즈랜드는 내부고발자 보호법(Whistle blowers protection Act, 1994)을 통하여 공무원이 공공영역에 영향을 미치는 불법, 과실, 부당한 행위 등에 대하여 제보 또는 신고하도록 규정하고 있다. 본 법은 공무원이 타 공무원의 불법행위, 부패행위를 관련 기관에 제보하도록 한다는 점에서 우리나라의 ｢부패방지 및 국민권익위원회의 설치와 운영에 관한 법률｣상 공무원의 신고의무와 유사한 측면이 있다. 호주 내부고발자 보호법의 특이점으로는 공직비리 제보자 보호가 매우 강화되어 있다는 것인데, 예를 들어 보복 위험을 제거하기 위하여 인사위원회에 타 기관 등으로 인사이동을 청구할 수 있는 권리까지 보장하고 있는 점은 주목할 만하다.	(4) 배우자 금품수수 처벌조항 마련 여부 청탁금지법은 배우자를 통한 공직자등의 우회적인 금품수수를 방지하기 위하여 공직자등의 신고의무와 미신고 시 제재조항을 두고 있다(제22조제1항제2호). 공직자등의 배우자가 직무와 관련하여 금품을 수수하는 경우는 공직자등의 수수 의사에 따라 두가지로 나눌 수 있다. 즉, 하나는 공직자등이 수수의사가 있어 배우자로 하여금 직무와 관련한 금품을 우회적으로 수수하게 하는 것이고, 다른 하나는 공직자등은 수수의사가 없었는데 배우자가 공직자등의 직무와 관련하여 금품을 수수하는 것이다. 두 경우 모두 금품을 수수한 배우자를 직접 처벌하는 것이 부패방지에 효과적이라는 의견이 있다. 전자의 경우 배우자의 수수행위는 공직자등의 수수행위와 동일시할 수 있고, 배우자를 처벌하면 공직자등은 우회적으로 배우자를 통한 금품수수를 하지 않을 것이 기대될 수 있다. 그리고 후자의 경우는 배우자가 그 배우자인 공직자등의 지위를 남용하여 공직자등의 수수의사가 없었는데도 금품을 수수한 것으로 그 행위자를 직접 처벌하는 것이 자기책임의 원칙에 부합할 수 있다는 것이다.

Loss: CachedGISTEmbedLoss with these parameters:

{'guide': SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
), 'temperature': 0.01}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 16
learning_rate: 1e-05
num_train_epochs: 1.0
warmup_ratio: 0.1
bf16: True
ddp_find_unused_parameters: False
gradient_checkpointing: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 1e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1.0
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: False
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: True
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs