metadata
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:50
- loss:MatryoshkaLoss
- loss:MultipleNegativesRankingLoss
base_model: Snowflake/snowflake-arctic-embed-l
widget:
- source_sentence: >-
Was sind die wichtigsten Punkte, die man über Rottenburg und den Ausbau
zum Kleeblatt wissen muss, besonders nach der Fertigstellung des
Bodenauftrags?
sentences:
- >-
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich
Parallelfahrbahnen und
grundhafte Erneuerung der B28 im Ausbaubereich
____________________________________________________________________________________________________________
11
Die Rampen und Parallelfahrbahnen werden in die Belastungsklasse Bk 10
eingestuft.
Der Straßenaufbau der Verbreiterung der B 28 wird folgend festgelegt:
3,5 cm
Asphaltdeckschicht SMA 8 S mit 25/55-55
9,0 cm
Asphaltbinderschicht Typ SMA AC 22 B S mit
10/40-55 gemäß Tab. 1
▼120 MPa
18,0 cm
Asphalttragschicht AC 32 T S mit 50/70
▼45 MPa
39,5 cm
Frostschutzschicht
70,0 cm Gesamtaufbau
Der Straßenaufbau der neuen Rampen und Parallelfahrbahnen wird folgend
festgelegt:
- >-
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich
Parallelfahrbahnen und
grundhafte Erneuerung der B28 im Ausbaubereich
____________________________________________________________________________________________________________
19
Nachsorge
19. Nach Fertigstellung des Bodenauftrags sind die Flächen zur
Vermeidung von Erosion
und evtl. Stickstoffverlusten möglichst umgehend zu begrünen.
20. Zur Förderung der Bodenstruktur sind für die Erst-/Zwischenbegrünung
mehrjährige,
tief- und intensivwurzelnde Gründüngungspflanzen (insbesondere Luzerne
über 3
Jahre) zu verwenden. Eine bodenschonende Folgebewirtschaftung (u.a.
grundsätz-
lich kein Maisanbau in den ersten 5 Jahren) ist einzuhalten.
- >-
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich
Parallelfahrbahnen und
grundhafte Erneuerung der B28 im Ausbaubereich
____________________________________________________________________________________________________________
3
1.4.5
Kabelkanäle
27
1.4.6
Ver- und Entsorgungsleitungen
27
1.4.7
Fahrbahndecken
27
1.4.8
Schutz- und Leiteinrichtungen
27
1.4.9
Lichtzeichenanlagen
27
1.4.10
Sonstige Ausstattung
27
1.4.11
Sonderbauwerke
28
1.4.12
Straßenanschlüsse, Seitenwege
28
1.4.13
Lebendverbau, Böschungssicherung
28
1.4.14
Hydraulische Nassansaat
28
1.5
MINDESTANFORDERUNGEN FÜR NEBENANGEBOTE
28
1.5.1
Vorgaben aus der Planfeststellung
28
1.5.2
Vorgaben aus Vereinbarungen mit Dritten
28
1.5.3
Angaben zu Entwurfsvorgaben
28
1.5.4
- source_sentence: Was sind die Standardauflagen und Bedingungen des Landratsamtes Böblingen?
sentences:
- >-
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich
Parallelfahrbahnen und
grundhafte Erneuerung der B28 im Ausbaubereich
____________________________________________________________________________________________________________
2
Inhaltsverzeichnis
1
ALLGEMEINE BESCHREIBUNG DER LEISTUNG
7
1.1
AUSZUFÜHRENDE LEISTUNGEN
7
1.1.1
Straßenbau
7
1.1.1.1
Art und Umfang
7
1.1.1.2
Untergrund
9
1.1.1.3
Unterbau
9
1.1.1.4
Erdarbeiten
9
1.1.1.5
Fräsarbeiten
9
1.1.1.6
Entwässerung
9
1.1.1.7
Oberbau
10
1.1.1.8
Durchlässe
15
1.1.1.9
Ausstattung
15
1.1.2
Bauwerke (Ingenieurbau)
16
1.1.2.1
Art und Umfang
16
1.1.3
Landschaftsbau
16
1.1.3.1
Standardauflagen und Bedingungen des Landratsamtes Böblingen
16
1.1.3.2
Art und Umfang
20
1.1.3.3
- >-
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich
Parallelfahrbahnen und
grundhafte Erneuerung der B28 im Ausbaubereich
____________________________________________________________________________________________________________
25
1.2
Ausgeführte Vorarbeiten
1.2.1 Beweissicherung
Bisher wurden keine Beweissicherungsmaßnahmen durchgeführt. Weitere
Maßnahmen
siehe Punkt 3.8 dieser Baubeschreibung.
1.2.2 Vermessung
1.2.2.1 Festpunkte, Vermessungsnetz und Absteckung
Als geodätisches Grundlagennetz wird dem Auftragnehmer ein Lage- und
Höhenfest-
punktfeld übergeben.
1.2.2.2 Lagefestpunkte
Sämtlichen Berechnungen des Lagefestpunktfeldes liegt das
Gauss-Krüger-System im
Bereich 9° Meridians zugrunde.
- >-
gene Oberboden ist vollständig wieder im Baustellenbereich anzudecken.
Die Wieder-
verwendung von Oberboden aus Banketten und Mulden ist nur in diesen
Bereichen ge-
stattet. Der Oberboden darf nicht befahren werden.
Der Oberboden im gesamten Baubereich der AS Rottenburg ist grundsätzlich
auf Flä-
chen des AN zwischenzulagern und für die Andeckung der Böschungen und
Mulden zu
verwenden. Vorrübergehend beanspruchte Flächen (VB-Flächen) sind in
geringem Um-
fang vorhanden und können für die Lagerung von Oberboden t. w. verwendet
werden.
Das Erdplanum ist grundsätzlich mit Weißfeinkalk zu verbessern. Die
Dammaufstands-
flächen bei der Verbreiterungen sind ebenso zu verbessern. Diese
qualifizierte Boden-
verbesserung ordnet der Auftraggeber an.
- source_sentence: >-
Welche Rolle spielen Feldwege in den ergänzenden Baumaßnahmen eines
Bauprojekts?
sentences:
- >-
einschl. Sanierung des restlichen Bauwerks
Sanierung des Bauwerks Überführung der A81
Abbau von Schutzplanken in Bau- und Verbreiterungsbereichen durch den AN
Stra-
ßenbau, der Bau neuer Schutzplanken erfolgt durch Dritte.
Straßenausstattung Freigabemarkierung und ca. 6 Wochen später endgültige
Markie-
rung aufbringen
Bau von Feldwegen
Oberbodenandeckungsarbeiten und Ansaatarbeiten
Bankettarbeiten als Schotterrasen.
Ergänzende Baumaßnahmen durch Dritte:
Verkehrsführung einrichten, vorhalten, betreiben und abbauen
Neubau der Wegweisenden Beschilderung, StVO-Beschilderung auf der A81
Neubau der passiven Schutzeinrichtungen
Diese Leistungen werden als Fachlose ausgeschrieben und vergeben. Die
Umsetzung erfolgt vor
- >-
Bauwerke (Ingenieurbau)
16
1.1.2.1
Art und Umfang
16
1.1.3
Landschaftsbau
16
1.1.3.1
Standardauflagen und Bedingungen des Landratsamtes Böblingen
16
1.1.3.2
Art und Umfang
20
1.1.3.3
Allgemeines
20
1.1.3.4
Oberbodenkonzept
20
1.1.3.5
Schutzzäune
22
1.1.3.6
Wurzelstöcke und Gehölze roden
22
1.1.3.7
Ansaatarbeiten
22
1.1.3.8
Rückbau nicht mehr benötigter Straßenflächen (Ausgleichsmaßnahmen)
22
1.1.3.9
Sonstiges
22
1.1.4
Auftraggeber Aufgaben nach Baustellenverordnung
22
1.1.4.1
Vorankündigung
22
1.1.4.2
Unterlage nach § 3 Abs. 2 Nr. 3 Baustellenverordnung erstellen und
anpassen
23
1.1.4.3
Sicherheits- und Gesundheitsschutzkoordinator während der Ausführung des
Bauvorhabens stellen
23
1.2
AUSGEFÜHRTE VORARBEITEN
25
1.2.1
Beweissicherung
25
- >-
Oberbodenkonzept umfasst:
-
Abtrag und Lagerung des Oberbodens
-
Wiederandeckung mit Oberboden
-
Verwertung und Entsorgung von Oberboden
Die genannten Qualitätsstufen ergeben sich nach der VwV Boden 2007
Die genannten Deponieklassen richten sich nach der Deponieverordnung
2017
a) Abtrag des Oberbodens:
Beim Abtrag des Bodens werden verschiedene Bereich nach Ihren
Schadstoffbelastung
und der Oberbodenmächtigkeit unterschieden. Die Zwischenlagerung der aus
diesen Be-
reichen abgeschobenen Oberböden muss zwingend separat erfolgen.
1. Bankette
werden in einer Breite von 2 m 5 cm tief abgeschoben. Das Material ist
auf separaten
Mieten für die Haufwerksbeprobung zu lagern. Die Mieten dürfen jeweils
500 m³ nicht
- source_sentence: Wie wird die B 28 in Bezug auf die Belastungsklasse eingestuft?
sentences:
- >-
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich
Parallelfahrbahnen und
grundhafte Erneuerung der B28 im Ausbaubereich
____________________________________________________________________________________________________________
14
SMA 22 B S
Siebdurchgang
M.-%
SMA 16 B S
6 bis
10
6 bis
13
27 bis
30
39 bis
43
49 bis
53
66 bis
69
95 bis
100
100
- |-
35
2.7.4
Güte des Oberbodens
35
2.7.5
Schadstoffbelastung
35
2.8
SEITENENTNAHMEN UND ABLAGERUNGSSTELLE
35
2.9
SCHUTZBEREICHE UND –OBJEKTE
36
2.9.1
Allgemeines
36
2.9.2
Natur-, Landschaftsschutzgebiete
36
2.9.2.1
Naturschutzgebiete
36
2.9.2.2
Landschaftsschutzgebiete
36
2.9.3
Bäume und Flurgehölze
36
2.9.4
Biotope
36
2.9.5
Denkmale
37
2.9.6
Immisionsschutz-Bereiche und –Objekte
37
2.9.7
Gewässer, Wasserschutzgebiete
37
- >-
Da die bestehenden Sickerleitungen an die Kanäle angeschlossen sind,
fließt in den be-
stehenden Leitungen ständig Wasser. Das Umpumpen dieses Wassers von
einem
Schacht zum Nächsten ist als Wasserhaltung zu sehen und in der
Kalkulation zu berück-
sichtigen.
In Wasserschutzgebieten sind Grundwasserschutzmaßnahmen gemäß RiStWag
erfor-
derlich. Die Abdichtungen sind gemäß Regelquerschnitte auszuführen.
1.1.1.7 Oberbau
Die Durchgangsfahrbahn der A 81 wird in die Belastungsklasse Bk 100
eingestuft.
Die neue Verbreiterung der B 28 wird in die Belastungsklasse Bk 32
eingestuft. Der Auf-
bau der bestehenden und zu sanierenden B 28 wird im Zuge der Baumaßnahme
im
Baustellenbereich auf die Belastungsklasse Bk 32 erhöht.
- source_sentence: >-
Welche Maßnahmen sind im Zusammenhang mit der Sanierung des Bauwerks
Überführung der A81 vorgesehen?
sentences:
- >-
Marshall-Probekörper
minimaler Hohlraumgehalt MPK
Vmin 3,0
Vmin 3,0
maximaler Hohlraumgehalt MPK
Vmax 4,0
Vmax 4,0
Bindemittelvolumen
Vol.-%
Ist anzugeben2
Ist anzugeben3
Hohlraumausfüllungsgrad
%
Ist anzugeben4
Ist anzugeben4
Proportionale Spurrinnentiefe
PRDLuft5,0
PRDLuft5,0
1 Bindemittelsorte in Ausnahmefällen.
2 Erfahrungswerte liegen im Bereich zwischen 11 und 13 Vol.-%
3 Erfahrungswerte liegen im Bereich zwischen 12 und 14 Vol.-%
4 Erfahrungswerte liegen im Bereich zwischen 73 und 83 %
Nach den bisherigen Erfahrungen haben sich die in der Tabelle 2
dargestellten eingeengten Berei-
che der Korngrößenverteilungen bei der Herstellung von Asphaltbinder SMA
B S besonders be-
währt.
- >-
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich
Parallelfahrbahnen und
grundhafte Erneuerung der B28 im Ausbaubereich
____________________________________________________________________________________________________________
12
50 cm verbleibende Frostschutzschicht
10 cm neues Frostschutzmaterial 0/45 aus Naturgestein
18 cm Asphalttragschicht AC 32 TS (50/70)
9,0 cm dicken Asphaltbinderschicht Typ SMA 22 B S mit 10/40-65
3,5 cm Deckschicht SMA 8 S mit 25/55-55.
Dabei ist zu beachten, dass hierdurch die bestehenden Höhen des tieferen
Fahrbahn-
randes auf der B 28 erhalten bleiben, ansonsten die Querneigung auf der
B28 auf 2,5%
erhöht wird. Dieser Ausgleich wird in der Frostschutzschicht
vorgenommen. Im Bereich
- >-
rung aufbringen.
Bau von Feldwegen und Rekultivierungsmaßnahmen
Oberbodenandeckungsarbeiten und Ansaatarbeiten.
Bankettarbeiten als Schotterrasen
Verbreiterung und FDE B28:
Verkehrsführung einrichten, vorhalten, betreiben und abbauen wird durch
Dritte aus-
geführt
Erdbau und Entwässerungsarbeiten auf der B28
Verbreiterung und FDE Maßnahme auf der B 28 mit Austausch der
Asphalttrag-, As-
phaltbinderschicht und der Deckschicht verbunden mit der Anhebung der
Quernei-
gung auf 2,5%
Verbreiterung der Feldwegunterführung auf der B28 (BW 01, km 0+710) nach
Süden
einschl. Sanierung des restlichen Bauwerks
Sanierung des Bauwerks Überführung der A81
Abbau von Schutzplanken in Bau- und Verbreiterungsbereichen durch den AN
Stra-
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
model-index:
- name: SentenceTransformer based on Snowflake/snowflake-arctic-embed-l
results:
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: Unknown
type: unknown
metrics:
- type: cosine_accuracy@1
value: 0.16
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.32
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.46
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.54
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.16
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.10666666666666666
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.09200000000000001
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.054000000000000006
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.16
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.32
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.46
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.54
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.3317326362660334
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.2674444444444444
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.2845659816762858
name: Cosine Map@100
SentenceTransformer based on Snowflake/snowflake-arctic-embed-l
This is a sentence-transformers model finetuned from Snowflake/snowflake-arctic-embed-l. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: Snowflake/snowflake-arctic-embed-l
- Maximum Sequence Length: 512 tokens
- Output Dimensionality: 1024 dimensions
- Similarity Function: Cosine Similarity
Model Sources
- Documentation: Sentence Transformers Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Sentence Transformers on Hugging Face
Full Model Architecture
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("martintgc/finetuned_arctic_kg_ft-constr-contr-v0")
# Run inference
sentences = [
'Welche Maßnahmen sind im Zusammenhang mit der Sanierung des Bauwerks Überführung der A81 vorgesehen?',
'rung aufbringen. \n\uf0b7 \nBau von Feldwegen und Rekultivierungsmaßnahmen \n\uf0b7 \nOberbodenandeckungsarbeiten und Ansaatarbeiten. \n\uf0b7 \nBankettarbeiten als Schotterrasen \n \nVerbreiterung und FDE B28: \n \n\uf0b7 \nVerkehrsführung einrichten, vorhalten, betreiben und abbauen wird durch Dritte aus-\ngeführt \n\uf0b7 \nErdbau und Entwässerungsarbeiten auf der B28 \n\uf0b7 \nVerbreiterung und FDE Maßnahme auf der B 28 mit Austausch der Asphalttrag-, As-\nphaltbinderschicht und der Deckschicht verbunden mit der Anhebung der Quernei-\ngung auf 2,5% \n\uf0b7 \nVerbreiterung der Feldwegunterführung auf der B28 (BW 01, km 0+710) nach Süden \neinschl. Sanierung des restlichen Bauwerks \n\uf0b7 \nSanierung des Bauwerks Überführung der A81 \n\uf0b7 \nAbbau von Schutzplanken in Bau- und Verbreiterungsbereichen durch den AN Stra-',
'A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich Parallelfahrbahnen und \ngrundhafte Erneuerung der B28 im Ausbaubereich \n____________________________________________________________________________________________________________ \n \n12 \n \n50 cm verbleibende Frostschutzschicht \n10 cm neues Frostschutzmaterial 0/45 aus Naturgestein \n18 cm Asphalttragschicht AC 32 TS (50/70) \n9,0 cm dicken Asphaltbinderschicht Typ SMA 22 B S mit 10/40-65 \n3,5 cm Deckschicht SMA 8 S mit 25/55-55. \nDabei ist zu beachten, dass hierdurch die bestehenden Höhen des tieferen Fahrbahn-\nrandes auf der B 28 erhalten bleiben, ansonsten die Querneigung auf der B28 auf 2,5% \nerhöht wird. Dieser Ausgleich wird in der Frostschutzschicht vorgenommen. Im Bereich',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
Evaluation
Metrics
Information Retrieval
- Evaluated with
InformationRetrievalEvaluator
Metric | Value |
---|---|
cosine_accuracy@1 | 0.16 |
cosine_accuracy@3 | 0.32 |
cosine_accuracy@5 | 0.46 |
cosine_accuracy@10 | 0.54 |
cosine_precision@1 | 0.16 |
cosine_precision@3 | 0.1067 |
cosine_precision@5 | 0.092 |
cosine_precision@10 | 0.054 |
cosine_recall@1 | 0.16 |
cosine_recall@3 | 0.32 |
cosine_recall@5 | 0.46 |
cosine_recall@10 | 0.54 |
cosine_ndcg@10 | 0.3317 |
cosine_mrr@10 | 0.2674 |
cosine_map@100 | 0.2846 |
Training Details
Training Dataset
Unnamed Dataset
- Size: 50 training samples
- Columns:
sentence_0
andsentence_1
- Approximate statistics based on the first 50 samples:
sentence_0 sentence_1 type string string details - min: 7 tokens
- mean: 25.64 tokens
- max: 52 tokens
- min: 110 tokens
- mean: 282.34 tokens
- max: 391 tokens
- Samples:
sentence_0 sentence_1 Was sind die Details zum Ausbau der B28 im Zusammenhang mit der A81 AS Rottenburg?
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich Parallelfahrbahnen und
grundhafte Erneuerung der B28 im Ausbaubereich
________________________________________________________________________
Die Autobahn GmbH des Bundes
Niederlassung Südwest, Außenstelle Stuttgart-Vaihingen
BAUBESCHREIBUNG
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich
Parallelfahrbahnen und Rampen und grundhafte
Erneuerung der B28 im AusbaubereichWas sind die Standardauflagen und Bedingungen des Landratsamtes Böblingen?
A81 AS Rottenburg, Ausbau zum Kleeblatt einschließlich Parallelfahrbahnen und
grundhafte Erneuerung der B28 im Ausbaubereich
____________________________________________________________________________________________________________
2
Inhaltsverzeichnis
1
ALLGEMEINE BESCHREIBUNG DER LEISTUNG
7
1.1
AUSZUFÜHRENDE LEISTUNGEN
7
1.1.1
Straßenbau
7
1.1.1.1
Art und Umfang
7
1.1.1.2
Untergrund
9
1.1.1.3
Unterbau
9
1.1.1.4
Erdarbeiten
9
1.1.1.5
Fräsarbeiten
9
1.1.1.6
Entwässerung
9
1.1.1.7
Oberbau
10
1.1.1.8
Durchlässe
15
1.1.1.9
Ausstattung
15
1.1.2
Bauwerke (Ingenieurbau)
16
1.1.2.1
Art und Umfang
16
1.1.3
Landschaftsbau
16
1.1.3.1
Standardauflagen und Bedingungen des Landratsamtes Böblingen
16
1.1.3.2
Art und Umfang
20
1.1.3.3Was ist Baustellenverordnung?
Bauwerke (Ingenieurbau)
16
1.1.2.1
Art und Umfang
16
1.1.3
Landschaftsbau
16
1.1.3.1
Standardauflagen und Bedingungen des Landratsamtes Böblingen
16
1.1.3.2
Art und Umfang
20
1.1.3.3
Allgemeines
20
1.1.3.4
Oberbodenkonzept
20
1.1.3.5
Schutzzäune
22
1.1.3.6
Wurzelstöcke und Gehölze roden
22
1.1.3.7
Ansaatarbeiten
22
1.1.3.8
Rückbau nicht mehr benötigter Straßenflächen (Ausgleichsmaßnahmen)
22
1.1.3.9
Sonstiges
22
1.1.4
Auftraggeber Aufgaben nach Baustellenverordnung
22
1.1.4.1
Vorankündigung
22
1.1.4.2
Unterlage nach § 3 Abs. 2 Nr. 3 Baustellenverordnung erstellen und anpassen
23
1.1.4.3
Sicherheits- und Gesundheitsschutzkoordinator während der Ausführung des Bauvorhabens stellen
23
1.2
AUSGEFÜHRTE VORARBEITEN
25
1.2.1
Beweissicherung
25 - Loss:
MatryoshkaLoss
with these parameters:{ "loss": "MultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128, 64 ], "matryoshka_weights": [ 1, 1, 1, 1, 1 ], "n_dims_per_step": -1 }
Training Hyperparameters
Non-Default Hyperparameters
eval_strategy
: stepsper_device_train_batch_size
: 10per_device_eval_batch_size
: 10num_train_epochs
: 10multi_dataset_batch_sampler
: round_robin
All Hyperparameters
Click to expand
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: stepsprediction_loss_only
: Trueper_device_train_batch_size
: 10per_device_eval_batch_size
: 10per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonetorch_empty_cache_steps
: Nonelearning_rate
: 5e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1num_train_epochs
: 10max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.0warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Falsefp16
: Falsefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Falseignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Nonehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseinclude_for_metrics
: []eval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falseuse_liger_kernel
: Falseeval_use_gather_object
: Falseaverage_tokens_across_devices
: Falseprompts
: Nonebatch_sampler
: batch_samplermulti_dataset_batch_sampler
: round_robin
Training Logs
Epoch | Step | cosine_ndcg@10 |
---|---|---|
1.0 | 5 | 0.3048 |
2.0 | 10 | 0.3167 |
3.0 | 15 | 0.3633 |
4.0 | 20 | 0.3619 |
5.0 | 25 | 0.3436 |
6.0 | 30 | 0.3461 |
7.0 | 35 | 0.3475 |
8.0 | 40 | 0.3319 |
9.0 | 45 | 0.3320 |
10.0 | 50 | 0.3317 |
Framework Versions
- Python: 3.9.21
- Sentence Transformers: 3.4.1
- Transformers: 4.49.0
- PyTorch: 2.6.0
- Accelerate: 1.4.0
- Datasets: 3.3.2
- Tokenizers: 0.21.0
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MatryoshkaLoss
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
MultipleNegativesRankingLoss
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}