Update: Remove unused model

lib/bert_regressor.py

@@ -71,46 +71,4 @@ class BertMultiHeadRegressor(nn.Module):
         pooled = self._pool(outputs, attention_mask)    # [B, H]
         pooled = self.dropout(pooled)
         preds = [head(pooled) for head in self.heads]   # n × [B, 1]
-        return torch.cat(preds, dim=1)                  # [B, n_heads]
-
-###################################################################################
-
-class BertBinaryClassifier(nn.Module):
-    def __init__(self, pretrained_model_name='bert-base-uncased', unfreeze_from=8, dropout=0.3):
-        super(BertBinaryClassifier, self).__init__()
-
-        # BERT-Encoder laden
-        self.bert = BertModel.from_pretrained(pretrained_model_name)
-
-        # Alle Layer zunächst einfrieren
-        for param in self.bert.parameters():
-            param.requires_grad = False
-
-        # Höhere Layer freigeben → feineres Fine-Tuning ab `unfreeze_from`
-        for layer in self.bert.encoder.layer[unfreeze_from:]:
-            for param in layer.parameters():
-                param.requires_grad = True
-
-        # Dropout-Schicht zur Regularisierung
-        self.dropout = nn.Dropout(dropout)
-        
-        # Klassifikationskopf: Wandelt das 768-dimensionale BERT-Embedding
-        # in einen einzelnen logit-Wert um (für binäre Klassifikation).
-        self.classifier = nn.Linear(self.bert.config.hidden_size, 1)
-
-    def forward(self, input_ids, attention_mask):
-        # Eingabe durch BERT verarbeiten → [batch_size, 768]
-        outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
-
-        # CLS-Token-Repräsentation extrahieren
-        pooled_output = outputs.pooler_output
-
-        # Dropout anwenden zur Regularisierung
-        dropped = self.dropout(pooled_output)
-
-        # Logits durch linearen Klassifikator erzeugen
-        logits = self.classifier(dropped)
-
-        # Rückgabe der rohen Logits
-        return logits 
-        
+        return torch.cat(preds, dim=1)                  # [B, n_heads]

lib/bert_regressor_utils.py

@@ -3,7 +3,7 @@ from transformers import AutoTokenizer
 from torch.utils.data import Dataset
 import numpy as np
 
-from .bert_regressor import BertMultiHeadRegressor, BertBinaryClassifier
+from .bert_regressor import BertMultiHeadRegressor
 
 ###################################################################################
 
@@ -122,14 +122,13 @@ def tokenize_input(texts, tokenizer, max_len=256):
 
 ###################################################################################
 
-def load_model_and_tokenizer(model_name, model_path, model_type="multihead"):
+def load_model_and_tokenizer(model_name, model_path):
     """
-    Universelle Ladefunktion für BertMultiHeadRegressor oder BertBinaryClassifier.
+    Ladefunktion für BertMultiHeadRegressor.
 
     Args:
         model_name (str): Name des vortrainierten BERT-Modells (z. B. 'bert-base-uncased').
         model_path (str): Pfad zur gespeicherten Modellzustandsdatei (.pt).
-        model_type (str): 'multihead' oder 'binary'. Default: 'multihead'.
 
     Returns:
         model (nn.Module): Geladenes Modell im Eval-Modus.
@@ -143,22 +142,13 @@ def load_model_and_tokenizer(model_name, model_path, model_type="multihead"):
     checkpoint = torch.load(model_path, map_location=device)
     config = checkpoint["model_config"]
 
-    # Modell je nach Typ initialisieren
-    if model_type == "multihead":
-        model = BertMultiHeadRegressor(
-            pretrained_model_name=config["pretrained_model_name"],
-            n_heads=config["n_heads"],
-            unfreeze_from=config["unfreeze_from"],
-            dropout=config["dropout"]
-        )
-    elif model_type == "binary":
-        model = BertBinaryClassifier(
-            pretrained_model_name=config["pretrained_model_name"],
-            unfreeze_from=config["unfreeze_from"],
-            dropout=config["dropout"]
-        )
-    else:
-        raise ValueError(f"Unbekannter model_type: {model_type}")
+    # Modell initialisieren
+    model = BertMultiHeadRegressor(
+        pretrained_model_name=config["pretrained_model_name"],
+        n_heads=config["n_heads"],
+        unfreeze_from=config["unfreeze_from"],
+        dropout=config["dropout"]
+    )
 
     # Gewichtungen laden und Modell auf Gerät verschieben
     model.to(device)