Santiago1712/Modell_TinySchakespeare

Mein kleines Shakespeare-Sprachmodell

Dieses ist ein kleines, autoregressives Sprachmodell, das nach dem Decoder-only-Transformer-Ansatz mit PyTorch implementiert wurde. Es wurde auf dem Tiny Shakespeare-Datensatz trainiert, um zu lernen, Text im Stil von Shakespeare zu generieren.

Modell-Details

• Architektur: Decoder-only Transformer mit nn.TransformerDecoderLayer und nn.TransformerDecoder aus PyTorch.

• Anzahl der Parameter: Weniger als 1 Million.

• Trainingsdaten: Tiny Shakespeare Datensatz.

• Tokenizer: Verwendet wurde der GPT2Tokenizer.

• vocab_size = tokenizer.vocab_size

• Batch Size = 32

• Block Size = 128

• embed_size = 8

• num_layers = 1

• heads = 1

• dropout = 0.1

• forward_expansion = 1

• Learning rate = 1e-4

• Optimizer = AdamW

• Epochen = 5

Verwendungsweise

Du kannst dieses Modell verwenden, um Text im Stil von Shakespeare zu generieren. Hier ist ein einfaches Beispiel, wie du es mit der transformers-Bibliothek laden und verwenden kannst (beachte, dass möglicherweise eine benutzerdefinierte Modellklasse oder eine angepasste Konfiguration erforderlich ist, da es sich nicht um ein direkt unterstütztes transformers-Modell handelt):

from transformers import AutoTokenizer, AutoModelForCausalLM

# Hinweis: Möglicherweise ist eine benutzerdefinierte Modellklasse oder Konfiguration erforderlich
# da es sich nicht um ein Standard-transformers-Modell handelt.

model_name = "DeinNutzername/DeinModellName" # Ersetze dies durch den tatsächlichen Namen deines Modells
tokenizer = AutoTokenizer.from_pretrained(model_name)
# model = AutoModelForCausalLM.from_pretrained(model_name) # Dies funktioniert möglicherweise nicht direkt

# Beispielhafte Verwendung (kann angepasst werden)
prompt = "Die "
input_ids = tokenizer.encode(prompt, return_tensors="pt")

# Generiere Text (die genaue Implementierung hängt davon ab, wie das Modell geladen wird)
# output = model.generate(input_ids, max_length=100, num_return_sequences=1)
# generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
# print(generated_text)