training pipline

script.py

@@ -0,0 +1,144 @@
+# %% [code]
+import os
+import math
+import torch
+from transformers import (
+    AutoTokenizer,
+    AutoModelForMaskedLM,
+    Trainer,
+    TrainingArguments,
+)
+from datasets import load_dataset
+
+# Отключаем параллелизм токенизатора, чтобы избежать ворнингов
+os.environ["TOKENIZERS_PARALLELISM"] = "false"
+
+# Если запускаем с DDP, инициализуем процессную группу NCCL
+if "LOCAL_RANK" in os.environ:
+    local_rank = int(os.environ["LOCAL_RANK"])
+    torch.distributed.init_process_group(backend="nccl")
+    device = torch.device("cuda", local_rank)
+    torch.cuda.set_device(device)
+else:
+    local_rank = -1
+    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+
+# ================================
+# 1. Загрузка токенизатора и тестирование
+# ================================
+# Здесь загружается токенизатор из указанного пути
+tokenizer = AutoTokenizer.from_pretrained("/kaggle/input/kaz-eng-rus/pytorch/default/1")
+
+# Пробное токенизирование
+test_text = "Қазақ тілі өте әдемі."
+tokens = tokenizer.tokenize(test_text)
+ids = tokenizer.encode(test_text)
+print(f"Tokens: {tokens}")
+print(f"IDs: {ids}")
+
+# ================================
+# 2. Загрузка датасета для предобучения
+# ================================
+# Загрузка JSON датасета, где каждая строка содержит поля 'original_sentence' и 'masked_sentence'
+dataset = load_dataset("json", data_files="/kaggle/input/kaz-rus-eng-wiki/train_pretrain.json")
+print("Первый пример из датасета:", dataset["train"][0])
+
+# ================================
+# 3. Загрузка модели
+# ================================
+# Загружаем базовую модель BERT для Masked LM
+model = AutoModelForMaskedLM.from_pretrained("bert-base-multilingual-cased")
+model.to(device)
+
+# ================================
+# 4. Подготовка данных: токенизация и создание меток (labels)
+# ================================
+def preprocess_dataset(examples):
+    # Токенизация замаскированного текста
+    inputs = tokenizer(
+        examples["masked_sentence"],
+        truncation=True,
+        padding="max_length",
+        max_length=128,
+    )
+    # Токенизация оригинального текста для формирования labels
+    originals = tokenizer(
+        examples["original_sentence"],
+        truncation=True,
+        padding="max_length",
+        max_length=128,
+    )["input_ids"]
+
+    # Получаем id специального токена [MASK]
+    mask_token_id = tokenizer.convert_tokens_to_ids("[MASK]")
+
+    # Формируем метки: если токен не [MASK], то игнорируем (-100)
+    labels = [
+        [-100 if token_id != mask_token_id else orig_id
+         for token_id, orig_id in zip(input_ids, original_ids)]
+        for input_ids, original_ids in zip(inputs["input_ids"], originals)
+    ]
+    inputs["labels"] = labels
+    return inputs
+
+# Токенизируем датасет (batched для ускорения)
+tokenized_datasets = dataset.map(
+    preprocess_dataset, 
+    batched=True, 
+    remove_columns=dataset["train"].column_names,
+    batch_size=1000
+)
+
+# ================================
+# 5. Настройка обучения
+# ================================
+training_args = TrainingArguments(
+    output_dir="./results",
+    per_device_train_batch_size=20,  # Размер батча на один GPU
+    num_train_epochs=3,
+    weight_decay=0.01,
+    save_strategy="epoch",
+    fp16=True,                      # Используем mixed precision
+    dataloader_num_workers=4,       # Количество воркеров для загрузчика данных
+    report_to="none",               # Отключаем отчёты (wandb и т.п.)
+)
+
+# Создаем Trainer; если скрипт запущен через torchrun, Trainer автоматически использует DDP
+trainer = Trainer(
+    model=model,
+    args=training_args,
+    train_dataset=tokenized_datasets["train"],
+)
+
+# ================================
+# 6. Обучение модели
+# ================================
+trainer.train()
+
+# ================================
+# 7. Сохранение модели и токенизатора
+# ================================
+output_dir = "./KazBERT"
+model.save_pretrained(output_dir)
+tokenizer.save_pretrained(output_dir)
+print(f"Модель сохранена в {output_dir}")
+
+# ================================
+# 8. Вычисление Perplexity на валидационном датасете
+# ================================
+# Загружаем валидационный датасет как текстовый (формат "text")
+valid_dataset = load_dataset("text", data_files="/kaggle/input/kaz-rus-eng-wiki/valid.txt", split="train[:1%]")
+
+def compute_perplexity(model, tokenizer, text):
+    # Токенизируем текст и отправляем на нужное устройство
+    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512).to(device)
+    with torch.no_grad():
+        outputs = model(**inputs, labels=inputs["input_ids"])
+    loss = outputs.loss
+    return math.exp(loss.item())
+
+# Вычисляем perplexity для каждого примера и выводим среднее значение
+ppl_scores = [compute_perplexity(model, tokenizer, sample["text"]) for sample in valid_dataset]
+avg_ppl = sum(ppl_scores) / len(ppl_scores)
+print(f"Perplexity модели: {avg_ppl:.2f}")
+