Upload database.js

database.js

@@ -17,9 +17,8 @@ export async function initializeDatabase() {
     console.log('Подключение к SQLite (Main API) установлено.');
 
     await db.exec('PRAGMA journal_mode = WAL;');
-    await db.exec('PRAGMA synchronous = NORMAL;'); // Немного менее безопасно, но значительно быстрее для массовых записей
+    await db.exec('PRAGMA synchronous = NORMAL;');
 
-    // Создаем основные таблицы
     await db.exec(`
         CREATE TABLE IF NOT EXISTS movies (
             id INTEGER PRIMARY KEY,
@@ -52,35 +51,38 @@ export async function initializeDatabase() {
 }
 
 /**
- * Полностью переработанная, быстрая и надежная функция загрузки данных.
+ * Переработанная функция загрузки данных, использующая потоковую обработку
+ * для предотвращения переполнения памяти.
  */
 export async function refreshData() {
     console.log('Начинается высокопроизводительная перезагрузка данных...');
     try {
-        const response = await fetch(DATA_URL);
-        if (!response.ok) throw new Error(`Ошибка загрузки: ${response.statusText}`);
-
-        const gunzip = createGunzip();
-        response.body.pipe(gunzip);
-        const rl = createInterface({ input: gunzip, crlfDelay: Infinity });
-
-        // --- ШАГ 1: Чтение файла и сбор данных в память ---
-        console.log('Шаг 1: Чтение файла и агрегация данных в памяти...');
-        const moviesData = [];
+        // --- ШАГ 1: Сканирование файла для сбора метаданных (жанры, страны) ---
+        console.log('Шаг 1: Сканирование файла для сбора жанров и стран...');
+        const response1 = await fetch(DATA_URL);
+        if (!response1.ok) throw new Error(`Ошибка загрузки на первом проходе: ${response1.statusText}`);
+        
+        const gunzip1 = createGunzip();
+        response1.body.pipe(gunzip1);
+        const rl1 = createInterface({ input: gunzip1, crlfDelay: Infinity });
+        
         const allGenres = new Set();
         const allCountries = new Set();
-        for await (const line of rl) {
+
+        for await (const line of rl1) {
             if (line.trim()) {
+                // Мы не храним весь объект, только извлекаем нужные данные
                 const movie = JSON.parse(line);
-                moviesData.push(movie);
                 movie.genres?.forEach(g => allGenres.add(g.name));
                 movie.countries?.forEach(c => allCountries.add(c.name));
             }
         }
-        console.log(`Шаг 1 завершен. Найдено ${moviesData.length} фильмов, ${allGenres.size} уникальных жанров, ${allCountries.size} уникальных стран.`);
+        console.log(`Шаг 1 завершен. Найдено ${allGenres.size} уникальных жанров, ${allCountries.size} уникальных стран.`);
 
+        // --- Начало транзакции для массовой вставки ---
         await db.exec('BEGIN TRANSACTION;');
-        // Очищаем таблицы
+        
+        // Очищаем таблицы перед новой загрузкой
         await db.exec('DELETE FROM movie_genres;');
         await db.exec('DELETE FROM movie_countries;');
         await db.exec('DELETE FROM genres;');
@@ -102,7 +104,7 @@ export async function refreshData() {
         await countryStmt.finalize();
         console.log('Шаг 2 завершен.');
 
-        // --- ШАГ 3: Кэширование ID жанров и стран ---
+        // --- ШАГ 3: Кэширование ID жанров и стран для быстрой связи ---
         console.log('Шаг 3: Кэширование ID в память...');
         const genreCache = new Map();
         const countryCache = new Map();
@@ -112,34 +114,44 @@ export async function refreshData() {
         countriesFromDb.forEach(c => countryCache.set(c.name, c.id));
         console.log('Шаг 3 завершен.');
 
-        // --- ШАГ 4: Пакетная вставка фильмов и связей ---
-        console.log('Шаг 4: Пакетная запись фильмов и связей...');
+        // --- ШАГ 4: Потоковая вставка фильмов и их связей (второй проход) ---
+        console.log('Шаг 4: Потоковая запись фильмов и их связей...');
+        const response2 = await fetch(DATA_URL);
+        if (!response2.ok) throw new Error(`Ошибка загрузки на втором проходе: ${response2.statusText}`);
+
+        const gunzip2 = createGunzip();
+        response2.body.pipe(gunzip2);
+        const rl2 = createInterface({ input: gunzip2, crlfDelay: Infinity });
+
         const movieStmt = await db.prepare('INSERT INTO movies (id, year, type, rating_kp, rating_imdb, age_rating, movie_length, is_series, data) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)');
-        // ИСПРАВЛЕНИЕ: Используем INSERT OR IGNORE для избежания сбоя при дубликатах
         const movieGenreStmt = await db.prepare('INSERT OR IGNORE INTO movie_genres (movie_id, genre_id) VALUES (?, ?)');
         const movieCountryStmt = await db.prepare('INSERT OR IGNORE INTO movie_countries (movie_id, country_id) VALUES (?, ?)');
         
-        for (let i = 0; i < moviesData.length; i++) {
-            const movie = moviesData[i];
-            if (!movie.id) continue;
-            
-            await movieStmt.run(movie.id, movie.year, movie.type, movie.rating?.kp, movie.rating?.imdb, movie.ageRating, movie.movieLength, movie.isSeries, JSON.stringify(movie));
+        let processedCount = 0;
+        for await (const line of rl2) {
+            if (line.trim()) {
+                const movie = JSON.parse(line);
+                if (!movie.id) continue;
             
-            if (movie.genres) {
-                for (const genre of movie.genres) {
-                    const genreId = genreCache.get(genre.name);
-                    if (genreId) await movieGenreStmt.run(movie.id, genreId);
+                await movieStmt.run(movie.id, movie.year, movie.type, movie.rating?.kp, movie.rating?.imdb, movie.ageRating, movie.movieLength, movie.isSeries, JSON.stringify(movie));
+                
+                if (movie.genres) {
+                    for (const genre of movie.genres) {
+                        const genreId = genreCache.get(genre.name);
+                        if (genreId) await movieGenreStmt.run(movie.id, genreId);
+                    }
                 }
-            }
-            if (movie.countries) {
-                for (const country of movie.countries) {
-                    const countryId = countryCache.get(country.name);
-                    if (countryId) await movieCountryStmt.run(movie.id, countryId);
+                if (movie.countries) {
+                    for (const country of movie.countries) {
+                        const countryId = countryCache.get(country.name);
+                        if (countryId) await movieCountryStmt.run(movie.id, countryId);
+                    }
                 }
-            }
 
-            if ((i + 1) % 10000 === 0) {
-                 console.log(`Вставлено ${i + 1} / ${moviesData.length} фильмов...`);
+                processedCount++;
+                if (processedCount % 10000 === 0) {
+                     console.log(`Обработано ${processedCount} фильмов...`);
+                }
             }
         }
         
@@ -148,28 +160,31 @@ export async function refreshData() {
         await movieCountryStmt.finalize();
         
         await db.exec('COMMIT;');
-        console.log(`Шаг 4 завершен. Перезагрузка данных успешно окончена.`);
+        console.log(`Шаг 4 завершен. Перезагрузка данных успешно окончена. Всего обработано ${processedCount} фильмов.`);
 
     } catch (error) {
         console.error('Критическая ошибка во время обновления данных:', error);
         try {
             await db.exec('ROLLBACK;');
+            console.log('Транзакция была отменена.');
         } catch (rollbackError) {
             console.error('Ошибка при откате транзакции:', rollbackError);
         }
     }
 }
 
-
 // --- Функции для API остаются без изменений ---
+
 export async function getMovieById(id) {
     const row = await db.get('SELECT data FROM movies WHERE id = ?', id);
     return row ? JSON.parse(row.data) : null;
 }
+
 export async function getRandomMovie() {
     const row = await db.get('SELECT data FROM movies ORDER BY RANDOM() LIMIT 1');
     return row ? JSON.parse(row.data) : null;
 }
+
 export async function getMovies(options) {
     // Эта функция остается без изменений, так как она уже была достаточно оптимизирована для чтения
     const { filters, pagination, sorting } = options;