Новая версия
Доброе утро , когда ждать новую версию модели ?
Доброе, после праздников
Крута, буду ждать с нетерпением. )))
Во-первых, спасибо за русский язык! Это то, чего многим клонированиям не хватает, тем более с таким доступным подключением (в локальной среде). Во-вторых, можно ли вам как-то помочь с апдейтами?)
И можно узнать, что нового будет в обновлении? По поводу ударений в словах из другого топика - да, прям очень часто не туда они.
🖐️, в новом релизе будет расширен датасет (возможно уйдет проблема с ударениями) и будет добавлен английский язык
То есть нет точной зависимости между ударениями и объёмом датасета?
Ооо, за английский одновременно с русским отдельное спасибо.
Спасибо за модель. Хочу натренировать эту модель на другом языке. Подскажите сколько данных и какого характера желательно нужно для получения хороших результатов?
Добрый день, можно получить хорошие результаты, начиная с 50к семплов, но чем больше, тем лучше. Важно, чтобы каждый голос был уникальным. Подробнее можно почитать в оригинальном репозитории
Как узнал о проекте, уже несколько недель каждый день захожу сюда чтобы проверить, не появилась-ли новая версия.
Нету-ли до сих пор каких-то примерных дат, когда стоит ожидать модель? 🥲
@AugustLight вся правда, тоже захожу сюда в надежде на появление новой версии)
Доброе утро, к концу недели будет новая версия, если качество модели меня устроит
Я такая же фигня 😀 Очень жду !!!
Тоже захожу каждый день )))
Нас таких уже несколько)
Спасибо за новую версию. К сожалению "акцентатор нада". Русский язык слишком сложный для этой модели. Пример слова "слова".
В каком то из обсуждений советовали вставлять @ в качестве ударений
Я игрался со знаком ' . Это работает, но после ударение падает на несколько слог.
В моём случае знак ' не давал положительного эффекта
у меня есть очень крутая идея: сделать так чтобы за ударения отвечал знак "+".
я уже знаю хорошую модель для расставления ударений - RUAccent(даже знаком с автором). И она работает просто превосходно.
я думаю даже смогу сам дописать поддержку Ruaccent перед синтезом. Главное чтобы модель понимала что это.
P.S: либо просто + заменю на @. Думаю там знак для ударения не так принципиален.
вот статья на хабре: https://habr.com/ru/articles/767560/
у меня есть очень крутая идея: сделать так чтобы за ударения отвечал знак "+".
я уже знаю хорошую модель для расставления ударений - RUAccent(даже знаком с автором). И она работает просто превосходно.
я думаю даже смогу сам дописать поддержку Ruaccent перед синтезом. Главное чтобы модель понимала что это.P.S: либо просто + заменю на @. Думаю там знак для ударения не так принципиален.
вот статья на хабре: https://habr.com/ru/articles/767560/
У меня есть такой скрипт могу скинуть я уже это сделал
у меня есть очень крутая идея: сделать так чтобы за ударения отвечал знак "+".
я уже знаю хорошую модель для расставления ударений - RUAccent(даже знаком с автором). И она работает просто превосходно.
я думаю даже смогу сам дописать поддержку Ruaccent перед синтезом. Главное чтобы модель понимала что это.P.S: либо просто + заменю на @. Думаю там знак для ударения не так принципиален.
вот статья на хабре: https://habr.com/ru/articles/767560/
Есть много хороших. Знаки и место можно переписать с питоном, несложно соединить с F5TTS, чтобы подготовили текст для воспроизведения. Всё упирается в модель интерпретации. "Датасет нада" :)
у меня есть очень крутая идея: сделать так чтобы за ударения отвечал знак "+".
я уже знаю хорошую модель для расставления ударений - RUAccent(даже знаком с автором). И она работает просто превосходно.
я думаю даже смогу сам дописать поддержку Ruaccent перед синтезом. Главное чтобы модель понимала что это.P.S: либо просто + заменю на @. Думаю там знак для ударения не так принципиален.
вот статья на хабре: https://habr.com/ru/articles/767560/
У меня есть такой скрипт могу скинуть я уже это сделал
я думаю, если на то пошло, то лучше сразу сделать с ним space.
Есть такой датасет https://ankiweb.net/shared/info/613414639 , но с ним поработать надо.
Будет ли исправление ударений или может у кого-нибудь есть мысли, как их исправить?
Будет ли исправление ударений или может у кого-нибудь есть мысли, как их исправить?
что я только не пробовал: и использовать "@" и "`" и "+". Даже буквы повышал. Но ничего из этого не дало результат.
RUAccent неплохо расставляет ударения. Главное понять, как заставить модель акцентировать внимание в нужных местах.
@AugustLight
Единственный вариант который увидел, это подсказка в ветке "Ударения?"
Расширить словарь символами а', о', и' и так далее. Для этого нужно будет прогнать расшифровки всех датасетов через ruAccent, а потом заново натренировать модель.
Не знаю насколько это реализуемо, всего лишь теория, я явно не эксперт в этом. Единственный вопрос как модель будет понимать символ a', это ведь по сути 2 символа.
@AugustLight Единственный вариант который увидел, это подсказка в ветке "Ударения?"
Расширить словарь символами а', о', и' и так далее. Для этого нужно будет прогнать расшифровки всех датасетов через ruAccent, а потом заново натренировать модель.
Не знаю насколько это реализуемо, всего лишь теория, я явно не эксперт в этом. Единственный вопрос как модель будет понимать символ a', это ведь по сути 2 символа.
надеюсь автор заметит и реализует, потому что у меня к сожалению сейчас нет возможности зафайнтюнить модель 😭🙏
Для такого нужен новый tokenizer, у меня сейчас нет возможности делать свою реализацию. Сейчас экспериментирую с параметрами обучения, возможно будут улучшения
у меня есть очень крутая идея: сделать так чтобы за ударения отвечал знак "+".
я уже знаю хорошую модель для расставления ударений - RUAccent(даже знаком с автором). И она работает просто превосходно.
я думаю даже смогу сам дописать поддержку Ruaccent перед синтезом. Главное чтобы модель понимала что это.P.S: либо просто + заменю на @. Думаю там знак для ударения не так принципиален.
вот статья на хабре: https://habr.com/ru/articles/767560/
Есть много хороших. Знаки и место можно переписать с питоном, несложно соединить с F5TTS, чтобы подготовили текст для воспроизведения. Всё упирается в модель интерпретации. "Датасет нада" :)
@tomasris
Даже интересно, какие есть еще ударяторы?
Появился такой вопрос: если токенайзер с символов апострофа (или любым другим) сложно реализуем, то никак не получится использовать заглавную букву?
Слышал о проблеме, что F5-TTS просто пропускает заглавную букву или она звучит как-то неправильно.
У меня в голове вырисовывается план, поэтому хочу услышать ваше мнение:
- Прогнать все расшифровки голосов датасетов через ruaccent следующим образом: сначала весь текст в lowercase, потом в каждом слове ударная буква превращается в заглавную.
- Натренировать модель на этом датасете
- Во время использования в поле text to generate подавать полностью lowercase текст и делать ударные буквы заглавными