ТОП5 нейросетей для создания видео — некоторые с бесплатным доступом и на русском языке

Генеративные нейросети открыли новую эру в кинопроизводстве. Одни сервисы синтезируют видеоряд, исходя из промпта – текстового запроса, вторые – превращают изображения в видеоклипы, третьи – изменяют содержимое кадров: увеличивают разрешение, удаляют цифровой шум, ненужные объекты из кадра, обрабатывают их последовательность для получения эффектов, которые даже специалисты вручную делают неделями.

Быстро растёт число нейросетей, способных создавать реалистичное видео по текстовому запросу или на основе статичных картинок. Многие имеют бесплатный доступ или бесплатный пробный период.

Однако надо помнить, что любая нейросеть — это коммерческий продукт, требующий немалых средств на разработку, обучение и поддержание работоспособности. Поэтому так называемый «бесплатный доступ» — это не более чем маркетинговый приём, призванный познакомить потенциального клиента с ограниченным набором функций, приучить пользоваться конкретной нейронкой и заставить перейти на платный тариф.

Нейросеть — это компьютерная программа, только большая и сложная. Как и любой программе, ей требуются команды, которые она будет исполнять. Они называются «подсказки» (promt).

Так как программы традиционно пишутся на английском, то и промты они понимают на английском. Хотя есть нейросети, которые сами переводят подсказки с русского и других языков на английский. Но этот перевод не всегда точен, поэтому даже в «русских нейросетях» лучше использовать промты на английском.

Вот 5 нейронных сетей, самых свежих на март 2024 года, способных создавать видео и имеющих либо бесплатный доступ, либо бесплатный пробный период.

Pika

Нейросеть умеет переделывать созданные другими пользователями видео (по их запросам), создавать новые на основе картинки, загруженного видеофайла или промпта.

Длительность роликов – 4 секунды. Из настроек доступен выбор соотношения сторон кадров, их частоты (8 — 24 FPS), указание поведения камеры и степени соответствия контента тексту. По подписке можно добавить звуковое сопровождение.

Кадр из видео, сгенерированного в Pika по запросу Боевой маг и орг в средневековой деревне

Есть функция увеличения продолжительности готового проекта на 4 секунды. Видео можно скачать в формате MP4. Проблем с запросами на русском языке нет.

После регистрации получаете 250 кредитов (за каждый видеоролик списывается 10 кредитов), которые действуют месяц. Подписка стоит $8 — $58 ежемесячно.

Возможности платных тарифов нейросети Pika

Gen-2 (Runway)

Генеративный сервис от разработчика Stable Diffusion предлагает инструменты для превращения картинки, фотографии, клипа или текстового запроса в видеоролик с титрами. Он создаёт видеоряд следующими способами:

• Генерирует видео на основе промпта – напишите, что хотите получить.
• Сделает захватывающий видеоклип из картинки / фотографии.
• Стилизует исходное видео – скопирует на него стиль предложенного изображения / фотографии.
• Сделает стилизованный видеоряд из макета, например, спичечные коробки на столе – в оживлённую автостраду (станут автомобилями) или городскую улицу (станут зданиями).
• Стилизует видеоролик при помощи текстовых подсказок: добавит эффект или объект на видеокадр, удалит ненужный предмет, водяной знак.
• Рендеринг – текстурирует трёхмерную модель и отрендерит её.

Кадр видео, созданного в Runway по запросу «battle mage and orc in medieval village «

В Runway бесплатно можно создать три проекта с рядом ограничений (по длительности, разрешению, с вотермарками) после авторизации через Google. Ежемесячная подписка со скидкой стоит $12 — $76.

Возможности бесплатного и расширенных тарифов в Runway

Сервис плохо понимает русскоязычные промпты, но позволяет выбрать модель ИИ, соотношение сторон видеоролика, поведение камеры: перемещение, тряска, вращение, повороты.

Кандинский

Бесплатная генеративная нейросеть от Сбера с функциями создания изображений, анимации и видеоклипов при помощи текстовых описаний. Вам достаточно указать размер видео или анимации, модель нейронной сети, ввести описание того, что хотите получить и подождать до 3 — 5 минут.

Сервис интерпретирует текст на русском языке. После создания анимации можно менять направление движения камеры, заставить её вращаться.

Кандинский (FusionBrain ) может создавать весьма небольшие видеофрагменты

Готовый ролик можно скачать в формате MP4 с разрешением до 864 × 480 или 640 × 640 пикселей. На данный момент можно задавать размеры картинки, генерировать видео длительностью до 8 секунд с частотой 30 кадров в секунду.

Invideo

Онлайн-сервис с ИИ предлагает свыше 5000 стоковых видеороликов, которые можно адаптировать под собственные цели, функцию создания видеороликов по текстовым запросам и их редактирования при помощи нейронных сетей.

Вы можете задать подробное описание будущего проекта размером до 3600 символов, адаптировать видеоряд под конкретную социальную сеть или видеохостинг, добавить фоновую музыку в разных стилях, озвучить текст мужским или женским голосом (доступно четыре модели).

Видео от Invideo на запрос «боевой маг с орком в средневековой деревне»

В бесплатной версии еженедельно доступно 10 минут сгенерированного видеоконтента, но с водяными знаками, а также 10 ГБ хранилища для файлов. Месячная подписка стоит $15 или $30 в месяц.

Stable Video Diffusion

Первая общедоступная модель ИИ для создания и обработки видео в различных областях: СМИ, реклама, ведение блогов, разработка игр, презентации. Нейронная сеть за пару минут генерирует видеоролики длительностью до 5 секунд с настраиваемой частотой кадров (3 — 30 FPS).

Stable Video предлагает два сценария создания видеороликов: из картинки / фото или на основании текстового запроса. В первом случае можно задать:

• Поведение камеры: движение, вращение, наклоны, масштабирование.
• Степень, количество движения в кадре.
• Число шагов, этапов обработки: чем больше, тем выше качество.

При синтезе видеоряда из текста можно выбирать соотношения сторон кадров, их стиль: пиксель арт, синематик, низкополигональная графика и десяток других.

Кадр видео от Stable Video Diffusion

Нейросеть создаст четыре изображения на выбор. Определившись с подходящим, можете привнести вклад в развитие сервиса: отмечать лучшие видео из предлагаемых пар.

Русскоязычный текст модель ИИ понимает плохо – большинство результатов не соответствует запросам: нейросеть понимает отдельные слова, но не суть выражения.

Также стоит ознакомиться с сервисом Sora от OpenAI (создателя ChatGPT). Он появился в феврале 2024 года и пока недоступен для публичной эксплуатации, но на момент чтения статьи Sora могут запустить.

• При создании видео с нуля меня порадовала нейросеть Pika,
• Invideo поразила длительностью клипа, наличием и качеством озвучки,
• Gen-2 создала реалистичный сюжет, неотличимый от кино или игры, но местами не хватало деталей.

Русские промпты, увы, она толком не интерпретирует. Кандинский и Stable Video Diffusion создают прекрасные презентации, заставки или интро.

ЭТИ 5 нейросетей оживят ваши фото и превратят их в видео

Возможно сейчас, в начале 2024 года, «творчество» нейросетей в плане видео выглядит примитивно и неестественно. Но нельзя забывать, что эта часть искусственного интеллекта развивается стремительно, так что даже ведущие киномагнаты начали сокращение части сотрудников и замену их нейросетями.

Пройдёт всего 2-3 года и только специалист сможет различить обычные компьютерные эффекты от видео, сгенерированного нейросетями «с нуля».