Adobe запускає нові інструменти для створення фільмів з використанням генеративного штучного інтелекту, які забезпечують цікаві способи створення звукових ефектів та контролю над відео, що генеруються. Поряд з відомими текстовими запитами, які зазвичай дозволяють описати, що має створити або відредагувати модель Firefly, користувачі тепер можуть використовувати голосові записи, схожі на ономатопеї, для генерації унікальних звуків, а також використовувати референсні матеріали для керування рухами у відео, згенерованих Firefly.
Новий інструмент генерації звукових ефектів
Інструмент “Генерація звукових ефектів”, який запускається в бета-версії в додатку Firefly, може бути використаний з записаними та згенерованими відео, надаючи більше контролю над створенням аудіо в порівнянні з інструментом Veo 3 від Google. Інтерфейс нагадує часову шкалу для редагування відео та дозволяє користувачам узгоджувати створені ефекти з часом завантаженого матеріалу. Наприклад, якщо користувач відтворює відео, на якому кінь іде по дорозі, він може одночасно записувати звуки “клац-ка”, синхронізуючи їх з кроками копит, а також додати текстовий опис “копита на асфальті”. Інструмент потім створить чотири варіанти звукових ефектів на вибір.
Розширені функції для Firefly
Ці нововведення розвивають експеримент Project Super Sonic, який Adobe представила на заході Max у жовтні. Хоча новий інструмент не працює з мовою, він підтримує створення звуків, що мають ударний ефект, таких як тріск гілок, кроки, звуки замків і багато іншого, а також атмосферні звуки, як наприклад, звуки природи та міський фон.
Нові функції для генератора тексту у відео
Також з’являться нові вдосконалені функції для генератора Text-to-Video Firefly. Функція Composition Reference дозволяє користувачам завантажувати відео в парі з текстовим запитом для того, щоб згенероване відео відповідало композиції завантаженого матеріалу, що полегшує досягнення конкретних результатів у порівнянні з повторним введенням лише текстових описів. Функція ключового кадру (keyframe cropping) дає можливість користувачам обрізати та завантажувати зображення першого та останнього кадрів, які Firefly може використовувати для генерації відео між ними, а нові стильові пресети пропонують набір візуальних стилів, які можна швидко обрати, включаючи аніме, векторну графіку, пластилінову анімацію та інше.
Підтримка різних моделей AI
Ці стильові пресети доступні лише для використання з власною AI моделлю Firefly від Adobe. Проте результати можуть залишати бажати кращого, якщо оцінювати їх за живою демонстрацією, яку я бачив — опція “пластилінової анімації” виглядала, як рання 3D-анімація з початку 2000-х. Проте Adobe продовжує додавати підтримку конкурентних AI моделей у своїх інструментах. Головний інженер Generative AI в Adobe, Александру Костін, зазначив, що подібні функції та пресети можуть бути доступні для використання з сторонніми AI моделями в майбутньому. Це свідчить про прагнення Adobe зберегти своє місце на вершині рейтингу програмного забезпечення для творчості, навіть якщо вона відстає від таких компаній, як OpenAI та Google в самих генеративних моделях.