Adobe запускає нові інструменти для створення фільмів з використанням генеративного штучного інтелекту, які забезпечують цікаві способи створення звукових ефектів та контролю над відео, що генеруються. Поряд з відомими текстовими запитами, які зазвичай дозволяють описати, що має створити або відредагувати модель Firefly, користувачі тепер можуть використовувати голосові записи, схожі на ономатопеї, для генерації унікальних звуків, а також використовувати референсні матеріали для керування рухами у відео, згенерованих Firefly.
### Новий інструмент генерації звукових ефектів
Інструмент “Генерація звукових ефектів”, який запускається в бета-версії в додатку Firefly, може бути використаний з записаними та згенерованими відео, надаючи більше контролю над створенням аудіо в порівнянні з інструментом Veo 3 від Google. Інтерфейс нагадує часову шкалу для редагування відео та дозволяє користувачам узгоджувати створені ефекти з часом завантаженого матеріалу. Наприклад, якщо користувач відтворює відео, на якому кінь іде по дорозі, він може одночасно записувати звуки “клац-ка”, синхронізуючи їх з кроками копит, а також додати текстовий опис “копита на асфальті”. Інструмент потім створить чотири варіанти звукових ефектів на вибір.
### Розширені функції для Firefly
Ці нововведення розвивають експеримент Project Super Sonic, який Adobe представила на заході Max у жовтні. Хоча новий інструмент не працює з мовою, він підтримує створення звуків, що мають ударний ефект, таких як тріск гілок, кроки, звуки замків і багато іншого, а також атмосферні звуки, як наприклад, звуки природи та міський фон.
### Нові функції для генератора тексту у відео
Також з’являться нові вдосконалені функції для генератора Text-to-Video Firefly. Функція Composition Reference дозволяє користувачам завантажувати відео в парі з текстовим запитом для того, щоб згенероване відео відповідало композиції завантаженого матеріалу, що полегшує досягнення конкретних результатів у порівнянні з повторним введенням лише текстових описів. Функція ключового кадру (keyframe cropping) дає можливість користувачам обрізати та завантажувати зображення першого та останнього кадрів, які Firefly може використовувати для генерації відео між ними, а нові стильові пресети пропонують набір візуальних стилів, які можна швидко обрати, включаючи аніме, векторну графіку, пластилінову анімацію та інше.
### Підтримка різних моделей AI
Ці стильові пресети доступні лише для використання з власною AI моделлю Firefly від Adobe. Проте результати можуть залишати бажати кращого, якщо оцінювати їх за живою демонстрацією, яку я бачив — опція “пластилінової анімації” виглядала, як рання 3D-анімація з початку 2000-х. Проте Adobe продовжує додавати підтримку конкурентних AI моделей у своїх інструментах. Головний інженер Generative AI в Adobe, Александру Костін, зазначив, що подібні функції та пресети можуть бути доступні для використання з сторонніми AI моделями в майбутньому. Це свідчить про прагнення Adobe зберегти своє місце на вершині рейтингу програмного забезпечення для творчості, навіть якщо вона відстає від таких компаній, як OpenAI та Google в самих генеративних моделях.