Американські розробники навчили нейромережу створювати короткі анімаційні ролики з персонажами мультсеріалу «Флінстоуни». Штучний інтелект робить це за текстовим описом сюжету.

Фахівці з Інституту штучного інтелекту Аллена і Іллінойсського університету в Урбані-Шампейн представили модель CRAFT – Composition, Retrieval and Fusion Network. Вона здатна генерувати анімовані сюжети на основі текстового опису сцени і дій персонажів. CRAFT складається з трьох різних нейромереж, які дозволяють виділяти в текстовому описі відповідну композицію сцени, сутності (сюди входять як одухотворені, так і неживі об’єкти) і фон.

Для навчання розробники використовували 25184 вручну розмічених трисекундних роликів зі сценами з мультсеріалу «Флінстоуни», при розмітці яких нейромережі вказували, хто присутній на екрані і що він робить. На цій навчальній вибірці CRAFT навчилась «розуміти» хто і що робить, і потім використовувати відповідні частини роликів при генерації нових сцен. Результати роботи програми після навчання можна оцінити з цього відео:

З ролика видно, що програма іноді видає помилки на різних рівнях виконання: наприклад, Вільма розмовляє по телефону, повернувшись обличчям в іншу сторону, а Фред в одному з роликів біжить на місці. Проте, CRAFT все ж демонструє помітний прогрес в області генерації відеоконтенту з текстового опису – багато сцен виглядає саме так, як собі їх уявила би людина, яка прочитала текст.

Поки що можливе застосування представленого методу сильно обмежує необхідність в ручній розмітці великого обсягу даних. Однак в майбутньому подібні технології можуть повністю змінити всю сферу анімації – людям потрібно буде тільки сформулювати нейромережі сюжет, а намалює все сам алгоритм.