Команда американських дослідників навчила штучний інтелект розпізнавати фото, які були модифіковані в графічних редакторах. Це може допомогти в боротьбі з фейками.

З розвитком цифрових мереж все масштабніше стає проблема відредагованих фото. Для мемів, гумору чи просто усунення косметичних дефектів на портретах фотошоп – це саме те, що треба, однак для ЗМІ фейки можуть нести чимало негараздів. Тому нове дослідження, про яке розповіли на американській Conference on Computer Vision and Pattern Recognition, цілком здатне стати дуже важливим для світової системи інформації.

Розробники з Adobe і Мерілендського університету в Коледж-Парку запропонували боротися з фейками за допомогою нейромережі, яка буде визначати три найбільш популярних операції, що використовуються при істотній зміні вмісту на фотографії: видалення об’єктів, клонування ділянок зображення, а також поєднання зображень з різних знімків.

Для цього фахівці вибрали швидку регіональну нейромережу – Faster R-CNN. Заснована на ній програма RGB-N перевіряє справжність зображення одночасно за двома каналами. Аналіз першим дозволяє виявити видимі артефакти редагування, нехарактерні контрасти та інші візуально помітні ознаки ретуші. Другий канал дозволяє помітити нерівномірності в розподілі шуму в зображенні – таким чином алгоритм може розгледіти навіть ідеально зроблений з точки зору людини фейк.

© Peng Zhou et al., / CVPR 2018

Для тренування RGB-N розробники використовували 328 тис. зображень, на яких розмічено 2,5 млн помітних об’єктів – таких як машина чи холодильник. Завдяки цьому набору автори підготували 42 тис. пар фотографій фейк-оригінал, які і використали для тренування алгоритму.

© Peng Zhou et al., / CVPR 2018

Тестування з відредагованими зображеннями показало, що точність розпізнавання алгоритму складає вражаючі 80-90%. Якщо технологію вдасться ввести у широкий вжиток, то проблема фейків може стати хоч трохи менш глобальною.