Штучний інтелект визначає діпфейки «по очах»
Вчені з інформатики університету штату Нью-Йорк у Баффало розробили інструмент, що автоматично визначає діпфейки серед портретів після аналізу відблиску світла в очах.
Про це повідомляє SciTech Daily, передає Укрінформ.
Цей інструмент виявився ефективним на 94% при використанні портретних фотографій в експериментах, що науковці описали у дослідженні. Цьогоріч роботу обрали для участі у Конференції Інституту інженерів з електротехніки та електроніки (IEEE), яка відбудеться в липні у Канаді.
«Рогівка схожа на ідеальну напівсферу і відбиває світло, — сказав провідний автор статті Сівей Лю, доктор філософії, професор інновацій SUNY Empire у відділі обчислювальної техніки. — Отже, все, що потрапляє в око зі світлом, яке випромінюють джерела, матиме відображення на рогівці».
Він додав, що «два ока мають дуже схожі світловідбивні візерунки, оскільки бачать одне і те ж. Це та риса, яку ми, як правило, не помічаємо, коли дивимось на обличчя». На реальних фотографіях відображення об’єктів у очах — однакові. Зображення, які генерує штучний інтелект, навпаки, неточно підбираються через те, що фото складається з безлічі інших знімків.
Інструмент Лю використовує цей недолік та помічає крихітні відхилення світла, що відбивається в очах людей з несправжніх портретів. Він оглядає очі, очні яблука і світло, що відбивається в кожному з них, а також детально порівнює потенційні відмінності у формі та інтенсивності відблиску світла.
Для проведення експериментів дослідницька група отримала реальні зображення з Flickr Faces-HQ, а також фейкові портрети з вебсайту — сховища облич, які створив штучний інтелект. Усі зображення були портретними, а тобто зображали людей, які дивляться безпосередньо в камеру при хорошому освітленні та мали розмір 1024 на 1024 пікселі.
У технології Лю є декілька обмежень. Вона потребує джерела світла, що виблискує на рогівці, і розглядає окремі пікселі, а не загальну форму очей та об’єктів, що відбиваються у них. Також штучний інтелект аналізує обидва ока, однак якщо на зображенні воно тільки одне, визначення діпфейку стає неможливим.
«Діпфейк» складається із двох англійських слів: «deep» – глибокий, та «fake» – підробка.
Вікіпедія так пояснює цей термін, який з'явився нещодавно: «синтез слів «глибинне навчання» та «підробка», методика синтезу зображення людини, яка базується на штучному інтелекті. Вона використовується для поєднання і накладення існуючих зображень та відео на вихідні зображення або відеоролики».
Найвідомішим фейковим відео (діпфейк) став сфальсифікований виступ Барака Обами, де він обзивав Дональда Трампа засранцем.
Мільйони людей зайшли на Ютуб послухати слова президента, яких той ніколи не говорив. Ніякого скандалу не було, одразу ж в кадрі з'явився режисер Джордан Піл, автор підробки, який пояснив, що цією творчою витівкою він спробував привернути увагу до цифрової дезінформації.