Предыдущие методы позволяли масштабировать изображение лица до восьми раз по сравнению с исходным разрешением. Но команда Duke придумала способ взять несколько пикселей и создать реалистичные лица с разрешением до 64 раз, «воображая» такие черты, как тонкие линии, ресницы и щетина, которых не было вначале. место.
«Никогда еще изображения сверхвысокого разрешения с таким разрешением не создавались с такой детальностью», – сказала специалист по информатике Duke Синтия Рудин, возглавлявшая команду.
По словам исследователей, систему нельзя использовать для идентификации людей: она не превратит расфокусированную, неузнаваемую фотографию с камеры видеонаблюдения в кристально чистое изображение реального человека. Скорее, он способен создавать новые лица, которых не существует, но которые выглядят правдоподобно реальными.
В то время как исследователи сосредоточились на лицах в качестве доказательства концепции, та же самая техника может теоретически делать снимки в низком разрешении практически всего и создавать резкие, реалистичные изображения с различными приложениями, от медицины и микроскопии до астрономии и спутниковых снимков, сказал соавтор. – автор Сачит Менон ’20, который только что окончил Duke со специализацией в математике и информатике.
Исследователи представят свой метод под названием PULSE на следующей неделе на конференции 2020 года по компьютерному зрению и распознаванию образов (CVPR), которая будет проходить практически с 14 по 19 июня.
Традиционные подходы берут изображение с низким разрешением и «угадывают», какие дополнительные пиксели необходимы, пытаясь в среднем сопоставить их с соответствующими пикселями в изображениях с высоким разрешением, которые компьютер видел раньше. В результате этого усреднения текстурированные участки волос и кожи, которые могут не совпадать идеально от одного пикселя к другому, в конечном итоге выглядят нечеткими и нечеткими.
Команда Duke придумала другой подход.
Вместо того, чтобы брать изображение с низким разрешением и медленно добавлять новые детали, система просматривает созданные искусственным интеллектом примеры лиц с высоким разрешением, ища те, которые максимально похожи на исходное изображение при уменьшении до того же размера.
Команда использовала инструмент машинного обучения под названием «генеративная состязательная сеть» или GAN, который представляет собой две нейронные сети, обученные на одном и том же наборе данных фотографий. Одна сеть придумывает созданные искусственным интеллектом человеческие лица, имитирующие те, на которых она была обучена, в то время как другая берет этот результат и решает, достаточно ли он убедителен, чтобы его можно было принять за настоящие. Первая сеть становится все лучше и лучше с опытом, пока вторая сеть не заметит разницы.
По словам Рудина, PULSE может создавать реалистичные изображения из шумного, некачественного ввода, чего не могут другие методы. Из одного размытого изображения лица он может выплюнуть любое количество невероятно реалистичных возможностей, каждая из которых слегка похожа на другого человека.
Даже учитывая пиксельные фотографии, на которых глаза и рот едва различимы, «нашему алгоритму все же удается что-то с ним сделать, чего не могут сделать традиционные подходы», – сказал соавтор Алекс Дамиан ’20, специалист по математике Duke.
Система может преобразовать изображение лица размером 16×16 пикселей в 1024 x 1024 пикселей за несколько секунд, добавив более миллиона пикселей, что сравнимо с разрешением HD.
Детали, такие как поры, морщины и пряди волос, которые не заметны на фотографиях с низким разрешением, становятся четкими и четкими в версиях, созданных на компьютере.
Исследователи попросили 40 человек оценить 1440 изображений, созданных с помощью PULSE и пяти других методов масштабирования, по шкале от одного до пяти, и PULSE сделал все возможное, получив почти такие же оценки, как высококачественные фотографии реальных людей.
Посмотрите результаты и загрузите изображения для себя на http: // pulse.CS.герцог.edu /.
Это исследование было поддержано Фондом лорда Северной Каролины и Департаментом компьютерных наук Герцога.