Когда мы смотрим на лицо, группы нейронов в зрительной коре активируются и посылают свои сигналы. Фактически, определенные группы нейронов выборочно реагируют на лица, но не на другие объекты. Но как активация отдельных нейронов объединяется, чтобы вызвать восприятие и распознавание лица??
Проф. Рафи Малах из отделения нейробиологии и Шани Гроссман, аспирант его группы, пришли к идее решить этот вопрос, сравнив активность человеческого мозга с глубокими нейронными сетями.
Эти вычислительные системы, которые недавно произвели революцию в области искусственного интеллекта, обучаются выполнять задачи, обучаясь на огромных наборах данных. За последние несколько лет они настолько улучшились, что теперь они выполняют различные визуальные задачи так же хорошо, как люди, или даже лучше, в различных визуальных задачах, включая распознавание лиц.
Гроссман и Гай Газив, студенты-исследователи факультета компьютерных наук и прикладной математики, проанализировали данные, полученные от 33 человек в лаборатории доктора Ф. Ашеш Мехта в Институте медицинских исследований Файнштейна в Манхассете, Нью-Йорк.
Этот уникальный набор субъектов – пациенты с эпилепсией, которым были имплантированы электроды в различные области мозга с целью диагностики, и которые вызвались участвовать в различных исследовательских задачах.
Когда добровольцам показали серию лиц из разных баз данных изображений, в том числе известных и незнакомых людей, их мозговая активность отслеживалась с помощью записей с 96 электродов, имплантированных в часть мозга, отвечающую за восприятие лица. Записи показали, что каждое лицо вызывало уникальный паттерн нейрональной активации, в котором участвовали разные группы нейронов, которые активировались с разной интенсивностью.
Интересно, что некоторые пары лиц вызывали похожие модели активности мозга, то есть имели схожие «сигнатуры» активности, тогда как другие вызывали модели активации, которые сильно отличались друг от друга. Исследователям было любопытно узнать, играют ли эти сигнатуры активации важную роль в нашей способности распознавать лица.
Они решили сравнить систему распознавания лиц человека с системой глубокой нейронной сети, имеющей аналогичные возможности распознавания лиц.
Эта искусственная сеть, в некоторой степени вдохновленная зрительной системой человека, содержит искусственные элементы, аналогичные нейронам, расположенные примерно в два десятка "слоев"."Чтобы распознать лицо человека, искусственные нейроны в каждом слое выбирают и комбинируют различные черты лица – от самых простых, таких как линии и примитивные формы, до более сложных, таких как части глаза и другие фрагменты лица, до таких окончательных единицы как личность человека.
Исследователи рассудили, что если шаблоны кодирования лиц, которые они обнаружили в человеческом мозгу, были критически важны для того, чтобы люди могли распознавать лица, такие подписи также должны быть найдены в искусственной сети.
Чтобы проверить, так ли это, они представили сети те же изображения лиц, которые были показаны людям-добровольцам. Затем они проверили, вызывают ли эти лица наборы эксклюзивных для лица паттернов активации, которые имеют такое же разнообразие и структуру, что и те, которые были обнаружены в человеческом мозгу.
Интересно то, что ученые обнаружили поразительную параллель между человеческими и искусственными системами. Это было наиболее заметно в средних слоях глубокой сети – тех, которые представляют фактический графический внешний вид лиц, а не более абстрактную личность владельцев лиц.
«Очень информативно, что две такие радикально разные системы – биологическая и искусственная, то есть мозг и глубокая нейронная сеть – эволюционировали таким образом, что обладают схожими характеристиками», – говорит Малах. "Я бы назвал это конвергентной эволюцией – так же, как самолеты, созданные руками человека, показывают сходство с крыльями насекомых, птиц и даже млекопитающих.
Такое совпадение указывает на решающую важность уникальных шаблонов кодирования лиц в распознавании лиц."
«Наши результаты подтверждают гипотезу о том, что различные паттерны активации нейронов в ответ на разные лица, а также взаимосвязь между этими паттернами играют ключевую роль в том, как мозг воспринимает лица», – говорит Гроссман. "Эти результаты могут помочь в понимании того, как восприятие и распознавание лица закодированы в человеческом мозгу. С другой стороны, они также могут помочь в дальнейшем улучшении производительности нейронных сетей, настраивая их так, чтобы приблизить их к наблюдаемым паттернам реакции мозга."