Нейросеть способна восстановить изображения предметов, на которые смотрит человек.

Нейросеть восстанавливает изображения, на которые смотрит человек.

Японские ученые создали нейросеть, которая способна восстановить изображения предметов, на которые смотрит человек, по активности мозга во время просмотров. В отличие от других подобных разработок, нейросеть способна выделять важные элементы изображений. Препринт исследования ученых был опубликован на сайте bioRxiv.org, сообщает zn.ua.

Нейросеть со значительной степенью подобия воссоздала изображения геометрических фигур, символов и животных.

Представленная нейросеть не обращалась к библиотекам изображений и паттернов нейронной активности. Вместо этого она обучалась на небольших изменениях активности нейронов, возникавших при просмотре незначительно отличающихся друг от друга изображений. Чтобы обучить нейросеть, добровольцам, помещенным в сканер для функциональной магнитно-резонансной томографии (фМРТ), демонстрировали изображения, всего их было 1200; каждую картинку участники эксперимента видели по пять раз.

После обучения нейросеть генерировала изображения, основываясь на данных фМРТ. Несмотря на то, что на этапе обучения нейросети добровольцам показывали исключительно фотографии реальных объектов, нейросеть оказалась способна реконструировать и изображения абстрактных предметов, показанных участникам эксперимента после завершения обучения. Это говорит о том, что компьютер научился обобщать информацию, извлеченную из данных об активности мозга, и выделять семантически значимые элементы изображений, а не только соотносить паттерны активности с имеющимися примерами.