Ученые определили, что в импульсной
нейронной сети, решающей последовательно несколько разных задач, возникают
отдельные структуры, отвечающие за выполнение каждой из них. Для этого авторы
обучили нейросеть решать шесть типов задач, в которых она делает выбор и
запоминает информацию. Подобные эксперименты помогут понять, благодаря чему
нейросети способны к многозадачности, а также улучшить существующие алгоритмы
искусственного интеллекта. Результаты исследования, поддержанного грантами Российского
научного фонда (РНФ), опубликованы в журнале Scientific Reports.
Нервные клетки (нейроны) в головном мозге человека
соединены в сложную сеть, работа которой лежит в основе нашего поведения,
мышления и памяти. Принципы, по которым взаимодействуют нервные клетки, сейчас
широко используются при создании искусственных нейронных сетей, то есть систем
искусственного интеллекта. Нейросети можно обучить выполнять какую-либо задачу,
иногда довольно сложную. Например, генерировать связный рассказ, как это делает
ChatGPT, или создавать картинки на основе текста, как Midjourney.
Однако эти алгоритмы по энергоэффективности,
устойчивости к помехам и способности обучаться различным типам задач сильно
уступают биологическому мозгу: для работы им нужно в миллионы раз больше
энергии, а для обучения – огромные массивы данных. Причина такого «отставания»
заключается в том, что в существующих нейросетях не учитываются многие
свойства, характерные для нервной системы. В связи с этим ученые разрабатывают
новые поколения нейросетей, например, спайковые. В них элементы взаимодействуют
по принципам, максимально похожим на процессы коммуникации между биологическими
нейронами, а именно посылают друг другу короткие импульсы – спайки – и
активируются в разное время. Однако до сих пор остается неясным, как именно
элементы спайковых нейросетей взаимодействуют между собой в динамике, решая
разные типы задач.
Ученые из Федерального
исследовательского центра Институт прикладной физики имени А. В.
Гапонова-Грехова РАН (Нижний Новгород) создали искусственную спайковую
нейронную сеть, способную решать ряд задач – для их выполнения требовались
функции, схожие с базовыми сенсорно-моторными и когнитивными функциями мозга.
Авторы научили нейросеть решать шесть различных типов задач, которые можно условно
разделить на две группы: задачи выбора и повторения. Например, среди задач
первой группы была такая: сеть получала одновременно два зашумленных сигнала,
один из которых был информативным, а второй неинформативным. Нейросеть должна
была определить и классифицировать в соответствии с поставленным заданием
информативный сигнал. В рамках задач второй группы нейросети, например, нужно
было запомнить и воспроизвести с задержкой по времени сигнал с такими же
характеристиками или близкими тем, что имел входной сигнал. С похожими задачами
сталкиваются нейроны в головном мозге, когда мы принимаем какое-либо решение и
запоминаем информацию.
Авторы проанализировали, насколько полученная
нейронная сеть способна к многозадачности с помощью теста, который состоял из
ста случайным образом скомбинированных задач всех шести возможных типов.
Измеряя активность отдельных компонентов нейросети, исследователи определили,
что после обучения нейроны приобретают специфические функции – они разделяются
на группы, отвечающие за решение задач определенного типа. Эти группы
активируются в тот момент, когда нейросеть должна решить именно тот вопрос, за
который они отвечают. В остальное время эти элементы остаются практически
неактивны и уступают место другим.
При этом часть нейронов оказалась менее избирательна
и участвовала в ответе практически на все предложенные типы задач. Эта
особенность также делает алгоритм очень похожим на биологическую нейронную
сеть, поскольку в головном мозге также есть более и менее специфические нервные
клетки. Одни активируются только в ответ на небольшое количество стимулов, а
другие – почти на все, с которыми мы сталкиваемся. Обнаруженную специализацию
авторы подтвердили, искусственно выведя из строя определенные группы нейронов.
Это позволило доказать, что нейросеть становится неспособна решать задачи, за
которые отвечали «выключенные» элементы.
Схема нейросети с условным изображением
примера решаемой ею задачи. Источник: Pugavko, Maslennikov, Nekorkin /
Scientific Reports, 2023.
«Наше исследование объясняет, как
нейронная сеть справляется с разными вариантами когнитивных задач. Мы
определили, что нейроны разделяются на группы, ответственные за выполнение
различных заданий, а также рассмотрели спайковую динамику сети при переходе от
одной задачи к другой», – рассказывает руководитель одного из проектов,
поддержанных РНФ, Владимир Некоркин, член-корреспондент РАН, доктор
физико-математических наук, заведующий отделом нелинейной динамики ИПФ РАН.
«Это поможет понять, как улучшить способность
искусственного интеллекта к многозадачности, а также сделать его более
энергоэффективным. Мы планируем расширить наши исследования в направлении
нейроморфных архитектур и правил обучения», – рассказывает руководитель одного
из проектов, поддержанных РНФ, Олег Масленников, кандидат
физико-математических наук, старший научный сотрудник ИПФ РАН.
Источник: пресс-служба Российского
научного фонда.