Самоорганизация импульсных нейронных сетей

Импульсные нейронные сети — это физиологически наиболее реалистичные модели нейронов и нейронных сетей. Так же как и физиологические нейроны, они обмениваются калиброванными импульсами пренебрежимо малой длины и так же, как и нейронные сети в мозгу, не составляют каких-то строго упорядоченных структур — они в большой степени хаотичны, — и, самое главное, они велики. Как и нейронов в мозгу, их очень много. В общем, модели импульсных нейронных сетей имеют смысл в отличие от традиционных нейронных сетей, когда нейронов очень много, по крайней мере тысячи, десятки тысяч и еще лучше — миллионы, или даже может быть что-то размера мозга.

Именно этот аспект, их величина, вносит определенную специфику, а именно невозможность детального и полного задания конфигурации нейронной сети априори. То есть любая полезная функция, которая выполняется такого рода нейронной сетью, должна быть научна, то есть не сделана уже изначально, а нейронная сеть должна прийти к такому состоянию, когда она эту функцию выполняет ради некоего эволюционного процесса. Именно поэтому изучение такого рода процессов является принципиально важным для этого типа нейронных сетей.

Прежде чем мы рассмотрим вопрос, касающийся самоорганизации нейронных сетей, надо сказать несколько слов о том, как представляется, как кодируется информация в импульсных нейронных сетях. В отличие от традиционных нейронных сетей, где кодирование достаточно тривиально — величины просто кодируются их значением некими действительными числами, которые распространяются по сети, — кодирование информации в импульсных нейронных сетях весьма разнообразно. И известно, что и в реальном мозге в разных его отделах используются разные схемы кодирования информации.

Два пути кодирования, которые используются в мозге, можно назвать синхронным кодированием и асинхронным кодированием. Важна общая статистика генерации импульсов, генерации спайков нейронами. Как правило, самый распространенный принцип — частотный. Если какой-то группой нейронов спайки генерируются часто, это соответствует высокому уровню какого-то сигнала, и наоборот. Такую схему кодирования используют многие органы чувств, точно так же сила каких-то мышечных команд кодируется частотой импульсов, посылаемых мышечным волокнам из центральной нервной системы.

Другие способы кодирования, асинхронные, могут использовать позиционную информацию. Например, известно, что частота звука кодируется положением звуковых рецепторов на улитке уха, от которых исходит наибольшее количество импульсов в данный момент, потому что рецепторы в ухе располагаются строго упорядоченно, соответственно частоте звука, на который они реагируют. Это позиционный способ кодирования. И возможны разные сочетания этих принципов, можно назвать их популяционно-частотным кодированием, когда наличие какого-то стимула отображается как повышение частоты генерации спайков определенной группой, определенной популяцией нейронов.

Во всех этих способах кодирования относительное положение на временной оси спайков не имеет значения.

Другой способ кодирования — можно назвать его синхронным, часто называют временным кодированием — основан на том, что информацию о сигнале, о стимуле несет именно точное положение спайка во времени. Это может быть либо положение спайка относительно некоего общего процесса, синхронизирующего в мозгу (известно, что нейроны мозга проявляют ритмическую активность — это альфа-, бета-, тета-ритмы и так далее), и позиция тех или иных спайков по отношению к этим общим синхронизирующим процессам может нести некую информацию. Известно, что физиологические измерения показывают, что так оно и есть, что, например, пространственное положение тела — такие эксперименты проведены на крысах — действительно коррелирует с позицией определенных спайков, генерируемых определенными нейронами в гиппокампе по отношению к общему синхронизирующему ритму мозга.

К другой разновидности этого способа кодирования относится так называемое пространственно-временное кодирование, когда наличие какого-то стимула кодируется как строго зафиксированная во времени последовательность спайков, генерируемых определенными нейронами, то есть такой четкий пространственно-временной паттерн, который, собственно говоря, является индикатором наличия какого-то стимула. Как мы видим, поскольку способы кодирования информации в мозге и импульсных нейронных сетях такие разные, соответственно, способы обработки такой информации разные, и способы научения обработке информации нейронными сетями тоже должны быть различные.

Что же мы понимаем под эволюционным процессом в нейронной сети, обучением нейронной сети выполнению каких-то функций? Так же как в традиционных нейронных сетях, где сеть научается благодаря подстройке ее весов, ее синапсов, в импульсных нейронных сетях имеет место тот же самый процесс — так называемая синаптическая пластичность, такой более нейрофизиологический термин.

В большой степени законы этой пластичности пока еще не ясны, хотя общие принципы уже известны. Один из таких принципов — это так называемый эффект пластичности, зависящий от положения спайков (spike-timing-dependent plasticity), который выглядит так: если синапс получает спайк перед тем, как весь нейрон генерирует спайк, то такой синапс усиливается; если синапс получает спайк после того, как нейрон сгенерировал спайк сам, то такой синапс ослабляется. Достаточно простой закон, и он подтвержден физиологически: было измерено в культурах нейронов, что такие эффекты ослабления-усиления синаптических весов имеют место. И на основе модели такой пластичности можно построить процессы, которыми можно продемонстрировать, что с помощью такого рода пластичности сеть действительно может чему-то научиться.

Хотя, конечно, сам по себе этот эффект недостаточен. Во-первых, он потенциально ведет к неустойчивости сети. Разумеется, в любой сети, в которой имеются какие-то циклы, если какой-то цикл, какая-то последовательность нейронов бывает часто активна, то есть по нему часто проходят импульсы, то вследствие этого принципа синапсы, составляющие этот цикл, будут усиливаться и усиливаться, тем самым делая все более и более интенсивным прохождение импульсов по этому циклу, приводя таким образом к зацикливанию, к неустойчивости. А поскольку очевидно, что и в мозге, и в любых нейронных сетях такого типа будет много циклов, они не иерархичны, как обычные нейронные сети, то это явная проблема. Поэтому очевидно, что для того, чтобы законы пластичности реально могли привести сеть к какому-то желаемому результату, они должны быть дополнены разнообразными механизмами гомеостаза, которые поддерживают интенсивность генерации импульсов в сети в некоторых определенных пределах, не допускают создание таких циклов и так далее. И изучение этих процессов гомеостаза очень важно именно в связи с этим.

Какие же проблемы в связи с этим решают сейчас? В конце 2000-х годов появились работы, где было показано, каким образом в результате эволюционного процесса в импульсной нейронной сети могут сформироваться механизмы кратковременной памяти. То есть это такие механизмы, которые не только регистрируют наличие какого-то стимула в данный момент, но и сохраняют информацию об этом наличии в течение какого-то времени для того, чтобы сделать возможным совместную обработку факта наличия какого-то стимула с наличием других стимулов и так далее.

Рабочая память, очевидно, абсолютно необходимый элемент любой системы, обрабатывающей информацию.

Сейчас исследователями и мной в том числе ведутся работы по пониманию, каким образом могло бы осуществляться перекодирование информации в импульсных нейронных сетях из одной формы в другую. Поскольку очевидно, что коль скоро разные области мозга используют разные схемы кодирования информации, то должны существовать нейросетевые структуры, которые перекодируют информацию из одной в другую форму. Это вопрос очень важный, но до сих пор еще не решенный, потому что как раз сейчас это одна из тем исследований.

На 2014 год очень актуально исследование, которое можно озаглавить общей темой, а именно: найти способы, как изначально хаотичная однородная нейронная сеть могла бы эволюционировать к тому, чтобы разные ее элементы, разные ансамбли входящих в нее нейронов могли выполнять разные функции в общем замкнутом цикле обработки информации: функции распознавания, функции запоминания, функции перекодирования информации из одной формы в другую, функции принятия решения.

То есть нам надо составить элементную базу, основывающуюся на импульсных нейронных сетях, которая могла бы быть впоследствии применена для использования в замкнутом обучаемом цикле управления, например в роботике, где угодно, — эта задача актуальна во многих областях. Эти темы исследования, о которых я говорил, еще более важны в контексте того, что сейчас очень большой прогресс испытывают так называемые нейроморфные вычислители — это вычислительные системы, которые повторяют и в железе, и в архитектуре структуру мозга, структуру импульсных нейронных сетей. Они ушли далеко вперед, а их наполнение, алгоритмы, которые в них заложены, еще отстают.