5 книг об эволюционной кибернетике

1

Редько В. Г. Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики (М.: URSS, 2005 и др.)

Когда я был студентом Физтеха, на втором курсе меня заинтересовала проблема: почему математика применима к физике, ведь, когда математики доказывают теоремы, они делают это чисто логическим путем? И непонятно, почему эти формальные выводы применимы к реальной природе. Чтобы разобраться в проблеме, я решил, что надо проанализировать эволюцию познавательных способностей биологических организмов и то, как в конце концов эти способности привели к появлению логического мышления человека, которое применимо к познанию природы.

Об этом и книга. В 80-х годах меня заинтересовали модели происхождения жизни. Начинал я с самых простых моделей организмов и зацепился за работы нобелевского лауреата Манфреда Эйгена: он как раз занимался этой темой. В книге я рассказываю и о его моделях происхождения жизни, и о своих. Также я рассматриваю общие подходы к эволюции и те методы, которые можно использовать: нейронные сети, модели искусственной жизни и модели адаптивного поведения.

Книга была написана в 2005 году, и ее пора уже, конечно, обновлять: много нового появилось. Я рассказал там о направлении «Адаптивное поведение», которое может служить заделом исследования познавательных способностей, а в настоящее время появились такие направления, как когнитивные архитектуры, автономные агенты. И в них тоже рассматриваются познавательные способности и то, как их можно моделировать с помощью вычислительной науки. Это действительно новая вещь, а в этой книжке такого широкого взгляда с учетом современных знаний пока нет, ее надо расширять.

2

Турчин В. Ф. Феномен науки. Кибернетический подход к эволюции (2-е изд. М.: Словарное издательство ЭТС, 2000)

Валентин Фёдорович Турчин был по образованию физиком, увлекался кибернетикой, создал один из первых языков естественного интеллекта — Рефал. У его книги «Феномен науки» есть подназвание: «Кибернетический подход к эволюции». В этом подходе он рассматривает эволюцию познавательных способностей и эволюцию математического знания. Турчин ввел концептуальную теорию метасистемных переходов, объясняющую, как системы управления более низких уровней могут преобразовываться в системы управления более высокого уровня — это и называется метасистемным переходом. Например, он рассматривал смещение от первобытного мышления людей, которые жили до появления математики, до появления аксиоматической теории Евклида, к критическому мышлению, когда человек сам осмысливает то, что он думает, и критически относится к своей мысли. Это Турчин тоже называет метасистемным переходом.

Книга была хорошо написана. Создавалась она где-то в районе 1970 года в СССР и уже была сдана в набор, но из-за диссидентской деятельности автора (Турчин занимался ею в 60–70-е годы, и ему пришлось уехать из СССР в конце 70-х) на него и издательство надавили, набор был разобран, и книга вышла впервые в 1977 году на английском языке. Потом она была переиздана уже в 1990-х и 2000-х годах в России, на русском языке, она есть в интернете, ее можно легко найти. И это действительно интересная книга, которую можно рекомендовать прочитать.

3

Саттон Р., Барто Э. Обучение с подкреплением (М.: Бином, 2011)

Книга была написана на английском языке в 1998 году. Саттон и Барто в Массачусетском университете разработали теорию обучения с подкреплением, и ее суть состоит в следующем. Есть искусственный организм, назовем его агент. Он находится во внешней среде, среда на него действует, он выполняет действие и получает подкрепление — положительное или отрицательное, как если бы мы на этого агента действовали кнутом и пряником. Авторы отталкивались от достаточно серьезных математических теорий, в частности от книги Гарри Клопфа «Гедонистический нейрон». Гедонистический — в смысле получающий удовольствие. И они применили марковские процессы, хорошо известные в математике методы, а также использовали метод динамического программирования, хорошо известный метод Беллмана. В динамическом программировании, если нужно прийти к какой-то цели, просматриваются разные пути прихода к цели, и идут от конца к началу. Благодаря этому все связывается в единую цепочку. Используя такие математические подходы, авторы вывели простую схему поведения и взаимодействия автономного агента, модельного организма, с внешней средой. Агент совершает какие-то действия, получает поощрения или наказания и с учетом этого опыта обучается так, чтобы в будущем получить максимально большую награду. В настоящее время метод обучения с подкреплением — один из известных и популярных методов в вычислительном интеллекте.

4

Klopf A.H. The Hedonistic Neuron: A Theory of Memory, Learning and Intelligence (Hemisphere Pub. Corp., 1982)

К сожалению, Гарри Клопф уже умер, но книга его способствовала работам Эндрю Барто, который является ключевым автором в «Обучении с подкреплением». Гарри Клопф как раз старался навести связи между биологией и вычислительными науками. Он попытался представить, как должна работать нервная сеть организма, который стремится получить удовольствие. И для этого он придумал такую схему нейронных сетей, чтобы сами отдельные нейроны получали удовольствие, и из этих получающих удовольствие нейронов получался такой мозг, который обеспечивает жизнь обучающегося организма. Эту книгу действительно можно рекомендовать, но ее сложно найти. Я в 90-е годы с большим трудом ее достал, мне дали какой-то ксерокс…

5

Braitenberg V. Vehicles: Experiments in Synthetic Psychology (MIT Press, 1984)

The vehicles — это передвигающиеся средства, тележки. Валентино Брайтенберг попытался представить искусственные организмы, которые могли бы постепенно научиться максимально интеллектуально жить. Он представлял, как у организмов, животных, которые начинают двигаться, сначала вырабатывается определенная сенсорика, потом эта сенсорика постепенно усложняется — и вот это путь к формированию определенного интеллекта. Книга хорошо известна, на нее достаточно активно ссылаются. Я ее прочитал здесь, в Ленинке в свое время.