Невербальная семиотика

Какие направления исследований занимаются проблемой мультимодальности? Как мы отделяем важные и неважные для нас звуки и шумы? Как изучаются языки жестов и глаз? Об этом рассказывает доктор филологических наук Григорий Крейдлин.

Когда люди общаются между собой «face to face» — лицом к лицу (имеется в виду устное общение), они используют не только естественный язык, но и разные другие знаковые, или семиотические, коды. Возникла проблема того, как взаимодействуют между собой естественные языки и эти знаковые коды. Эта проблема получила сегодня известность под названием проблемы мультимодальности. Слово «модальность» здесь понимается в психологическом смысле слова. То есть модальностью называют канал восприятия. Например, говорят о зрительной модальности, или визуальной, о слуховой модальности — аудиальной и так далее.

Аускультация — это наука о том, что мы слышим, когда слушаем. Дело в том, что, когда мы, например, выходим на улицу, мы слышим очень много разных звуков. Наш мозг не вынес бы этого информационного шума, не обладай он способностью фильтровать звук. Мы понимаем, какие звуки важны, какие неважны. Этому очень важно учить детей: не шарахаться от каждого звука, приобретая неврозы, а научить детей понимать, что одни звуки важные, а другие не очень. Это наука о том, как мы фильтруем или что мы слышим. Почему во время диалога говорят: «Ты меня совсем не слушаешь. Повтори то, что я только что тебе сказала»? Или обратная проблема: как комбинируются друг с другом разные коды, как согласуются? Почему вдруг композитор говорит: «Нет, эта музыка, пожалуй, не ложится на эти слова». Что значит «ложиться на эти слова»?

Проксемика — наука о пространстве коммуникации. Что означает «сядем рядом, сядем близко»? Что означает «брысь отсюда, скверная кошка»? «Подойди ко мне» может означать и хорошее, и плохое. Чего от тебя ждать нехорошего? Чем отличаются близкие родственники от дальних родственников? Что такое «она от меня отдалилась»? Это может быть и в пространственном, физическом смысле и, что чаще бывает, в моральном, психологическом смысле. Это изучает наука проксемика. Она изучает, например, сценическое пространство, телевизионное пространство и прежде всего коммуникацию людей в этом пространстве. Как в моем примере соотносится сценическая речь со сценическим поведением.