1. Просодические аспекты языка
Оказывается, что когда мы пытаемся взглянуть на то, как общаются между собой люди посредством языка, то, помимо собственно языковой формы, есть, например, просодия. Просодия — это несегментные аспекты звука. Сегменты — это фонемы, то есть дискретные элементы, а несегментные аспекты — это все то, что связано с интонацией, ударением, темпом, громкостью и так далее.
Эти просодические, или несегментные, аспекты тоже передают смысл. Приведу простой пример. Многие из нас сейчас живут в домах с очень тонкими стенами. Мы можем слышать, как общаются за стеной между собой люди. При этом мы не разбираем ни одного слова. Но по просодии — по скорости, по громкости, по интонациям — мы улавливаем некоторый смысл их общения. Например, мы понимаем, что они ругаются или ведут любовную беседу.
Просодический компонент, который с точки зрения узкой лингвистики вообще не является языком, тем не менее участвует в общем процессе. Просодия — это альтернативный несегментный звуковой канал.
2. Невербальная коммуникация
Когда мы общаемся между собой, мы используем не только звуковые, но и визуальные сигналы — жесты при помощи рук, движения головы, а иногда и других частей тела, позы, направление взора. Все это в совокупности иногда называется «языком тела» и тоже передает коммуникационную информацию, иногда даже более существенную, чем ту, которой мы обмениваемся при помощи слов. Например, если человек делает комплимент с «кислой» миной, то вряд ли этот комплимент доставит большое удовольствие. Здесь есть конфликт между вербальной и невербальной составляющими, и неизвестно еще, какая из них окажется более существенной.
3. Эксперименты с мультимодальностью
Нужно ли вообще проводить так жестко границы между традиционной вербальной составляющей коммуникации и другими — это большой вопрос. Направление лингвистической мысли, которое предлагает снять эти границы, и называется мультимодальной лингвистикой.
Мультимодальность предполагает учет большого количества модусов или каналов, по которым может протекать коммуникация. Лингвисты ставили вопрос о том, какую часть существенного смысла передают вербальная составляющая речи, просодии и жесты. Например, можно взять некоторый исходный материал — какой-то фрагмент фильма или другой видеозаписи — и условно выделить в нем три компонента, создав несколько вариантов материала на основе этого исходного фрагмента. Во-первых, только вербальный компонент, взятый отдельно. Во-вторых, только просодический, который получается при наложении некоторого фильтра типа «разговора за стеной». И в-третьих, отдельно визуальный компонент — так сказать, немое кино. А также все их возможные комбинации. Потом группам экспериментальных испытуемых показывали различные модифицированные варианты этого видеоматериала и задавали им набор контрольных вопросов — кто сколько сумел понять из какого компонента.
4. Будущее лингвистики
Как мы ожидали, и просодические, и визуальные компоненты далеко не пренебрежимы. Хотя вербальный компонент немного преобладает, но не радикально. Поэтому на основании даже уже одного этого результата совершенно понятно, что будущее лингвистики состоит в том, чтобы совместно со смежными науками, которые изучают человека и его поведение, такими как психология, социология и некоторые другие, рассматривать человека и его сущность как нечто единое. Это связано с тем, что все границы между науками — это некие условные исторические артефакты. А человеческая природа едина и неделима. И как таковую ее в дальнейшем предстоит понять.
5. Исследования
Из области достижений мультимодальной лингвистики стоит упомянуть словарь жестов, составленный отечественным лингвистом Григорием Ефимовичем Крейдлиным и его коллегами. В этом словаре собраны жесты, используемые в русской жестикуляции параллельно с употреблением слов.
Еще один интересный проект связан с так называемым «Национальным корпусом русского языка». Это некоторый компендиум компьютеризованных знаний по русскому языку и его использованию. В рамках этого большого проекта Елена Гришина разрабатывает мультимодальный подкорпус, в котором анализируются фильмы (в основном советского периода) и размечаются при помощи особой системы жесты, которые в этих фильмах встретились. И это позволяет создать эмпирическую базу данных по исследованию жестов.
Сейчас есть два новых проекта, поддержанных недавно образованным фондом РНФ. В рамках одного из них, именуемого «Язык как он есть», мы с группой коллег намерены создать единый формат для описания всех одновременно функционирующих коммуникативных каналов. В рамках второго проекта американо-нидерландский лингвист Алан Ченки вместе с коллегами из МГЛУ и ряда стран Европы исследует взаимодействие слов и жестикуляции.
6. Интеграция информации из разных источников
Один из основных вопросов, которые необходимо рассмотреть в рамках этого мультимодального подхода, — это то, как информация, получаемая человеком из разных источников, интегрируется между собой. Для решения этого вопроса проводятся разные экспериментальные исследования. Например, испытуемым могут даваться некоторым образом конфликтующие между собой данные — вербальные и невербальные. Рассказчик говорит испытуемым глагол, означающий выход из помещения, а жестом показывает обратное действие — войти в помещение. Потом человека просят пересказать то, что он увидел, и смотрят, на какой из компонентов он отреагировал больше, что он усвоил — вербальный смысл или переданное невербальным способом.
Оказывается, люди очень редко замечают это противоречие. Когда слушающий выступает в качестве испытуемого, он не концентрируется на том, чтобы отслеживать наличие этих противоречий между вербальным и невербальным компонентами дискурса. Часть людей больше реагирует на вербальные смыслы, другие — на невербальные. Они распределяются более или менее поровну. И одна из проблем, которую предстоит решить, — каким образом эта информация интегрируется в едином процессе порождения и понимания речи.
