Каждая наука имеет свою логику развития, которая иногда может выглядеть странно задним числом. Лингвистика как наука о языке в течение последних 100–150 лет пыталась себя осмыслить как отдельную дисциплину и противопоставить себя другим наукам, связанным с человеком. Очень большое количество усилий было затрачено на то, чтобы провести барьеры между тем, что относится к лингвистике, и тем, что не относится. В основном усилия лингвистов были нацелены на вербальную форму, то есть слова, их элементы или комбинации, которые всегда имеют некоторую звуковую оболочку.

1. Просодические аспекты языка

Оказывается, что когда мы пытаемся взглянуть на то, как общаются между собой люди посредством языка, то, помимо собственно языковой формы, есть, например, просодия. Просодия — это несегментные аспекты звука. Сегменты — это фонемы, то есть дискретные элементы, а несегментные аспекты — это все то, что связано с интонацией, ударением, темпом, громкостью и так далее.

Рекомендуем по этой теме:
8120
Мультимодальная лингвистика

Эти просодические, или несегментные, аспекты тоже передают смысл. Приведу простой пример. Многие из нас сейчас живут в домах с очень тонкими стенами. Мы можем слышать, как общаются за стеной между собой люди. При этом мы не разбираем ни одного слова. Но по просодии — по скорости, по громкости, по интонациям — мы улавливаем некоторый смысл их общения. Например, мы понимаем, что они ругаются или ведут любовную беседу.

Просодический компонент, который с точки зрения узкой лингвистики вообще не является языком, тем не менее участвует в общем процессе. Просодия — это альтернативный несегментный звуковой канал.

2. Невербальная коммуникация

Когда мы общаемся между собой, мы используем не только звуковые, но и визуальные сигналы — жесты при помощи рук, движения головы, а иногда и других частей тела, позы, направление взора. Все это в совокупности иногда называется «языком тела» и тоже передает коммуникационную информацию, иногда даже более существенную, чем ту, которой мы обмениваемся при помощи слов. Например, если человек делает комплимент с «кислой» миной, то вряд ли этот комплимент доставит большое удовольствие. Здесь есть конфликт между вербальной и невербальной составляющими, и неизвестно еще, какая из них окажется более существенной.

3. Эксперименты с мультимодальностью

Нужно ли вообще проводить так жестко границы между традиционной вербальной составляющей коммуникации и другими — это большой вопрос. Направление лингвистической мысли, которое предлагает снять эти границы, и называется мультимодальной лингвистикой.

Мультимодальность предполагает учет большого количества модусов или каналов, по которым может протекать коммуникация. Лингвисты ставили вопрос о том, какую часть существенного смысла передают вербальная составляющая речи, просодии и жесты. Например, можно взять некоторый исходный материал — какой-то фрагмент фильма или другой видеозаписи — и условно выделить в нем три компонента, создав несколько вариантов материала на основе этого исходного фрагмента. Во-первых, только вербальный компонент, взятый отдельно. Во-вторых, только просодический, который получается при наложении некоторого фильтра типа «разговора за стеной». И в-третьих, отдельно визуальный компонент — так сказать, немое кино. А также все их возможные комбинации. Потом группам экспериментальных испытуемых показывали различные модифицированные варианты этого видеоматериала и задавали им набор контрольных вопросов — кто сколько сумел понять из какого компонента.

Рекомендуем по этой теме:
10516
Невербальная семиотика
4. Будущее лингвистики

Как мы ожидали, и просодические, и визуальные компоненты далеко не пренебрежимы. Хотя вербальный компонент немного преобладает, но не радикально. Поэтому на основании даже уже одного этого результата совершенно понятно, что будущее лингвистики состоит в том, чтобы совместно со смежными науками, которые изучают человека и его поведение, такими как психология, социология и некоторые другие, рассматривать человека и его сущность как нечто единое. Это связано с тем, что все границы между науками — это некие условные исторические артефакты. А человеческая природа едина и неделима. И как таковую ее в дальнейшем предстоит понять.

5. Исследования

Из области достижений мультимодальной лингвистики стоит упомянуть словарь жестов, составленный отечественным лингвистом Григорием Ефимовичем Крейдлиным и его коллегами. В этом словаре собраны жесты, используемые в русской жестикуляции параллельно с употреблением слов.

Еще один интересный проект связан с так называемым «Национальным корпусом русского языка». Это некоторый компендиум компьютеризованных знаний по русскому языку и его использованию. В рамках этого большого проекта Елена Гришина разрабатывает мультимодальный подкорпус, в котором анализируются фильмы (в основном советского периода) и размечаются при помощи особой системы жесты, которые в этих фильмах встретились. И это позволяет создать эмпирическую базу данных по исследованию жестов.

Рекомендуем по этой теме:
19832
Корпусная лингвистика

Сейчас есть два новых проекта, поддержанных недавно образованным фондом РНФ. В рамках одного из них, именуемого «Язык как он есть», мы с группой коллег намерены создать единый формат для описания всех одновременно функционирующих коммуникативных каналов. В рамках второго проекта американо-нидерландский лингвист Алан Ченки вместе с коллегами из МГЛУ и ряда стран Европы исследует взаимодействие слов и жестикуляции.

6. Интеграция информации из разных источников

Один из основных вопросов, которые необходимо рассмотреть в рамках этого мультимодального подхода, — это то, как информация, получаемая человеком из разных источников, интегрируется между собой. Для решения этого вопроса проводятся разные экспериментальные исследования. Например, испытуемым могут даваться некоторым образом конфликтующие между собой данные — вербальные и невербальные. Рассказчик говорит испытуемым глагол, означающий выход из помещения, а жестом показывает обратное действие — войти в помещение. Потом человека просят пересказать то, что он увидел, и смотрят, на какой из компонентов он отреагировал больше, что он усвоил — вербальный смысл или переданное невербальным способом.

Оказывается, люди очень редко замечают это противоречие. Когда слушающий выступает в качестве испытуемого, он не концентрируется на том, чтобы отслеживать наличие этих противоречий между вербальным и невербальным компонентами дискурса. Часть людей больше реагирует на вербальные смыслы, другие — на невербальные. Они распределяются более или менее поровну. И одна из проблем, которую предстоит решить, — каким образом эта информация интегрируется в едином процессе порождения и понимания речи.