Западная и в первую очередь американская психолингвистика как самостоятельная и увлекательная дисциплина возникла в середине 1950-х годов. Она появилась как экспериментальное ответвление генеративной грамматики Н. Хомского и стала известна как формальная психолингвистика, чтобы подчеркнуть ее зависимость от формальной (генеративной) грамматики. В основе формальной психолингвистики лежит идея универсальной языковой деятельности (performance), которая существует в параллели с языковой компетенцией (competence), а методология формальной психолингвистики исключительно экспериментальная.

В течение первых двадцати лет своего существования основными способами сбора данных для исследования языковой деятельности в психолингвистике были методика определения грамматической правильности и запись времени чтения предложений при помощи первых персональных компьютеров. Предложения предъявляются испытуемому на экране компьютера, а позже лэптопа, а тот нажимает на кнопки «да», «нет» или «дальше» (илл. 1).



Однако очень скоро стали очевидными недостатки этих методик: в любом языке много предложений, которые являются грамматичными, но тем не менее вызывают трудности при понимании (например, сложные предложения типа: «Собаку, укусившую кошку, поймавшую мышку, прогнала старуха» или синтаксически многозначные типа: «Троллейбус обогнал автобус»). К тому же чтение является вторичным видом речевой деятельности по сравнению с устной речью и не подходит для ее изучения у многих групп испытуемых, особенно детей. Но главным недостатком этих изначальных методик все-таки является их опосредованный характер off-line, так как они исследуют уже «конечный продукт», а именно структуру и смысл предложения после того, как его анализ в мозгу человека уже завершен (Секерина, 1997).

Таким образом, возникла необходимость разработать и внедрить в экспериментальную психолингвистику непосредственные онлайн-методы, которые направлены в первую очередь на то, чтобы позволить изучать аналитические операции, происходящие в мозгу человека, в тот момент, когда они происходят. С середины 1970-х годов наиболее популярным непосредственным методом стал метод записи движений глаз — сначала при чтении (Rayner, 1998), а в последние двадцать лет и в устной речи, когда появилась разновидность метода записи движений глаз, получившая название парадигмы «Визуальный мир» (the Visual World Paradigm, Trueswell & Tanenhaus, 2004; Федорова, 2008).

Самое первое психолингвистическое исследование, выполненное в этой парадигме, было опубликовано в 1974 году Роджером Купером (Cooper, 1974), в котором он показал, что при прослушивании слов, называющих предметы, то есть существительных, испытуемые очень быстро, в пределах 200–400 миллисекунд после начала слова, начинают смотреть на называемый предмет. Купер назвал этот принцип «привязки» движений глаз к языковой деятельности гипотезой взаимосвязи мышления и визуальной перцепции (mind-eye hypothesis). Однако, как это часто бывает со многими радикальными научными идеями, эксперимент Купера с применением записи движений глаз для изучения языковой деятельности был забыт до середины 1990-х годов, пока М. Таненхаус и его коллеги из Университета Рочестера в США не возродили к ней интерес психолингвистического сообщества после публикации в журнале Science статьи, посвященной синтаксической многозначности (Tanenhaus et al., 1995).

Парадигма «Визуальный мир»

Парадигма «Визуального мира» (Trueswell & Tanenhaus, 2004; Федорова, 2008) представляет собой разновидность методики записи движений глаз, в которой вместо письменного текста используются предметы, картинки и видеоклипы, составляющие визуальный контекст. Испытуемые должны проводить с этими предметами манипуляции, задающиеся устными инструкциями, часто в повелительном наклонении: «положите», «найдите», «передвиньте», «нажмите мышкой» и так далее. Главная особенность этой парадигмы — наличие референциальной многозначности, например частично совпадающие названия предметов («бант» — «банка») или присутствие в визуальном контексте двух одинаковых предметов, различающихся по цвету (желтый и розовый треугольники). Во время проведения эксперимента движения глаз на целевой референт («Какого цвета кончик треугольника, на котором нарисован зонтик?») в испытаниях с референциальной многозначностью (у каждого треугольника кончик своего цвета) сравниваются с движением глаз на тот же самый целевой референт в немногозначных испытаниях (только один треугольник, на котором нарисован зонтик). В видеоклипе 1, представленном ниже, движения глаз испытуемого, ребенка в возрасте шести лет, выглядят как восьмиконечный двигающийся крестик, наложенный на визуальный контекст (он невидим для испытуемого).

Существует несколько классификаций аппаратов для записи движений глаз, которые различаются своими техническими характеристиками, точностью записи и тем, насколько они пригодны для использования в парадигме «Визуального мира» при работе с детьми и людьми с ограниченными возможностями (Duchowski, 2007). Современные аппараты используют отражения невидимого инфракрасного луча, подаваемого миниатюрной камерой, от зрачка и роговицы глаза испытуемого и рассчитывают векторную разницу между ними для определения положения глаза в пространстве.





Типичная система записи движений глаз, применяемая в парадигме «Визуального мира», включает в себя сам компьютер, управляющий видеокамерой, саму камеру, иллюминатор, подающий инфракрасный свет в глаза испытуемого, и программное обеспечение. Визуальные стимулы, а именно статичные изображения предметов (рисунки или фотографии) или видеоклипы, предъявляются испытуемому либо на экране отдельного компьютера, либо вживую, в виде реальных предметов, с которыми можно проводить различные манипуляции. Аппарат по записи движений глаз компании ISCAN, Inc. ETL-500, представленный на илл. 2, использует отдельный лэптоп для визуальных стимулов, которые предъявляются одновременно с устными предложениями. Миниатюрная видеокамера и иллюминатор размещены на металлическом штативе, расположенном над клавиатурой лэптопа, на расстоянии 60 см от головы испытуемого. Такая конфигурация позволяет испытуемому сидеть свободно и способна компенсировать движения головы в пределах 6–8 см в горизонтальной и вертикальной плоскостях. Чтобы провести эксперимент в полевых условиях, например в детском саду, система разбирается на компоненты.

Существует несколько западных компаний, которые производят аппараты для записи движений глаз, используемые для проведения психолингвистических исследований. Работают все они по примерно одинаковому принципу, но их технические характеристики могут отличаться друг от друга в зависимости от целей исследований, которые ставят для себя психолингвисты. Например, для записи движений глаз в парадигме «Визуального мира» достаточно 60 Гц частоты регенерации, то есть того, как часто изображение на экране заново перерисовывается, а вот для записи движений глаз при чтении необходимо не меньше 500 Гц. На илл. 3 изображены два аппарата по записи движений глаз, используемые в психолингвистических лабораториях западных университетов.





Для проведения эксперимента испытуемый садится на стул перед экраном лэптопа (взрослый вариант — илл. 3А, детский вариант — илл. 3Б) и проходит простую процедуру калибровки глаз, во время которой он должен посмотреть на пять точек на экране. Процедура может проводиться автоматически или вручную и занимает обычно не более двух-трех минут. Если калибровка прошла успешно, аппарат по записи движений глаз готов к сбору векторных данных движений глаз, которые можно наблюдать в режиме реального времени на компьютере, управляющем камерой (см. видеоклип 1 выше).

Классический эксперимент с парадигмой «Визуальный мир»

Первый после Купера (Cooper, 1974) психолингвистический эксперимент с использованием парадигмы «Визуального мира» был проведен с англоязычными взрослыми испытуемыми группой под руководством Майкла Таненхауса (Tanenhaus et al., 1995). Трудно переоценить его значение для последующего развития формальной психолингвистики, так как он показал все преимущества этой методики как с точки зрения широты охвата вопросов, так и с точки зрения изучения языковой деятельности специальных групп испытуемых, включающих в себя детей, лиц с ограниченными возможностями, например людей с афазией, и билингвов.

Таненхаус и его коллеги выбрали для своего первого эксперимента в парадигме «Визуального мира» специальные стимульные материалы. Термином «стимульные материалы» обознаются конкретно языковые примеры, выбранные для дизайна эксперимента, без которых не обходится ни один эксперимент. Главный критерий, по которому выбираются стимульные материалы, заключается в том, что они должны быть «специальными» и попадать в один из трех классов: (а) неграмматичные, (б) структурно сложные или (в) многозначные. Это необходимо потому, что грамматичные, простые и немногозначные стимульные примеры не дают возможности увидеть, как работает процессор, то есть речевой механизм человека, который порождает и понимает речь.

Стимульными материалами Таненхауса и коллег стали временно многозначные предложения, содержащие в себе глагол «положить», которые были предъявлены испытуемым в виде инструкции для выполнения с предметами. «Положить» требует после себя обозначение того, что надо положить, и места, то есть куда надо этот предмет положить. (Я повторила эксперимент Таненхауса et al. на материале русского языка и описываю его ниже со своими материалами.) Устные инструкции были подготовлены при двух условиях:

(1) а. Немногозначные предложения:

Положите лошадку, которая на зеркальце, в коробку.

б. Временно многозначные предложения:

Положите лошадку на зеркальце в коробку.

Каждое из двух условий (1а, б) прозвучало в паре с одним из двух визуальных контекстов — 2-реф. контекст с двумя одинаковыми (две лошадки, илл. 4А) или 1-реф. с двумя разными (одна лошадка, одна лягушка) референтами (илл. 4Б).





Все предметы: зверюшки (собачки, обезьянки, коровы и пр.), контейнеры (корзинки, кастрюльки и пр.) и плоские предметы, на которые можно положить зверюшку (платьице, блюдце, полотенце и пр.), — манипулировались испытуемыми вживую, а аппарат по записи движений глаз содержал в себе миниатюрную видеокамеру, вмонтированную в обруч, надетый на голову испытуемого (илл. 5). Задача испытуемого была прослушать инструкцию и правильно ее выполнить.



Немногозначное предложение-инструкция (1а) в сочетании с любым из двух контекстов (илл. 4) не вызывает у испытуемых никаких трудностей: понятно, о какой лошадке идет речь, даже в 2-реф. контексте (4А). Инструкция (1б) другая: если ее слушать в режиме реального времени, то на момент прослушивания части «Положите лошадку на зеркальце…» возникает так называемая промежуточная интерпретация, в которой предметом передвижения является лошадка, а местом передвижения — второе зеркальце. Однако конец предложения «…в коробку» показывает, что эта промежуточная интерпретация неверна, предложение следует анализировать иначе, а именно: предложная группа «на зеркальце» характеризует лошадку («та, которая на зеркальце»), а вовсе не место, поскольку настоящим местом перемещения является вторая предложная группа — «в коробку». Таким образом, предложение (1б) является временно многозначным до слов «в коробку», после чего временная многозначность снимается, хотя для этого нужно приложить определенные умственные усилия.

Когда-то в своей первой попытке перевести английский термин garden-path sentences, данный таким предложениям, я назвала их предложениями языковой дорожки, или предложениями заблуждения (Секерина, 1997, стр. 241). Предложения заблуждения играют принципиальную роль в формальной психолингвистике, поскольку именно они позволяют увидеть в режиме реального времени те стратегии анализа синтаксической структуры, которые используются испытуемыми. Стратегии же анализа сложных и многозначных предложений составляют основу двух главных психолингвистических теорий — теории заблуждения (Garden-Path theory, Frazier and Fodor, 1978) и теории ограничений (Constraint-based theory, Altmann and Steedman, 1988). Согласно теории заблуждения временно многозначные предложения будут вызывать трудности в понимании вне зависимости от контекста, который подключается только после полного прослушивания предложения. Тогда контекст позволит испытуемому разрешить многозначность в пользу правильной интерпретации. Теория ограничений, в противовес теории заблуждения, предполагает, что испытуемые немедленно принимают его как руководство к действию и пользуются контекстной информацией уже в месте, где возникает промежуточная интерпретация, и позволяет испытуемому избежать трудностей при понимании.

В описываемом исследовании Таненхаус и коллеги предположили, что 2-реф. визуальный контекст (илл. 4А) позволит испытуемым выбрать ту интерпретацию предложной группы «на зеркальце», которая указывает на то, какую лошадку следует переместить, в то время как 1-реф. контекст (илл. 4Б) — нет. Естественно, что взрослые испытуемые справляются с предложениями заблуждения и практически не делают ошибок при выполнении инструкций, поэтому опосредованный метод типа проигрывания предложения с предметами (act-out task) ничего не дает с точки зрения проверки гипотезы о моменте подключения контекста. Для этого и нужна методика записи движений глаз в парадигме. Если стратегия немедленного использования контекста действительно используется в режиме реального времени, то она должна была найти свое отражение в движении глаз. Таким образом, авторы выдвинули гипотезу, что испытуемые посмотрят на свободное зеркальце в 1-реф. контексте (илл. 4Б), пока будут слушать первую предложную группу «на зеркальце», но переведут глаза на коробку в конце предложения. В 2-реф. контексте (илл. 4А) наличие двух лошадок позволит им даже не рассматривать неверную интерпретацию, и движений глаз на свободное зеркальце не будет. Экспериментальные результаты в виде движений глаз эту гипотезу подтвердили и показали, что, в отличие от модели заблуждения, испытуемые сразу сумели воспользоваться визуальным контекстом в 2-реф. контексте (движений глаз на пустое зеркальце не было) и избежали неверной интерпретации.

С момента проведения этого эксперимента прошло уже 20 лет, и многочисленные новые эксперименты с предложениями типа (1) с другими испытуемыми показали, что немедленное использование контекста отнюдь не характеризует все группы испытуемых. В частности, дети пяти-шести лет не могут пользоваться контекстом так же успешно, а главное, быстро, как взрослые (Trueswell et al., 1999), как это хорошо видно в видеоклипе 2 с 2-реф. контекстом с русскоговорящим ребенком:

В заключение отрадно отметить, что парадигма «Визуального мира» получила широкое распространение в мировой психолингвистике и активно используется при изучении языковой деятельности самых разных групп испытуемых. В России парадигма «Визуального мира» для изучения языковой деятельности на русском языке теперь новое мощное направление в Лаборатории нейролингвистики НИУ «Высшая школа экономики» (директор: к. ф. н. Ольга Викторовна Драгой). Ознакомиться с научно-исследовательскими проектами лаборатории можно на сайте.

Литература:

Altmann G. & Steedman M. (1988). Interaction with context during human sentence processing. Cognition, 30, 191–238.

Cooper R. M. (1974). The control of eye fixation by the meaning of spoken language. Cognitive Psychology, 6, 84–107.

Duchowski A. T. (2007). Eye-Tracking Methodology. Theory and Practice. 2nd Ed. Springer.

Frazier L. & Fodor J. D. (1978). The sausage machine: A new two-stage parsing model. Cognition, 6, 291–325.

Rayner K. (1998). Eye movements in reading and information processing: 20 years of research. Psychological Bulletin, 124(3), 372–422.

Tanenhaus M. K., Spivey-Knowlton M. J., Eberhard K. M. & Sedivy J. M. (1995). Integration of visual and linguistic information in spoken language comprehension. Science, 268(5217), 1632–1634.

Trueswell J. C., Sekerina I. A., Hill N. & Logrip M. The Kindergarten-Path effect: Studying on-line sentence processing in young children. Cognition, 73, 89–134.

Trueswell J. C. & Tanenhaus M. K. (Eds.) (2004). Approaches to Studying Word-Situated Language Use. Cambridge, MA: The MIT Press.

Секерина И. А. (1997). Глава 7. Психолингвистика. В сборнике под редакцией Кибрика А. А., Кобозевой И. М. и Секериной И. А., Фундаментальные направления современной американской лингвистики. Москва, Изд-во МГУ, 231–269.

Федорова О. В. (2008). Методика регистрации движений глаз «Визуальный мир»: шанс для сближения психолингвистических традиций. Вопросы Языкознания, 6, 98–120.

Все права на фотографии и видео принадлежат Ирине Секериной.