Международная программа по оценке образовательных достижений учащихся (Programme for International Student Assessment, PISA) — масштабный проект массового тестирования, реализуемый Организацией экономического сотрудничества и развития (ОЭСР). Он нацелен на оценку разных видов грамотности: читательской, математической, естественнонаучной, компьютерной. Тестирование проводится раз в 3 года и охватывает десятки тысяч 15-летних школьников из десятков стран, в том числе выборку из России. По результатам выполнения заданий PISA выстраивается один из важных международных рейтингов в области образования.

PISA — не единственное международное массовое испытание в образовании. Раз в 4 года проводится международное тестирование четвероклассников и восьмиклассников по программе TIMSS (Trends in Mathematics and Science Study), имеющее свою специфику. Страны, считающие себя аутсайдерами в этой тестовой гонке или даже просто оцененными ниже, чем предполагалось, анализируют причины этого. Отношение к рейтингам настолько серьезное, что в ряде стран они послужили толчком к серьезным реформам школьного образования. Оценки этой «пизафикации» образования очень разнятся. В чем особенности заданий PISA, прежде всего, последних лет?

В целом, тестовые задания — не сверхсложные, но требуют не просто знания школьного материала, а умения догадываться, понимать, какие знания (возможно, из разных областей) нужно применить в той или иной ситуации. Оказывается, что для многих школьников это достаточно трудное дело.

Интерактивные задачи PISA

В 2012 г. участникам PISA впервые в истории массового тестирования были предложен особый тип задач — интерактивные. (Они использовались и раньше, но в международном масштабе — впервые.) Их главная особенность — то, что они требуют от школьника самостоятельного исследования новой сложной системы с заранее неизвестными свойствами. Причем это исследование он ведет не чистым отвлеченно-аналитическим путем, а путем непосредственного практического взаимодействия с системой — выдвигая гипотезы и тут же экспериментально проверяя их и пытаясь управлять объектом.

Эти интерактивные задачи разработчики PISA противопоставляют задачам другого типа — аналитическим. В аналитических задачах вся необходимая для решения информация изначально заложена в условиях (таково, например, абсолютное большинство школьных математических задач, заданий тестов интеллекта и т. п.). А в интерактивных задачах, как и в реальной деятельности, поиск и приобретение новой информации из среды — важнейшая составная часть.

Простой эмпирический критерий различения аналитических и интерактивных задач — может ли задача быть решена в уме непосредственно после прочтения условий (может ли человек сразу после знакомства с условиями решить ее, так сказать, прикрыв глаза и заложив руки за спину, чтобы ничто не отвлекало). Если да, то это аналитическая задача. Если же для решения необходим поиск заранее неизвестной информации в ходе обследования объекта и экспериментирования с ним (необходимы руки для манипуляций с объектом и глаза для наблюдения за происходящим), то это интерактивная задача.

Во всех интерактивных заданиях PISA используется общий методический принцип: разработчики предлагают школьнику специально созданный виртуальный объект или систему. Оценивается, в какой мере подростки использовали при ее исследовании определенные познавательные стратегии (например, те или иные стратегии многофакторного экспериментирования), что поняли в ней, могут ли ею управлять и т. д.

Пример задания PISA на наблюдение и умозаключение: пронаблюдав за движением по комнате виртуального робота-пылесоса, надо установить, по какому правилу он взаимодействует с находящимися там разными предметами, и затем предсказать его поведение в определенной ситуации.



Пример задания PISA на экспериментирование: на основе обследования MP3-плеера, к которому нет инструкции (но по его кнопкам можно самому кликать мышкой, наблюдая реакции), надо понять, как он работает, и затем: перевести его в определенный режим за минимальное число кликов; изобрести такой способ управления плеером, чтобы можно было обходиться двумя кнопками вместо имеющихся трех, и т. д.



Как это часто бывает на начальных этапах даже очень полезных нововведений, с последним, изобретательским, заданием случился прокол: для оценки ответов участников разработчики заранее создали закрытый (неадаптивный, нерасширяемый) список возможных правильных ответов. В него входят 6 определенных изобретательских решений, а все остальные оцениваются в 0 баллов. При этом разработчики удивительным образом пропустили возможные решения, основанные на двойных кликах одной клавиши и одновременных кликах двух клавиш. Возможная причина: авторы находились в плену цитируемого ими запрета, сформулированного минимум 15 лет назад, до эпохи массового пришествия мультитачей — «ни при каких условиях нельзя нажимать две кнопки одновременно». Как бы то ни было, сама идея «стандартного списка творческих ответов» при оценке задания на креативность представляется нонсенсом. К сожалению, данный аспект не обсуждается разработчиками публично. Из-за этого учителя, школьные психологи, администраторы могут пользоваться выложенными в открытый доступ заданиями PISA и руководством по оцениванию как образцовыми, ничего не зная о том, что критерии оценивания творческих заданий сделаны некорректно, и, среди прочего, обнулять оценку ученикам за ответы, достойные намного большего. Но это пока единственная найденная ошибка интерпретации ответов.

Коллаборативные задачи PISA

В 2015 г. задачи являются не просто интерактивными, а еще и коллаборативными (или же интерактивными задачами на совместное решение — точная терминология на русском не устоялась). Смысл понятия — задача решается коллективно: участник должен исследовать предложенную ему новую систему совместно с другим участником. Например, они вдвоем должны подобрать оптимальные параметры температуры воды, освещенности и другие характеристики среды в новом аквариуме, чтобы в нем лучше всего жилось виртуальным рыбкам экзотического вида. Дело осложняется тем, что участники общаются друг с другом не непосредственно, а через чат, и каждый видит и может управлять только своей частью пульта управления и изначально не знает о параметрах управления, доступных другому участнику. Их можно узнать в процессе совместного обсуждения в чате, и в нем же спланировать и реализовать стратегию совместного обследования этой биотехнологической системы. Здесь будут диагностироваться такие компоненты совместной деятельности как установление и поддержание взаимопонимания с партнером и организация совместных действий по решению задачи. Эта совместная деятельность достаточно сложна, поскольку школьники должны экспериментировать с многофакторной системой и затем управлять ею, а для этого нужно понять и договориться, как будут распределены функции при обследовании.

Важная деталь (21-й век!): в качестве партнера каждого из участников выступает не реальный подросток, а компьютерная программа («бот»), имитирующая человеческую коммуникацию (о чем школьник заранее предупреждается). Этот «виртуальный агент» задает вопросы, имитирует непонимание, предлагает те или иные ходы по решению задачи, высказывает мнения и оценки. Использование именно программы, а не живого человека обосновывается тем, что оно позволит сделать данного «партнера» одинаковым для всех участников и сделать взаимодействие с ним более управляемым и единообразным с точки зрения контроля переменных. Ведь поведение живого партнера непредсказуемо, оно зависит от характера, настроения и ситуативных факторов, и это, как пишут разработчики, создало бы серьезные трудности для строгой процедуры тестирования.





Итоги тестирования 2015 г. еще неизвестны (их могут опубликовать и через пару лет). В 2012 г. российские школьники по решению таких компьютеризованных заданий находились на 26-м месте из 44 стран, где проводилось это тестирование. Первые семь мест занимают учащиеся из стран Азии, начиная с Сингапура, Кореи, Японии, Китая, 8-10 места — из Австралии, Канады, Финляндии.

Противники PISA

В целом, появление интерактивных и коллаборативных заданий в столь масштабном проекте как PISA — это отражение важных и нужных тенденций в изменении содержания образования. При этом в мире существует и движение Anti-PISA, в которое входят критики PISA, выступающие против «пизафикации» образования. Обсуждается сама возможность единообразного однозначного перевода тестовых заданий на множество языков (несоответствия имеются), закрытость математических процедур рейтингования и др.

Но на то и щука, чтобы кот не дремал: можно ожидать, что задания PISA, не будучи ни идеалом, каковой невозможен, ни единственным источником стандартов, будут при этом устанавливать важные ориентиры в содержании оценивания образовательных достижений и совершенствоваться дальше, а содержательная критика этому поспособствует.

Задания 2015 г., которые каждый желающий мог бы пройти «вживую», пока не выложены в открытый доступ, но с их описанием на английском можно ознакомиться в многостраничном официальном документе. Посмотреть задания прошлых лет можно здесь, поиграть с интерактивными заданиями 2012 г., выбрав русскоязычный вариант, — здесь.

Литература

О том, каких умений требует PISA и чего не хватает российским школьникам:

Тематический номер журнала «Вопросы образования» (2004, № 1)

Тюменева Ю. А., Вальдман А. И., Карной М. Что дают предметные знания для умения применять их в новом контексте. Первые результаты сравнительного анализа TIMSS-2011 и PISA-2012 // Вопросы образования. 2014, № 1

Bennett P.W. What works in education: what do PISA results tell us?

Sjøberg S. PISA — a global educational arms race?

Об интерактивных и коллаборативных заданиях PISA:

Поддьяков А.Н. Решение комплексных проблем в PISA-2012 и PISA-2015: взаимодействие со сложной реальностью // Образовательная политика. 2012, № 6

Tyre P. Is your child a «group problem solver?» The PISA test will decide // Scientific American. July 14, 2015