Репрезентативность в опросах

Понятие «репрезентативность» применительно к социологическим опросам — опросам общественного мнения — обладает почти магическим действием на людей. Сам термин «репрезентация» имеет кроме научного еще и явно политическое значение.

В чем причина? Все дело в том, что предполагается, что выборка (группа людей, отобранная для опроса) может репрезентировать (представлять) всю генеральную совокупность. Генеральной совокупностью в случае общероссийских опросов является все население страны. Теперь представим, что речь идет о политическом решении — поддержке законопроекта или голосовании на выборах. С помощью выборочного опроса мы получаем отличный механизм политической репрезентации — механизм, при котором небольшая группа людей может представлять мнение или позицию всего населения страны. Поэтому репрезентативности исследования отводится такое важное место.

Понятие репрезентативности используется, разумеется, не только в политических исследованиях. Термин применяется практически всегда, когда речь идет о больших исследованиях, будь то в сфере маркетинга, экономического поведения или образования.

Методология репрезентативных опросов

Как, опросив 1500 человек, можно делать выводы обо всех россиянах, которых более 140 миллионов (и даже избирателей более 110 миллионов)? Технология, которая стоит за репрезентативными опросами, основана на статистических законах. Ближайшим основанием служит закон больших чисел, или теорема Бернулли.

Упрощенно его смысл можно передать так. Предположим, у нас имеется некоторый признак, например количество осадков за день в Екатеринбурге в течение ХХ века. Если мы выпишем все его значения вместе с их частотой (это называется распределением), а затем случайно возьмем достаточно большое число случаев (то есть не все дни в ХХ веке, но достаточно много), то мы увидим, что распределение в нашей выборке будет очень похожим на распределение за весь ХХ век. Таким образом, если мы отбираем из совокупности некоторые единицы, они действительно могут представлять всю совокупность, и на самом деле нет необходимости собирать данные по всем случаям.

Однако имеется ключевое условие: это верно, только если производить отбор строго случайным образом. Единственной проблемой здесь может быть отклонение от случайности. Так, если мы возьмем только данные по осадкам за последние годы (например, потому что эти данные проще найти) или опросим 1500 своих знакомых (потому что с ними проще связаться), а не случайных людей, то выборка, конечно, не будет репрезентативной.

Представьте, что из 143,5 миллионов россиян вы случайным образом отбираете необходимые вам 1500 человек. Тогда, например, доля менеджеров среднего звена среди них будет приблизительно равна доле менеджеров среднего звена в генеральной совокупности, что и показывает, что ваша выборка может представлять всю совокупность. Может ли так получиться, что эти два показателя будут сильно различаться? Например, среди россиян он составляет 14%, а в выборке он составит только 1%? Теоретически это возможно, однако вероятность этого настолько мала, что ею можно пренебречь (примерно как встретить дракона на улице).

Более того, самое приятное в этой вероятности даже не то, что она мала, а то, что для случайных процессов эту вероятность можно вычислить. Мы можем сказать, с какой вероятностью наше выборочное значение отклонится от значения в генеральной совокупности на 13% (как в примере выше), а с какой, скажем, на 2,5%. Обычно, впрочем, делают наоборот: сначала определяют вероятность, с которой мы хотим, чтобы наше значение не отклонялось от значения в генеральной совокупности (чаще всего его фиксируют на уровне 95%), а потом уже смотрят, какова величина отклонения при том или ином размере выборки. Это отклонение называется доверительным интервалом, иногда его называют ошибкой выборки или статистической погрешностью — его часто приводят рядом с результатами опроса.

Итак, вероятность отклонения, величина отклонения (доверительный интервал) и размер выборки связаны между собой. Исходя из этого, формула для расчета размера выборки выглядит следующим образом:

где n — размер выборки, Δ — доверительный интервал, z — значение функции нормального распределения для данной вероятности отклонения (для вероятности 5% это значение составляет 1,96).

Это упрощенная формула, в реальных опросах используются несколько более сложные формулы. Эта формула также может давать сбой, если значение показателя сильно отличается от 50% (поэтому, например, эта формула не подойдет для того, чтобы оценить долю больных редким заболеванием в стране).

Вот что будет, если подставить в эту формулу некоторые значения:

Иными словами, если мы взяли случайную выборку россиян размером в 1600 человек и оценили какой-то показатель, например готовность голосовать за определенного политика, то с вероятностью 95% наша оценка не будет отличаться от готовности проголосовать за него среди всех россиян более чем на 2,45%.

Размер выборки

Итак, чем больше размер выборки, тем больше вероятность того, что мы будем ближе к доле в генеральной совокупности. Казалось бы, это значит, что нам нужно стараться приблизить выборку к 143,5 млн. На самом деле, как можно видеть из таблицы, природа случайных процессов такова, что с определенного момента вероятность попасть в интервал начинает повышаться очень медленно (и этот момент наступает довольно быстро). После того как мы отбираем 1500 единиц, как бы мы сильно ни увеличивали объем выборки, вероятность, что наше значение по выборке попадет в значение по генеральной совокупности, будет возрастать очень и очень медленно.

Фактически разницы между 1500 и 10 000 опрошенных почти нет. Где-то к 1500 мы уже можем говорить о том, что наши оценки будут отличаться от доли в генеральной совокупности на 2–3%. Если мы увеличиваем выборку дальше, то эта возможная ошибка будет уменьшаться, но очень незначительно. Иными словами, выборка в 100 000 лучше, чем выборка в 2500, но разница настолько мала, что не имеет смысла, а в случае социальных обследований и экономически не обоснована. Обычно увеличение выборки стоит дорого, и поэтому ее не имеет смысла раздувать ради того, чтобы выиграть один процентный пункт в величине доверительного интервала.

Важно, что в формуле вообще не фигурирует размер генеральной совокупности. Дело в том, что, когда генеральная совокупность велика (более 20 000), он практически не влияет на размер выборки. Таким образом, нам не нужно знать, сколько людей живет в России, чтобы построить репрезентативную выборку. Понятно, что выбирать 1500 из 2000, скорее всего, не имеет смысла — проще обследовать 2000 и получить точную оценку. Но, делая в случае необходимости выборку, мы получаем возможность обобщать ее результаты для генеральной совокупности. И по этой же причине размер выборки не будет отличаться для больших и маленьких стран.

Репрезентативность и точность

Чтобы понять смысл понятия «репрезентативность», давайте рассмотрим выборку в 15 человек. Как ни странно, если вы сделали ее случайно, она тоже репрезентативна. Более того, вы можете сделать выборку в одну единицу. Представьте ящик с шарами, откуда вы случайным образом берете один шар. Если это случайно выбранный шар, то он тоже будет репрезентировать все шары, что есть в этом ящике. Просто он будет репрезентировать их неточно. Почему? Потому что есть очень большая вероятность ошибиться. В следующий раз мы можем вытащить другой шар и получить другое представление о шарах в ящике. Репрезентировать неточно означает иметь большой разброс оценок.

Точно так же и 15 человек репрезентируют любую генеральную совокупность, но они репрезентируют ее неточно, потому что погрешность, доверительный интервал очень велики. Нам придется добавлять по +/- 33%, чтобы получить 95% вероятности того, что мы попадем в интервал. Если мы готовы это допустить, то берем 15 человек, выясняем, что 7 из них — это менеджеры среднего звена, а далее получаем оценку, что 7/15 от совокупности, то есть 47% +/- 33%, — это и есть оценка доли менеджеров в генеральной совокупности, и это абсолютно корректный вывод. Просто он не имеет никакой ценности. Это мы могли сказать и без обследования. Поэтому, планируя выборку, имеет смысл достигать такого объема, который будет целесообразным с точки зрения соотношения затрат и эффективности.

Все сказанное призвано донести одну простую мысль, которую очень часто не осознают: объем выборки не связан с ее репрезентативностью.

Маленькая выборка неточна, но она все равно может быть репрезентативной. Объемы выборок, которые используются сегодня в массовых опросах в России, почти всегда обладают достаточно высокой точностью.

Угрожает же репрезентативности выборки не ее объем, а смещение, то есть отклонение от принципа случайности.

Нарушение принципа случайности

Если мы начинаем выбирать единицы неслучайным образом, выборка становится нерепрезентативной. Например, если что-нибудь мешает нам отбирать их случайно. Представим себе, что мы хотим отобрать шары из нашего ящика случайным образом, но тут оказывается, что часть шаров кусается. Механизм, при котором мы будем брать только те шарики, которые даются нам в руки, — это механизм, нарушающий случайность и поэтому нарушающий репрезентативность. В этом случае, сколько бы мы шариков ни взяли из ящика (даже если мы возьмем все шарики, которые не кусаются), у нас будет нерепрезентативная выборка, потому что мы не учтем ни одного из тех, что кусаются, — они просто минуют нашу выборку.

Самая большая проблема с кусающимися шарами состоит в том, что они могут отличаться от тех, которые идут к нам в руки, и отличаться как раз по тому признаку, который нас интересует. Такая ситуация называется систематической ошибкой выборки.

Нужно отличать ситуацию неточной репрезентации, которую мы описали выше, от ситуации нерепрезентативности. Это разные проблемы, и у них разные способы решения. Нельзя решить одну из них путем решения другой. Если выборке не хватает репрезентативности, бесполезно ее увеличивать. Более того, большие выборки в социальных обследованиях имеют свойство накапливать ошибки, поэтому с помощью сильного увеличения выборки проблему репрезентации можно только усугубить.

Почему репрезентативность невозможна

В примечаниях к таблицам с результатами опросов часто можно увидеть, что «объем выборки составляет 1600 человек, выборка репрезентативна по полу и возрасту». Из сказанного выше очевидно, что это два разных параметра: указание на репрезентативность не связано с объемом выборки. На самом деле здесь имеется в виду то, что выполнялись определенные процедуры, для того чтобы обеспечить соответствие между выборкой и генеральной совокупностью. Например, чтобы обеспечить репрезентативность по полу, в выборку набирают мужчин и женщин в таких же соотношениях, какие существуют среди россиян по данным переписи. Но репрезентативность по полу не означает репрезентативности, например, по политическим взглядам.

Почему приходится выравнивать выборку по полу и другим социально-демографическим категориям? Потому что подлинную репрезентативность может обеспечить только случайная выборка, а реализовать ее на практике невозможно по массе причин. Как только вы попытаетесь это сделать, вы столкнетесь с множеством проблем — неважно, каким методом вы захотите воспользоваться. Часть респондентов вообще окажется недоступной для вашего метода (скажем, для личных интервью большой проблемой являются дома с домофонами и охраной), еще часть будет отсутствовать, не отвечать или предпочтет заниматься своими делами. Есть люди, у которых есть языковые проблемы, и они не могут с нами говорить. Есть люди, которые не понимают, зачем это нужно, и они не хотят с нами говорить. Все это — серьезные нарушения случайности, которые делают ее реализацию невозможной.

Те, кто сводит проблему репрезентации в массовых опросах к статистике, забывают о том, что люди — это очень специфические шарики. Есть шарики, которые убегают и прячутся. Есть шарики, которые кусаются. Они не пассивные объекты, они дают сдачи. Они говорят: «Я не хочу участвовать в твоем опросе», тем самым нарушают случайность. Поэтому в строгом смысле слова репрезентативность в массовых опросах, конечно, невозможна ни в каком виде.

Выработан механизм, с помощью которого обычно обеспечивается видимость репрезентативности: мы выравниваем выборку по некоторым категориям и делаем вид, что по всем остальным возможным категориям она тоже выровнена. На самом деле у нас нет никаких оснований это утверждать. Но проблема в том, что нет и никакой возможности это проверить — опять же в силу того, что некоторые шарики кусаются. Для того чтобы проверить наличие систематической ошибки, проверяющему пришлось бы сходить к тем, кого мы не опросили, и опросить их. Но они, как мы помним, совсем не хотят, чтобы их опрашивали. Опросить тех, кто категорически не отвечает, невозможно. Поэтому все работают на предположении, что, если мы выровняли выборку по двум-трем параметрам, она репрезентирует всю совокупность, хотя у этого предположения и нет никаких серьезных оснований.

Репрезентативная выборка — технология, заимствованная социологами из статистики. Поэтому она неизбежно несет в себе элементы математико-статистической картины мира. Пожалуй, самое сильное допущение состоит в том, что сам по себе выборочный опрос политически и социологически нейтрален: участие и неучастие в опросе не несет в себе политического смысла и не связано с другими социологически важными параметрами. Но сегодня опросы стали одним из главных политических институтов и превратились в ключевого посредника между крупными корпорациями и потребителями. В этих условиях верить в их политическую стерильность уже невозможно. Однако мы по-прежнему мало знаем о том, как опросы понимаются в современных обществах и что они в действительности репрезентируют.