Качество электоральных исследований (или как уменьшить случайные и систематические ошибки)

01.02.2013 Выборы в Парламент традиционно повышают внимание общественности к электоральным исследованиям. В предвыборный период они становятся, пожалуй, одним из немногих источников о предстоящей избирательной активности, шансах партий и отдельных кандидатов. О влиянии электоральных исследований на предвыборную борьбу говорит хотя бы факт запрета публикации их результатов непосредственно перед выборами практически во всех странах, где они проводятся. Наконец, важная особенность предвыборных исследований состоит в том, что они верифицируются самими выборами, то есть их результаты могут быть сопоставлены с результатами голосования.

В Казахстане в отличие от России качество электоральных исследований до последнего времени не было объектом пристального рассмотрения. Электоральные исследования не способны оценить величину административного ресурса, а потому в условиях его широкого применения дают результаты, далекие от полученных на выборах, независимо от того, как они были проведены. Судя по заявлениям руководства республики, подкрепленными накалом предвыборной кампании, нынешние выборы в Мажилис в основном будут удовлетворять международным критериям. А электоральные исследования востребованы, когда выборы отвечают общепринятым стандартам и кандидаты борются за голоса избирателей в честной конкурентной борьбе.

Электоральные исследования - это, прежде всего, сквозные выборочные исследования. Объектом изучения выступает все население, достигшее совершеннолетия и имеющее право голоса. Предмет исследования - симпатии и предпочтения в отношении кандидатов - партий или людей и, самое главное, намерение участвовать в выборах и отдать свой голос определенному кандидату. Поэтому приемлемое качество таких исследований достигается путем соблюдения всех правил, характерных для сквозных выборочных исследований в общем. В этой статье мы представим описание этих правил с указанием специфики электоральных исследований. Качество выборочных исследований или насколько измерения близки действительности определяются двумя критериями - точностью и правильностью, которые в свою очередь определяют величину случайной и систематической ошибок.

Точность - это способность выборочных исследований воспроизводить результаты в каком-либо интервале. Половина этого интервала - размер случайной ошибки, который полностью зависит от используемой выборки. Выборочное исследование проводится с тем, чтобы оценить изучаемую популяцию, в нашем случае - избирателей, в отношении интересующего признака, например, уровня поддержки какого-либо кандидата. Результатом выборочного исследования является оценка величины этого признака, которая приближена к реальной, но не полностью соответствует ей, потому что признак измеряется не у популяции в целом, а лишь у выбранной ее части - выборки. Особенность выборочных исследований состоит в том, что большинство оценок, полученных на их основе, близки к действительной величине признака. На практике чаще всего вычисляют размер ошибки, внутри которого, то есть имеют такую же ошибку или меньше, находятся 95% всех возможных выборок. Такую ошибку называют случайной - ее название соответствует сути выборочных исследований.

Величина случайной ошибки зависит от нескольких параметров. Как ни странно, размер изучаемой популяции практически не отражается на случайной ошибке, то есть объемы выборки для достижения требуемой точности при изучении населения Казахстана и Китая будут примерно одинаковыми. Поэтому он часто даже не берется в учет, когда вычисляется случайная ошибка. Величина случайной ошибки зависит от объема выборки, а также распространенности изучаемого признака. Где:

• Z - коэффициент нормального распределения, для 95% доверительного интервала он равен 1.96;
• p - доля признака в выборке;
• n - объем выборки.

Предоположим, что результаты исследования показывают, что партия A набирает 10% избирателей. Всего было опрошено 1000 респондентов. Значит ли это, что партия A преодолевает 7% барьер. Размер случайной ошибки будет равен:
То есть можно утверждать с 95% степенью уверенности, что истинное значение величины поддержки партии A находится в интервале 10% - 2% и, следовательно, превышает 7%.

Однако эта формула применима только к простой случайной выборке, когда отбор осуществляется из всего списка избирателей. На практике данную выборку выполнять сложно и затратно - ведь тогда необходим единый список избирателей на всю страну и, даже для одного человека, попавшего в выборку из отдаленного аула надо снаряжать в командировку бригаду интервьюеров. Поэтому выборка почти всех электоральных исследований по крайней мере двухступенчатая. На первом этапе отбираются группы людей или кластеры (избирательные участки, почтовые отделения, административные единицы и т.п.), а затем - сами респонденты в отобранных кластерах. Вычисление случайной ошибки в таких выборках - удел высокопрофессиональных статистиков. Отметим, что она зависит от
гетерогенности признака в кластерах. Чтобы учесть влияние характера выборки и обеспечить возможность вычисления ошибки, был введен поправочный коэффициент - эффект дизайна выборки. Стандартное его значение равно двум: для достижения такой же точности исследования, как при простой случайной выборке, в кластерной выборке должно быть в два раза больше респондентов. Обратимся к вышеприведенному примеру. Допустим, что опрошено 1000 респондентов, но уже по двухступенчатой кластерной выборке. Учитывая эффект дизайна выборки, это эквивалентно опросу 500 респондентов по простой случайной выборке. Истинное значение измеряемого признака лежит в интервале 10%ұ2.6%.

Другой, более важный критерий качества, как правильность исследования становится объектом внимания и обсуждения гораздо реже, чем точность. Тому есть несколько аргументов. Во-первых, правильность исследования обычно дискутируется лишь в узком кругу профессионалов. Во-вторых, западная традиция исследований, насчитывающая несколько десятилетий, выработала незыблемые стандартные требования, которые выполняются всеми профессиональными исследователями, а потому их обсуждение уже лишено смысла. А у нас в Казахстане пока немного людей, способных грамотно судить об этих вопросах.

Требование правильности исследования сводится к исключению систематических ошибок: систематической ошибки отбора, систематической информационной ошибки, систематической ошибки измерения.

Систематическая ошибка отбора заключается в том, что нарушается правило случайности выборочных исследований - каждый член генеральной совокупности имеет известный, чаще всего равный, шанс быть включенным в выборку. Для построения случайной выборки необходимо знать ее основу, то есть список всех членов генеральной совокупности, из которого будут отбираться респонденты, и обеспечить процедуру случайного отбора (генератор случайных чисел, лотерея и т.д.). В наших условиях основным препятствием стало отсутствие такого списка. Список избирателей или положенный в его основу список жителей в адресном бюро часто не соответствует действительности из-за неучтеной миграции, а также практически нерегистрируемой вторичной аренды жилья. Телефонную книгу в качестве основы выборки нельзя использовать вследствие недостаточного уровня телефонизации практически во всех населенных пунктах Казахстана, который ограничивает изучаемую популяцию людьми, имеющими телефоны. Исследовательские компании для решения проблемы обеспечения случайности чаще всего используют маршрутную выборку, то есть сначала отбирают домохозяйство и лишь затем конкретного человека. Но такой подход не лишен недостатков. Он трудно контролируем со стороны, то есть допускает значительную долю произвольности со стороны исследователя и интервьюера. В результате выборка чаще всего оказывается смещенной в сторону легкодоступных слоев населения - пенсионеров, безработных, домохозяек, проводящих больше времени дома. Чтобы "отремонтировать" выборку применяются квотные задания, содержашие точное количество респондентов в разных половозрастных группах, по статусу занятости. Но само по себе использование квот является нарушением принципа случайности. Другой источник систематической ошибки отбора заключается в высоком уровне недостижимости респондентов вследствие отказов. Ошибка отбора будет большой, когда люди согласившиеся и отказавшиеся участвовать в исследовании значительно отличаются друг от друга. Например, отказавшиеся принять участие в исследовании, организованном государственным учреждением, респонденты могут быть более оппозиционны, и поэтому результаты исследования будут смещены в сторону положительных оценок деятельности правительства.

Суть систематической информационной ошибки заключается в том, что информация, связанная с исследованием, влияет на его результаты. Категорически не желательно проводить электоральные исследования на основе панели, то есть опрашивать одних и тех же людей через короткий промежуток времени. Одна из целей электорального исследования - это измерение интереса населения к политической проблематике вообще и предстоящим выборам в частности. Если респондента просят высказать мнение о политиках, политических партиях, выборах, то, безусловно, эти вопросы хотя бы на время концентрируют внимание на данной теме. Согласитесь, что мнение человека, который никогда не думал о выборах, будет отличаться от мнения человека, который уже думал о них, даже если это происходило только во время интервью. Поэтому одним из стандартных требований является не участие респондента в подобных исследованиях в течение последних шести месяцев. Источник информационной ошибки может также лежать в формулировке вопросов, когда респондент способен определить желательные для исследователя ответы. Наконец, одна из грубых, потому встречаемых редко, ошибок состоит в том, что ответы на вопросы содержатся в формулировке предыдущих вопросов. Кто когда-либо отвечал на тесты, поймет, о чем идет речь.

Что такое систематическая ошибка измерения становится понятным на примере измерительных приборов. Допустим, выборочное исследование включает в себя также антропометрические измерения - вес, рост. Если весы постоянно ошибаются на три килограмма в сторону увеличения, то это и будет систематической ошибкой измерения. Это постоянное искажение результатов измерений отличается от колебаний, вызванных ограниченной точностью весов - плюс-минус пятьсот грамм. Систематическая ошибка измерения в электоральных исследованиях заключается в основном в использовании неправильных вопросов для прогноза поведения респондента на выборах. Ответы на вопрос "Положительно ли вы относитесь к деятельности партии A?" покажут уровень симпатии, но вряд ли пригодны для прогноза результатов голосования. Чтобы получить прогноз обычно задают два вопроса: "Примете ли Вы участие в выборах в Мажилис, состоящихся (дата)?" и "Если бы выборы в Мажилис проходили в это воскресенье (дата), то за какую партию из перечисленных ниже вы бы проголосовали?" Оба вопроса в качестве возможных включают неопределенные ответы - еще не определился, не знаю и т.п. Зачастую, доля таких ответов может быть значительной. Искусство исследователя состоит в том, чтобы вычислить, как наиболее вероятно поведут себя неопределившиеся. Российские социологи, имеющие большой опыт предвыборных исследований, эмпирическим путем выработали дополнительные вопросы и коэффициенты к ним, помогающие уточнить распределение ответов на прямые вопросы, касающиеся будущего электорального поведения.

Соблюдение, каких критериев качества важнее - правильности или точности? Представим следующую аналогию. Есть два стрелка - опытный и менее опытный, и два ружья - с правильным и смещенным прицелами. Сочетание опытного стрелка и правильного прицела гарантируют близкое к ста процентам попадание в цель. Выстрелы менее опытного стрелка с таким оружием будут около цели, приближаясь или отдаляясь от нее. Опытный стрелок, используя смещенный прицел, будет стрелять в "молоко", но кучно. Не достигнут цели также и выстрелы менее опытного стрелка с неправильным прицелом. В электоральных исследованиях аналогом правильности прицела является отсутствие систематических ошибок, связанная с опытностью стрелка точность - это небольшая случайная ошибка, полностью определяемая размером выборки. Данный пример показывает, что польза скорее будет получена от маленького, но правильно проведенного исследования, чем от большого исследования с систематическими ошибками, вызванными дизайном выборки, некачественным вопросником, неподготовленными интервьюерами. Следует отметить, что можно только определить величину случайной ошибки. Систематическая ошибка, как правило, не измеряема - для этого потребуется провести такое же исследование, в котором не будет причины систематической ошибки, что на практике никто никогда не делает. Систематическую ошибку трудно обнаружить. Из публикаций результатов исследований нельзя почерпнуть достаточной информации о подготовке интервьюеров, полном содержании анкеты, процедурах отбора. В материалах для широкой общественности в этом нет необходимости. Но в профессиональном сообществе соблюдение правил проведения электоральных исследований должно обсуждаться более активно. Исследование, как продукт ремесла, вызывает больше доверия, чем исследование-волшебство, куда как в черный ящик поступают люди, а на выходе нас чарует магия чисел.