Теоретические предпосылки и эмпирическая база исследования.

Ссылка на общественное мнение, отражающее взгляды граждан, часто становится истиной последней инстанции в принятии политических, экономических и социальных решений. Информация об общественном мнении играет большую роль в современной политической жизни, поскольку, например, рейтинги популярности политиков отчасти заменяют голосование за них. Для мониторинга и его изучения используют теорию и методы социологии, которая как наука получила свое развитие в Украине еще в советскую эпоху, когда в 1960-е гг. в Институте философии АН УССР (сейчас Институт философии имени Г.С. Сковороды Национальной академии наук Украины (НАНУ)) был создан отдел социологических исследований. В настоящее время учреждения системы НАНУ (созданный в 1990 г. в Украине Институт социологии НАНУ, Институт демографии и социальных исследований им. М.В. Птухи) заняты выполнением масштабных социально-экономических исследований, в том числе и в международных проектах, но не проводят рейтинговые политические исследования внутри страны. Для подобных исследований украинские политики обращаются к различным коммерческим, общественным и созданным с помощью международной технической помощи социологическим службам и компаниям. Далеко не все из них соответствуют современным требованиям. Некоторые компании создаются как фирмы-«однодневки» – только для заработка во время выборов, когда растет спрос на данные опросов.

Поскольку люди легко поддаются информационному влиянию, социологические опросы нередко становятся инструментом различных манипуляций, преследующих определенные политические цели[1], что непосредственно влияет и на уровень их достоверности. Если избирателей постоянно убеждать, что у кого-то из политиков или партий рейтинг падает, а у кого-то растет, то многие с неустойчивой позицией будут соответственно реагировать своим волеизъявлением у избирательных кабинок в день голосования. Поэтому существует проблема доверия избирателей к опубликованным рейтингам кандидатов (политических партий), точности результатов соцопросов и возможной фальсификацией их волеизъявления [Князева, 2013; Ярулин, 2018][2]. Доверие к результатам соцопросов важно и по причине попыток их активного использования при измерении эффективности государственного управления в Украине и отношения населения к проводимым реформам.

Аналогичная проблема существует в России. Согласно результатам исследования ВЦИОМ в ноябре 2019 г., 86% респондентов-россиян уверены в том, что соцопросы необходимы. При этом большая часть (64%) граждан считает, что социологические опросы отражают реальное мнение населения, но треть респондентов не уверена в достоверности подобных исследований[3]. В Украине пропорции иные: по данным опроса Киевского международного института социологии (КМИС), в декабре 2019 г. 42% украинцев доверяли данным социологических организаций, а 21% – не доверяли, остальные не имели определенного мнения по этому поводу[4] (рис.).

Отдельный вопрос – доверие самих политиков к опубликованным социологическим данным (наряду с ними есть значительная часть заказов украинским поллстерам, которые носят закрытый характер, т.е. их результаты не становятся публичными). О недоверии к опубликованным рейтингам политиков и политических партий свидетельствует тот факт, что в начале сентября 2020 г. появился законопроект (от правящей партии «Слуга народа») о разрешении Центральной избирательной комиссии (ЦИК) проводить социологические опросы. Это достаточно дискуссионное решение, потому что не ясно, будет ли создана новая социологическая служба или ЦИК будет заказывать социологические исследования у других поллстеров.

В работах многих авторов [Артемов, 2002; Полторак, 2009; Гончарук-Чолач, 2018; Петров, 2015] приведен широкий спектр социологических методов получения релевантных результатов в ходе опроса населения по различным направлениям. В то же время есть значительное число публикаций украинских исследователей[5], которые указывают, что нарушение технологии проведения социологических исследований, отсутствие системной организации работы и контроля интервьюеров и полевых мероприятий, чрезмерное количество опросов в короткий промежуток времени крайне негативно сказываются на качестве полученных данных (политических рейтингов).

Индустрия социологических опросов интересна политикам не только как поставщик объективной информации, но и как инструмент политического влияния на сознание и подсознание электората. Результатами социологических исследований зачастую манипулируют некоторые политики и политические партии. Действительно, публикации о социологических опросах объективно нацелены на корректировку позиции избирателя [Ярулин, 2018]: склоняют избирателя (не) голосовать за определенного кандидата (партию); демонстрируют несомненное рейтинговое превосходство кандидата (партии); актуализируют протестные настроения граждан; косвенно выражают опасения по поводу фальсификации результатов предстоящих выборов.В большинстве случаев избиратели «ориентируются» на цифры и факты, которые публикуют или озвучивают социологи. Это является потенциальной предпосылкой для возможных манипуляций, когда ложь, украшенная цифрами, будет выглядеть правдоподобно [Яковлева, 2014].

Необходимо отметить, что только независимые эксперты точно знают кто, из тех, что публикуют рейтинги, говорит правду, а кто их «подделал». Но этого, к сожалению, не знает абсолютное большинство избирателей. Поэтому сегодня все чаще ситуация «игры в социологию» сильно отличается от того, что можно было бы получить, полноценно используя достижения социологической науки. Как следствие, в последние годы наблюдается снижение доверия граждан Украины к соцопросам.

Вопрос доверия к поллстерам рассматривается с точки зрения длительности присутствия их на рынке социологических услуг и наличием у них подтвержденных сертификатов. Например, в Беларуси есть только девять аккредитованных социологических служб. В Украине контроль за этим осуществляют две общественные организации – Социологическая ассоциация Украины (САУ) и Всеукраинская ассоциация социологов.

Как показывает практика проведения социологических исследований в Украине, прямая фальсификация их результатов (рейтингов) используется не очень часто (Нуждин, 2019, см, сноску 1). Важным сдерживающим фактором, препятствующим явной фальсификации политических рейтингов, является то, что социологические опросы, на основе данных которых рассчитываются рейтинги, одновременно проводятся большим количеством социологических компаний (поллстеров) и служб. А вот точность опубликованных результатов соцопросов вызывает вопросы, а иногда и очень серьезные проблемы.

«Игра в социологию» крайне негативно сказывается и на индустрии опросов, и на обществе в целом. Она не имеет внутреннего решения, поэтому сегодня политической социологии и гражданам требуется внешний аудит. Иными словами, есть потребность в социологическом фактчекинге – появлении компаний и специалистов, которые профессионально занимались бы проверкой проведения соцопросов и обнародованием заключений о правдивости и достоверности их результатов.

Фактечкинг (дословно «проверка фактов», проверка реальности на прочность) для социологии – это проверка данных соцопросов на точность, которая может проводиться как до, так и после распространения их результатов. К сожалению, сегодня таких проверок результатов социологических исследований почти не осуществляется. Поэтому актуален вопрос правдивости тех результатов соцопросов, которые появляются в публичном пространстве. Правда, в Украине создан специальный интернет-ресурс[6], где собрана информация о недобросовестных социологах и результатах их социологических исследований. К середине 2020 г. здесь хранилась информация о более 100 псевдосоциологических компаниях и более 200 скрытых пиарщиках, которые, комментируя результаты социологических исследований, влияли тем или иным образом на избирателей.

Ниже на основе эмпирических данных будет продемонстрирована возможность критического оценивания результатов общенациональных выборов на основе определенного набора данных, полученных различными социологическими компаниями и службами (поллстерами) во время предвыборных опросов избирателей.

Постобработка результатов соцопросов.

Одной из форм социологического фактчекинга может быть процедура постобработки набора результатов социологических опросов и расчет относительных и абсолютных погрешностей по данным ЦИК. Важно заметить, что данные украинской ЦИК считаются абсолютно достоверными: многолетний опыт показал, что ее данные и данные различных экзитполов и «параллельного подсчета», проводимого политическими партиями, различаются лишь на десятые доли процента.

Метод фактчекинга позволяет определить уровень доверия к различным поллстерам, публиковавшим и презентовавшим свои результаты, на основании которых формировались не только предвыборные прогнозы, но политические предпочтения избирателей. Фактчекинговую оценку социологические компании и службы получат на основе модели отрицательных баллов, которые выставляются поллстерам по данным фактчекинга статистического набора результатов соцопросов и фактических данных ЦИК.

В 2019 г. в Украине во время президентской и парламентской избирательных кампаний были опубликованы сотни результатов социологических исследований и соответствующих рейтингов. С ними можно ознакомиться на сайте Ukraine Elections (ukraine-elections.com.ua). Для оценки данных социологических опросов по выборам президента Украины были отобраны результаты тех исследований, которые проводились за месяц до дня голосования среди тех, кто определился и примет участие в голосовании 31 марта 2019 г. Таких результатов было 23 от нескольких социологических компаний и служб.

По данным этих результатов для девяти самых рейтинговых кандидатов было определено среднее значение процента голосов за определенного кандидата, медиана (среднее значение без учета 10% наибольших и 10% наименьших значений), а также абсолютная погрешность (разница между официальными результатами ЦИК и средним значением) и относительная погрешность (отношение абсолютной погрешности к официальному результату) (табл. 1).

Если проанализировать средние значения результатов опросов и значения относительной ошибки для каждого кандидата, то можно отметить, что для большинства кандидатов относительная ошибка находится на допустимом уровне (до 15%). Лишь для А. Гриценко и И. Смешко она превышает эти значения: если по А. Гриценко социологи «спрогнозировали» по среднему показателю на треть больше голосов, чем оказалось после окончательного подсчета, то И. Смешко наоборот не «додали» более половины его фактического результата.

По результатам 23-х социологических опросов автором были рассчитаны относительные погрешности (ошибки), за которые конкретному исследованию (социологической компании, группе) начислялись отрицательные баллы следующим образом: при ошибке 15– 30% – 1 балл, 31– 50% – 2, более 51% – 3, более 100% – 4. Также учтено, что в некоторых результатах «не исследовались» те или иные кандидаты (не включались в опросные анкеты). Полученные отрицательные баллы далее были нормированы в пересчете на одного кандидата (табл. 2). Чем меньше значение нормированных отрицательных баллов в пересчете на одного кандидата, тем точнее и достовернее результаты социологического опроса. Лучшие результаты с учетом количества социологических опросов оказались у «Демократических инициатив», «КМИС» и Active Group, а худшие – у «Украинского социологического портала», Фонда «Украинская политика», «Института маркетинга и консалтинга», InfoSapiens и Greenberg Quinlan Rosner.

Далее для оценки социологических опросов о досрочных парламентских выборах (голосования за политические партии) были отобраны результаты тех исследований, которые проводились за месяц до дня голосования среди тех, кто определился и примет участие в голосовании 21 июля 2019 г. От различных социологических компаний и служб таких результатов оказалось 44. По этим данным для 12-ти наиболее рейтинговых политических партий было определено среднее значение процента голосов, медиана, абсолютная и относительная погрешности (табл. 3).

Средняя относительная ошибка для большинства (9 из 12-ти) политических партий находится в пределах 10– 15%. Однако для «Гражданской позиции» и «Самопомощи» она существенна и даже критична: это не проценты, а сотни процентов (разы), что трудно объяснить какими-либо статистическими законами.

Результаты исследуемых 44-х социологических опросов показали, что для каждой партии прогнозируемые проценты находятся в достаточно широком диапазоне, причем чем меньше их среднее значение, тем больше разница. Например, для «ОП – за жизнь» разница между наименьшим и наибольшим значениями – 2 раза, для «Радикальной партии» – 3 раза, для «Свободы» – 4 раза, для «Самопомощи» – 5 раз.

Из анализа 44-х соцопросов четко отслеживается «предвзятость» некоторых конкретных поллстеров к некоторым партиям. Например, Active Group в 4-х опросах из 5-ти публиковала завышенные результаты для «Оппозиционного блока» (более 5% – от 5,1 до 5,4%). Belgium-Ukraine Research Institute в 3-х опросах демонстрировала результаты для «ОП – за жизнь» намного выше среднего (15-18,6%). КМИС дала «Слуге народа» явно наибольшие значения (52,3 и 48,5%) и явно минимальные (4 и 4,4%) для «Голоса». Центр социальных экспертиз Института социологии НАНУ «вытягивала» до проходного 5% барьера «Украинскую стратегию» (5,1 и 5,4%), а Украинский институт изучения общественного мнения – «Силу и честь» (5,6 и 6,1%).

Если воспользоваться методом отрицательных баллов и начислять их конкретному исследованию (социологической компании, группе), как описано выше, то можно получить иерархию оценок качества результатов соцопросов. Чем меньше значение нормированных отрицательных баллов на одну политическую партию, тем точнее и достовернее результаты социологического опроса определенной социологической компании. В табл. 4 представлены усредненные результаты отрицательных баллов и отрицательных баллов на одну политическую партию. Как видим, наилучшие результаты с учетом количества социологических опросов – у «Рейтинга», «Центра Разумкова», «КМИС» и «Инмарка», а худшие – у Edison Research, «Украинского социологического портала» (он был ранее отмечен как худший в табл. 2) и «Лаборатории политических стратегий и анализа».

В качестве аргумента за использование факчекинга можно привести пример, когда на выборах в Верховную Раду Украины осенью 2012 г. Н. Королевская (лидер партии «Украина – Вперед») обратилась в Хозяйственный суд Киева с требованием запретить социологам КМИС и фонда «Демократические инициативы» публиковать результаты социологических опросов, которые якобы не соответствуют реальному положению вещей. Тогда по данным опроса КМИС партия «Украина – Вперед» набирала 1,4% голосов, а по результатам фонда «Демократические инициативы» – 2,1%, в то время как некоторые другие социологические компании обнародовали для этой партия почти проходные показатели (4–4,7%). Это завершилось тем, что по итоговым данным ЦИК партия «Украина – Вперед» набрала 1,58%, что было далеко от проходного 5%-го барьера. Иск был отозван, а те социологические группы, которые «сулили» этой партии место в украинском парламенте, получили заслуженную порцию критики, хотя, к сожалению, остались на рынке социологических исследований.

Если на сайте Ukraine Elections обратиться к данным политических соцопросов о потенциальных выборах в парламент Украины (июль-август 2020 г.), то очевидна работоспособность модели отрицательных баллов. Например, социологическая компания Belgium-Ukraine Research Institute (с высоким значением отрицательных баллов – см. табл. 4) продолжает публиковать явно завышенные результаты для партии «ОП – за жизнь». С другой стороны, группа «Рейтинг», у которой низкое значение отрицательных баллов, для партии «ОП – за жизнь» опубликует явно заниженные результаты. Это свидетельствует, что даже высококачественный поллстер может «работать в пользу одной из партий», либо повышая ее рейтинг, либо понижая его. Лишь используя постоянный факчекинг и отрицательные баллы для поллстеров, можно существенно ограничить подобные политические «игры в социологию».

Выводы.

Несмотря на относительно высокую степень доверия населения соцопросам, достоверность публикуемых ими результатов вызывает много вопросов у специалистов и экспертов. В Украине проведением политических социологических исследований занимаются десятки поллстеров, зарабатывая на этом, поэтому они часто попадают в зависимость от недобросовестных политических заказчиков, требующих публиковать и озвучивать неправдивые рейтинги.

Одним из действенных методов противостоять этим «играм в социологию» может быть фактчекинг. Этот метод позволяет апостериори определить погрешность результатов политических соцопросов для каждого поллстера по всей выборке кандидатов (партий) и по каждому кандидату (партии) в отдельности, что позволяет понять, «кто заказчик». Очевидно, что фактчекинг может использоваться в том случае, если наборы результатов соцопросов есть с чем сравнивать (в данном случае – с результатами голосования, согласно ЦИК). Возможность получить погрешности результатов соцопросов, проводимых в одно и то же время, позволяет получить реальную оценку для каждого полстера, которая связана с величиной этих погрешностей.

Обработка и анализ эмпирических данных 23-х соцопросов избирателей во время президентской избирательной кампании в Украине и 44-х опросов во время досрочных выборов в украинский парламент в 2019 г. показали некоторые тенденции, которые могут быть использованы для прогнозирования общих результатов и соответствующей аналитики. Во-первых, наименьшее и наибольшее значения рейтинговых показателей в различных соцопросах для кандидатов в президенты Украины и политических партий отличается в 2–5 раз, и чем меньше среднее значение выборки, тем эта большая эта разница. Во-вторых, нельзя гарантировать, что постобработка даже нескольких десятков результатов различных соцопросов определит для всех кандидатов и политических партий точные усредненные данные (в пределах 10–15%) относительной погрешности, хотя она выявит определенные тренды. В-третьих, предложенная система отрицательных баллов для оценки доверия к социологическим компаниям (группам) позволяет привлечь внимание к их деятельности и обнародованию результатов соцопросов. Создав критическую массу «негатива» вокруг некачественных поллстеров, можно заставить их пересмотреть свою работу и позиционирование.

Реализация фактчекинга для политических соцопросов и формирование отрицательных баллов поллстеров позволит в перспективе «очистить» опубликованные и озвученные результаты социологических исследований от возможности манипуляций. Это даст возможность политикам и политическим партиям пользоваться закрытыми данными заказанных ними соцопросов для формирования своих предвыборных стратегий и тактик, не боясь крупных и системных «ошибок». В свою очередь, это повысит уровень доверия населения к социологическим компаниям и группам, а нерадивые поллстеры уйдут с рынка социологических услуг. В этой связи необходимо обратить критическое внимание на деятельность поллстеров с регулярно высокими значениями отрицательных баллов (таких как, например, «Украинский социологический портал»), когда на Украине будут публиковаться данные социологических опросов в ходе местной избирательной кампании 2020 г.