О (псевдо)социологических опросах

[Димитриадис]

Навеяно вот этим сообщением коллеги a.n.g.e.r - a:

Сообщение от @.n.g.e.r

Попалось на глаза социологическое исследование Ю.С. Крижанской [Юлия Сергеевна Крижанская – социолог, кандидат психологических наук, бывший заместитель председателя Центрального исполкома партии "Единая Россия", генеральный директор Независимого аналитического центра (Санкт-Петербург);] [Кроме того фигурирует о ней и такая информация].
Исследование посвящено вопросу про-западных настроений среди населения России. Коллеги социологи могут профессионально высказаться по вопросу? В свете высказанных сомнений некоторое недоверие присутствует, поскольку результаты по части корреляций достаточно интересны (по крайней мере для меня, как не специалиста в вопросе).

Несколько предварительных замечаний:

1). Я специально создал новую тему, так как не считаю возможным что-либо писать в теме о Крыме. Объясняю это тем, что в силу 1) стремительно меняющейся обстановки на Украине, 2) невозможности и даже опасности проведения полевых исследований ad hoc, строго фундированных методологически, 3) выдавливанием социологического дискурса политологическим, а то и вовсе обывательскими суждениями, лично мне кажется невозможным профессионально комментировать события по горячим следам. Взвешенный холодный анализ возможен, когда все уляжется.

2). Со мною солидарен и такой патриарх отечественной социологии, как Олег Яницкий. В своей статье "Почему я молчу?.." он обосновывает невозможность высказываний во-первых, тем, что не имеет информации из первых рук, а довольствоваться только разноречивыми репортажами журналистов «с места событий» и, тем более, результатами массовых опросов, не может.

3) В настоящее время получение корректных данных с помощью соломенных опросов мне представляется невозможным. Для этого требуется иной уровень методологической культуры, а постгэллаповскими методиками в России и на Украине владеют единицы. Я к их числу не отношусь.

Комментарии по методологии проведенного исследования ("исследования"?)

1). По ссылке, предоставленной коллегой anger-ом, мы попадаем на статью "Чужие среди нас", представляющую собой ряд графиков и таблиц, сопровождающихся некими комментариями. Сразу видим, что эта публикация представляет собой продолжение серии статей, базирующихся на эмпирическом исследовании, проведенном в начале 2014 года. Описание эмпирической базы можно найти по ссылке: http://gazeta.eot.su/article/aksio-4-rezultaty.

2). Как указано в заголовке, "...было опрошено 43687 человек из всех регионов Российской Федерации, за исключением Крыма и Севастополя, которые во время опроса еще только готовились к проведению референдума о присоединении к России...". далее читаем: "Опрос проводили (то есть выступали в качестве анкетеров - Д.) активисты «Сути времени», ВКСВ, «Родительского Всероссийского Сопротивления», а также многие люди, не состоящие ни в одной из этих организаций — просто граждане, обеспокоенные тем, в каком направлении в последнее время меняется российское законодательство, связанное с проблемами семьи, детства и традиционных ценностей...".

3). В тексте, наряду с интересными и в любом случае заслуживающими внимания данными встречаются и весьма настораживающие фрагменты. Наиболее серьезное беспокойство вызывает уровень методологической культуры исследования, которую никак нельзя назвать соответствующей канонам проведения анкетного опроса. Это подтверждается следующими фактами (цитирую по приведенной выше ссылке):

4).

Поэтому опрос АКСИО-4 был задуман как выявление мнений населения России по вопросам, связанным с начавшимися, планируемыми и возможными изменениями в законодательстве о семье и детстве, которые очень сильно волнуют граждан России. Этот опрос вполне можно считать моделью референдума (даже нескольких референдумов) по соответствующим вопросам.

Опросы общественного мнения не могут рассматриваться и никогда не рассматривались в качестве "модели референдума" или "мини-референдума". Их цели и смыслы абсолютно различны.

5).

Наш опрос действительно может быть моделью референдума — он вышел очень массовым и представительным,

Массовым - да. О "представительности" же можно судить по описанию методики построения выборки. Такой методики не приведено.

6).

полученная выборка респондентов (специальным образом «отремонтированная» математическими методами) репрезентативна (то есть является подобием, уменьшенной моделью) населению России старше 14 лет по полу, возрасту и образованию.

Методика ремонта выборки не приведена. Кстати, ремонт выборки - это термин, заключение его в кавычки - хороший маркер того, что автор текста воспринимает понятие ремонта как красивой метафоры. Это вовсе не так! профессионал так никогда не напишет.

7).

В АКСИО-4 опрошено рекордное для нас количество респондентов — 43687, и это, конечно, замечательно. Однако просвещенный читатель, а особенно много читавший в прессе и интернете о результатах различных опросов общественного мнения, может и не понять, почему мы, собственно, так радуемся этой цифре. И заподозрить нехорошее. Дескать, «настоящим» социологическим центрам хватает и полутора тысячи респондентов, чтобы делать выводы об общественном мнении всей России! Может, столько опрашивают от непрофессионализма? Или, может, просто зря тратят силы, для пиара токмо?

Действительно, крупным и признанным полстерам вполне достаточно опросить 1600 респондентов (как, например, делает ВЦИОМ и другие). Но эти центры подробно описывают свою квотно-гнездовую выборку, приводят ошибку выборки. В анализируемом тексте этого не сделано.

8).

Если у нас выборка в 1500 человек, то наши суждения о мнениях тех 5 групп, которые по-разному ответят на один и тот же вопрос, будут иметь погрешность в 10–15 %, то есть практически нулевую точность. А если в нашей выборке 5 тысяч человек, то точность будет в 5 раз выше, и такой анализ уже будет иметь смысл.

Неверно. При определенном объеме генеральной совокупности есть пороговые значения выборки. Дальнейшее увеличение выборочной совокупности ведет к повышению точности и надежности на десятые доли процента, поэтому ими обычно пренебрегают. Авторам анализируемого исследования данные истины, очевидно, неизвестны, иначе бы они не подчеркивали так настойчиво многотысячную выборку. Есть классические расчеты выборки Паниотто (они есть в классическом же справочнике В.А.Ядова. О политической ангажированности опросчиков-добровольцев политических по сути движений нет нужды говорить.

9).

Однако опросы АКСИО проводят добровольцы. Которые работают бескорыстно в свое свободное время. Поэтому им не дается выборочных заданий и маршрутов, они могут опрашивать, кого хотят. В результате такого опроса собранные анкеты не дают репрезентативной выборки, то есть выборки, подобной изучаемой генеральной совокупности: какие-нибудь параметры (или все) обязательно будут «перекошены» — то больше, чем нужно, людей с высшим образованием, то не хватает деревенских жителей... Но чтобы судить о генеральной совокупности, АКСИО тоже требуется репрезентативная выборка. Сделать из нерепрезентативной выборки репрезентативную несложно: надо просто при расчетах учитывать, кого не хватает, а кого перебор — то есть считать, например, респондентов с высшим образованием с меньшим весом (если их перебор), а деревенских — с большим весом (если их не хватает). И вот тут объем выборки играет решающую роль! Потому что если мы опросили мало людей, то необходимый нам деревенский мужчина 40–50 лет с высшим образованием может в выборке просто отсутствовать, или может быть в единственном экземпляре. Если его нет — у нас в выборке дыра: соответствующая группа не представлена. Если он есть, один-единственный, — тоже не лучше, потому что о мнении всех мужчин этого возраста с высшим образованием, проживающих в деревне, мы будем судить по мнению одного конкретного дяди Васи... А вот если у нас действительно большая выборка, то такой проблемы не будет: по всем основным контролируемым параметрам у нас заведомо будет большая группа респондентов, а все «перекосы» будут устранены корректным «взвешиванием».

Ключевая ошибка. "Добровольцы", не имеющие опыта работы в поле, причем не известно, как их инструктировали, идут по пути наименьшего сопротивления и опрашивают кого им удобно. Это проверено поколениями полевых исследователей, а также мной лично, когда я был бригадиром исследовательских команд, работавших в поле. Поскольку о контрольных прозвонах в тексте не упомянуто, то делаю вывод, что их и не было. Никакое "взвешивание" (методика которого также не описана) не сможет исправить коренную массовую ошибку анкетеров.

10).

Есть и еще одно соображение. Обычно при проведении опросов в выборках контролируются всего несколько параметров: пол, возраст, образование, место жительства... Но страна у нас очень большая и очень разная, и чем больше опрошено людей, тем больше вероятность того, что это многообразие будет хоть как-то отражено в выборке.

Количество критериев отбора нельзя увеличивать бесконечно, по принципу "чтобы было". На это особо указывают классические руководства.

Комментарии по существу проведенного исследования ("исследования"?)

1).

в России фактически живут два народа: небольшой, но очень напористый народ, ориентирующийся на Запад, и большой народ, к Западу относящийся индифферентно.

Упрощение - главная беда "соломенных опросов". Эта посылка прослеживается невооруженным глазом и вызывает справедливые опасения: социологов начинают учить с того, что многократно подчеркивают невозможность описывать мир в черно-белой гамме.

2). Изобильно рассыпанные в тексте выражения "пятая колонна", "тлетворное влияние Запада", "западничество ... - детская болезнь", "покупатели на ее (пятой колонны - Д.) услуги", "подрывная деятельность", "национальное предательство" (элит - Д.) достаточно четко маркируют аксиологические установки авторов опроса, заставляющие усомниться в их беспристрастности и объективности.

3). Ряд вопросов сформулированы таким образом, что подталкивают респондента к желаемому для авторов ответу. Многое тут может сказать и употребление кавычек, например: Ваше отношение к "закону", легализующему проституцию". Такие формулировки недопустимы, так как сразу выражают мнение автора о комментируемом законе как о чем-то ущербном. Такая позиция возможна для частного лица, но не для исследователя.

4). Нагромождение в конце текста графиков, которые не потрудились объяснить и прокомментировать авторы, представляется некорректным. Каждый график и каждая таблица социологами комментируется.

5). Отсутствие "паспортички" (социально-демографического распределения респондентов) также настораживает.

Выводы.

Их немного.

1). Приведенный текст обнаруживает серьезные изъяны исследования, обусловленные как невладением элементарными основаниями методологии и методики изучения общественного мнения, так и неумением правильно анализировать и комментировать собственные эмпирические результаты.

2). Очевидна крайне антизападная идеологическая подоплека исследования. Аффилиация исследователей с известным и одиозным движением "Суть времени" С.Кургиняна, вкупе с агрессивной, подчас истеричной риторикой, усугубляет недоверие к корректности проведенного исследования.

Это моё мнение как профессионала.

Моё мнение как частного человека - никогда бы не стал доверять исследователям, не отмеченных широко известными научными результатами, но отмеченных неоднозначным репутационным бэкграундом.

[@.n.g.e.r]

Посыпаю голову пеплом и спасибо за проведенный детальный анализ