Группа компаний «STEP-BY-STEP»
русскийenglishhomee-mail
Маркетинг Брендинг Call Center Консалтинг Аналитика
         
Новости

МЕТОДИЧЕСКИЙ ЭКСПЕРИМЕНТ В ПРИКЛАДНОМ ИССЛЕДОВАНИИ: ВЛИЯНИЕ ИНТЕРВЬЮЕРА, СИТУАЦИИ, ИНСТРУМЕНТА ОПРОСА.***

Актуальность тематики

Уже многие годы массовые опросы остаются излюбленным и наиболее часто используемым методом социологического и маркетингового исследования.
В развитых капиталистических странах в каждой исследовательской организации присутствует методический отдел. В России же даже крупные исследовательские центры, практически не проводят методических экспериментов. Приобретенный и наработанный опыт зарубежных исследователей находится вне поля зрения как научных сотрудников, так и практикующих социологов и маркетологов. На этом фоне революционным шагом выглядит исследовательская и издательская программа, реализованная Фондом "Общественное мнение" в 2000-2003 гг. В результате выпущены три монографии [Садемен, Брэдберн, 2002; Садмен, Брэдберн, Шварц, 2003; Рогозин, 2002], открывающие новые перспективы в развитии методического эксперимента.

Опыт методического эксперимента.

Маркетинговым Агентством Step by Step был проведен методический эксперимент, направленный на изучение влияния опросной среды на ход проведения интервью и восприятие анкетных вопросов респондентом. Эксперимент был организован на базе опроса посетителей салонов красоты, проводимого маркетинговым агентством в Москве в октябре 2003 года.

В ходе эксперимента выделено три группы испытуемых, в которые попали женщины от 19 до 45 лет, хотя бы изредка посещающие салоны красоты: первая и вторая группы контрольные, третья - экспериментальная. В первой и третьей опрошено по пять человек, во второй - четыре. В каждой группе испытуемым предлагалось ответить на вопросы анкеты, разработанной для изучения потребительских предпочтений. Интервью записывались на аудио пленку, средняя продолжительность - около 10 минут.

Записанные на аудиопленку интервью прослушаны и подвергнуты когнитивному кодированию. Пространство признаков состояло из вербального поведения интервьюера (особенности произношения вопроса и восприятия ответа) и респондента (особенности восприятия вопроса и формулирования ответа):

Кодирование процесса интервью
код Наименование кода Значение

ПРОИЗНЕСЕНИЕ ВОПРОСА
0/1 Перестановка слов Интервьюер задает вопросы так, как это определено в инструкции и в соответствие с текстом вопроса, не переставляя слов. /Интервьюер переставляет слова
0/1 Добавление слов Интервьюер не добавляет лишних слов при чтении вопроса./ Интервьюер добавляет дополнительные слова в вопрос
0/1 Пропуск слов Интервьюер читает вопрос дословно / Интервьюер пропускает значимые слова при чтении вопроса.
0/1 Замена слов Интервьюер читает вопрос дословно / Интервьюер заменяет слова, стоящие в вопросе своими словами
0/1 Перефраз Интервьюер читает вопрос дословно / Интервьюер произносит вопрос своими словами, перефразирует его, оставляя лишь общий смысл

ВОСПРИЯТИЕ ВОПРОСА
0/1 Прерывание Респондент дослушивает вопрос до конца / Респондент прерывает прочтение вопроса уже готовым ответом.
0/1 Уточнение Респондент дослушивает вопрос до конца / Респондент просит повторить вопрос, уточнить его значение.
0/1 Повторение вопроса Респондент дослушивает вопрос до конца / Респондент сам еще раз повторяет вопрос.
0/1 Вопрос или комментарий о вопросе Респондент дослушивает вопрос до конца / Респондент задает вопрос о вопросе или комментирует его.
0/1 Чтение вопроса респондентом Респондент дослушивает вопрос до конца / Респондент сам читает вопрос.

РАСШИРЕНИЕ ОТВЕТА
0/1 Уточнение Респондент дает краткий ответ / Респондент комментирует свой ответ.
0/1 Обоснование Респондент дает краткий ответ / Респондент дает обоснование ответа, объясняет, почему он выбрал именно этот вариант ответа.
0/1 Смех Респондент дает краткий ответ / Ответ респондента сопровождается смехом

Задача исследования - определить влияние опросной среды на ход проведения интервью. Основными факторами, влияющими на проведение интервью, а, следовательно, и на ответы респондента, принято считать контекст (ситуацию) проведения интервью [Садмен, Бредберн, 2003, с.67] и воздействие интервьюера [Ноэль, 1993, с. 271]. Общая схема эксперимента выглядит следующим образом:

Рис. 1 Теоретическая схема влияния опросной среды на ход интервью
Рис. 1 Теоретическая схема влияния опросной среды на ход интервью

Сравнение результатов трех групп позволило определить влияние опросной среды на ход проведения интервью, а так же проанализировать качество вопросов. Сравнение экспериментальной и контрольной группы №2 показывает, каково влияние ситуации: опрос в этих группах проводился одними и теми же интервьюерами, но в разных условиях (полевых и лабораторных). Сравнение контрольных групп №1 и №2 показывает, каково влияние интервьюера: респонденты опрашивались в лабораторных условиях, но разными интервьюерами. Сравнение экспериментальной группы и контрольной № 1 иллюстрирует и влияние ситуации, и влияние интервьюера.
В итоге выделены наиболее проблемные и трудные для восприятия вопросы, требующие дальнейшей корректировки. Для таких вопросов характерно большое количество смещений - более 30 (учитывался тот факт, что каждый вопрос был задан 14 раз). В очередной раз получено эмпирическое доказательство теоретических положений о том, какие типы вопросов являются наиболее сложными для восприятия [Бутенко, 1989, Аверьянов, 1998]:

  • табличные вопросы,
  • вопросы с длинным перечнем ответов,
  • вопросы с объемными и распространенными ответами,
  • вопросы, требующие точной балльной оценки.

Следует отметить, что некачественная инструкция к ответу на вопрос также может привести к искажению результатов.

Требование дословного произнесения вопроса практически не выполнимо. Процент недословного прочтения вопросов довольно устойчивая величина - около 65%. Так в нашем эксперименте вопросы были прочитаны не дословно в 65,5% случаев. Наиболее частой ошибкой при прочтении вопроса является пропуск слов - встречается в более 70% случаях. Избежать эффектов ситуации и интервьюера практически невозможно. Однако, реальная ситуация не является критичной для проведения опроса. Изучения каждого из эффектов в отдельности показало, что в реальной ситуации эти два эффекта взаимно погашают другу друга до определенной степени.

Практические итоги эксперимента

Проведенный эксперимент в очередной раз подтвердил, что ситуация опроса непростая, что на достоверность получаемых данных влияет множество факторов:

  • наибольший вес при этом имеет "эффект" интервьюера и
  • влияние контекста интервью.
Полностью избежать смещений практически невозможно, но для их уменьшения необходимо использование качественного вопросника.
Многие исследовательские организации часто пренебрегают этапом тестирования анкеты и ее вопросов. Основной причиной подобного пренебрежения традиционно является отсутствие времени и средств. Однако при небольшом временном и денежном бюджете можно осуществить качественный пилотаж: потребовалось проведение всего пятнадцати интервью для выявления наиболее проблемных вопросов анкеты.
Таким образом, апробация вопросника как в социологическом, так и маркетинговом исследовании не роскошь, а необходимость, позволяющая существенно улучшить его качество. При избранном формате (ряд интервью проводится исследователем и интервьюерами в лабораторных условиях и лишь небольшая часть в полевых) позволяет довольно быстро осуществить процедуру пилотажа. Фиксация интервью на диктофон и последующее кодирование может рассматриваться, как попытка избежать субъективной оценки.

Использованная Литература:
Аверьянов Л.Я. Искусство задавать вопросы. М., 1998.
Бутенко И.А. Анкетный опрос как общение социолога с респондентом. М.: Высшая школа, 1989.
Моин В.Б. Форма вопроса, интерпретация ответа. // Социологические исследования. 1987. № 5. С. 105-114.
Мягков А.Ю., Проскурина Д.А., Егорова О.А. Эффект интервьюера в телефонном интервью: опыт экспериментальной верификации гипотез // Социокультурные проблемы истории и современного развития российской провинции: межвузовский сборник научных трудов. Иваново: Иван. гос. энерг. ун-т., 2003. С. 92-107.
Рогозин Д.М. Когнитивный анализ опросного инструмента // Социологический журнал. 2000. № 3/4. С. 18-68.
Рогозин Д.М. Открытые вопросы в массовых обследованиях // Социологический журнал. 2001. № 3. С. 29-70.
Садмен С., Брэдберн Н. Форма вопроса в социальном контексте / Пер. с англ. А.А. Виницкой // Социологический журнал. 2000. № 3/4. С. 143-157.
Ноэль Э. Массовые опросы. Введение в методику демоскопии. М., 1993.


*** Текст рассылки подготовила менеджер Маркетингового Агентства Step by Step Мануильская Ксения Максимовна.

28.03.2024

19.03.2024

06.03.2024

12.02.2024

Архив Новостей
home Карта сайта

125009, Москва
Брюсов переулок,
д. 11, стр. 1, офис 208а
WhatsApp и многоканальный телефон: +7 (495) 109-07-79

 

Информация для СМИ | Карта сайта | Пользовательское соглашение