Группа компаний «STEP-BY-STEP»
русскийenglishhomee-mail
Маркетинг Брендинг Call Center Консалтинг Аналитика
         
Новости

МЕТОДИЧЕСКИЙ ЭКСПЕРИМЕНТ В ПРИКЛАДНОМ ИССЛЕДОВАНИИ: ВЛИЯНИЕ ИНТЕРВЬЮЕРА, СИТУАЦИИ, ИНСТРУМЕНТА ОПРОСА.***

Актуальность тематики

Уже многие годы массовые опросы остаются излюбленным и наиболее часто используемым методом социологического и маркетингового исследования.
В развитых капиталистических странах в каждой исследовательской организации присутствует методический отдел. В России же даже крупные исследовательские центры, практически не проводят методических экспериментов. Приобретенный и наработанный опыт зарубежных исследователей находится вне поля зрения как научных сотрудников, так и практикующих социологов и маркетологов. На этом фоне революционным шагом выглядит исследовательская и издательская программа, реализованная Фондом "Общественное мнение" в 2000-2003 гг. В результате выпущены три монографии [Садемен, Брэдберн, 2002; Садмен, Брэдберн, Шварц, 2003; Рогозин, 2002], открывающие новые перспективы в развитии методического эксперимента.

Опыт методического эксперимента.

Маркетинговым Агентством Step by Step был проведен методический эксперимент, направленный на изучение влияния опросной среды на ход проведения интервью и восприятие анкетных вопросов респондентом. Эксперимент был организован на базе опроса посетителей салонов красоты, проводимого маркетинговым агентством в Москве в октябре 2003 года.

В ходе эксперимента выделено три группы испытуемых, в которые попали женщины от 19 до 45 лет, хотя бы изредка посещающие салоны красоты: первая и вторая группы контрольные, третья - экспериментальная. В первой и третьей опрошено по пять человек, во второй - четыре. В каждой группе испытуемым предлагалось ответить на вопросы анкеты, разработанной для изучения потребительских предпочтений. Интервью записывались на аудио пленку, средняя продолжительность - около 10 минут.

Записанные на аудиопленку интервью прослушаны и подвергнуты когнитивному кодированию. Пространство признаков состояло из вербального поведения интервьюера (особенности произношения вопроса и восприятия ответа) и респондента (особенности восприятия вопроса и формулирования ответа):

Кодирование процесса интервью
код Наименование кода Значение

ПРОИЗНЕСЕНИЕ ВОПРОСА
0/1 Перестановка слов Интервьюер задает вопросы так, как это определено в инструкции и в соответствие с текстом вопроса, не переставляя слов. /Интервьюер переставляет слова
0/1 Добавление слов Интервьюер не добавляет лишних слов при чтении вопроса./ Интервьюер добавляет дополнительные слова в вопрос
0/1 Пропуск слов Интервьюер читает вопрос дословно / Интервьюер пропускает значимые слова при чтении вопроса.
0/1 Замена слов Интервьюер читает вопрос дословно / Интервьюер заменяет слова, стоящие в вопросе своими словами
0/1 Перефраз Интервьюер читает вопрос дословно / Интервьюер произносит вопрос своими словами, перефразирует его, оставляя лишь общий смысл

ВОСПРИЯТИЕ ВОПРОСА
0/1 Прерывание Респондент дослушивает вопрос до конца / Респондент прерывает прочтение вопроса уже готовым ответом.
0/1 Уточнение Респондент дослушивает вопрос до конца / Респондент просит повторить вопрос, уточнить его значение.
0/1 Повторение вопроса Респондент дослушивает вопрос до конца / Респондент сам еще раз повторяет вопрос.
0/1 Вопрос или комментарий о вопросе Респондент дослушивает вопрос до конца / Респондент задает вопрос о вопросе или комментирует его.
0/1 Чтение вопроса респондентом Респондент дослушивает вопрос до конца / Респондент сам читает вопрос.

РАСШИРЕНИЕ ОТВЕТА
0/1 Уточнение Респондент дает краткий ответ / Респондент комментирует свой ответ.
0/1 Обоснование Респондент дает краткий ответ / Респондент дает обоснование ответа, объясняет, почему он выбрал именно этот вариант ответа.
0/1 Смех Респондент дает краткий ответ / Ответ респондента сопровождается смехом

Задача исследования - определить влияние опросной среды на ход проведения интервью. Основными факторами, влияющими на проведение интервью, а, следовательно, и на ответы респондента, принято считать контекст (ситуацию) проведения интервью [Садмен, Бредберн, 2003, с.67] и воздействие интервьюера [Ноэль, 1993, с. 271]. Общая схема эксперимента выглядит следующим образом:

Рис. 1 Теоретическая схема влияния опросной среды на ход интервью
Рис. 1 Теоретическая схема влияния опросной среды на ход интервью

Сравнение результатов трех групп позволило определить влияние опросной среды на ход проведения интервью, а так же проанализировать качество вопросов. Сравнение экспериментальной и контрольной группы №2 показывает, каково влияние ситуации: опрос в этих группах проводился одними и теми же интервьюерами, но в разных условиях (полевых и лабораторных). Сравнение контрольных групп №1 и №2 показывает, каково влияние интервьюера: респонденты опрашивались в лабораторных условиях, но разными интервьюерами. Сравнение экспериментальной группы и контрольной № 1 иллюстрирует и влияние ситуации, и влияние интервьюера.
В итоге выделены наиболее проблемные и трудные для восприятия вопросы, требующие дальнейшей корректировки. Для таких вопросов характерно большое количество смещений - более 30 (учитывался тот факт, что каждый вопрос был задан 14 раз). В очередной раз получено эмпирическое доказательство теоретических положений о том, какие типы вопросов являются наиболее сложными для восприятия [Бутенко, 1989, Аверьянов, 1998]:

  • табличные вопросы,
  • вопросы с длинным перечнем ответов,
  • вопросы с объемными и распространенными ответами,
  • вопросы, требующие точной балльной оценки.

Следует отметить, что некачественная инструкция к ответу на вопрос также может привести к искажению результатов.

Требование дословного произнесения вопроса практически не выполнимо. Процент недословного прочтения вопросов довольно устойчивая величина - около 65%. Так в нашем эксперименте вопросы были прочитаны не дословно в 65,5% случаев. Наиболее частой ошибкой при прочтении вопроса является пропуск слов - встречается в более 70% случаях. Избежать эффектов ситуации и интервьюера практически невозможно. Однако, реальная ситуация не является критичной для проведения опроса. Изучения каждого из эффектов в отдельности показало, что в реальной ситуации эти два эффекта взаимно погашают другу друга до определенной степени.

Практические итоги эксперимента

Проведенный эксперимент в очередной раз подтвердил, что ситуация опроса непростая, что на достоверность получаемых данных влияет множество факторов:

  • наибольший вес при этом имеет "эффект" интервьюера и
  • влияние контекста интервью.
Полностью избежать смещений практически невозможно, но для их уменьшения необходимо использование качественного вопросника.
Многие исследовательские организации часто пренебрегают этапом тестирования анкеты и ее вопросов. Основной причиной подобного пренебрежения традиционно является отсутствие времени и средств. Однако при небольшом временном и денежном бюджете можно осуществить качественный пилотаж: потребовалось проведение всего пятнадцати интервью для выявления наиболее проблемных вопросов анкеты.
Таким образом, апробация вопросника как в социологическом, так и маркетинговом исследовании не роскошь, а необходимость, позволяющая существенно улучшить его качество. При избранном формате (ряд интервью проводится исследователем и интервьюерами в лабораторных условиях и лишь небольшая часть в полевых) позволяет довольно быстро осуществить процедуру пилотажа. Фиксация интервью на диктофон и последующее кодирование может рассматриваться, как попытка избежать субъективной оценки.

Использованная Литература:
Аверьянов Л.Я. Искусство задавать вопросы. М., 1998.
Бутенко И.А. Анкетный опрос как общение социолога с респондентом. М.: Высшая школа, 1989.
Моин В.Б. Форма вопроса, интерпретация ответа. // Социологические исследования. 1987. № 5. С. 105-114.
Мягков А.Ю., Проскурина Д.А., Егорова О.А. Эффект интервьюера в телефонном интервью: опыт экспериментальной верификации гипотез // Социокультурные проблемы истории и современного развития российской провинции: межвузовский сборник научных трудов. Иваново: Иван. гос. энерг. ун-т., 2003. С. 92-107.
Рогозин Д.М. Когнитивный анализ опросного инструмента // Социологический журнал. 2000. № 3/4. С. 18-68.
Рогозин Д.М. Открытые вопросы в массовых обследованиях // Социологический журнал. 2001. № 3. С. 29-70.
Садмен С., Брэдберн Н. Форма вопроса в социальном контексте / Пер. с англ. А.А. Виницкой // Социологический журнал. 2000. № 3/4. С. 143-157.
Ноэль Э. Массовые опросы. Введение в методику демоскопии. М., 1993.


*** Текст рассылки подготовила менеджер Маркетингового Агентства Step by Step Мануильская Ксения Максимовна.

17.09.2024

30.07.2024

Архив Новостей
home Карта сайта

125009, Москва
Брюсов переулок,
д. 11, стр. 1, офис 208а
WhatsApp и многоканальный телефон: +7 (495) 109-07-79

 

Информация для СМИ | Карта сайта | Пользовательское соглашение