Вадим Радаев - Как организовать и представить исследовательский проект. 75 простых правил
Многие скажут: «Ну, это Вы говорите о количественных исследованиях, крупных опросах, где есть претензии на репрезентативность. А у нас небольшая серия качественных интервью или несколько кейсов, мы на репрезентативность все равно не претендуем. Да и не нужно нам никакой репрезентативности, у нас «другие методы». Здесь кроются страшные заблуждения, которым мы хотели бы противопоставить четыре простых суждения.
1. Абсолютная репрезентативность практически невозможна, как бы тщательно мы ни строили выборку, но это не означает, что к ней не надо стремиться. По крайней мере, должен быть задан порог репрезентативности.
2. Большинство выборок в эмпирических обследованиях (особенно качественных) заведомо нерепрезентативны (т. е. не представляют в должной мере генеральную совокупность, и даже стандартную ошибку выборки оценить невозможно), но это не означает, что можно игнорировать саму проблему выборки.
3. Чем меньше выборка, тем более тщательно она должна быть сделана. Чем менее случаен отбор единиц обследования (людей, документов), тем большего обоснования требует наша выборка. Это суждение менее очевидно, чем два предыдущих, и на него хотелось бы обратить особое внимание.
4. Выборка для качественного исследования – вопрос в известной степени даже более важный, чем для количественного (это напрямую вытекает из третьего суждения).
Резюмируем эти суждения в следующем правиле.
Правило 14. Чем менее случайны условия отбора единиц наблюдения и чем меньше объем предполагаемой выборки, тем большего обоснования требуют принципы отбора.
Как выглядит идеальная ситуация, многократно описанная в учебниках по социологии и теории вероятностей? Генеральная совокупность, которую мы собираемся обследовать, представлена в виде разноцветных шаров. Вся эта совокупность собрана в одну большую корзину и тщательно перемешана. Не глядя, случайным образом мы достаем шары, один за другим, а затем пересчитываем. Минимальное количество шаров, которое необходимо для подсчетов, определяется стандартной формулой[6].
Однако в реальной жизни идеальных условий мы, конечно, не встретим. Полных данных о генеральной совокупности в нашем распоряжении нет и не будет, и нас утешает лишь то, что они отсутствуют в принципе. Единицы наблюдения обладают разной доступностью, а некоторые оказываются недоступными вовсе. Принцип случайного отбора соблюсти не удается, а масштабы обследования часто слишком малы, чтобы претендовать хотя бы на какую-то репрезентативность в статистическом смысле слова.
И что греха таить, практикующие исследователи (в том числе грамотные и все понимающие) начинают заменять книжные принципы отбора другим мощным принципом – принципом удобства, или повышенной доступности. Если нас интересуют руководители предприятий, то опрашиваем представителей деловой ассоциации, на которую у нас есть хороший выход. Понадобились школьники – идем в школу, где у нас есть знакомые учителя. А то и просто набираем знакомых или через знакомых, а потом, для пущей учености, называем это принципом снежного кома.
Что ж, многим из нас приходится поступать именно так. К тому же существуют труднодоступные объекты (например, бандитские авторитеты), на которых без специальной и очень личной рекомендации вообще не выйдешь. Допустим, мы не можем порою построить нормальную выборку, пусть будет так. Но давайте не будем превращать нужду в добродетель и говорить с гордым или отрешенным видом, что вопросы выборки нас не касаются.
Если уж мы отобрали кого-то полухаотичным перекатыванием снежного кома от знакомых к друзьям этих знакомых, то давайте хотя бы задним числом попытаемся выявить, по каким закономерностям происходил отбор, представители каких групп попали в наше исследование и к какому объекту относятся полученные нами результаты. Но лучше, конечно, продумать некие принципы отбора заранее, чтобы потом не было мучительно больно за бесцельно потраченные силы.
Требования к заведомо нерепрезентативной выборке
Каковы же минимальные требования нестатистического характера, которые желательно соблюсти в любом, сколь угодно малом обследовании? Первое требование – собрать максимальное количество данных о генеральной совокупности: статистику (если есть), существующие профессиональные описания объекта.
Второе требование – отобрать наиболее важные группы или кластеры, которые будут помещены в фокус нашего исследования и из которых мы отберем единицы наблюдения. Каждая группа должна представлять особый тип объекта, а все вместе они должны покрывать предметное поле нашего исследования в той мере, в какой мы это себе можем позволить (полностью покрыть это поле, как правило, никому не удается).
Третье требование – обеспечить наличие и качественное представительство каждой отобранной группы во всей выборке. Как обеспечить наличие, довольно ясно – представители всех этих групп должны быть охвачены нашим обследованием. Менее понятно, что значит «обеспечить представительство», ибо здесь неумолимо встает вопрос о количестве единиц обследования. Достаточно ли взять по одному случаю на каждый тип объекта? Строить свои суждения на основе одного кейса как-то неловко, поскольку не оставляет мысль: «А вдруг второй респондент станет говорить нечто совершенно противоположное». Берем два, три – все равно мало. Или достаточно? Есть ли какие-то счастливые формулы, которые можно вычитать из учебника и с успехом применять на микровыборках? Увы, таких правил и формул быть не может, ибо мы оказываемся вне поля статистических расчетов. Сколько мы возьмем интервью – 10, 20 или 50 – с точки зрения статистики никакой роли не играет: все это не достигает пределов статистического анализа. Иные специалисты скажут нам, что статистически разница между 100 и 200 тоже не существенна. Она существенна только для нас, ибо в этих случаях серьезно различаются затраты нашего собственного труда.
Как же быть, чтобы не растерять весь энтузиазм на полевых работах и добраться живым до анализа полученных данных, не растратив попусту и без того небольшие деньги? Сначала мы должны рассчитать свои силы и отпущенное нам время. И здесь следует учесть нехитрое правило.
Правило 15. Полевые обследования всегда занимают больше времени, чем мы рассчитываем, пусть даже со всеми припусками и допусками.
Затем мы должны еще раз просмотреть список основных критериев, по которым выделяются группы и подгруппы изучаемых нами объектов. Чем они более детальны, тем больше единиц наблюдения требуется для того, чтобы после завершения обследования мы спали спокойно. Не исключено, что здесь придется умерить амбиции и отказаться от какого-то не столь важного для нас аналитического аспекта, уменьшить количество выделенных типов, привести задачу в соответствие нашим возможностям.
Наконец, мы берем каждую группу (подгруппу) и начинаем опрашивать ее представителей. Когда мы вправе остановиться? Или мы обязаны подчиняться принципу «чем больше – тем лучше» и «трясти» объект, пока не кончатся время и силы? Правило таково.
Правило 16. Нужно продолжать обследование, пока не появится уверенность в том, что основные формы, в которых являет нам себя данная группа (подгруппа), исчерпаны, когда принципиальные признаки начинают упорно повторяться и не возникает каких-то качественно новых вариантов.
Можем ли мы знать это наверняка (тем более, определить магическое число заранее, до выхода в поле)? Нет, не можем, и никакой учебник по качественным методам нам в этом отношении не поможет. Потому что, как ни прискорбно это признавать, речь идет о тонком вопросе исследовательской интуиции. И в качестве доказательства полноты охвата мы можем предложить лишь нашу уверенность в том, что мы не упустили что-то очень существенное, – в надежде, что симпатизирующие нам коллеги и бесстрастные эксперты нам поверят. Впрочем, мы в состоянии помочь себе и другим способом – предоставив впоследствии добросовестное описание нашего исследовательского пути.
Как выходить на респондента
После долгих мучительных размышлений и прикидок мы, наконец, решили, кого и в каком количестве будем опрашивать. Все, можно бежать в поле? Торопиться не надо, до поля еще далеко. Отдельную задачу представляет собою определение способов выхода на объект. Практика показывает, что во многих случаях выход на респондента оказывается одной из наиболее сложных задач. Она включает поиск потенциальных респондентов, первый контакт с ними, достижение договоренности об интервью или предоставлении какой-то информации. Это может занимать изрядное количество времени, ибо люди, ничем нам не обязанные, пытаются вежливо уклониться, ускользнуть от нас. Если мы фиксируем их личные данные, они тут же начинают нас побаиваться, если же опрос сугубо анонимный, они легко теряют к нему интерес. Например, опросить предпринимателя не столь сложно (в большинстве своем они люди соображающие и вдобавок образованные), трудно уговорить его(ее) на интервью – назначить время, преодолеть барьер излишней осторожности. Посему достижение рабочей договоренности с человеком – вопрос далеко не технического свойства. Он связан с установлением отношений доверия. Мы должны показать (доказать) буквально парой точных фраз и жестов несколько вещей:
