Позитивные изменения. Том 2, № 2 (2022). Positive changes. Volume 2, Issue 2 (2022) - Редакция журнала «Позитивные изменения»

Источник: Bertrand, Marianne, Bruno Crépon, Alicia Marguerie, and Patrick Premand. Impacts à Court et Moyen Terme sur les Jeunes des Travaux à Haute Intensité de Main d’oeuvre (THIMO): Résultats de l’évaluation d’impact de la composante THIMO du Projet Emploi Jeunes et Développement des compétence (PEJEDEC) en Côte d’Ivoire. Washington, DC: Banque Mondiale et Abidjan, BCP-Emploi. 2016

Premand, Patrick, Oumar Barry, and Marc Smitz. «Transferts monétaires, valeur ajoutée de mesures d’accompagnement comportemental, et développement de la petite enfance au Niger. Rapport descriptif de l’évaluation d’impact à court terme du Projet Filets Sociaux.» Washington, DC: Banque Mondiale. 2016

ПОЧЕМУ РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ ДАЕТ ХОРОШИЙ РЕЗУЛЬТАТ?

Как уже обсуждалось, идеальная контрольная группа должна быть максимально похожа на экспериментальную во всех отношениях, за исключением ее участия в оцениваемой программе. Когда мы случайным образом назначаем единицы, случайная выборка сама по себе создает экспериментальную и контрольную группу, которые с высокой вероятностью будут статистически идентичными — при условии, что количество выборки достаточно велико.

Рисунок 3 иллюстрирует, почему рандомизированное распределение дает группу сравнения, которая статистически эквивалентна экспериментальной группе.

Чтобы оценить влияние программы при рандомизированном распределении, мы берем разницу между результатом эксперимента (средний результат случайно выбранной экспериментальной группы) и оценкой контрфакта (средний результат случайно выбранной контрольной группы). Мы можем быть уверены, что наше предполагаемое воздействие представляет собой истинное влияние программы, поскольку устранили наблюдаемые и ненаблюдаемые факторы, которые в противном случае могли бы правдоподобно объяснить разницу в результатах.

Во Вставках 2 и 3 приведены примеры использования рандомизированного распределения для оценки воздействия ряда различных вмешательств по всему миру.

Вставка 2: РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ КАК ПРАВИЛО ДЛЯ ВЫБОРА БЕНЕФИЦИАРОВ ПРОГРАММ: УСЛОВНЫЕ ДЕНЕЖНЫЕ ТРАНСФЕРТЫ И ОБРАЗОВАНИЕ В МЕКСИКЕ

Программа Progresa, которая сегодня называется Prospera, предусматривает денежные трансферты бедным матерям в сельских районах Мексики при условии, что их дети будут посещать школу и регулярно проходить медицинские осмотры. Денежные трансферты для детей с 3 по 9 класс покрывают от 50 % до 75 % от частных расходов на обучение и гарантируются в течение трех лет. Общины и домохозяйства, имеющие право на участие в программе, были определены на основе индекса бедности, созданного на основе данных переписи населения и сбора первичных данных. В связи с необходимостью поэтапного внедрения широкомасштабной социальной программы около двух третей населенных пунктов (314 из 495) были случайным образом отобраны для участия в программе в первые два года, а оставшийся 181 населенный пункт использовался в качестве контрольной группы до начала реализации программы на третий год. Пользуясь методом рандомизированного распределения, Шульц (2004) обнаружил среднее увеличение посещаемости на 3,4 % для всех учащихся 1–8 классов. В наибольшей степени увеличилась доля девочек, закончивших 6 класс, — на 14,8 %. Вероятная причина заключается в том, что девочки имеют тенденцию бросать школу с возрастом, поэтому им предоставлялся несколько больший трансферт, чтобы они могли остаться в школе после начальных классов. Затем эти краткосрочные результаты были экстраполированы для прогнозирования долгосрочного влияния программы Progresa на продолжительность обучения в школе и размер заработка.

Schultz, Paul. «School Subsidies for the Poor: Evaluating the Mexican Progresa Poverty Program.» Journal of Development Economics 74 (1): 199–250. 2004.

Вставка 3: РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ ЗАЩИТЫ ВОДЫ ИЗ ПРИРОДНЫХ ИСТОЧНИКОВ ДЛЯ УЛУЧШЕНИЯ ЗДОРОВЬЯ ЖИТЕЛЕЙ КЕНИИ

Связь между качеством воды и здоровьем в развивающихся странах уже доказана. Менее очевидна, однако, ценность улучшения инфраструктуры вокруг источников воды для здоровья населения. Кремер и другие (2011) измерили результаты программы по предоставлению технологии защиты природных источников для улучшения качества воды в Кении, случайным образом определяя источники воды, на которые оказывалось воздействие.

Приблизительно 43 % домохозяйств в сельской местности Западной Кении получают питьевую воду из природных источников. Технология защиты источника герметизирует его, чтобы уменьшить загрязнение воды.

Начиная с 2005 года, НПО «Международная поддержка детей» (International Child Support, ICS) реализовала программу защиты природных источников воды в двух районах на западе Кении. Из-за финансовых и административных ограничений ICS решила поэтапно внедрять программу в течение четырех лет. Это позволило специалистам по оценке использовать в качестве контрольной группы источники, на которые еще не оказывалось воздействие.

Из 200 источников, отвечающих требованиям, 100 были случайным образом отобраны для воздействия в течение первых двух лет. Исследование показало, что защита источников снизила фекальное загрязнение воды на 66 %, а диарею у детей среди пользователей источников — на 25 %.

Источник: Kremer, Michael, Jessica Leino, Edward Miguel, and Alix Peterson Zwane. «Spring Cleaning: Rural Water Impacts, Valuation, and Property Rights Institutions.» Quarterlyjournal of Economics 126: 145–205. 2011

КОГДА МОЖНО ИСПОЛЬЗОВАТЬ РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ?

Рандомизированное распределение может использоваться в одном из двух сценариев:

1. Когда количество людей, имеющих право на участие, превышает количество доступных мест в программе. Когда спрос на программу превышает предложение, можно использовать «лотерею» для выбора экспериментальной группы в пределах соответствующей категории населения. Группа, выигравшая в «лотерею», является экспериментальной группой, а остальная часть населения, которой не предлагается программа, является группой сравнения. До тех пор, пока существует ограничение, препятствующее распространению программы на все население, можно поддерживать группы сравнения для измерения краткосрочных, среднесрочных и долгосрочных результатов программы.

2. Когда необходимо постепенно внедрять программу до тех пор, пока она не охватит всю генеральную совокупность. Когда программа вводится в действие поэтапно, случайный порядок, в котором участники получают доступ к участию в программе, дает каждому одинаковые шансы на участие в ней на первом этапе или на более позднем этапах. До тех пор, пока последняя группа еще не была поэтапно включена в программу, она служит контрольной группой. Такой подход также может позволить выявить эффект от участия в программе в течение большего или меньшего времени.

ЭТАПЫ РЕАЛИЗАЦИИ МЕТОДА РАНДОМИЗИРОВАННОГО РАСПРЕДЕЛЕНИЯ

Шаг 1 — определить группы, которые имеют право на участие в программе. Помните, что в зависимости от конкретной программы единицей измерения может быть человек, медицинский центр, школа, бизнес или даже целая деревня или муниципалитет.

Шаг 2 — выборка единиц из совокупности для включения в оценочную выборку.

Этот второй шаг делается главным образом для ограничения затрат на сбор данных. Если для оценки можно использовать данные из существующих систем