Позитивные изменения. Том 2, № 2 (2022). Positive changes. Volume 2, Issue 2 (2022) - Редакция журнала «Позитивные изменения»
Пилот внедрялся в 100 сельских территориях. Из 4959 домохозяйств в базовой выборке, в общей сложности 2907 были зарегистрированы в HISP, и программа успешно работала в течение следующих двух лет ее пилотной реализации. Все медицинские клиники и аптеки, обслуживающие 100 деревень, принимали пациентов по программе страхования, и опросы показывали, что большинство зарегистрированных домохозяйств удовлетворены этой программой. До старта и в конце двухлетнего экспериментального периода проводился сбор оценочных данных по той же выборке из 4959 домохозяйств.
ДОКАЗАТЕЛЬСТВО ВЛИЯНИЯ
Повлияла ли HISP на личные расходы малообеспеченных домохозяйств на здравоохранение? Да, и это было доказано с помощью математических методов. Подход к оценке воздействия, использованный в рамках HISP, предполагал выбор наиболее строгого метода, с учетом особенностей проекта.
Кейс анализа результатов внедрения программы HISP предлагает нам следующее «меню» вариантов методов оценки воздействия:
• рандомизированное распределение;
• инструментальные переменные;
• проектирование разрывной регрессии;
• метод «разность разностей»;
• метод сопоставления.
Все эти подходы преследуют цель определения достоверных групп сравнения, чтобы можно было оценить истинное воздействие программы на личные расходы на здравоохранение бедных домохозяйств.
Итак, мы отталкиваемся от этапа, когда показатели оценки выбраны и детально проработаны, составлен план сбора данных и данные собраны должным образом.
Начнем рассмотрение выбранной в рамках данного кейса методологии оценки с введения концепции контрфакта (то есть факта, противоречащего гипотезе). А далее в рамках данной статьи дадим обзор первому строгому методу, предложенному HISP и испытанному на опыте оценки данной программы.
Существует две концепции, которые являются неотъемлемой частью процесса проведения точных и надежных оценок воздействия — причинно-следственных связей и контрфактов.
В первую очередь вопросы социального воздействия связаны с причинно-следственными связями, например, с поиском ответов на такие вопросы:
Улучшает ли подготовка учителей результаты тестов учащихся? Приводят ли программы дополнительного финансирования медицинских учреждений к улучшению состояния здоровья детей? Увеличивают ли программы профессионального обучения доходы слушателей?
Поиск ответов на эти вопросы может быть непростым. Например, в контексте программы профессиональной подготовки, простого наблюдения того, как доход стажера увеличивается после завершения такой программы, недостаточно для установления причинно-следственной связи. Доход стажера мог бы увеличиться, даже если бы он не проходил обучение — из-за его собственных усилий, из-за изменения условий на рынке труда или из-за из многих других факторов, которые могут повлиять на доход.
Наша задача — найти метод, который позволит установить причинно-следственную связь. Мы эмпирическим путем должны определить, в какой степени конкретная программа — и только эта программа — способствовала изменениям результата. Все посторонние факторы должны быть исключены методикой.
Ответ на основной вопрос оценки воздействия — каково влияние или причинно-следственный эффект программы (P) на интересующий результат (Y)? — дается базовой формулой оценки воздействия:
Δ = (Y | P = 1) − (Y | P = 0).
Эта формула утверждает, что причинное влияние (А) программы (P) на результат (Y) представляет собой разницу между результатом (Y) с программой (другими словами, когда P = 1) и тем же результатом (Y) без программы (то есть, когда P = 0).
Например, если P обозначает программу профессиональной подготовки, а Y обозначает доход, то причинно-следственное влияние программы профессиональной подготовки (Д) представляет собой разницу между доходом человека (Y) после участия в программе профессиональной подготовки (другими словами, когда P = 1) и тем же человеком в тот же момент времени, если он или она не участвовали в программе (другими словами, когда P = 0).
Если бы это было возможно, мы бы наблюдали, какой доход имел бы один и тот же человек в один и тот же момент времени как с программой, так и без нее, так что единственным возможным объяснением любой разницы в доходах этого человека была бы программа. Сравнивая одного и того же человека с самим собой в один и тот же момент, мы бы смогли исключить любые внешние факторы, которые также могли бы объяснить разницу в результатах.
Но к сожалению, измерение одной и той же единицы в двух вариантах одновременно невозможно: в конкретный момент времени человек либо участвовал в программе, либо не участвовал.
Это называется контрфактуальной проблемой: как мы можем измерить, что произошло бы, если бы преобладали другие обстоятельства?
КОНТРОЛЬНАЯ И ЭКСПЕРИМЕНТАЛЬНАЯ ГРУППА
На практике задача оценки воздействия состоит в том, чтобы определить контрольную и экспериментальную группы, которые сходны по своим параметрам, но одна из них участвует в программе, а другая нет. Так что разница в результатах должна быть обусловлена программой
Экспериментальные и контрольные группы должны быть одинаковыми по крайней мере в трех отношениях:
1. Исходные характеристики групп должны быть идентичными. Например, средний возраст в экспериментальной группе должен быть таким же, как и в контрольной группе.
2. Фактор программы не должен влиять на контрольную группу ни прямо, ни косвенно.
3. Результаты в контрольной группе должны измениться так же, как и результаты в экспериментальной группе, если обеим группам была предоставлена программа (или нет). То есть, группы должны реагировать на программу одинаково. Например, если доходы людей в экспериментальной группе увеличились на 5000 рублей благодаря программе обучения, тогда доходы людей в группе сравнения также увеличились бы на 5000 рублей, если бы они прошли обучение.
Когда эти три условия выполняются, то только существование исследуемой программы будет объяснять любые различия в результате (Y) между двумя группами.
Вместо того, чтобы рассматривать воздействие исключительно для одного человека, более реалистично рассмотреть среднее воздействие для группы людей (Рисунок 1).
Здесь важно рассмотреть, что произойдет, если мы решим продолжить оценку без нахождения контрольной группы. Мы можем столкнуться с риском вынести неточные суждения о результатах программы, в частности, в отношении оценки контрфакта.
Такой риск существует при использовании следующих подходов:
• Сравнения «до и после» (рефлексивного сравнения): сравнивают результаты одной и той же группы до и после участия в программе.
• Сравнения зарегистрированных и незарегистрированных (или самостоятельно выбранных) групп лиц: сравнивают результаты группы, которая решила участвовать в программе, с результатами группы, которая решила не участвовать.
Сравнение «до и после» пытается установить влияние программы путем отслеживания изменений результатов для участников программы с течением времени. По сути, это сравнение предполагает, что, если бы программа никогда не существовала, результат (Y) для участников программы был бы точно таким же, как и
