Оценка: обзор ключевых международных трендов

Издательство (организатор публикации):

скачанные файлы

Материал подготовлен Некоммерческой организацией «Эволюшн энд Филантропи» (Великобритания), Филиал в РФ, 2016. Все права защищены.

Вот и завершился 2015 год – Международный год оценки. Какие запущены новые инициативы? Какие дискуссии были в международном сообществе по теме оценки в социальной сфере?

Яркие инициативы в области оценки

Обратим внимание на 4 интересные инициативы в области оценки, которые обсуждались в международных публикациях в 2015 году.

1).Британский Центр изучения Третьего сектора (Third Sector Research Centre) и Национальный совет добровольных объединений (NCVO) объявили о создании банка данных, в котором будет собрана информация о финансах и результатах работы 10 000 НКО за последние 10 лет, а также новейшие информационные массивы грантмейкеров и органов власти [1]. Формирование банка данных будет сопровождаться разъяснительными мероприятиями, в ходе которых НКО узнают о различных методах анализа данных, научатся работать с показателями рисков и определять степень своей финансовой уязвимости.

2).Фонд совместных инсайтов (Fund for Shared Insight) поддерживает инициативы, помогающие НКО извлечь полезную информацию из данных и на основе этого улучшить дизайн программы, создать более качественный и востребованный для благополучателей продукт или услугу. Среди других грантополучателей Фонда и краудфандинговая платформа GlobalGiving, которая поощряет не только эффективный сбор средств, но и их эффективное использование – за счет обеспечения процессов качественной обратной связи с теми, для кого собственно проект и реализуется. Те НКО, которые и до запуска проекта, и в ходе его реализации собирают отзывы, активно общаются с благополучателями, открыто делятся полученным опытом и извлекают уроки – получают дополнительные бонусы от платформы: удвоение собранных сумм, специальную маркировку и пр. В результате, иногда снижается размер необходимой для проекта суммы, выявляются реальные и не всегда осознаваемые потребности благополучателей, от проведения ряд мероприятий отказываются или их заменяют на менее яркие, но более адекватные [10].

3).Объединение Algorhythm запускает проект iLearning Systems, базирующийся на бизнес-модели «совместного потребления» (sharing economy), по которой, например, действует сервис Uber, превращающий обычных пассажиров в попутчиков или профессиональных водителей. Технология опирается на сетевые ресурсы, единую базу данных и общую платформу для обучения пользователей. По замыслу создателей, оплачивая услуги «вскладчину», пользователи получат качественный сервис и смогут запустить оценочные процессы, выделяя на это не более 1% годового бюджета (от 500 до 1 500 долларов) [14]. Команда Algorhythm ожидает, что за счет существенного снижения расходов учреждения социальной сферы в массовом порядке запустят и/или модернизируют процессы оценки, освоят перспективные модели консультаций со стейкхолдерами и станут составлять отчеты, ориентируясь на запросы потребителей информации. Одновременно проект будет содействовать и наполнению платформы Algorhythm, где уже собираются показатели эффективности для разных сегментов деятельности, сравнительные данные для похожих программ, методики сбора сведений, техники взаимодействия с разными группами благополучателей и т.д.[1]

4).Картирование (мэппинг) недостающих знаний и сведений в той или иной сфере деятельности (Evidence Gap Maptool) – инструмент, разработанный Международной инициативой по оценке социальных изменений (The International Initiative for Impact Evaluation или 3ie). Ресурс помогает точно сформулировать задачи, а также распознать и привлечь к разработке дизайна оценочного исследования потенциальных пользователей информации. Благодаря такому подходу, как ожидают разработчики, результаты исследования быстрее найдут заинтересованного потребителя и станут реальным вкладом в развитие конкретной отрасли [12].

Основные тренды в области оценки

Представленные инициативы отражают те тренды в области оценки, которые обозначены в предыдущем обзоре 2013-2014 гг. [24]:

  • Тренд 1. Оценка как инструмент выявления и проверки перспективных, креативных идей и вариантов решения социальных проблем.
  • Тренд 2. Расширение цифровой инфраструктуры, формирование крупных массивов данных (Big Data) с целью взаимного обмена знаниями и обучения;
  • Тренд 3. Стандартизация социальных результатов и показателей – формирование общих, единых систем измерения и оценки (shared measurement).
  • Тренд 4. Спрос на формирование единых показателей эффективности на основе стоимости социальных проектов и программ.
  • Тренд 5. Внимание к интересам целевых аудиторий (от экспертизы внешнего, профессионального оценщика к вовлечению широкого круга участников, от объекта к субъекту);
  • Тренд 6. Увеличение гибкости и адаптивности оценки, ее динамичность и оперативность.
  • Тренд 7. «Do not overmeasure!».

Тем не менее, несмотря на такие замечательные и прогрессивные инициативы, несмотря на единодушие в дискуссиях о важности оценки и растущий спрос на достоверные данные и доказательства эффективности [7; 12; 14; 17; 18; 25], продолжают сохраняться и прежние негативные тренды:

— Оценочная деятельность по-прежнему воспринимается и пребывает в рамках «элитного клуба», «занятия для избранных», «роскошью» для НКО. Даже в США в это важное направление вкладывают ресурсы не более 3-5% филантропических институтов и примерно столько же НКО с надежными источниками финансирования [14]. И в этом смысле, пока оценка не станет постоянной практикой множества игроков, даже самые прогрессивные открытия и улучшения не в силах изменить общего ландшафта социальных преобразований.

«Оценка нужна всем, а к инвестициям никто не готов» [7]. Финансирующие НКО организации (в частности, фонды) очень редко финансируют работы, связанные с проведением оценочных мероприятий. Среди основных причин – отсутствие единого представления о методах измерения эффективности, высокие затраты на качественную оценку (порой превышающие расходы на сам проект или программу).

Участники дискуссий все чаще предлагают не только решения для устранения типичных препятствий на пути внедрения оценочных практик в НКО («нет компетенций, денег, людей»), но и для более глубинных причин.

Так, эксперты британской организации NPC отмечают, что некоммерческим организациям не хватает «воли к развитию», «стремления к росту», и именно с этим связаны постоянные жалобы на дефицит финансов и знаний, необходимых для широкого внедрения лучшего опыта. «НКО не прилагают достаточных усилий для обсуждения и внедрения перспективных идей, поэтому социальный сектор «изобретает колесо» вновь и вновь…НКО-сектор имеет дело со сложными проблемами, решение которых должно сопровождаться мониторингом прогресса на основе тщательно продуманных показателей успеха, позволяющих выявлять действенные стратегии и оптимальные модели оказания услуг. В силу отсутствия «стремления к росту» НКО не только не изучают свои результаты, но и не делятся опытом с коллегами, пытаясь удержаться в физических и финансовых рамках малой организации («чем меньше, тем лучше»). Так формируется система, в которой идеи роста и развития возникают спонтанно – «вопреки» воле НКО, и воплощаются в жизнь спорадически, благодаря случайному стечению обстоятельств» [7].

Так или иначе, эксперты все чаще предлагают иные стратегии, чтобы оценка стала постоянной и массовой практикой.

Как сделать оценку постоянной и массовой практикой: основные стратегии

1) Теория малых дел: от сложного и абстрактного к простому и практичному

«Чем меньше и проще, тем лучше». Собрать данные – не самоцель. Лучше собирать 2% данных и их действительно использовать, чем собирать 98% и не использовать ничего. Усилия многих консультантов и экспертов направлены на поиск простых и минималистических решений, но которые гарантированно будут полезны.

Чтобы выяснить, как работает образовательный центр (и стоит ли улучшать его работу), иногда достаточно нескольких простых показателей – например, «среднее количество клиентов, получающих услуги в течение дня» [17]. Противоположный пример представляют «показатели тщеславия» (vanity metrics) – сведения, которыми можно манипулировать, чтобы представить в розовом свете результаты программы; которые не помогают улучшать стратегию коммуникации с единомышленниками и донорами или принимать управленческие решения. Например, данные о посещаемости сайтов, об открытии и просмотре файлов и т.п. [3].

Экспериментальный проект «Слушайте, чтобы мир стал лучше» направлен на то, чтобы НКО активнее изучали мнение потребителей и применяли эту важную информацию для развития своих услуг. Предложенный инструмент Listen for Good включает всего 3 простых вопроса [10].

Аналогичным образом, при разработке «теории изменений» необходимо принимать в расчет возможности и пожелания будущих читателей – новых сотрудников, доноров и т.д. Итоговый продукт теории изменений порой перегружен сложными схемами, в которых «тонет» главная идея и содержание проекта (программы). Бесконечная череда кубиков, соединенных стрелочками, понятна лишь тем, кто участвовал в ее построении [22].

Такая «клиенто-ориентированная оценка» (client-centric evaluation) [8] позволяет сократить объемы собираемой информации (а соответственно, и затраты), сконцентрировавшись только на той, которая действительно имеет практическую пользу для ее потребителей.

Быстрое прототипирование и обратная связь. В частности, подход к оценке социального эффекта под названием «Данные с нуля» (Lean Data), основанный на принципах все более популярного «бережливого дизайна», «бережливого производства» [5][2]. По сути, речь идет о двух простых принципах: 1) не пытаться сразу создать что-то идеальное, а начать с создания «минимально жизнеспособного продукта»[3] и 2) получайте обратную связь от потребителей, клиентов. Такой подход минимизирует затраченные усилия и повышает практическое значение результатов оценки.

Рост популярности данного подхода связан с развитием современных технологий (текстовые сообщения, сбор данных на планшете, голосовая почта и т.д.), которые позволяют устанавливать прямую связь с широкой аудиторией и получать ценную информацию, не затрачивая значительных средств на сбор данных об эффективности [6].

«Сделайте красиво… и понятно». Визуализация и аналитика собранных данных – одно из основных направлений в области развития оценки [23]. Усилия направляются на то, чтобы помимо многостраничного отчета предложить привлекательную инфографику, визуальное представление данных, которые можно в последующем использовать в работе, включать в презентационные и отчетные материалы для доноров, благополучателей, иных заинтересованных сторон.

Гибкость и бриколаж. Отход от стандартных, строгих, научных методов и инструментов в пользу более гибких – поиск альтернатив и компромиссных решений для рандомизированных контролируемых исследований (РКИ) [15], строгого соблюдения принципов проведения экспериментов [12], противоречий между стандартизированными системами и методами ситуационного анализа [9] и пр.

В частности, сочетание новых подходов, составляющих достойную альтернативу экспериментальным и квази-экспериментальным методам, уже стало привычной практикой для таких солидных учреждений, как британский Департамент международного развития (DFID – The Department for International Development) и партнерской инициативы «Образцовая оценка» (The Better Evaluation collaborative) [12].

Это и поиск компромисса между принятием решений на основе исключительно достоверных, доказательных данных и «интуитивным подходом» НКО, который нередко гораздо лучше отражает суть работы НКО, позволяет распознать положительные перемены в жизни людей, чем подсчет улыбок и слов благодарности [18].

2) Вовлечение в развитие оценочных практик крупных игроков из разных сфер

Речь идет о вовлечении крупных фондов, коммерческих компаний, социальных инвесторов, органов власти. Например, уже упоминавшийся проект Listen for Good [10] реализуется совместно с мировым лидером в сфере онлайн-опросов SurveyMonkey; MasterCard поддерживает соответствующие инициативы своего корпоративного фонда [15].

В инициативах в области продвижения оценки участвуют крупные фонды, зачастую возглавляемые представителями нового поколения требовательных, технически подкованных и внимательных доноров (например, Фонд Билла и Мелинды Гейтс [15], Фонд Уильяма и Флоры Хьюлетт [17] и другие).

Все чаще звучат призывы активнее использовать авторитет фондов с целью влияния на законодательство и вовлечения стейкхолдеров из разных секторов и сфер деятельности. Например, Ассоциация швейцарских грантмейкеров Swiss Foundations [25]. Речь идет и о том, что фонды должны обучать не только своих сотрудников, но и основных игроков, которые участвуют в решении конкретной социальной проблемы. Вовлечение в оценку причастных сторон (participatory evaluation) помогает сформировать «обучающееся сообщество» (learning community), заинтересованное в проведении оценочных исследований и практическом применении ее результатов [11].

Сюда же можно отнести непрекращающиеся попытки и продолжающиеся партнерства по созданию общих платформ и согласованию общих межсекторальных подходов к оценке социального воздействия.

3) Переориентация инфраструктурных решений

С целью устранения препятствий на пути внедрения оценки в практику максимально широкого числа игроков социальной сферы происходит переориентация инфраструктурных решений:

— Разработка гибких, простых и экономичных инструментов для проведения оценочных исследований, в т.ч. с элементами игровых форм [1; 14; 23].

— Разработка комплексных онлайн-инструментов для НКО, с широкими возможностями аналитики и представления информации в удобном для восприятия виде (где оценка – только один из сервисов):

формирование отчетов для доноров и иных заинтересованных сторон, техники измерения индивидуальных достижения «до» и «после» программ и пр. [23];

включение контента как с информацией содержательного характера, так и с финансовыми данными (например, расчет затрат на получение социального результата / эффекта) [16];

проведение сравнительных исследований (бенчмаркинг) и пр.

— Поддержка инициатив, стимулирующих не столько проведение оценочных исследований, сколько практическое использование полученных данных – как извлечь из них пользу [10].

Как извлечь пользу из полученных данных?

Например, Глобальное движение за развитие национальных оценочных компетенций EvalPartners подготовило сборник «рассказов об оценке», который помогает понять, какую пользу приносят социально значимые инициативы; в чем она выражается; как ее можно измерить и описать в экономических и иных терминах. Тщательно подобранные примеры из жизни показывают, как результаты оценки способны ускорить социальные преобразования и улучшить положение людей [13].

Это и уже обозначенные выше различные инициативы Фонда совместных инсайтов, направленные на то, чтобы помочь НКО извлечь полезную информацию из собираемых данных.

1).Оцифровка доказательств социальной эффективности [12], формирование больших и доступных массивов информации (big data) [1; 12]. При этом помимо общего депозитария абстрактных «лучших практик» собирается и информация о более широком контексте – выяснение, «на кого именно повлияли эти практики» и «при каких условиях». Поиск ответов на подобные вопросы подразумевает использование широкого спектра методик, предназначенных для сбора и анализа количественных и качественных данных разного уровня [12; 16; 17].

2).Образовательные инициативы:

— обучение НКО навыкам, как именно можно использовать собранные в ходе оценочных мероприятий данные, какую именно пользу для организации можно извлечь [7; 10; 12; 18; 22]. Речь идет в том числе и об инструментах для самообучения НКО;

— коучинг, менторство НКО в сфере оценки, причем не только через привлечение внешних консультантов, но и изнутри сектора – поддержка и продвижение инициатив НКО, которые «на языке родных осин» объясняют свои навыки в области оценки другим НКО [21];

— обучение грантополучателей. Например, Фонд Ассини в Мемфисе (The Assisi Foundation of Memphis) предлагает соискателям грантов специальный 12-недельный курс Before You Ask («Прежде, чем обратиться за поддержкой…»), который помогает потенциальным грантополучателям ставить реалистичные цели и разрабатывать показатели успеха. Помимо этого, специалисты Фонда проводят бесплатные семинары, посвященные оценке социальных программ [7].

3).Поддержка инициатив, стимулирующих взаимообмен, сотрудничество, формирование коалиций НКО:

— Поощрение НКО делиться с коллегами и партнерами информацией, полученной в ходе оценочной деятельности (в том числе получателями грантов) [7]. Зачастую это ценные сведения об успешном и неудачном опыте, которые можно использовать для снижения рисков и корректировки стратегии, помогающие не допустить повторения ошибок в рамках похожих социально значимых программ [20; 25].

— Создание коалиций и альянсов для решения сложных социальных проблем, обмен опытом и создание объединенных ресурсных пулов для реализации коллективных инициатив [20; 25].

Эксперты рекомендуют донорам и НКО следить за работой консорциумов, которые занимаются созданием общих систем измерения и разработкой показателей эффективности для конкретных сфер деятельности. Например, Консорциум по вопросам сравнительного анализа эффективности (Comparative Performance Measurement Consortium), организованный Международной ассоциацией городских / муниципальных управляющих (The International City / County Manager Association) [20].

Оценка — это не только про доказательства эффективности

В проанализированных публикациях 2015 года часто звучал тезис, что оценка – это не только про доказательство эффективности и воздействия. Это и многое другое – возможность усовершенствовать свою деятельность, узнать о более продуктивных способах достижения поставленных целей и соответствующим образом скорректировать свои программы и/или стратегии, механизм мотивации и вовлечения команды.

Вот, например, заявление президента Американской ассоциации оценки Джона Гаргани, недавно посетившего Москву в рамках мероприятий, посвященных теме оценки (конференция Форума доноров, конференция АСОПП-2015): «В этом году усилия Американской ассоциации оценки будут направлены на то, чтобы собрать вместе тех, кто работает над тем, чтобы сделать наш мир лучше – оценщиков, дизайнеров программ, банкиров, филантропов и других профессионалов, работающих в сфере социальных преобразований. У оценки есть что предложить коллегам их других сфер. Не надо забывать, что оценка – это не только инструмент для анализа. У нее есть огромный потенциал, чтобы сделать наши сообщества сильнее. Она стимулирует сотрудничество, позволяет достичь желаемого эффекта и улучшить жизни людей. Оценка – это именно то, что создает изменения»[4].

А само профессиональное сообщество оценщиков все чаще ставит на повестку дня вопрос о том, какими компетенциями должны обладать и сами оценщики, чтобы ускорить положительные изменения в жизни людей [13]?

Список использованных источников

  1. «Большие данные» НКО-сектора становятся реальностью, 2015, Дайджест №60,
  2. Выводы нового исследования об оценочной практике фондов и НКО, 2015, Дайджест №62.
  3. За рамками показателей тщеславия. На пути к более качественному измерению вовлеченности членов. Колин Хольц, Майкл Сиберман, Джеки Махиндра [Beyond Vanity Metrics. Toward Better Measurement of Member Engagement. Colin Holtz, Michael Silberman, Jackie Mahendra] Citizen Engagement Laboratory, Mobilisation Lab at Greenpeace, 2015,
  4. Значение термина «оценка», 2015, Дайджест №60.
  5. Значение экономичного подхода к работе с данными. Саша Дихтер, Том Адамс, Алнур Ибрагим [Power of Lean Data. Sasha Dichter, Tom Adams, Alnoor Ebrahim] Stanford Social Innovation Review, 2016,
  6. Инновации в сфере оценки социального эффекта. Том Эдамс, Рохит Гаванде, Скотт Овердайк [Innovations in Impact Measurement. Tom Adams, Rohit Gawande, Scott Overdyke]. Acumen, Root Capital, 2015,
  7. Итоги опроса: оценочная практика НКО-сектора нуждается в поддержке доноров, 2015, Дайджест №61.
  8. Клиенто-ориентированный подход. Оценка социального эффекта, создающая ценность для участников. Майкл Маккрилесс [A Client Centric Approach. Impact Evaluation That Creates Value For Participants. Michael McCreless.] Root Capital, 2015.
  9. Методологии оценки социального воздействия: поиск «среднего арифметического», 2015, Дайджест №55.
  10. Мнение благополучателей поможет изменить мир, 2015, Дайджест №62.
  11. О роли оценки в жизни «обучающихся грантмейкеров», 2015, Дайджест №56.
  12. Опыт получения и применения актуальных данных в сфере международного развития, 2015, Дайджест №63.
  13. Оценка, которая меняет мир [Evaluations that-make-a-difference] EvalPartners. 2015,
  14. Оценка не должна быть занятием для избранных, 2015, Дайджест №59.
  15. Оценка социальных изменений: альтернатива РКИ, 2015, Дайджест №55.
  16. Оценка социальных изменений: рекомендации для НКО, 2015, Дайджест №58.
  17. Продуманный подход к работе с данными улучшает работу крупных НКО, 2015, Дайджест №58.
  18. Развитие навыков работы с данными – важная задача для некоммерческого сообщества, 2015, Дайджест №60.
  19. Реферативный обзор материалов по теме «Измерение и оценка» на аккаунте Dropbox некоммерческой организации Evolution & Philanthropy (2015 г.)
  20. Стратегии развития оценочной практики в НКО-секторе, 2015, Дайджест №57.
  21. Стремление к росту – условие распространения передовой практики, 2015, Дайджест №57.
  22. Теория изменений: быть иль не быть? 2015, Дайджест №62.
  23. Техники измерения социальной эффективности + программное обеспечение = современная оценка, 2015, Дайджест №56.
  24. Фреик Н. Оценка: обзор ключевых международных трендов (по материалам Дайджеста E&P 2013-2014 гг.).
  25. Эффективность и оценка – главные вопросы для швейцарских фондов, 2015, Дайджест №63.

[1] Подробнее о платформе Algorhythm и других онлайн-ресурсах для оценки в некоммерческом секторе см. публикации E&P: «Сетевые ресурсы поддержки программной оценки», 2015, , «Открытые данные и НКО», 2015.

[2] См. также: Е.Изместьева «Как «Бережливый стартап» стал новым форматом работы НКО».

[3] Minimum Viable Product (MVP) – продукт, который имеет необходимый минимум возможностей, чтобы проверить его жизнеспособность на рынке.

[4] За перевод большое спасибо Ирине Ефремовой-Гарт, руководителя программ Форума Доноров, любезно разместившей его на своей ФБ-странице.

PDF-версию материала можно скачать по ссылке.

Размещено в .