모니터링과 평가 도구, 방법 및 접근방식 Monitoring and Evaluation: Some Tools, Methods & Approaches 2018.12 모니터링과 평가: 도구, 방법 및 접근방식 Monitoring and Evaluation: Some Tools, Methods & Approaches 2018.12. This work was originally published by The World Bank in English as Monitoring & Evaluation: Some Tools, Methods & Approaches in 2004. This Korean translation was arranged by Korea International Cooperation Agency. Korea International Cooperation Agency is responsible for the quality of the translation. In case of any discrepancies, the original language will govern. 원저작물은 2004년 영문으로 출판된 ‘Monitoring & Evaluation: Some Tools, Methods & Approaches’이며 원저작자는 세계은행입니다. 본 출판물의 번역은 KOICA에서 실시하였으며, 번역품질에 대한 책임도 KOICA에 있습니다. 번역상 오류가 있을 경우에는 원저작물이 우선합니다. 본 출판물의 연구결과, 해석 및 결론은 세계은행, 이사회 및 해당 각국 정부의 의견과 일치하지 않을 수 있습니다. 세계은행은 본 출판물의 자료의 정확성을 보장하지 않습니다. 본 출판물 지도에 표기된 국경, 국기, 교파 및 기타 정보는 해당 지역의 법적 지위, 국경 구분 여부와 관련하여 세계은행의 입장을 표명한 것이 아닙니다. 모니터링과 평가: 도구, 방법 및 접근방식 Monitoring and Evaluation: Some Tools, Methods & Approaches 발행 2018년 12월 발행인 이미경 발행처 한국국제협력단 편집인 평가실 주소 경기도 성남시 수정구 대왕판교로 825 전화 1588-0434 팩스 031-740-0914 홈페이지 http://www.koica.go.kr 인쇄 (사)한국장애인상생복지회 Monitoring & Evaluation: Some Tools, Methods & Approaches Copyright © 2004 by International Bank for Reconstruction and Development / The World Bank 모니터링과 평가: 도구, 방법 및 접근방식 저작권 © 2018 국제부흥개발은행 / 세계은행 무단 복제를 금함 목 차 1. 모니터링 및 평가 개관 1 2. 성과 지표 3 3. 논리모형 접근방식 5 4. 이론기반 평가 7 5. 공식설문조사 10 6. 간이 / 신속평가방법 13 7. 참여적 방법 16 8. 공공지출 추적조사 19 9. 비용편익 및 비용효과성 분석 21 10. 영향평가 23 11. 모니터링 및 평가에 관한 추가 자료 27 모니터링과 평가: 도구, 방법 및 접근방식 1 01. 모니터링 및 평가 개관 : 모니터링 및 평가를 위한 도구, 방법 및 접근방식 개발활동의 모니터링 및 평가(monitoring and evaluation, M&E)를 통해 정부 관계자, 개발 관리자 및 시민사회는 과거의 경험으로부터 교훈을 얻고, 사업의 집행을 개선하며 자원의 계획과 분배, 결과의 시연을 위한 발전적 수단을 제공한다. 국제사회에서 성과가 강조됨에 따라, M&E에 대한 관심이 높아지고 있다. 하지만 M&E 에 어떤 활동이 포함되는지에 대해 종종 혼란이 있다. 따라서 M&E 개관은 M&E에 대한 인식 및 관심을 제고하고, M&E의 구성내용을 명확히 설명하고자 한다. 본 장에서는 M&E의 도구, 방법 및 접근방식에 대해 간략히 소개하고, M&E의 목적, 장단점, 적용 시 필요한 비용, 기술 및 시간, 핵심 참고자료를 제시한다. 또한 자료 수집방법, 분석모형 및 평가와 검토 방법도 소개하고자 한다. ■ 성과지표 ■ 논리모형 접근방식 ■ 이론중심평가 ■ 공식조사 ■ 신속평가방법 ■ 참여적 방법 ■ 공적 비용추적조사 ■ 비용편익 및 비용효과 분석 ■ 영향평가 Monitoring and Evaluation: Some Tools, Methods & Approaches 2 The World Bank 본 리스트가 모든 M&E 방법과 접근법을 포함한다고 볼 수는 없다. 리스트에 포함된 도구와 접근방식의 특성이 서로 달라, 일부는 상호보완적인 반면, 일부는 서로 대체가능하다. 또한 일부는 폭넓게 적용가능하며, 다른 일부는 사용이 상당히 제한적이다. 그러므로 핵심 이해관계자, 정보 수집에 필요한 시간 및 비용 등 여러 사항을 고려하여 적절한 방법을 선택하도록 해야 한다. 모니터링과 평가: 도구, 방법 및 접근방식 3 02. 성과 지표 (Performance indicator) 성과지표는 개발 프로젝트, 프로그램 또는 전략의 투입물, 프로세스, 산출물, 성과 및 영향을 측정하는 지표이다. 적절한 정보 수집(공공 조사 포함), 분석 및 보고가 가능한 경우, 관리자는 성과지표를 통해 진전사항을 추적할 수 있고, 결과를 시연할 수 있으며, 서비스 전달을 향상시키기 위한 시정조치를 취할 수 있다. 주요 이해관계자가 지표를 잘 이해하고, 이를 활용해 의사결정을 내릴 수 있도록, 성과지표를 설정할 때에는 이해관계자의 참여를 강조할 필요가 있다. 1 활용 목적 ㆍ목표 설정 및 목표 달성을 위한 진전도 평가 ㆍ조기경보 시스템을 통한 문제 확인 및 개선조치 마련 ㆍ면밀한 평가 또는 검토 필요 여부 확인 2 장점 ㆍ목표 달성을 위해 진전사항을 효과적으로 측정 ㆍ서로 다른 조직 및 지역 간 비교, 시간 경과에 따른 벤치마킹 비교를 촉진 Monitoring and Evaluation: Some Tools, Methods & Approaches 4 The World Bank 3 단점 ㆍ지표가 제대로 정의되지 않은 경우, 성공 여부 측정 불가 ㆍ너무 많은 수의 지표 또는 접근 가능한 데이터가 없는 지표를 정의하는 경우, 비용이 많이 소요되고 실용적이지 않으며 활용도가 낮음. ㆍ최적의 지표를 선정하는 것과 기존 데이터를 활용해 측정 가능한 지표를 수용하는 것 사이에서의 균형을 찾아야 하는 경우가 종종 발생 4 비용 ㆍ비용은 지표의 개수, 지표에 대한 자료의 수집 빈도 및 품질, 모니터링 시스템의 포괄성에 따라 크게 상이 5 필요 역량 ㆍ지표를 정의하는 기술을 익히기 위해 며칠 간의 훈련을 받을 것을 권장함. 성과 모니터링 시스템을 도입하려면 데이터 수집, 분석 및 보고 기술 및 관리 정보 시스템(MIS) 기술을 익혀야 함. 6 소요 시간 ㆍ지표 및 프로그램의 복잡성을 정의하는 데 사용되는 참여 프로세스의 범위에 따라 며칠에서 수개월의 시간이 소요됨. 성과 모니터링 시스템을 도입하는 데 6-12 개월까지 걸릴 수 있음. 참고자료 ㆍWorld Bank (2000). Key Performance Indicator Handbook. Washington, D.C. ㆍHatry, H. (1999). Performance Measurement: Getting Results. The Urban Institute, Washington, D.C. 모니터링과 평가: 도구, 방법 및 접근방식 5 03. 논리모형 접근방식 (The Logical Framework Approach) 논리모형(Logical framework, LogFrame)은 모든 프로젝트, 프로그램 또는 정책의 목표를 명확히 하는 데 도움이 된다. 투입물, 절차, 산출물, 성과 및 영향과 같은 결과사슬(results chain)의 “프로그램 논리(program logic)”를 파악할 수 있다. 또한 논리모형을 통해 목표 달성을 저해할 수 있는 위험요인뿐 아니라, 각 단계의 성과지표를 파악할 수 있다. 논리모형은 목표를 명확히 하고 활동을 설계함에 있어 파트너의 참여를 장려하는 수단이기도 하다. 프로젝트 또는 프로그램 시행 단계에서 논리모형은 진행사항을 검토하고 수정조치를 취하는 데 유용한 도구로 이용된다. 1 활용 목적 ㆍ명확한 목표의 설정, 성과지표의 이용, 위험평가를 필요로 하게 됨에 따라, 프로젝트 및 프로그램 설계의 품질 향상 ㆍ복잡한 프로젝트 또는 프로그램 활동의 설계 요약 ㆍ세부 운영 계획 수립 지원 ㆍ모니터링 및 평가의 객관적인 기반 제공 2 장점 ㆍ의사결정자가 근본적인 질문에 초점을 맞출 수 있고, 목표 달성에 영향을 미치는 가정과 위험요인을 분석할 수 있도록 함 Monitoring and Evaluation: Some Tools, Methods & Approaches 6 The World Bank ㆍ계획 및 모니터링 과정에서 이해관계자의 참여를 유도 ㆍ모니터링 및 평가를 안내하는 효과적인 관리도구로 역할 3 단점 ㆍ지나치게 엄격할 시, 독창성과 혁신을 저해 ㆍ프로젝트 또는 프로그램 시행단계에서 업데이트되지 않아, 변화를 반영하지 못하는 정적인 도구로 머무를 가능성 존재 ㆍ수립하고 활용하기 위한 훈련 및 후속조치가 필요 4 비용 ㆍ이해관계자의 참여 범위와 깊이에 따라 중간 또는 낮은 비용 소요 5 필요 역량 ㆍ수립 및 활용방안 훈련을 위해 최소 3-5일이 필요하고, 참여적인 방법으로 논리모형을 계획 하고 관리하는 경우 추가적인 기술이 필요 6 소요 시간 ㆍ참여적 과정의 범위와 깊이에 따라 며칠에서 수개월까지 소요 참고자료 ㆍWorld Bank (2000). The Logframe Handbook, World Bank: http://wbln1023/OCS/Quality.nsf/Main/MELFHandBook/$File/LFhandbook.pdf ㆍGTZ (1997). ZOPP: Objectives-Oriented Project Planning: http://www.unhabitat.org/cdrom/governance/html/books/zopp_e.pdf 모니터링과 평가: 도구, 방법 및 접근방식 7 04. 이론기반 평가 (Theory-Based Evaluation) 이론기반 평가는 논리모형 접근방식과 유사하지만, 프로젝트의 작동, 즉 “프로그램 이론(program theory)” 또는 “프로그램 논리(program logic)” 에 대해 보다 심층적 로 이해가 가능하다는 점에서 차이가 있다. 특히, 이론기반 평가는 단순한 선형적인 인과관계를 가정할 필요가 없다. 예를 들어, 교사 수를 늘려서 문해력(literacy) 수준을 향상시키고자 하는 정부 프로그램이 성공하기 위해서는 다양한 요인이 작용해야 한다. 그 요인에는 교실 및 교과서의 이용 가능성, 부모, 교장 및 학생의 반응, 교사의 교수법과 의욕, 추가로 교사가 배치될 수 있는 지역인지의 여부, 정부 기금의 신뢰성 등이 있다. 프로그램의 성공에 중요하다고 생각되는 결정요인을 파악하고, 이들이 어떻게 상호작용하는지 밝혀냄으로써, 프로그램 집행 중 어떤 단계를 모니터링 할 것인지 결정하고 실제로 어떻게 진행되는지 진행상황을 점검할 수 있다. 그리고 성공요인들이 작동하지 않았다는 데이터를 확인하는 경우, 프로그램이 목표 달성에 성공할 가능성이 낮다는 결론을 도출하게 된다. 1 활용 목적 ㆍ복잡한 프로젝트 또는 프로그램 활동의 mapping ㆍ기획 및 관리 개선 Monitoring and Evaluation: Some Tools, Methods & Approaches 8 The World Bank 2 장점 ㆍ무엇이 효과적인지 여부와 이유에 대한 조기 피드백 가능 ㆍ문제가 발생하는 즉시 조기 수정 가능 ㆍ프로그램의 의도치 않은 부작용을 파악하도록 지원 ㆍ집중적인 데이터 수집 또는 정교한 모니터링 및 평가 기술을 통해 심층조사가 필요한 이슈의 우선순위를 설정할 수 있도록 지원 ㆍ프로그램의 영향에 대한 평가 기반 제공 3 단점 ㆍ활동의 규모가 크거나, 요인 및 가정이 지나치게 많이 파악되는 경우, 복잡해질 수 있음. ㆍ결정요인의 중요도에 대해 이해관계자마다 의견이 분분할 수 있으며, 해당 문제 해결에 시간이 많이 소요 4 비용 ㆍ중간 수준의 비용이 소요됨. 프로그램의 작동 논리를 파악하기 위해 필요한 데이터의 조사 범위와 심층 정도에 따라 소요비용이 결정됨. 5 필요 역량 ㆍ이론기반 평가의 기획과 실행을 위한 훈련에 최소 3-5일 소요 6 소요 시간 ㆍ프로그램 또는 활동의 지속 기간, 모니터링 및 평가 작업의 깊이, 분석의 깊이에 따라 상이 모니터링과 평가: 도구, 방법 및 접근방식 9 참고자료 ㆍWeiss, Carol H. (1998). Evaluation. Prentice Hall, New Jersey, Second Edition. ㆍWeiss, Carol H. (2000). “Theory-based evaluation: theories of change for poverty reduction programs.” In O. Feinstein and R. Picciotto (eds.), Evaluation and Poverty Reduction. Operations Evaluation Department,The World Bank, Washington, D.C. ㆍMayne, John (1999). Addressing Attribution Through Contribution Analysis: Using Performance Measures Sensibly. Office of the Auditor General of Canada working paper, Ottawa: http://www.oag-bvg.gc.ca/domino/other.nsf/html/99dp1_e.html Monitoring and Evaluation: Some Tools, Methods & Approaches 10 The World Bank 05. 공식설문조사 (Formal Survey) 공식 조사는 신중하게 선정된 인구 또는 가구 표본으로부터 표준화된 정보를 수집하는 데 이용된다. 조사를 통해 특정 목표 집단에서 상대적으로 많은 수의 사람들로부터 비교 가능한 정보를 수집할 수 있다. 1 활용 목적 ㆍ전략, 프로그램 또는 프로젝트의 성과를 비교할 수 있는 기초선(baseline) 자료 제공 ㆍ특정 시점에서의 서로 다른 집단 간 비교 ㆍ동일 집단에서의 시간 경과에 따른 변화 비교 ㆍ프로그램 또는 프로젝트 설계 시점에 설정한 목표치(target)와 실제 상황의 비교 ㆍ특정한 공동체 또는 집단의 상황에 대한 설명 ㆍ프로그램 또는 프로젝트의 영향을 평가하기 위해 핵심 투입물 제공 ㆍ빈곤 감소 전략 수립의 기반으로 빈곤 수준 평가 2 장점 ㆍ인터뷰/설문을 실시한 표본으로부터 발견된 사항을 보다 넓은 범위의 목표집단 또는 인구에 적용(일반화) 가능 ㆍ대상 프로그램 또는 프로젝트로 인한 영향의 규모와 분포에 대해 정량적 추정 가능 모니터링과 평가: 도구, 방법 및 접근방식 11 3 단점 ㆍCWIQ(The Core Welfare Indicators Questionnaire)를 제외하고는, 오랜 기간 동안 수집된 정보를 얻을 수 없는 경우가 종종 존재 ㆍ대규모 조사의 경우 컴퓨터를 사용할 수 있는 경우에도 데이터 처리와 분석에서 종종 병목현상 발생 ㆍLSMS와 가구설문조사는 비용과 시간이 많이 소요 ㆍ많은 종류의 정보를 확보하기 어려움. 4 비용 ㆍCWIQ의 경우 가구당 대략 30-60 달러, LSMS는 가구당 170 달러까지 비용이 소요됨. 대상 국가 또는 지역에 대한 표본 추출틀(master sampling frame)이 없다면 비용은 상당히 증가함. 5 필요 역량 ㆍ표본추출 및 질문지 설계, 데이터 분석 및 처리 기술이 필요 6 소요 시간 ㆍ표본 크기에 따라 상이. CWIQ는 2개월 내에 완료 가능. LSMS는 일반적으로 18개월에서 2년 소요 Monitoring and Evaluation: Some Tools, Methods & Approaches 12 The World Bank 설문조사 일부 유형 다주제 가구조사(Multi-Topic Household Survey) (Living Standards Measurement Survey, LSMS라고도 함) - 정책수립 시 근거로 활용하기 위해 다양한 측면의 생활 수준에 대한 데이터를 수집하는 다주제 통합조사이다. 조사의 범위는 지출, 가구 구성, 교육, 건강, 고용, 출산, 영양, 저축, 농경 활동, 기타 소득원 등이다. 단일 주제 가구조사는 보다 좁은 범위의 주제를 깊이있게 다룬다. 핵심복지지표설문지(Core Welfare Indicators Questionnaire, CWIQ) - 서로 다른 인구집 단의 사회적 지표 - 특히 사회 ㆍ경제적 서비스의 접근성, 이용도 및 만족도 지표 - 변화를 측정하는 가구조사이다. 이 조사를 매년 반복해서 수행하는 경우, 프로그램 또는 프로젝트 활동 설계를 개선하고, 빈곤층에 대한 서비스 목표를 설정하며, 활동 수행을 빠르고 효과적으 로 모니터링 할 수 있다. CWIQ조사 30일 이내에 예비결과를 얻을 수 있다. 고객 만족도 조사(Client Satisfaction Survey) (또는 서비스 제공조사(Service Delivery Survey)) - 고객경험에 기반해 정부 서비스의 성과를 평가하는 데 이용된다. 해당 조사는 고객이 공공 서비스 이용 시 직면하는 제약, 서비스의 품질과 적절성에 대한 고객의 견해, 정부 관료의 반응에 대해 조명한다. 해당 조사는 주로 정부 부처 또는 기관이 수행한다. 시민보고서카드(Citizen Report Card) - 일부 국가에서 NGO, 연구소 등이 수행한다. 서비스 제공조사와 유사하게, 해당 조사 역시 일반 시민들이 겪는 부패 정도를 조사하였다. 주목할만 한 점은 발견사항을 널리 알린다는 점이다. 참고자료 ㆍSapsford, R. (1999). Survey Research. Sage, Newbury Park, CA. ㆍCore Welfare Indicators Questionnaire: http://www4.worldbank.org/afr/stats/cwiq.cfm ㆍLSMS: http://www.worldbank.org/lsms/ ㆍClient Satisfaction Surveys: http://www4.worldbank.org/afr/stats/wbi.cfm#sds ㆍCitizen Report Cards: http://lnweb18.worldbank.org/ESSD/sdvext.nsf/60ByDocName/ CitizenReportCardSurveysANoteontheConceptandMethodology/$FILE/CRC+SD+note.pdf 모니터링과 평가: 도구, 방법 및 접근방식 13 06. 간이 / 신속평가방법 (Rapid Appraisal Methods) 간이/신속 평가방법은 의사결정자의 정보 요구에 대응하기 위하여, 수혜자 및 기타 이해관계자의 견해와 반응을 빠르고, 경제적으로 수집할 수 있는 방법이다. 1 활용 목적 ㆍ프로젝트 또는 프로그램 관리 시 의사결정을 위한 신속한 정보 제공 ㆍ복잡한 사회ㆍ경제적 변화, 고도로 상호작용하는 사회적 상황 또는 사람들의 가치, 동기 및 반응에 대한 정성적 이해 가능 ㆍ보다 공식적인 방법으로 수집된 정량적 데이터의 배경에 대한 이해 제고 2 장점 ㆍ저렴한 비용 ㆍ신속한 수행 가능 ㆍ새로운 아이디어를 탐색할 수 있는 유연성 Monitoring and Evaluation: Some Tools, Methods & Approaches 14 The World Bank 3 단점 ㆍ특정 공동체 또는 지역에 대한 발견사항으로 일반화가 어려움. ㆍ공식조사보다 타당성과 신뢰성이 떨어짐. 4 비용 ㆍ채택된 방법의 규모에 따라 저비용에서 중간비용 소요 5 필요 역량 ㆍ비구조적 인터뷰, 집단토의, 현장 관찰, 메모 작성 및 기초적인 통계 기술 6 소요 시간 ㆍ4주에서 6주 소요, 인터뷰 대상 인구의 규모 및 지역 그리고 관찰 현장의 수에 따라 상이 간이/신속평가방법 핵심정보제공자 인터뷰(key informant interview) – 해당 주제에 대한 지식과 경험을 보유한 개인을 선정해, 일련의 개방형 질문을 제시하는 방법이다. 정성적이고, 심층적이며, 반구조화 된 인터뷰를 활용한다. 인터뷰 담당자는 나열된 주제 또는 질문의 가이드라인을 참고하여 인터뷰를 진행한다. 초점그룹 토론(Focus group discussion) – 유사한 배경을 가진 8-12명의 참여자를 선정해, 토론을 실시하도록 한다. 예를 들어, 참여자는 수혜자 또는 프로그램 관리직원 등으로 구성할 수 있다. 진행자는 토론 가이드를 이용한다. 메모 작성자는 참여자들이 언급한 사항과 관찰된 사항을 기록한다. 모니터링과 평가: 도구, 방법 및 접근방식 15 공동체 집단 인터뷰(Community group interview) – 공동체의 모든 구성원이 참여할 수 있는 열린 회의에서 일련의 질문을 제시하거나 또는 그룹 토론을 실시한다. 인터뷰 담당자는 준비된 설문지를 따른다. 직접관찰(Direct observation) – 프로그램 현장에서 보고 들은 것을 관찰양식에 기록한다. 진행중인 활동, 절차, 토론, 사회적 상호작용, 관찰 가능한 결과에 대한 정보를 파악할 수 있다. 미니 조사 (Mini survey) – 제한된 수의 폐쇄형 질문으로 구성된 구조화된 설문지를 이용해 50-75명에게 실시된다. 응답자 선택은 무작위 또는 ‘의도적’(보건의료 조사를 위해 병원과 같은 장소에서의 이해관계자 인터뷰)으로 구성된다. 참고자료 ㆍUSAID. Performance Monitoring and Evaluation Tips, #s 2, 4, 5, 10: http://www.usaid.gov/pubs/usaid_eval/#02 ㆍK. Kumar (1993). Rapid Appraisal Methods.The World Bank, Washington, D.C. . Monitoring and Evaluation: Some Tools, Methods & Approaches 16 The World Bank 07. 참여적 방법 참여적 방법은 프로젝트, 프로그램 또는 전략에 대한 의사결정에 이해관계자가 적극적으로 참여하도록 함으로써, 모니터링 및 평가 결과와 제언사항 도출에 있어 주인의식을 배양할 수 있다. 1 활용 목적 ㆍ지역적 조건과 지역 주민의 관점을 반영하고, 지속가능한 프로젝트 활동의 설계를 위해 우선순위를 파악 ㆍ프로젝트 수행 단계에서 발생하는 문제점과 해결 과정에서의 문제점을 파악 ㆍ프로젝트, 프로그램 또는 정책의 평가 ㆍ빈곤층의 권한 강화(empowerment)를 위한 지식 및 기술 제공 2 장점 ㆍ프로젝트 설계 단계에서 핵심 당사자의 참여를 통해 관련 이슈 조사 가능 ㆍ파트너십 구축 및 프로젝트의 현지 주인의식 확립 ㆍ현지 학습, 관리역량 및 기술 향상 ㆍ프로젝트 관리 시 의사결정을 위한 신뢰할 수 있는 정보를 적시에 제공 모니터링과 평가: 도구, 방법 및 접근방식 17 3 단점 ㆍ보다 덜 객관적인 방법으로 간주되기도 함. ㆍ핵심 이해관계자가 유의미한 방식으로 참여하는 경우 시간이 많이 소요 ㆍ일부 이해관계자가 자신의 이익을 증진시키기 위해 지배 및 오용할 가능성 존재 4 비용 ㆍ낮거나 중간 수준의 비용 소요. 적용의 범위와 깊이, 현지 자원의 기여도를 어떻게 평가할 것인가에 따라 비용차이가 크게 남. 5 필요 역량 ㆍ참여적 방법 기획 및 수행을 위한 최소 수일간의 훈련 6 소요 시간 ㆍ적용의 범위 및 깊이에 따라 상당한 차이 존재 일반적으로 사용되는 참여적 도구 이해관계자 분석(stakeholder analysis) - 대부분의 참여적 연구 및 사회평가의 출발점이다. 활동에 참여하는 다양한 사람들의 권력관계, 영향력 및 이해관계를 이해하고 누가, 언제 참여하는지 이해하는 데 사용된다. 참여적 농촌 평가(Participatory rural appraisal) - 도시 및 농촌의 지역주민과 외부자 간의 학습공유에 중점을 둔 계획 접근법이다. 개발사업의 관리자와 지역 주민이 공동으로 협력하여 적절한 프로젝트 활동을 계획할 수 있게 한다. 이때 종종 시각적 기술을 이용하여 문맹인 사람도 참여할 수 있도록 한다. Monitoring and Evaluation: Some Tools, Methods & Approaches 18 The World Bank 수혜자 평가(Beneficiary assessment) - 프로젝트 수혜자 및 기타 이해관계자와의 체계적인 협의를 통해 이루어진다. 이를 통해 개발 프로젝트의 발굴 및 설계가 가능하며, 이해관계자의 참여 제약요인을 파악하고 반영할 수 있다. 참여적 모니터링 및 평가(Participatory monitoring and evaluation) - 문제 파악, 정보 수집 및 분석, 제언 도출을 위하여 다양한 이해관계자들이 함께 협력하는 방법이다. 참고자료 ㆍGuijt, I. and J. Gaventa (1998). Participatory Monitoring and Evaluation. Institute of Development Studies, University of Sussex, Brighton, U.K.: http://www.ids.ac.uk/ids/bookshop/briefs/brief12.html ㆍhttp://www.worldbank.org/participation/partme.htm . 모니터링과 평가: 도구, 방법 및 접근방식 19 08. 공공지출 추적조사 (Public Expenditure Tracking Surveys, PETS) 공공지출 추적조사는 공적 자금의 흐름을 추적하고 자원이 실제로 의도한 수혜집단에 도달하는 정도를 파악한다. 해당 조사에서는 다양한 수준의 정부기관, 특히 보건과 교육 같은 사회서비스 제공 담당 부서까지의 자금의 공급방식, 공급수량 및 시기를 조사한다. PETS는 종종 서비스의 품질, 시설의 특성 및 관리, 인센티브 구조 등에 집중하는 대규모의 서비스 전달 및 시설 조사의 일부로 도입된다. 1 활용 목적 ㆍ서비스 전달 차원의 문제에 대한 정량적인 진단 ㆍ지연, 자금 누출 및 부패에 대한 증거 제공 2 장점 ㆍ재무정보가 거의 없는 경우 책임성을 확보할 수 있도록 지원 ㆍ서비스 전달을 위한 자금흐름에 있어 관료적인 병목현상을 정확히 파악함으로써 서비스 관리를 향상시킴. Monitoring and Evaluation: Some Tools, Methods & Approaches 20 The World Bank 3 단점 ㆍ정부기관이 회계장부 공개를 꺼릴 수 있음. ㆍ비용이 상당함. 4 비용 ㆍ공적지출 추적조사를 수행할 수 있도록 국가적 역량을 구축할 때까지 높은 비용이 소요될 수 있음. 예를 들어, 우간다에서 최초 PETS를 수행하는 데 소요된 비용은 교육부문에서 60,000달러, 보건부문은 100,000달러였음. 5 필요 역량 ㆍ표본추출 및 설문지 설계, 데이터 분석 및 처리기술, 평가대상 분야에 대한 올바른 이해가 필요 6 소요 시간 ㆍ5-6개월 소요(설문조사에만 1-2개월 소요) 참고자료 ㆍhttp://www1.worldbank.org/publicsector/pe/trackingsurveys.htm 모니터링과 평가: 도구, 방법 및 접근방식 21 09. 비용편익 및 비용효과분석 (Cost-Benefit and Cost-Effectiveness Analysis) 비용편익 및 비용효과 분석은 어떤 활동에 소요되는 비용이 기대되는 성과 및 영향으로 정당화될 수 있는지 측정하는 도구이다. 비용편익분석은 투입과 산출물을 화폐단위로 전환하여 비교한다. 비용효과분석은 투입에 대해서는 화폐단위로 측정하고, 산출물에 대해서는 화폐단위가 아닌 기타 양적 방식으로 측정한다(학생의 읽기능력 점수 향상 등). 1 활용 목적 ㆍ가장 효율적인 자원 할당 방식을 파악 ㆍ투입 대비 가장 높은 편익을 제공하는 프로젝트를 식별 가능 2 장점 ㆍ프로그램 또는 프로젝트의 효율성을 평가할 수 있는 우수한 접근방식 ㆍ프로그램 또는 프로젝트의 설계 단계에서 명확하지 않았거나 간과될 수 있던 경제적 가정을 명확히 해줌. ㆍ프로그램 또는 프로젝트 활동을 통한 혜택이 분명하다는 확신을 통해 정책 입안자와 공여기관을 설득하는 데 유용 Monitoring and Evaluation: Some Tools, Methods & Approaches 22 The World Bank 3 단점 ㆍ상당한 기술을 요하며, 적절한 재정 및 인적 자원이 요구됨. ㆍ비용편익 계산을 위해 필요한 데이터의 확보가 어려울 수 있고, 가정에 따라 프로젝트 결과가 크게 달라질 수 있음. ㆍ특히 편익을 계량화하기 힘든 프로젝트의 경우 결과에 대한 신중한 해석이 필요 4 비용 ㆍ분석 범위 및 데이터 확보 가능성에 따라 비용은 크게 상이 5 필요 역량 ㆍ분석방법이 상당히 기술적임. 경제성 분석과 관련한 경제 및 비용 데이터의 확보, 조사 및 분석에 대한 기술을 요함. 6 소요 시간 ㆍ분석범위와 데이터 가용성에 따라 소요시간은 크게 상이 참고자료 ㆍBelli, P., et al. (2000). Economic Analysis of Investment Operations: Analytical Tools and Practical Applications.The World Bank, Washington, D.C. ㆍGOOD PRACTICE EXAMPLES OF COST-BENEFIT ANALYSIS: http://kms.worldbank.org/edunet/TEN_DIMENSIONS/DIM_4/cb_ce.htm 모니터링과 평가: 도구, 방법 및 접근방식 23 10. 영향평가 (Impact Evaluation) 영향평가는 프로그램 또는 프로젝트가 대상 가구, 기관 및 환경에 미친 긍정 또는 부정, 의도적 또는 비의도적 효과를 체계적으로 파악하는 방법이다. 영향평가는 대상 프로젝트 활동이 빈곤층에 미치는 범위와 이들의 복지에 영향을 미치는 정도에 대해 보다 명확히 이해할 수 있도록 도와준다. 영향평가는 다양한 규모로 기획ㆍ시행할 수 있다. 프로젝트 수혜집단과 통제집단(非 수혜집단)에서 추출한 대규모 샘플로 프로젝트 시행 전후, 시행 기간 중의 특정 시점에 설문조사를 실시해 비교할 수도 있고, 집단 인터뷰, 핵심 정보제공자, 사례연구 및 2차 데이터 활용 방법 등을 조합하는 소규모 신속평가와 참여적 평가 방법으로 시행할 수도 있다. 1 활용 목적 ㆍ(해당 프로젝트 외의) 다른 외부적 요인으로 인한 변화와 구별해 프로젝트의 성과 및 영향을 측정 가능 ㆍ프로젝트 활동 비용의 정당성을 명확히 판단하는 데 유용 ㆍ프로젝트, 프로그램 또는 정책의 확대, 수정 또는 중단 여부를 결정할 수 있도록 정보 제공 ㆍ미래 활동의 설계 및 관리 능력 향상을 위한 교훈 제공 ㆍ대안 프로젝트 활동과의 효과성 비교 ㆍ결과의 책무성 강화 Monitoring and Evaluation: Some Tools, Methods & Approaches 24 The World Bank 2 장점 ㆍ서로 다른 인구집단, 지역 또는 시간경과에 따른 프로젝트의 성과와 영향에 대한 평가 제공 ㆍ가장 핵심적인 개발 질문 중 일부(어느 정도까지 변화를 만들 수 있는지, 현장에서의 결과는 어떠한지, 어떻게 효과를 높일 수 있는지)에 대한 해답을 제공 ㆍ체계적이고 엄격한 분석으로 관리자와 정책입안자의 의사결정을 뒷받침 3 단점 ㆍ보다 신속하고, 경제적인 접근방식도 사용하나, 일부 접근방식은 비용과 시간이 매우 많이 소요 ㆍ의사결정권자가 신속한 정보를 필요로 하는 경우 유용성 감소 ㆍ(사업 대상지역/인구와 매우 유사하지만, 사업을 수행하지 않거나 사업시행으로 인한 영향을 받지 않는) 적절한 비교군 선정이 어려움. 4 비용 ㆍ세계은행이 시행한 많은 영향평가에서 프로젝트의 규모, 복잡성 및 데이터 수집에 따라 200,000 – 900,000 달러의 비용이 소요. 보다 단순하고 신속한 영향평가는 100,000 달러 이하의 훨씬 낮은 비용으로 수행할 수 있으며, 일부 사례에서는 10,000 – 20,000달러에도 수행한 경우가 존재 5 필요 역량 ㆍ사회과학 연구의 설계, 관리, 분석 및 보고에 있어 상당한 기술이 필요하며, 평가팀에서 정량적ㆍ정성적 연구기술의 균형을 확보하는 것이 필요 모니터링과 평가: 도구, 방법 및 접근방식 25 6 소요 시간 ㆍ최대 2년 이상 소요. 신속 측정 평가의 경우 종종 6개월 이내에 수행 가능 영향 평가 설계의 예 프로젝트 수혜집단과 통제집단(비수혜집단)에서 여러 차례 정보를 수집하는 무작위 평가설계를 통해 프로젝트 영향에 대한 가장 엄격한 통계 분석을 실시하여 (프로젝트 이외의) 기타 요소로 인한 영향을 구분해서 파악할 수 있다. 하지만 실제 상황에서는 비용, 시간, 방법론적 또는 윤리적인 제약의 이유로 이러한 설계를 사용하는 경우는 많지 않다. 따라서 대부분의 영향평가에서는 보다 덜 엄격하고, 보다 낮은 비용이 소요되는 평가 설계를 이용한다. 다음의 표에서는 개발사업에 대한 4가지 영향평가 설계 방식을 기술하고 있다. 첫 번째는 무작위 평가설계이고, 두 번째는 프로젝트 수혜집단의 특성과 가능한 유사하지만 “동일하지 않은(non-equivalent)” 통제집단을 선정해서 수혜집단과 비교하는 준실험적 설계, 세 번째는 프로젝트가 시행된 이후 프로젝트 수혜집단과 “동일하지 않은(non-equivalent)” 통제집단을 비교하는 경우이다. 네 번째는 집단 인터뷰, 핵심 정보 제공자, 사례연구 및 2차 데이터를 조합하는 신속평가방법이다. 첫 번째에서 네 번째 모델로 갈수록 방법론적인 엄격성이 감소하지만, 비용 및 시간을 절감할 수 있다 추가정보 ㆍBaker, J. (2000). Evaluating the Poverty Impact of Projects: A Handbook for Practitioners. The World Bank, Washington, D. C. http://www.worldbank.org/poverty/library/impact.htm ㆍWorld Bank Web site on impact evaluation: http://www.worldbank.org/poverty/impact/ ㆍRoche, C. (1999) Impact Assessment for Development Agencies: Learning to Value Change. Oxfam, Oxford. Monitoring and Evaluation: Some Tools, Methods & Approaches 26 The World Bank <표1> 4가지 영향평가 모델 모델 설계 예시 비용, 시간 평가 대상(가족, 학교, 공동체 등)은 프로 수자원 공급과 위생, 영향이 관찰되기 위 젝트 수혜(실험)집단 및 통제집단으로 무 또는 공급보다 수요 해 필요한 기간에 따 무작위 사전 사후 작위 배정된다. 설문지 또는 기타 데이터 가 많으며 수혜자가 라 1년에서 5년의 시 테스트 평가 수집(신체 계측, 학교 성적 테스트 등)은 추첨을 통해 선정되 간이 소요된다. 비용 (Randomized 프로젝트 이전과 이후에 두 집단 모두를 는 주거, 공동체 인프 은 대상 프로젝트의 pre-test post-test 대상으로 실시된다. 프로젝트 수행 중 관 라 등 기타 서비스의 규모와 복잡성에 따 evaluation) 찰방법을 추가적으로 진행할 수 있다. 제공. (예: 볼리비아 라 5만-100만 달러 사회기금) 정도 소요될 수 있다. 프로젝트 집단 및 무작위 배정이 불가능한 경우, 프로젝트 이 모델은 엘살바도 모델1과 소요되는 비 통제집단의 비교 수혜집단과 최대한 가까운 통제집단을 선 르, 잠비아, 세네갈 용 및 시간이 유사하 전후의 준실험적 택한다. 때로는 프로젝트 참여자가 선정 및 필리핀에서 세계 다. 설계 된 공동체 유형에서 선택된다. 프로젝트 은행의 저비용 주택 (Quasi-experimental 의 여러 단계가 진행된 경우라면, 후속단 프로그램에 적용되 design with before 계에서 선택된 참여자는 프로젝트의 첫 었다. and after 번째 단계 집단에 대한 대조집단으로 이 comparisons of 용될 수 있다. project and control populations) 데이터는 프로젝트 수혜자를 대상으로 수 방글라데시의 마이 5만 달러 이상으로, 집되며, 모델2와 같이 비동일 통제집단이 크로크레딧 프로그 대개 모델1 또는 모 프로젝트 집단과 선택된다. 데이터는 오직 프로젝트가 수 램의 영향평가에서 델2를 이용하는 비교 비동일 통제집단 행된 이후에만 수집된다. 두 집단 간 속성 미소금융프로그램 연구의 1/3 에서 1/2 간의 사후 비교 차이를 통계적으로 제어하기 위해 다변량 을 운영중인 마을과 정도 소요된다. (Ex-post 분석이 종종 이용된다. 프로그램을 운영하 comparison of 지 않는 유사한 마을 project and 을 비교하였다. 인도 non-equivalent 네시아 공동체 운영 control group) 상수도 프로젝트의 평가 일부 평가는 프로젝트에 영향을 받는 집 인도네시아 공동체 2만5천 달러 이상(인 단만 연구하는 반면, 일부는 통제집단을 운영 상수도 프로젝 도네시아 사례에서 포함해서 비교분석을 실시하기도 한다. 트의 평가 는 15만 달러 소요)으 참여적 방법은 집단이 결과로 인해 발생 로, 일부 연구는 1-2 하는 변화 및 프로젝트로 인한 수혜의 대 개월내에 완료된다. 신속 사후 영향 평가 상 또는 소외된 인구, 프로젝트의 장단점 1년 이상이 소요되는 (Rapid assessment 을 포착하는 데 보조로 이용될 수 있다. 경우도 있다. ex-post impact 삼각검정법은 집단정보와 핵심 정보제공 evaluations) 자의 의견, 나아가 2차 자료에서 가용한 정보를 비교하는 데 이용된다. 개인 또는 집단에 대한 사례연구는 변화과정에 대한 심층적인 이해를 제공하기 위해 진행될 수 있다. 모니터링과 평가: 도구, 방법 및 접근방식 27 모니터링 및 평가에 관한 추가 참고자료 World Wide Web sites ㆍWorld Bank Evaluation, Monitoring and Quality Enhancement: http://www.worldbank.org/evaluation/ ㆍMonitoring & Evaluation Capacity Development: http://www.worldbank.org/oed/ecd/ ㆍMonitoring and Evaluation News: http://www.mande.co.uk/ Monitoring and Evaluation: Some Tools, Methods & Approaches 교육자료 ISBN : 978-89-6469-503-6 93330 2018-03-265 13449 경기도 성남시 수정구 대왕판교로 825 Tel. 1588-0434, Fax. 031)7400-247 http://www.koica.go.kr