DEPARTAMENTO DE AVALIAÇÃO DAS OPERAÇÕES DO BANCO MUNDIAL - AVALIAÇÃO DO DESENVOLVIMENTO DA CAPACIDADE 24614 MONITORIZAÇÃO B A N C O M U N D I A L 1818 H Street, N.W. & Washington, D.C. 20433, U.S.A. Telefone: 202-477-1234 Fax: 202-477-6391 Telex: MCI 64145 WORLDBANK MCI 248423 WORLDBANK Internet: www.worldbank.org AVALIAÇÃO: Departamento de Avaliação de Operações Grupo para o Desenvolvimento do Conhecimento, Programas e Capacidade de Avaliação (OEDKE) E-mail: eline@worldbank.org Telefone: 202-458-4497 Algumas Ferramentas, Métodos e Abordagens Fax: 202-522-3125 MONITORIZAÇÃO & AVALIAÇÃO: Algumas Ferramentas, Métodos e Abordagens Banco Mundial Washington, D.C. www.worldbank.org/oed/ecd N Agradecimento A primeira edição deste relatório foi preparada por Mari Clark e Rolf Sartorius (Impacto Social). Ao grande número de Funcionários do Banco Mundial que prestaram uma contribuição significativa para a sua preparação, apresentamos os nosso reconhecido agradecimento, incluindo Francois Binder, Osvaldo Feinstein, Ronnie Hammad, Jody Kusek, Linda Morra, Ritva Reinikka, Gloria Rubio e Elizabeth White. Esta segunda edição inclui uma discussão mais profunda sobre a avaliação do impacto, preparada por Michael Bamberger (consultor). O Chefe do Projecto encarregado de finalizar este relatório foi Keith Mackay. Copyright © 2004 The International Bank for Reconstruction and Development/THE WORLD BANK 1818 H Street, N.W. Washington, D.C. 20433, U.S.A. Todos os direitos reservados. Produzido nos Estados Unidos da América As opiniões expressas neste relatório não representam necessariamente o parecer do Banco Mundial ou dos seus países membros. O Banco Mundial não garante a precisão dos dados incluídos nesta publicação e não aceita qualquer responsabilidade por qualquer tipo de consequências resultantes resultantes do seu uso. As fronteiras, cores, denominações ou qualquer outra informação constante de qualquer mapa neste volume não implicam nenhum julgamento por parte do Grupo Banco Mundial quanto à situação legal de qualquer território nem o endosso ou aceitação de tais fronteiras. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 3 Índice Aspectos Gerais da M&A . . . . . . . . . . . . . . . . . . . . . . . . .5 Indicadores de Desempenho . . . . . . . . . . . . . . . . . . . . . . .6 A Abordagem do Enquadramento Lógico . . . . . . . . . . . . . .8 Avaliação Baseada na Teoria . . . . . . . . . . . . . . . . . . . . . . . .10 Levantamentos Formais . . . . . . . . . . . . . . . . . . . . . . . . . . .12 Métodos de Avaliação Rápidos . . . . . . . . . . . . . . . . . . . . .14 Métodos Participativos . . . . . . . . . . . . . . . . . . . . . . . . . . .16 Levantamentos para Detectar as Despesas Públicas . . . . . . .18 Análise da Relação Custo-Benefício e de Eficácia em Função do Custo . . . . . . . . . . . . . . . . . . . .20 Avaliação do Impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . .22 Recursos Adicionais sobre Monitorização e Avaliação . . . . .25 D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 5 ASPECTOS GERAIS DA M&A: ALGUMAS FERRAMENTAS, MÉTODOS E ABORDAGENS PARA MONITORIZAÇÃO E AVALIAÇÃO A monitorização e avaliação (M&A) PROPÓSITO das actividades de desenvolvimento proporciona às entidades governamentais, gestores do desenvolvimento e sociedade civil meios aperfeiçoados para aprenderem à custa das experiências passadas, melhorarem a prestação de serviços, planearem e afectarem recursos e demonstrarem resultados às partes interessadas, como parte do processo de responsabilização. Na comunidade de desenvolvimento, o centro da atenção está nos resultados-- o que ajuda a explicar o interesse crescente na M&A. No entanto, ainda há muita confusão quanto ao teor da M&A. O objectivo dos Aspectos Gerais da M&A é aumentar o conhecimento e o interesse na M&A e esclarecer o que isso comporta. Encontrará um resumo de uma amostra de ferramentas, métodos e abordagens de M&A descritos neste documento, incluindo o seu propósito e uso, vantagens e desvantagens, custos, qualificações e tempo exigido e referências chave. Os que aqui se ilustram incluem vários métodos de recolha de dados, enquadramentos analíticos e tipos de avaliação e análise. Nos Aspectos Gerais da M&A discutem-se: Indicadores de desempenho A abordagem do enquadramento lógico Avaliação baseada na teoria Levantamentos formais Métodos de avaliação rápidos Métodos participativos Levantamentos para detectar as despesas públicas Análise de custo-benefício e de eficácia em função do custo Avaliação do impacto Esta lista não é nem pretende ser exaustiva. Algumas destas ferramentas e abor- dagens são complementares, outras funcionam como substitutas. Algumas têm uma aplicação vasta, enquanto outras têm um campo de utilização muito restrito. A escolha da via apropriada para um determinado contexto vai depender de uma série de considerações. Nestas incluem-se os fins a que se destina a M&A, os principais interessados em conhecer as conclusões da M&A, a urgência com que se precisa das informações e o custo. N 6 Indicadores de Desempenho O que são? Os indicadores de desempenho são medidas de factores de produção, processos, produtos, resultados e impactos relacionados com projectos, programas ou estratégias de desenvolvimento. Quando são apoiados por uma análise e relatório sólidos dos dados recolhidos adequadamente, o que pode envolver levantamentos formais, os indicadores permitem que os gestores detectem o progresso registado, demonstrem os resultados e tomem medidas correctivas para melhorar a prestação do serviço. A participação dos principais interessados na definição dos indicadores é importante porque é mais provável que compreendam e utilizem os indicadores para tomarem decisões de gestão. Para que fim podem ser usados? Estabelecer metas de desempenho e avaliar o progresso registado na sua consecução. Identificar problemas através de um sistema antecipado de aviso para que se tomem as devidas medidas correctivas. Indicar se há necessidade de uma avaliação ou análise em profundidade. VANTAGENS: Um meio eficaz para medir o progresso alcançado na consecução dos objectivos. Facilita as comparações entre os pontos de referência das várias unidades organizacionais, distritos e ao longo do tempo. DESVANTAGENS: Os indicadores inadequadamente definidos não são boas medidas do sucesso. Tendência para definir demasiados indicadores, ou então indicadores que não disponham de fontes de dados acessíveis, tornam o sistema oneroso, impraticável e provavelmente pouco utilizado. É frequente ter que se escolher entre seleccionar os indicadores óptimos ou desejáveis ou então aceitar os indicadores que podem ser medidos utilizando os dados existentes. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 7 CUSTO: Pode ir de baixo a alto, dependendo do número de indicadores recolhidos, da frequência e qualidade da informação procurada e da abrangência do sistema. QUALIFICAÇÕES NECESSÁRIAS: Recomendam-se vários dias de formação profissional para desenvolver as competências necessárias para definir indicadores práticos. As qualificações destinadas à recolha de dados, análise e elaboração de relatórios e ao sistema de informações da gestão (MIS) são fundamentais para executar os sistemas de monitorização do desempenho. TEMPO NECESSÁRIO: Entre vários dias a vários meses, dependendo da amplitude do processo participativo utilizado para definir os indicadores e a complexidade do programa. A execução dos sistemas de monitorização do desempenho pode levar de 6 a 12 meses. P A R A M A I S I N F O R M A Ç Õ E S : World Bank (2000). Key Performance Indicator Handbook.Washington, D.C. Hatry, H. (1999). Performance Measurement: Getting Results.The Urban Institute, Washington, D.C. N 8 A Abordagem do Enquadramento Lógico O que é? O enquadramento lógico (LogFrame) ajuda a clarificar os objectivos de qualquer projecto, programa ou políticas. Contribui para a identificação dos elos causais esperados--a "lógica do programa"--nesta cadeia de resultados: factores de produção, processos, produtos (incluindo cobertura ou alcançar os vários grupos beneficiários), resultados e impacto. Conduz à identificação de indicadores de desempenho em cada fase desta cadeia, bem como dos riscos que possam impedir a consecução dos objectivos. O LogFrame também é um veículo para atrair parceiros na clarificação de objectivos e na concepção de actividades. Durante a implementação, o LogFrame serve como um instrumento útil para analisar o progresso e tomar medidas correctivas. Para que fim pode ser usado? Melhorar a qualidade dos modelos de projectos e programas, ao exigir a especificação de objectivos claros, o uso de indicadores de desempenho e uma avaliação dos riscos. Resumir a concepção de actividades complexas. Assistir na preparação de planos operacionais pormenorizados. Fornecer uma base objectiva para análise, monitorização e avaliação da actividade. VANTAGENS: Assegurar que os responsáveis pela tomada de decisões façam perguntas fundamentais e analisem os pressupostos e os riscos. Envolver as partes interessadas no processo de planeamento e de monitorização. Quando utilizada com dinamismo, é um instrumento de gestão eficaz para orientar a execução, monitorização e avaliação. DESVANTAGENS: Se for utilizada com muita rigidez, impede a criatividade e a inovação. Se não for actualizada durante a execução, pode tornar-se num instrumento estático que não reflecte as condições em fase de mutação. Formação profissional e acompanhamento subsequente são muitas vezes necessários. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 9 CUSTO: Baixo a médio dependendo da amplitude e da profundidade do processo participativo utilizado para apoiar a abordagem. QUALIFICAÇÕES NECESSÁRIAS: Mínimo de 3 a 5 dias para os facilitadores; necessidade de qualificações adicionais para o planeamento e gestão participativas. TEMPO NECESSÁRIO: Vários dias a vários meses, dependendo da amplitude e profundidade do processo participativo. P A R A M A I S I N F O R M A Ç Õ E S : World Bank (2000).The Logical Framework Handbook,World Bank, http://www.world bank.org/evaluation/logfram/ GTZ (1997). ZOPP: Objectives-Oriented Project Planning--disponível em várias línguas: http://www.gtz.de/pcm/download/english/zopp_e.pdf N 10 Avaliação Baseada na Teoria O que é? A avaliação baseada na teoria tem muitas semelhanças com a abordagem LogFrame mas permite uma compreensão muito mais profunda do mecanismo de um programa ou actividade--a "teoria do programa" ou "lógica do programa". Em particular, não tem que assumir uma simples relação linear de causa a efeito. Por exemplo, o sucesso de um programa governamental para melhorar os níveis de alfabetização através do aumento do número de professores pode depender de um grande número de factores. Entre outros, contam-se a existência de salas de aulas e livros escolares, as prováveis reacções dos pais, directores das escolas e alunos, qualificações e entusiasmo dos professores, distritos em que se localizam os professores adicionais, a fiabilidade do financiamento governamental, etc. Ao traçar os factores determinantes ou causais considerados importantes para o sucesso e ao modo como podem actuar entre si, pode decidir-se quais os passos que precisam de ser monitorizados à medida que o programa se desenvolve, para avaliar como se comportam na realidade. Permite-se assim que se identifiquem os factores críticos para o êxito. E quando os dados demonstrarem que não se alcançaram estes factores, é razoável concluir que o programa tem uma probabilidade menor de atingir com sucesso os seus objectivos. Para que fim pode ser usado? Projectar a concepção de actividades complexas. Melhorar o planeamento e gestão. VANTAGENS: Oferece uma informação precoce sobre o que está ou não a funcionar e por quê. Permite uma correcção imediata dos problemas, mal eles surjam. Contribui para a identificação dos efeitos colaterais do programa que não estavam contemplados. Ajuda a atribuir o grau de prioridade às questões que devem ser investigadas com mais profundidade, utilizando talvez uma recolha de dados mais focalizada ou técnicas de M&A mais sofisticadas Proporciona uma base para avaliar os impactos prováveis dos programas. DESVANTAGENS: Pode facilmente tornar-se excessivamente complexa se se tratar de uma grande escala de actividades ou então de uma lista exaustiva de factores e pressupostos. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 11 As partes interessadas podem discordar quanto aos factores determinantes que consideram importantes, situação que pode levar imenso tempo a resolver. CUSTO: Médio--depende da profundidade da análise e especialmente do alcance da recolha de dados efectuada para investigar o mecanismo do programa. QUALIFICAÇÕES NECESSÁRIAS: Um mínimo de 3 a 5 dias de formação para os facilitadores. TEMPO NECESSÁRIO: Pode variar muito, dependendo da profundidade da análise, duração do programa ou actividade, e do alcance do trabalho de M&A efectuado. P A R A M A I S I N F O R M A Ç Õ E S : Weiss, Carol H. (1998). Evaluation. Prentice Hall, New Jersey, Second Edition. Weiss, Carol H. (2000). "Theory-based evaluation: theories of change for poverty reduction programs." In O. Feinstein and R. Picciotto (eds.). Evaluation and Poverty Reduction. Operations Evaluation Department,TheWorld Bank,Washington, D.C. Mayne, John. (1999). Addressing AttributionThrough Contribution Analysis: Using Performance Measures Sensibly. Office of the Auditor General of Canada working paper, Ottawa: http://www.oagbvg. gc.ca/domino/other.nsf/html/99dp1_e.html N 12 Levantamentos Formais O que são? Os levantamentos formais podem ser utilizados para recolher informações padronizadas de uma amostragem, cuidadosamente seleccionada, de pessoas ou lares. Os levantamentos recolhem, frequentemente, informações comparáveis referentes a um número relativamente grande de pes- soas em grupos alvo determinados. Para que fins podem ser usados? Fornecer dados básicos que permitam comparar o desempenho da estratégia, programa ou projecto. Comparar grupos diferentes num momento determinado. Comparar alterações no mesmo grupo, ao longo do tempo. Comparar condições actuais com as metas estabelecidas num modelo de programa ou projecto. Descrever condições numa comunidade ou grupo específico. Fornecer um contributo essencial para uma avaliação formal do impacto de um programa ou projecto. Avaliar os níveis de pobreza como base para a preparação de estratégias para a redução da pobreza. VANTAGENS: As conclusões da amostragem de pessoas entrevistadas podem ser aplicadas ao grupo alvo mais amplo ou à população como um todo. Podem ser feitas estimativas quantitativas para a dimensão e distribuição dos impactos. DESVANTAGENS: À excepção da prática de CWIQ, os resultados normalmente não estão disponíveis durante um longo período de tempo. O processamento e análise de dados pode ser um estrangulamento significativo para os levan- tamentos de maior dimensão, mesmo quando existam computadores. LSMS e levantamentos dos lares são caros e morosos. Vários tipos de informações são difíceis de obter através de entrevistas formais. CUSTO: Varia entre aproximadamente USD 30­60 por lar para o CWIQ e USD 170 por lar para o LSMS. Os custos serão significativamente mais elevados se não existir uma estrutura mestra de amostragem para o país. QUALIFICAÇÕES NECESSÁRIAS: Qualificações técnicas e analíticas sólidas para a concepção da amostragem e do questionário, análise de dados e processamento. TEMPO NECESSÁRIO: Depende da dimensão da amostragem. O CWIQ pode ficar concluído em 2 meses. O LSMS normalmente leva 18 meses a 2 anos. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 13 Alguns Tipos de Levantamentos para monitorizar o desempenho da actividade. Podem obter-se resultados Levantamento dos Lares Abrangendo preliminares 30 dias após o levantamento Vários Tópicos (também conhecido por CWIQ. Levantamento para Medição do Nível de Vida--LSMS) é um levantamento que Levantamento para Determinar o cobre uma série de assuntos e que fornece Grau de Satisfação dos Clientes (ou um meio de se recolherem dados sobre Prestação de Serviços) é utilizado para vários aspectos dos níveis de vida destinados avaliar o desempenho dos serviços do gov- a informarem as políticas a serem tomadas. erno com base na experiência dos clientes. Estes levantamento cobrem: despesas, Os levantamentos dão a conhecer alguns composição dos lares, educação, saúde, dos constrangimentos enfrentados pelos emprego, fertilidade, nutrição, poupança, clientes no acesso aos serviços públicos, as actividades agrícolas, outras fontes de rendi- suas opiniões sobre a qualidade e ade- mento. Os Levantamentos dos Lares de quação dos serviços, e o grau de resposta Tópico Único cobrem uma gama de das entidades oficiais. Estes levantamentos questões mais restrita mas em maior pro- são normalmente conduzidos por um fundidade. ministério ou organismo governamental. Questionário sobre os Indicadores Ful- Boletins com a Apreciação dos crais de Bem-Estar Social (CWIQ) é um Cidadãos (Citizen Report Cards) têm levantamento de lares que mede as alter- sido adoptados pelas ONGs e Grupos de ações registadas nos indicadores sociais Reflexão em vários países. Idênticos aos para diferentes grupos da população-- levantamentos sobre a prestação de serviços, especificamente indicadores de acesso, uti- estas comunicações dos cidadãos têm lização e satisfação com os serviços sociais levado à investigação da corrupção com que e económicos. É um instrumento rápido se deparam. Um aspecto digno de registo e eficaz para se melhorar a concepção da tem sido a publicação generalizada das actividade, direccionar os serviços para os conclusões. pobres e, quando repetido anualmente, P A R A M A I S I N F O R M A Ç Õ E S : Sapsford, R. (1999). Survey Research. Sage, Newbury Park, CA. CoreWelfare Indicators Questionnaire: http://www4.worldbank.org/afr/stats/cwiq.cfm LSMS: http://www.worldbank.org/htm/prdph/lsms Client Satisfaction Surveys: http://www4.worldbank.org/afr/stats/wbi.cfm#sds Citizen Report Cards: http://www.worldbank.org/participation/web/webfiles/ N 14 Métodos de Avaliação Rápidos O que são? Os métodos de avaliação rápidos são acelerados, são uma via de baixo custo para recolha de opiniões e de "feedback" dos beneficiários e outros interessados que permite responder às necessidades de informações dos responsáveis pela tomada de decisões. Para que fim podem ser usados? Prestar informação rápida para a tomada de decisões da gestão, especialmente a nível de projecto ou de programa. Fornecer um entendimento qualitativo das alterações socioeconómicas complexas, situações sociais altamente interdependentes, ou valores, motivações e reacções das pessoas. Fornecer o contexto e interpretação para os dados quantitativos recolhidos por métodos mais formais. VANTAGENS: Baixo custo. Pode ser efectuado rapidamente. Proporciona flexibilidade para explorar novas ideias. DESVANTAGENS: As conclusões normalmente dizem respeito a comunidades ou localidades específicas, sendo assim difícil generalizar as conclusões. Menos válido, fiável e credível dos que os levantamentos formais. CUSTO: Baixo a médio, dependendo da escala dos métodos adoptados. QUALIFICAÇÕES NECESSÁRIAS: Realização de entrevistas não dirigidas, facilitação de grupos, observação no local, tomar notas e qualificações estatísticas básicas. TEMPO NECESSÁRIO: Quatro a seis semanas, dependendo da quantidade e localização da população entrevistada e do número de locais observados. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 15 Métodos de Avaliação Rápidos Entrevista a informadores chave-- facilitada numa reunião aberta a todos uma série de perguntas escritas feitas a os membros da comunidade. O indivíduos seleccionados com base nos entrevistador segue um questionário seus conhecimentos e experiência num cuidadosamente preparado. tema de interesse. As entrevistas são qualitativas, profundas e semi-estrutu- Observação directa--uso de um radas. Assentam em guias sobre formulário de observação detalhado entrevistas que enumeram uma lista para se registar o que se vê e se ouve de tópicos ou de perguntas. num local de programa. A informação pode ser sobre actividades em curso, Discussão no seio de um grupo com processos, discussões, interacções sociais um interesse especializado comum-- e resultados observáveis. uma discussão facilitada entre 8 a 12 participantes, cuidadosamente selec- Mini-levantamento--um questionário cionados, com credenciais semelhantes. estruturado com um número limitado Os participantes podem ser, por exem- de perguntas pertinentes que é plo, beneficiários ou funcionários do administrado a 50-70 pessoas. A programa. O facilitador utiliza um selecção dos entrevistados pode ser guia para a discussão. Os anotadores aleatória ou então "discernida" registam os comentários e as observações. (entrevistas a interessados em locais tais como clínicas para um levantamento Entrevista a um Grupo Comunitário-- sobre cuidados de saúde). uma série de questões e uma discussão P A R A M A I S I N F O R M A Ç Õ E S : USAID. Performance Monitoring and EvaluationTips, #s 2, 4, 5, 10. http://www.usaid.gov/pubs/usaid_eval/#02 K. Kumar (1993). Rapid Appraisal Methods.TheWorld Bank,Washington, D.C. N 16 Métodos Participativos O que são? Os métodos participativos oferecem uma participação activa na tomada de decisões a todos os que tenham um interesse num projecto, programa ou estratégia e dão origem a um sentimento de controlo nos resultados e recomendações da M&A. Para que fins podem ser usados? Conhecer as condições locais e as perspectivas e prioridades das populações locais com vista a conceber intervenções mais satisfatórias e sustentáveis. Identificar problemas e resolver os problemas durante a execução. Avaliar um projecto, programa ou políticas. Fornecer conhecimento e qualificações para atribuir poder à população pobre. VANTAGENS: Examina questões relevantes mediante a participação dos actores principais no processo de concepção. Estabelece parcerias e o controlo local dos projectos. Aumenta o conhecimento local, a capacidade de gestão e as qualificações. Fornece informação pontual e fiável para a tomada de decisões da gestão. DESVANTAGENS: Às vezes são considerados menos objectivos. Morosos se os principais intervenientes estiverem envolvidos de uma forma significativa. Potencialidade para o domínio e uso indevido por parte de alguns intervenientes, com o objectivo de maximizarem os seus próprios interesses. CUSTO: Baixo a médio. Os custos variam grandemente, dependendo da amplitude e profundidade de aplicação e do valor das contribuições locais. QUALIFICAÇÕES NECESSÁRIAS: Um mínimo de vários dias de formação para os facilitadores. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 17 TEMPO NECESSÁRIO: Varia grandemente, dependendo da abrangência e profundidade da aplicação. Instrumentos de Participação Comummente Utilizados Análise das partes interessadas é o frequentemente a técnicas visuais para ponto de partida da maioria dos que as pessoas analfabetas possam exercícios participativos e avaliações participar. sociais. Usa-se para desenvolver um entendimento das relações de poder, Avaliação dos beneficiários implica influência e interesses das várias pessoas uma consulta sistemática com os envolvidas numa actividade e para beneficiários do projecto e outros determinar quem deve participar e interessados com vista a identificar e quando. conceber iniciativas de desenvolvimento, apontar entraves à participação e Avaliação Rural de Carácter fornecer feedback para melhorar os Participativo é uma abordagem de serviços e actividades. planeamento que se centra na partilha de conhecimentos entre as populações Monitorização e Avaliação de Carácter locais, urbanas e rurais e os estranhos à Participativo envolve partes interessadas comunidade. Permite aos gestores do a diferentes níveis, trabalhando em desenvolvimento e à população local conjunto, para identificar problemas, avaliar e planear intervenções apropriadas recolher e analisar informações e pro- de uma forma colaborante, recorrendo duzir recomendações. P A R A M A I S I N F O R M A Ç Õ E S : Guijt, I. and J. Gaventa (1998). Participatory Monitoring and Evaluation. Institute of Development Studies, University of Sussex, Brighton, U.K. http://www.ids.ac.uk/ids/bookshop/briefs/brief12.html http://www.worldbank.org/participation/partme.htm N 18 Levantamentos para Detectar as Despesas Públicas O que são? Os levantamentos para detectar as despesas públicas (Public expenditure tracking surveys - PETS) traçam o fluxo de fundos públicos e determinam em que medida é que os recur- sos atingem de facto os grupos alvo. Os levantamentos examinam o modo, quantidade e cronologia da libertação de recursos aos diferentes níveis do governo, especialmente às unidades responsáveis pela prestação de serviços sociais, tais como saúde e educação. Os PETS são muitas vezes implementados como parte de levantamentos de maior âmbito sobre prestação de serviços e instalações que se centram na qualidade dos serviços, características das instalações, sua gestão, estruturas de incentivos, etc. Para que fins podem ser usados? Diagnosticar quantitativamente problemas relativos à prestação de serviços. Fornecer provas relativas a atrasos, divulgação de informações confidenciais e cor- rupção. VANTAGENS: Apoia a prossecução da responsabilização quando existe pouca informação financeira. Melhora a gestão ao identificar estrangulamentos burocráticos no fluxo de fundos des- tinados à prestação de serviços. DESVANTAGENS: Os organismos governamentais podem ter relutância em mostrar os seus livros contabilísticos. Custo substancial. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 19 CUSTO: Pode ser elevado até que se tenham criado competências nacionais para os efectuar. Por exemplo, os primeiros PETS no Uganda custaram USD 60 000 para o sector da educação e USD 100 000 para o sector da saúde. QUALIFICAÇÕES NECESSÁRIAS: Sólidas qualificações técnicas e analíticas para concepção da amostragem e do questionário, análise e processamento de dados e um bom entendimento do sector a ser avaliado. TEMPO NECESSÁRIO: Cinco a seis meses (só o levantamento leva 1 a 2 meses). P A R A M A I S I N F O R M A Ç Õ E S : http://www1.worldbank.org/publicsector/pe/trackingsurveys.htm N 20 Análise da Relação Custo-Benefício e de Eficácia em Função do Custo O que são? A análise da relação custo-benefício e de eficácia em função do custo são instrumentos que permitem avaliar se os custos de uma actividade podem ou não ser justificados pelos resultados e impactos produzidos. A análise da relação custo-benefício mede os factores de produção e a produção em termos monetários. A análise de eficácia em função do custo estima os factores de produção em termos monetários e os resultados em termos quantitativos não monetários (tais como melhorias registadas nas notas de leitura dos estudantes). Para que fins podem ser usadas? Informar decisões sobre a mais eficiente afectação de recursos. Identificar projectos que ofereçam a taxa de rendimento do investimento mais elevada. VANTAGENS: Abordagem de boa qualidade para estimar a eficiência de programas e projectos. Tornar explícitos os pressupostos económicos que, de outra forma, poderiam continuar implícitos ou ignorados na fase de concepção. Úteis para convencer os responsáveis pela tomada de decisões e os financiadores de que os benefícios justificam a actividade. DESVANTAGENS: Bastante técnica, exigindo disponibilidade de recursos financeiros e humanos adequados. Os dados exigidos para os cálculos custo-benefício podem não existir e os resultados projectados podem ser extremamente dependentes dos pressupostos assumidos. Os resultados têm de ser interpretados com cuidado, especialmente em projectos onde os benefícios são difíceis de quantificar. CUSTO: Varia bastante, dependendo do âmbito da análise e da existência de dados. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 21 QUALIFICAÇÕES NECESSÁRIAS: Os procedimentos utilizados nos dois tipos de análise são frequentemente muito técnicos. Exigem qualificações em análise económica e existência dos dados económicos e de custo relevantes. TEMPO NECESSÁRIO: Varia consideravelmente, dependendo do âmbito da análise e da existência de dados. P A R A M A I S I N F O R M A Ç Õ E S : Belli, P. et al. (2000). Economic Analysis of Investment Operations: AnalyticalTools and Practical Applications.TheWorld Bank,Washington, D.C. GOOD PRACTICE EXAMPLES OF COST-BENEFIT ANALYSIS: http://kms.worldbank.org/edunet/TEN_DIMENSIONS/DIM_4/cb_ce.htm N 22 Avaliação do Impacto O que é? A avaliação do impacto é a identificação sistemática dos efeitos ­ positivos ou negativos, intencionais ou não ­ nos lares, instituições e ambiente causados por uma determinada actividade de desenvolvimento tal como um programa ou projecto. A avaliação do impacto ajuda a compreender melhor em que medida as actividades atingem os pobres e a magnitude dos seus efeitos no bem estar das pessoas. As avaliações de impacto podem ir de levantamentos de amostragens de larga escala, em que se comparam populações do projecto e grupos de controlo antes e depois, e eventualmente em várias ocasiões durante a intervenção do programa, a uma avaliação rápida de pequena escala e a apreciações participativas, onde as estimativas do impacto são obtidas pela combinação das entrevistas aos grupos, informadores essenciais, estudos de casos e dados secundários existentes. Para que fim pode ser usada? Medir os resultados e impactos de uma actividade e saber distingui-los da influência de outros factores externos. Ajudar a esclarecer se os custos de uma actividade se justificam. Informar decisões quanto à expansão, modificação ou eliminação de projectos, programas ou políticas. Colher ensinamentos para melhorar a concepção e gestão de actividades futuras. Comparar a eficácia de intervenções alternativas. Aumentar o grau de responsabilização pelos resultados. VANTAGENS: Fornece estimativas da magnitude dos resultados e impactos para os diferentes grupos demográficos, regiões ou ao longo do tempo. Oferece respostas a algumas das questões mais centrais do desenvolvimento ­ em que medida estamos a fazer diferença? Quais são os resultados no terreno? Como podemos fazer melhor? A análise sistemática e o rigor podem dar aos gestores e aos responsáveis pela adopção de políticas uma confiança acrescida na tomada de decisões. DESVANTAGENS: Algumas abordagens são muito caras e morosas, embora também se usem metodologias mais rápidas e económicas. Utilidade reduzida quando os decisores precisam de informações rápidas. Dificuldades em identificar medidas compensatórias adequadas. D E P A R T A M E N T O D E A V A L I A Ç Ã O D A S O P E R A Ç Õ E S D O B A N C O M U N D I A L D E S E N V O L V I M E N T O D A C A P A C I D A D E D E A V A L I A Ç Ã O 23 CUSTO: Várias avaliações de impacto do Banco Mundial situaram-se na ordem dos USD 200 000 a USD 900 000, dependendo da dimensão do programa, complexidade e recolha de dados. Podem ser efectuadas avaliações de impacto mais simples e mais rápidas por uma quantia significativamente inferior a USD 100 000 e, em alguns casos, até mesmo por USD 10 000 a USD 20 000. QUALIFICAÇÕES NECESSÁRIAS: Profundas qualificações técnicas em concepção de pesquisa de ciências sociais, gestão, análise e elaboração de relatórios. O ideal seria o equilíbrio entre qualificações de pesquisa quantitativas e qualitativas por parte da equipa de avaliação. TEMPO NECESSÁRIO: Pode levar 2 ou mais anos. As avaliações para uma apreciação rápida podem frequentemente ser conduzidas em menos de 6 meses. EXEMPLOS DE MODELOS DE AVALIAÇÃO DE IMPACTO Uma avaliação aleatória das concepções, envolvendo a recolha de informações sobre projectos e grupos de controlo em duas ou mais ocasiões, fornece a análise estatística mais rigorosa dos impactos do projecto e da contribuição de outros factores. Mas na prática é quase impossível usar estas concepções por razões de custo, tempo e limitações metodológicas ou éticas. Assim, a maior parte das avaliações de impacto utilizam concepções menos caras e menos rigorosas. O quadro seguinte descreve quatro abordagens para modelos de avaliação de impacto na apreciação do desenvolvimento. O primeiro é um exemplo de um conceito de avaliação aleatório, o segundo é um modelo quase experimental em que é seleccionado um grupo de controlo "não equivalente" que corresponda tanto quanto possível às características da população do projecto; no terceiro exemplo a população do projecto é comparada com o grupo de controlo não equivalente depois de o projecto ter sido executado; e o quarto é uma avaliação de uma apreciação rápida que combina entrevistas de grupo, informadores chave, estudos de casos e dados secundários. Cada modelo sucessivo sacrifica o rigor metodológico, em troca do qual se conseguem reduções significativas no custo e nas exigências de tempo. P A R A M A I S I N F O R M A Ç Õ E S : Baker, J. (2000). Evaluating the Poverty Impact of Projects: A Handbook for Practitioners.TheWorld Bank,Washington, DC. http://www.worldbank.org/poverty/library/impact.htm World Bank website on impact evaluation: Roche, C. (1999) Impact Assessment for Development Agencies: Learning to Value Change. Oxfam, Oxford. N 24 4 Modelos de avaliação de impacto Modelo Concepção Exemplo Custo e tempo indicativos 1. Avaliação aleatória Os sujeitos (famílias, escolas, comunidades, Abastecimento de água e 1 a 5 anos, dependendo do prévia e posterior ao etc.) são distribuídos aleatoriamente aos gru- saneamento ou prestação de tempo que tem de decorrer teste pos do projecto e de controlo. Administram- outros serviços, tais como antes de se poderem obser- se questionários ou outros instrumentos de habitação, infra-estruturas, var os impactos. O custo recolha de dados (medidas antropométricas, etc. onde a procura exceda a vai de USD 50 000 a USD testes sobre o desempenho das escolas, etc.) a oferta e os beneficiários 1 milhão, dependendo da ambos os grupos, antes e depois da inter- sejam seleccionados por dimensão e complexidade venção do projecto. Podem ainda fazer-se sorteio. Exemplo: Fundo do programa a ser observações adicionais durante a execução do Social da Bolívia. estudado. projecto. 2. Concepção quase Quando não for possível utilizar-se uma via Estes modelos foram aplica- Custo e cronograma seme- experimental com aleatória, selecciona-se um grupo de controlo dos em programas de lhante ao Modelo 1 comparações que reúna o maior número possível de carac- habitação de baixo custo do das populações do terísticas do grupo do projecto. Por vezes, Banco Mundial em El Sal- projecto e dos grupos seleccionar-se-ão os tipos de comunidades de vador, Zâmbia, Senegal e de controlo, feitas onde se extraíram os participantes do pro- Filipinas. antes e depois jecto. Quando os projectos são implementa- do projecto. dos em várias fases, os participantes selec- cionados para fases subsequentes podem ser utilizados como grupo de controlo da primeira fase do projecto. 3. Comparação São recolhidos dados sobre os beneficiários Avaliação dos impactos dos Superior a USD 50 000. ex-post do projecto do projecto e é seleccionado um grupo de programas de micro crédito O custo irá normalmente e grupo de controlo controlo não equivalente, como para o Mo- no Bangladesh. As aldeias de um terço a metade não equivalente. delo 2. Os dados só são recolhidos depois de onde funcionavam os micro de um estudo comparável o projecto ter sido executado. Utiliza-se fre- créditos foram comparadas em que se utilizem os quentemente uma análise multivariada para com aldeias idênticas sem Modelos 1 ou 2. controlar estatisticamente as diferenças nos estes programas de crédito. atributos dos dois grupos. 4. Apreciação rápida Algumas avaliações estudam apenas os grupos Avaliação de projectos de Superior a USD 25 000 (o Avaliações de afectados pelo projecto enquanto outras abastecimento de água na estudo da Indonésia custou impacto ex-post. incluem grupos de controlo equiparados. Indonésia geridos pela USD 150 000). Alguns Podem utilizar-se métodos participativos. de comunidade. estudos são concluídos em modo a permitir que os grupos identifiquem 1 a 2 meses, mas outros as mudanças resultantes do projecto, quem levam um ano ou mais. beneficiou ou não, e quais são os pontos fortes e fracos do projecto. Utiliza-se a trian- gulação para comparar a informação do grupo com as opiniões dos informadores chave e com as informações existentes de fontes secundárias. Podem produzir-se estudos de casos sobre indivíduos ou grupos para se conseguir um entendimento mais aprofundado do processo de mudança. W O R L D B A N K O P E R A T I O N S E V A L U A T I O N D E P A R T M E N T E V A L U A T I O N C A P A C I T Y D E V E L O P M E N T 25 Recursos Adicionais sobre Monitorização e Avaliação Sítios da Internet Avaliação, Monitorização e Melhoria de Qualidade do Banco Mundial: http://www.worldbank.org/evaluation/ Desenvolvimento da Capacidade de Monitorização & Avaliação: http://www.worldbank.org/evaluation/me/ Notícias Sobre Monitorização & Avaliação: http://www.mande.co.uk/news.htm