DISCUSSION PAPER NO. 1218 73703 Building Results Frameworks for Safety Nets Projects Gloria M. Rubio October 2012   Building Results Frameworks for Safety Nets Projects1  Gloria M. Rubio2  October 2012      Abstract  Results chains are useful tools to clarify safety nets programs’ objectives, verify the program  internal  logic,  and  guide  the  selection  of  indicators.   Although  the  recent  trend  has  been  to  focus  mostly  on  outcome  indicators,  indicators  are  needed  at  all  levels  of  the  results  chain  to  better  understand  program  performance.    Ideally,  safety  nets  performance  monitoring  systems  should  build  upon  reliable  program  records  and  be  complemented  with  a  combination  of  tailor�made  data  sources  and  national  surveys.    The  latter  should  be  considered  not  only  for  monitoring  purposes  but  within  a  program  evaluation  agenda.   In  any  case,  it  is  very  important  that  adequate  resources  and  technical  assistance  are  channeled to strengthen institutional capacity for safety nets results�based management.    JEL codes: O220, I380, H830  Keywords: safety net, public assistance, project evaluation, public administration                                                                    1  This paper was commissioned by the Strategy and Results Team of the Social Protection and Labor Unit,  World Bank Human Development Network.  The author is grateful to Maddalena Honorati, Laura Rawlings and  Anush Bezhanyan for providing valuable guidance and comments for this work, to Phillippe Leite and Victoria  Monchuk for peer reviewing, as well as to Marie Chantal Messier, Manuel Salazar, and Kalanidhi Subbarao for  useful feedback on indicators examples. Dung Thi Ngoc Tran assisted with the editing.  2  World Bank Consultant, email: gm_rubio@alumni.princeton.edu  1    TABLE OF CONTENTS  INTRODUCTION ...........................................................................................................................................  4  I.  KEY STEPS IN DEVELOPING RESULTS FRAMEWORKS FOR SOCIAL SAFETY NETS .....................................  5  II.  25  EXAMPLES OF SSN PROGRAMS RESULTS CHAINS AND FRAMEWORKS .................................................  2.1.  UNCONDITIONAL CASH TRANSFER PROGRAMS  26  ...............................................................................................   2.2.  CONDITIONAL CASH TRANSFER PROGRAMS ...................................................................................................   29  2.3.  IN KIND TRANSFER PROGRAMS ...................................................................................................................  33  2.4.  PUBLIC WORKS PROGRAMS .......................................................................................................................  38  2.5.  42  SOCIAL ASSISTANCE REFORM .....................................................................................................................   III.  KEY MESSAGES ...................................................................................................................................  44  47  ANNEX 1: THE ATLAS OF SOCIAL PROTECTION: INDICATORS OF RESILIENCE AND EQUITY ............................  48  REFERENCES ...............................................................................................................................................    BOXES  8  BOX 1: WRITING CLEAR STATEMENTS FOR EACH LEVEL OF THE RESULTS CHAIN .......................................................................  16  BOX 2: DISBURSEMENT LINKED INDICATORS: THE CASE OF ROMANIA SOCIAL ASSISTANCE MODERNIZATION PROJECT ..................  18  BOX 3: MONITORING PROGRAM PERFORMANCE ON GRIEVANCE REDRESS MECHANISMS ..........................................................    FIGURES  6  FIGURE 1: EXPANDED RESULTS CHAIN .............................................................................................................................   7  FIGURE 2: CHAIN OF OUTCOMES ....................................................................................................................................  26  FIGURE 3: RESULTS CHAIN OF A NEEDS�BASED SOCIAL ASSISTANCE PROGRAM ......................................................................  29  FIGURE 4: RESULTS CHAIN OF A CONDITIONAL CASH TRANSFER PROGRAM ...........................................................................  34  FIGURE 5: RESULTS CHAIN OF A SUPPLEMENTARY FEEDING PROGRAM ................................................................................   39  FIGURE 6: RESULTS CHAIN OF A PUBLIC WORKS PROGRAM ...............................................................................................   42  FIGURE 7: RESULTS CHAIN OF A DISABILITY ASSISTANCE REFORM .......................................................................................     TABLES  12  TABLE 1: EXAMPLES OF SERVICE QUALITY INDICATORS .....................................................................................................   15  TABLE 2: EXAMPLES OF INDICATORS FOR MONITORING TARGETING PERFORMANCE ...............................................................  2    23  TABLE 3: COMPARATIVE TABLE OF DIFFERENT DATA SOURCES FOR SAFETY NET PROGRAMS KPI MONITORING ...........................  27  TABLE 4: ALTERNATIVE KPIS FOR A NEEDS�BASED SOCIAL ASSISTANCE PROGRAM .................................................................  30  TABLE 5: ALTERNATIVE KPIS FOR A CONDITIONAL CASH TRANSFER PROGRAM ......................................................................  35  TABLE 6: ALTERNATIVE KPIS FOR A SUPPLEMENTARY FEEDING PROGRAM ............................................................................  40  TABLE 7: ALTERNATIVE KPIS FOR A PUBLIC WORKS PROGRAM ...........................................................................................   43  TABLE 8: ALTERNATIVE KPIS FOR A DISABILITY ASSISTANCE REFORM ...................................................................................         3    Introduction  Managing for results usually involves specifying expected results and aligning processes and  resources  behind  them,  as  well  as,  ongoing  monitoring  and  evaluation  (M&E),  and  continuous  feedback  to  improve  performance.    Results  frameworks  are  critical  tools  for  results�based  management.    They  help  in  clarifying  and  getting  consensus  on  programs’  expected  results  and  making  explicit  the  theory  of  change  behind  them.    Results  frameworks also provide the basis for program M&E.   This  paper  seeks  to  provide  guidance  to  individuals  preparing  social  safety  net  (SSN)  projects, particularly World Bank staff, on how to build results frameworks for results�based  management.  The paper is divided in three sections.  The first section reviews the key steps  in  developing  a  results  framework.    Specifically,  it  discusses  critical  aspects  in  outlining  a  results  chain,  selecting  key  performance  indicators  (KPIs)  for  SSN  programs,  and  presents  alternative  data  sources  for  performance  monitoring.    The  second  section  provides  examples  of  results  chains  and  results  frameworks  for  the  main  types  of  SSN  programs,  namely,  conditional  and  unconditional  cash  transfer  programs,  public  works  programs  (PWP),  and  in�kind  transfer  programs.    Each  link  in  the  results  chain  includes  alternative  indicators,  the  corresponding  data  source  and  suggested  monitoring  frequency.   However,  examples  of  final  outcome  indicators  are  excluded  since  they  are  outside  the  direct  influence  of  the  program,  and  the  appropriate  timing  for  their  measurement  is  likely  to  be  beyond  the  timeframe  considered  in  a  project  lifespan.    The  final  section  concludes  by  summarizing  the  key  messages  in  developing  results  frameworks  for  SSN  programs.  4    I. Key Steps in Developing Results Frameworks for Social Safety Nets  Step 1: Outlining the results chain  Results  chains  are  useful  tools  to  make  explicit  the  basic  theory  behind  the  achievement  of  program  objectives.    Outlining  the  results  chains  involves  depicting  the  series  of  logical  steps of cause and effect that link the inputs, activities and outputs of an intervention to the  desired  development  impacts.3   This  paper  retakes  the  traditional  longer  version  of  the  results  chain  and  adds  a  few  more  links  to  make  explicit  the  service  quality  dimension  and  the  different  levels  of  expected  outcomes  in  an  intervention  (see  Figure  1).   The  following  components should be considered in the preparation of a results chain:   Inputs  identify  the  resources  available  or  required  by  the  program.    For  example,  they include staff from the ministry, institution and/or local government responsible  for operating the program; the budget allocated to the program; equipment and the  central and local facilities where the program operates.    Activities are the main tasks that need to be carried out to  deliver each output.  For  safety net programs, key activities usually include program outreach and application;  beneficiaries’  selection  (targeting)  and  enrollment;  payment  delivery;  periodic  eligibility reassessment; and M&E.    Outputs  are  the  goods  or  services  delivered  through  program  activities.   They  lead  to  desired  outcomes  but  are  not  themselves  the  program  intended  changes.  Examples of outputs delivered in safety nets programs are cash or in�kind transfers.   Quality of service delivery is a performance dimension of program’s output delivery.  Nonetheless  it  is  included  in  the  results  chain  to  emphasize  the  importance  of  program  goods  and  services  quality  in  achieving  program  outcomes,  particularly  medium  and  long�term  outcomes.   For  safety  nets,  service  quality  refers  to  service                                                               3  A  good  results  chain  is  not  only  based  in  logic  or  common  sense.    It  should  draw  on  analysis,  existing  evidence  and  on�the  ground  expertise.   When  the  formulation  of  a  results  chain  is  mostly  based  on  common� sense,  its  validity  should  be  tested  through  an  impact  evaluation.   It  should  also  be  noted  that  results  chains  implicitly rely on the possibility to disaggregate a highly complex process into a series of relatively simple steps  of cause and effect.  5    accessibility,  fair  treatment,  cultural  awareness,  mechanisms  to  solve  complaints  and disputes, service integration and exit and reentry provisions.     Figure 1: Expanded Results Chain  Inputs Activities Outputs Quality of  Short� Interme� Final • Financial, • Actions • Products Service   term  diate Outcome human, taken or resulting Delivery Outcome Outcome • Long-term and other work from resources performed activities goals • Relevance • Changes • Further mobilized to convert and quality resulting changes • Higher to support inputs into of goods from use of resulting order activities specific and outputs by from longer impact outputs services target or • Budget,  population sustained • Multiple  staffing,  • Main tasks  • Goods and  • Accessibility,  use of drivers;  services  fair  outputs program  other  undertaken  resources to produce  produced  treatment,  • Not fully contributes  goods and  and  redress  under the • Not fully along with  delivered control of under the other  services  mechanisms,  control of implementing interventions service  agency implementing integration agency          Source: Adapted from Rubio 2011     Outcomes  are  the  intended  changes  or  differences  made  for  individuals,  groups,  families,  organizations,  systems  or  communities  as  a  result  of  the  program.  Outcomes  represent  the  results  or  impacts  that  are  expected  to  occur  because  of  program  activities  and  outputs.   Different  outcomes  may  require  different  maturity  times,  and  thus  be  observed  in  different  time  periods  (see  Figure  2).   For  example,  increased  school  attendance  may  be  a  change  in  beneficiaries’  behavior  that  can  be  expected shortly after the delivery of conditional cash transfer (CCT) programs.  This  may  not  be  the  only  intended  outcome.    After  the  cash  transfers  have  been  delivered  over  more  than  one  school  year,  it  may  be  reasonable  to  expect  an  increase  in  grade  completion  rates,  and  eventually,  one  may  observe  a  higher  transition  rate  from  primary  to  secondary  school.    Over  a  long  enough  period  one  6    could  expect  the  CCT  program  to  contribute  �along  with  other  interventions�  to  a  higher  level  outcome  such  as  the  reduction  in  the  inter�generational  poverty  transmission.   Recognizing  that  not  all  changes  are  linear  in  nature,  it  may  be  useful  to distinguish between short�term, intermediate and final outcomes:   Short�term  outcomes  or  immediate  effects  are  changes  expected  to  occur  immediately  or  shortly  after  program’s  output  delivery.    They  may  not  be  ends in themselves, but are necessary steps toward desired results.   Intermediate  outcomes are further changes in beneficiaries that are likely to  be  observed  as  a  result  of  a  longer  or  sustained  use  of  program  goods  or  services.    They  may  also  result  from  multiplier  effects  of  short�term  outcomes.   Final outcomes or long�term outcomes are higher order impacts to which the  program,  along  with  other  interventions,  is  expected  to  contribute.   Usually,  final  outcomes  will  occur  beyond  the  timeframe  considered  in  a  project  lifespan and are hard to attribute to the program.     Figure 2: Chain of Outcomes      Source: Adapted from Innovation Network, Inc.    7    Finally,  it  may  be  useful  to  standardize  the  way  in  which  the  hierarchy  of  project  objectives  is described in results chains.  Box 1 presents the principles used in logframe preparation.    Box 1: Writing Clear Statements for Each Level of the Results Chain  Borrowing  advice  from  the  logframe  preparation  guidelines,  a  useful  convention  for  describing  the  hierarchy of project objectives in results chains is the following:   (i) For the Final Outcome to be expressed as ‘To contribute to…..’  (ii)  The  Intermediate  and  Short�term  Outcomes  to  be  expressed  in  terms  of  benefits  to  the  target group being ‘Increased/improved/ etc……….’   (iii)  Outputs  to  be  expressed  in  terms  of  a  tangible  result  ‘delivered/produced/conducted  etc’,  and   (iv) Activities to be expressed in the present tense starting with an active verb, such as ‘Prepare,  design, construct, research …..’    Objective hierarchy  Example of how to write statements  Final outcome  To  contribute  to  reduce  the  intergenerational  transmission of chronic poverty  Intermediate outcome  Improved educational attainment  Improved health status  Short�term outcome  Strengthened human capital investment behavior   Output  Cash transfers delivered  Activities  Process program applications  Select program beneficiaries  Integrate beneficiary registry  Process cash transfer payments  Implement control mechanisms  Recertify beneficiaries  Inputs  US$X million dollars  One central and X local offices equipped and staffed    Source: Adapted from European Commission 2004    Step 2: Selecting key performance indicators  Once the program results chain has been outlined, the next task is to identify indicators that  might  be  used  to  measure  and  report  on  the  achievement  of  the  objectives  established  in  each link of the results chain.  Indicators should be selected for all levels of the results chain,  8    meaning  that  indicators  are  needed  to  monitor  progress  with  respect  to  inputs,  activities,  outputs, quality of service and the different outcome levels.  However, there is a need to be  selective  about  the  indicators  chosen  to  make  the  process  of  assessment  and  reporting  more manageable.   Selecting  KPIs  should  include  specifying  the  calculation  formula,  defining  the  frequency  for  their  monitoring,  as  well  as  the  data  sources  and  the  institutional  responsibilities  for  their  measurement and reporting (see steps 3 and 4).  As a general rule, the lower the indicator is  in  the  results  chain  the  more  often  it  is  monitored.    Whereas  input,  activity  and  output  indicators  may  be  monitored  quarterly  or  even  more  often,  outcome  indicators  are  usually  measured  annually  or  every  two  to  three  years.   The  monitoring  frequency  depends  on  the  information needs for decision making and data availability.  Input Indicators   In  many  applications  of  the  logical  framework  approach,  such  as  the  logframe,  the  input  level  is  omitted.    Nonetheless,  at  least  one  input  indicator  is  never  missing  in  program  or  project  monitoring,  that  is,  some  measure  of  progress  in  budget  spending.    The  actual  specification  of  the  indicator  may  vary  slightly,  for  example,  the  percentage  of  loan  disbursement  with  respect  to  the  total  loan,  or  the  percentage  of  actual  loan  disbursement  with  respect  to  the  planned  disbursement  during  a  given  period.    In  Bank  projects,  for  example,  progress  in  loan  disbursement  is  automatically  reported  in  the  implementation  supervision  report.    Although  budget  spending  indicators  do  not  measure  in  any  way  to  what  extent  program  expected  results  have  been  achieved,  they  are  critical  measures  of  program implementation progress.  Activities or Process Indicators   The  treatment  of  activities  or  process  indicators  is  not  uniform  across  methodological  guidelines.    Some  guidelines  recommend  measuring  activities  costs  or  implementation  schedules,  while  others  omit  measuring  activities  altogether.   However,  increased  interest  9    in  service  quality,  governance  and  institutional  development  issues  calls  for  measuring  the  soundness  and  efficiency  of  key  program  operational  procedures.   In  the  case  of  safety  net  interventions,  the  following  are  some  common  operational  procedures  across  programs  that may require performance monitoring.  Program  application  and  beneficiary  selection.    Program  application,  beneficiary  selection  and  enrollment  processes  matter  for  program  targeting  results,  and  presumably,  for  final  outcomes such as poverty reduction.  To what extent these processes are applied according  to  simple,  well�defined  and  sound  administrative  procedures  are  relevant  issues  for  performance measurement.  Activity indicators in this area may also measure the efficiency  in  the  application,  beneficiary  selection  and  enrollment  processes.    Examples  of  such  indicators  are  the  average  duration  of  the  application  process  or  the  percentage  of  applications that are complete and consistent with the operations manual.  Payment  processing.    Compliance  with  rules  defining  cash  or  in�kind  transfers’  delivery  arrangements,  periodicity,  processes,  amounts,  and  so  on  is  an  important  aspect  of  program  performance.    Activity  indicators  in  this  area  may  also  measure  the  efficiency  in  benefits  delivery  process.    Examples  of  such  indicators  are  the  average  cost  of  food  distribution,  the  percentage  errors  in  payments  processing;  or  the  percentage  of  payments  on hold for more than X months.  Exit  and  recertification.    Performance  measurement  should  consider  observance  with  rules  regarding  duration  of  benefits,  recertification  frequency  and  processes.   Activity  indicators  in this area may also measure the efficiency in the recertification process.  Examples of such  indicators  include  the  average  cost  per  beneficiary  recertification  or  the  percentage  of  beneficiaries recertified within the period established in the operations manual.  Information  management.    A  well�functioning  management  information  system  (MIS)  allows  a  systematic  registry  of  beneficiaries  and  benefits  delivery  record  keeping,  both  are  indispensable for program management and minimizing human error in benefits processing.   Program  performance  monitoring  should  check  the  completeness,  reliability  and  adequate  10    operation  of  the  MIS.    Examples  of  activities  indicators  related  to  the  MIS  include  the  percentage  of  local  government  units  that  use  the  MIS  to  process  applicants’  registration  and beneficiary selection, the average time to update MIS records, or the development and  testing of an MIS comprising X, Y and Z modules.   Control mechanisms.  Control mechanisms along the operational processes are instrumental  to  minimize  error  and  fraud,  as  well  as  to  strengthen  performance  management.    These  include  a  range  of  activities  such  as  household  information  verification,  database  cross� checks,  performance  audits,  and  M&E.    Examples  of  performance  measures  of  control  mechanisms are the percentage of suspected cases of error and fraud that are investigated;  the  percentage  of  programs  with  a  performance  audit  conducted  at  least  every  X  months;  or the implementation of a grievances, complaints, and appeals system.  In  addition,  there  are  other  critical  processes  that  are  specific  to  particular  SSN  programs  that will be discussed in section II.  Examples of such processes include monitoring condition  compliance  in  CCT  programs;  project  selection  and  supervision  in  PWPs;  and  food  distribution in in�kind food transfer programs.   Output Indicators  Output  level  indicators  should  measure  the  effectiveness  and  efficiency  in  delivering  the  goods  and  services  produced  by  the  program.    At  least  two  sets  of  indicators  should  be  considered  at  the  output  level:  program  coverage  and  benefits  delivery.   Program  coverage  can be measured in absolute and relative terms.   The total number of direct beneficiaries is  an  absolute  measure  of  program  magnitude  in  terms  of  coverage.4   In  addition,  program  coverage can be measured in relation to the intended number of beneficiaries given budget  and  logistical  constraints.    This  is  the  coverage  rate,  a  key  performance  dimension  of  program  implementation  progress.    When  the  coverage  rate  is  low,  program  implementation  has  not  succeeded  in  reaching  the  intended  scale.    Finally,  it  is  useful  for                                                               4  World Bank 2012b provides detailed guidance on measuring the number of beneficiaries of SSN programs.  11    benchmarking  to  know  the  share  of  the  population  that  participates  in  the  program,  as  a  whole and by quintiles of welfare distribution5.  An indicator of program effectiveness in benefits delivery is the percentage of individuals in  the  beneficiary  roster  who  received  the  cash  transfer  in  the  last  payment  period.  Two  additional  indicators  may  be  considered  for  program  benchmarking:  (i)  the  average  per  capita transfer among program beneficiaries for the population and by quintiles; and (ii) the  value  of  the  transfers  received  divided  by  the  total  consumption  or  income  of  the  beneficiaries6.    Section  II  includes  additional  examples  of  output  indicators  according  to  program type.  Service Quality Indicators  There  are  a  number  of  service  quality  dimensions  that  may  be  considered  as  part  of  program performance monitoring.  For example, the adherence to service quality standards,  service accessibility, fair treatment, and the adequate functioning of grievances and redress  mechanisms  are  service  quality  dimensions  that  may  be  relevant  for  program  participation  and outcomes (see Table 1).  Table 1: Examples of Service Quality Indicators  Service Quality  Indicators Dimension  Service quality   Percentage of staff – client interaction in a given day in which staff performed  standard setting  according to service quality standards  and performance  Service  Affordability  accessibility   Travel time and transportation costs to facilities   Application and enrollment costs   Average time required for program application and enrollment   Individual’s perception of ease of service accessibility and paperwork required  (Continued)                                                                 5  See the World Bank Social Protection ASPIRE (www.worldbank.org/spatlas ) for measurement details.  6  Loc cit.  12    Table 1: Examples of Service Quality Indicators (Continued)   Service Quality  Indicators Dimension  Service  Physical, spatial and functional accessibility accessibility   Convenience of location and access (% of facilities in close proximity to public  (continued)  transport, with clear signage, level access, that are compliant with accessibility  regulations for people with physical disabilities)    Convenience of facilities (e.g. % of facilities with adequate waiting areas which  accommodate children, are properly maintained, sanitary, completely  operational, fully stocked and supplied).   Posting and observance of operation hours (e.g. % of facilities with posted  operation hours, % of facilities with staffed information/registration counters  during business hours at random visits)   Convenience of operation hours (% of beneficiaries who consider operation  hours convenient)  Socio�cultural accessibility   Ratio of the number of beneficiaries who have difficulties communicating in the  official language and the number of trained interpreters or bilingual staff   Individual’s perception of service provision in a manner sensitive to the age, sex,  ethnic, and linguistic background of each person  Privacy, dignity   Percentage of staff – client interaction in a given day in which staff performed  and  satisfactorily (i.e. listen to client’s request/question and provide complete,  confidentiality  knowledgeable, accurate, precise information regarding the inquiry)   Individual’s perception of respectful, honest and professional treatment   Individuals’ perception of discrimination   Number of complaints of abusive treatment (trend over time)  Cultural   Percentage of staff who have knowledge of the social and cultural groups  awareness  represented in the target population and an understanding of those social and  historical factors relevant to their current circumstances   Individuals’ perception of services delivered in a manner which is sensitive to  their social and cultural beliefs, values and cultural practices  Complaints and   Percentage of local offices that publicized regularly information on the number  disputes  and type of complaints, compliments and suggestions received, along with the  improvements made as a result    Percentage of clients (staff) who assess the complaints procedure as satisfactory  or highly satisfactory   Number and type of formal and informal complaints, compliments and  suggestions received   Average time to address a complaint or dispute   Percentage of unresolved complaints or disputes  Service   Percentage of clients who enter other social services through social assistance  integration   Percentage of clients who benefit from coordinated services  Source: Adapted from Rubio 2011  13    Outcome Indicators  Outcome  indicators  measure  program  performance  in  achieving  the  intended  changes  in  knowledge, behaviors and conditions.  Unlike output indicators aimed at quantifying goods,  services  and  beneficiaries,  outcome  indicators  measure  the  results  achieved  through  the  provision  of  goods  and  services.   Whereas  outcome  statements  in  the  results  chain  identify  what  is  hoped  to  be  accomplished,  outcome  indicators  specify  what  to  measure  to  determine whether the desired outcomes have been achieved.   Two of the main questions that should be addressed by outcome indicators are: (i) who has  benefited  and  who  has  not;  and  (ii)  how  much  the  knowledge,  behavior,  situation  or  condition  has  changed.    Following  the  results  chain  breakdown,  indicators  can  measure  short�term,  intermediate  and  final  outcomes.   Targeting  accuracy  indicators  are  short�term  outcome  indicators  aimed  at  answering  the  first  question.    For  safety  net  programs,  it  is  critical  to  measure  to  what  extent  poor  households  or  individuals  are  included  or  excluded  from  the  program.    Likewise,  it  is  important  to  assess  program  leakage,  that  is,  to  what  extent individuals or households that are not part of the target population are benefiting by  the program. There should be a clear definition of the target population depending on each  program  design  and  country  circumstances.  For  example,  the  target  population  may  be  defined  as  households  whose  consumption  level  is  below  an  agreed  poverty  line.   Table  2  presents  some  examples  indicators  that  may  be  used  to  monitor  program  targeting  performance.  Most  of  these  indicators  are  part  of  the  Atlas  of  Social  Protection:  Indicators  of  Resilience  and  Equity  (ASPIRE)7 and  require  a  national  household  survey  for  their  measurement.                                                                     7  The World Bank’s ASPIRE includes a set of key indicators for benchmarking social protection and labor  programs using the latest national household survey of countries (see www.worldbank.org/spatlas)  14    Table 2: Examples of Indicators for Monitoring Targeting Performance  Indicator Inclusion  1. % of beneficiaries who belong to the target population (for example, poor households)  Incidence  2. % of program beneficiaries relative to the total number of beneficiaries by quintile of the  post�transfer welfare distribution  3. % of benefits going to each quintile of the post�transfer welfare distribution  Exclusion  4. % of poor population (or target population) who do not participate in the program  Leakage  5. % of beneficiaries who do not belong to the target population (for example, non poor  households)  6. % of benefits going to the non poor population Other  7. Targeting differential: Difference between the participation rate for the poor and the  participation rate for the non poor.  8. Coady�Grosh�Hoddinott indicator: Ratio of the value of transfers going to the poorest to the  (relative) size of the same group in the population.  9. % of poor regions (or target regions) where program coverage is at least X%  10. % of PW projects in target regions Source: Adapted from the Social Protection ASPIRE.    The  second  question  can  be  addressed  through  a  broad  range  of  short�term,  intermediate  and  final  outcome  indicators.    Section  II  provides  several  examples  of  outcome  indicators  for different types of safety net programs.  Disbursement linked indicators   Disbursement  linked  indicators  (DLIs)  are  a  special  case  of  KPI  selection  that  is  used  in  results�based  lending.8   They  are  mostly  output  and  outcome  indicators  that  trigger  project  disbursements based on achievement of project results.  Nonetheless, DLIs may also include  a  few  activities  indicators  that  are  project  implementation  milestones  or  represent  critical  actions  (see  Box  2).    DLIs  selection  follows  the  same  principles  as  any  KPI,  but  they  are                                                               8  Unlike more traditional lending approaches that finance a set of inputs and activities aimed at producing a  certain outcome, results�based lending – also known as performance�based aid or output�based aid – links  disbursements to achievement of results. The idea behind RBL is to shift incentives towards better  performance (Honorati et al. 2011).  15    particularly  demanding  in  terms  of  policy  discussion  and  technical  specifications.    Unlike  other  types  of  lending,  results�based  lending  relies  on  DLIs  definition  and  measurement  for  project  disbursement.    This  implies  a  heightened  commitment  and  shared  understanding  between  all  parties  involved  on  what  are  the  expected  results,  how  they  will  be  measured,  by  whom  and  what  evidence  will  be  provided  to  support  their  achievement.    As  a  consequence, results framework are taken to higher levels of policy discussions and require  the preparation of detailed protocols for each indicator.  Box 2: Disbursement Linked Indicators: The Case of Romania Social Assistance  Modernization Project  The Social Assistance System Modernization project (SASMP) in Romania is aimed at improving the  overall  performance  of  Romania’s  social  assistance  system  by  focusing  on  four  results  areas:  (i)  strengthening  performance  management;  (ii)  improving  equity;  (iii)  enhancing  administrative  efficiency;  and  (iv)  reducing  error  and  fraud.    Results  chains  were  developed  for  each  of  these  areas.  Along  these  results  chains  some  of  the  critical  actions,  outputs  and  outcomes  were  selected  as  DLIs.    Project  disbursements  will  be  triggered  by  the  verified  achievement  of  agreed  specific  results  measured  through  20  DLIs:  three  DLIs  are  critical  actions,  15  are  output  indicators  and  two  are short�term outcomes.  As  an  example,  the  results  area  focused  on  improving  equity  relied  on  a  set  of  reforms  aimed  at  changing  the  program  mix,  modifying  the  eligibility  and  benefits  parameters  of  selected  programs,  and  harmonizing  the  institutional  framework  so  that  by  the  end  of  the  project  there  would  be  a  single,  consolidated  program  for  low�income  households.   The  main  performance  indicator  in  this  results  area  is  the  share  of  funds  accruing  to  the  poorest  quintile.    The  target  is  to  increase  the  share  from  37.7  percent  to  45  percent.   Along  the  improved  equity  results  chain,  three  additional  DLIs were selected to accompany implementation and measure progress, including:   The  percentage  of  beneficiaries  paid  according  to  harmonized  means�testing  procedures  and lower eligibility threshold.    The percentage of beneficiaries paid using a lower replacement income.   The  percentage  of  beneficiaries  enrolled  in  the  new  consolidated  program  for  low�income  households.  These indicators will use a combination of data sources including program payment records as well  as  data  from  the  annual  Household  Budget  Survey  conducted  by  the  National  Statistical  Institute.   The  reform  includes  a  strong  technical  assistance  component  aimed  at  improving  the  information  system  of  the  benefits  payment  agency  and  strengthening  the  capacity  of  the  National  Statistical  Institute to  develop a regular statistical  bulletin  to  track  the targeting accuracy of the largest social  assistance programs.  Source: World Bank 2011    16    Step 3: Identifying data sources  Indicators  for  measuring  program  performance  are  diverse  and  require  a  variety  of  data  sources.    The  selection  of  indicators  should  consider  the  costs  and  feasibility  of  collecting  performance data with the desired frequency.  As a general rule, KPI monitoring will always  involve special efforts either to collect new data, to improve the timeliness and reliability of  existing  data,  and/or  to  develop  data  analysis  capacity,  reporting  procedures  and  formats.   Thus,  it  is  important  to  plan  for  resources  and  technical  assistance  to  support  data  collection,  analysis  and  reporting.    The  remaining  of  this  section  will  discuss  the  use,  advantages  and  disadvantages  of  different  data  sources,  considering  different  statistical  capacity settings.  There  are  three  broad  groups  of  data  sources  that  can  be  used  for  program  performance  monitoring: administrative data from program or agency records; tailor�made data sources;  and national surveys (see Table 3).  A comprehensive monitoring along the results chain will  require a combination of these data sources groups.   Administrative  data  from  program  or  agency  records:  Most  agencies  and  programs  routinely record data on beneficiaries and/or transactions for administrative purposes.  The  beneficiary  registry,  case  files,  payment  records,  and  program  supervision  reports  can  be  rich  data  sources,  particularly  for  measuring  input,  activities  and  output  indicators.    For  example, indicators such as the percentage of cash transfers made directly to the recipient’s  account,  administration  costs  and  the  coverage  rate  can  be  measured  through  administrative data.   The  main  advantage  of  administrative  records  is  that  they  are  readily  available  at  relatively  low  cost.   However,  the  timeliness,  quality  and  objective  measurement  of  these  data  may  be  heterogeneous  across  agencies  and  across  countries.    Modifications  to  existing  record  collection processes are often needed to generate relevant, comparable, reliable and timely  performance information (see Box 3).   17    Box 3: Monitoring Program Performance on Grievance Redress Mechanisms  The  following  example  seeks  to  illustrate  the  kind  of  modifications  to  existing  administrative  data  that  may  be  required  to  monitor  a  particular  indicator.    Complaints  and  disputes  resolution  is  an  important  service  quality  dimension  that  may  be  monitored  using  the  average  response  time  to  address  a  complaint.    This  indicator  may  be  measured  through  a  beneficiary  survey  (with  an  oversample of individuals who filed a complaint) or through administrative data.  The latter could be  a  less  expensive  alternative,  but  it  will  definitely  require  some  modifications  to  existing  record  collection  process.   Collecting  data  on  program  response  time  to  complaints  may  require  modifying  program procedures and information systems to ensure that the following are provided:   Date of receipt of the complaint   Definition of what constitutes a satisfactory response to a complaint   Date of completion of response   Data�processing  procedures  to  calculate  and  record  the  time  between  receipt  of  complaint  and completion of response   Data�processing  procedures  for  averaging  individual  response  time  records  into  an  aggregate program performance measure  Thus,  it  is  possible  to  monitor  a  number  of  indicators  using  administrative  data.   However,  most  of  the  time,  it  will  be  necessary  to  make  adjustments  to  program  procedures  and  information  systems  to obtain the required data.  Source: Adapted from Hatry 1999    Although  agency  and  program  records  are  a  relatively  low  cost  alternative  compared  to  fielding  a  survey,  they  are  not  exempt  from  requiring  some  investment.   In  particular,  the  use  of  administrative  data  for  performance  monitoring  may  entail  equipment  and  software  upgrading;  personnel  training;  and  technical  assistance  aimed  at  standardizing  data  collection  and  operational  procedures,  and  implementing  regular  data  quality  assessments.  Investments required to use administrative data for KPI monitoring depend on the program  starting  point.    Some  social  assistance  programs  in  some  countries  have  well  developed  management  information  systems  that  could  be  adapted  relatively  easy  for  KPI  monitoring.  In  other  cases,  management  information  systems  are  inexistent  or  unreliable  and  will  require a major overhaul to enable their use for performance monitoring.  There  may  be  a  correlation  between  a  country’s  statistical  capacity  and  its  programs’  MIS  readiness  for  KPI  monitoring.    However,  there  may  be  large  variations  across  programs  within  the  same  country  depending  on  several  factors  including  how  recently  the  program  18    was  created,  their  previous  experience  with  M&E,  and  whether  it  has  received  donor  funding.   In  Mexico,  for  example,  Oportunidades  has  a  well  functioning  MIS  that  supports  every  day  program  operation  and  a  mature  M&E  system.    However,  most  other  social  programs  in  Mexico  rely  on  spreadsheets  that  are  manually  updated  with  minimal  standardization on data collection, processing and reporting processes.   The  decision  to  rely  on  administrative  data  for  KPI  monitoring  hinges  upon  program  circumstances, as well as strategic and cost�benefit considerations.  In Romania, monitoring  of  the  social  assistance  modernization  project  DLIs  relies  heavily  on  a  fairly  well  developed  MIS.    Technical  assistance  for  the  project  includes  strengthening  MIS  information  quality  and  functionalities  for  performance  monitoring.    In  Albania,  social  assistance  programs  records’  were  paper  based.  In  this  case,  one  component  of  the  modernization  project  was  aimed  at  building  an  MIS  that  would  support  program  operation  and  provide  information  for  DLI  monitoring.    Although  not  ideal,  there  may  be  other  cases  in  which  a  separate  project MIS system is built and used for KPI monitoring.  In any case, it is important to bear in mind that agency and program records seldom contain  service  quality  and  outcome  data.    Hence,  administrative  data  is  typically  complemented  with other data sources more suitable for measuring outcomes.   Tailor�made  data  sources:  A  number  of  data  sources  can  be  purposely  designed  for  program  evaluation  and  be  used  for  KPI  monitoring.   Statistically  valid  surveys  of  facilities,  beneficiaries  or  households  are  useful  alternatives  to  obtain  information  on  quality  of  services,  some  measures  of  targeting  accuracy  and  changes  in  beneficiaries’  knowledge,  behaviors  or  conditions.    In  addition,  direct  observation  can  provide  information  for  measuring activities and service quality indicators.   These data sources can be adapted up to a certain degree to particular institutional capacity  settings.   However,  they  generally  require  more  time  and  are  more  costly  than  other  forms  of  data  collection.    In  particular,  they  call  for  a  special  expertise  in  data  collection  instruments and sample design, as well as trained personnel and logistical arrangements for  19    the  field  work.    To  the  extent  that  these  data  sources  are  embraced  for  routine  program  M&E, they can survive beyond the project lifespan.  Otherwise tailor�made data sources run  the risk of lacking sustainability.  Below are some examples of tailor�made data sources.9  Beneficiary  or  household  surveys:  A  number  of  indicators  are  aimed  at  measuring  performance  through  participants  experience  with  safety  nets  programs.    Beneficiary  or  household  surveys  collect  data  on  individuals’  behaviors,  knowledge,  perceptions,  practices  and  conditions.    These  data  are  particularly  relevant  for  assessing  service  quality  and  outcome  indicators.   Examples  of  indicators  measured  through  household  and  beneficiary  surveys  include  some  targeting  accuracy  indicators,  transaction  costs  (in  terms  of  money  and  time  spent)  involved  in  program  participation,  service  accessibility,  awareness  of  rights  and obligations, and consumption, health and education outcomes.  In addition, beneficiary  surveys can be useful to cross�check output indicators such as the amount and frequency of  social assistance transfers.  Direct  observation  or  site  inspections:  A  trained  independent  observer  using  a  formalized  checklist,  rating  scales  and  procedures  can  collect  performance  information  on  activities  and  service  quality  indicators.    For  example,  direct  observation  of  key  processes  such  as  program application can provide data on deviations from program rules and procedures.  In  addition to  observation  of in�take interviews, the exercise may collect data on a wide range  of  service  quality  dimensions  such  as  location  of  offices,  information  and  outreach  tools,  conveniences available for people waiting to be interviewed, office open hours, automation,  and so on.   Direct  observation  can  provide  ratings  of  processes  and  conditions  that  may  be  otherwise  difficult  to  measure.   However,  they  are  labor�intensive  procedures  that  require  significant                                                               9  There are other data sources such as focus groups and other qualitative methods that are useful for program  evaluation but may not be commonly used for KPI monitoring.  20    training  and  supervision.   Moreover,  the  presence  of  an  external  observer  is  likely  to  create  Hawthorn effects affecting the performance of program staff.   Facility  surveys:  This  instrument  collects  data  on  the  quality  and  quantity  of  public  services  delivered  and  the  resources  used  to  deliver  them  at  the  facility  level.   For  example,  Public  Expenditure Tracking Surveys (PETS) measure the flow of funds and other resources through  the  system  and  assess  whether  they  result  in  service  delivery.    PETS  can  be  linked  to  Quantitative Service Delivery Surveys (QSDS) that focus more on the quantity and quality of  services  and  the  behavior  of  program  staff.    Although  most  PETS  have  focused  on  health  and education, they can be adapted to social assistance services.   National  household  surveys:  Many  countries  conduct  regularly  different  types  of  national  household  surveys.    Specifically,  income  and  expenditure  surveys,  Household  Budget  Surveys,  Living  Standards  Measurement  Survey  (LSMS)  and  other  multi�topic  surveys  provide  information  on  household  welfare  and  behavior  that  can  be  useful  for  safety  nets  program  monitoring.  These  surveys  are  particularly  helpful  in  calculating  some  outcome  indicators  such  as  poverty  rates,  poverty  targeting  indicators  and  benefits  incidence.   Since  they  rely  on  nationally  representative  samples,  it  is  possible  to  obtain  independent  measures of program coverage, inclusion and exclusion rates.   National  household  surveys  are  typically  administered  by  statistical  offices.    Therefore,  survey  implementation  is  less  of  a  burden  on  individual  agencies  and  there  may  be  cost  savings  associated  with  piggybacking  on  them.    Nonetheless,  they  also  pose  some  challenges.    First,  national  household  survey  data  may  not  be  available  as  often  as  it  is  needed  for  program  performance  monitoring.   It  takes  around  one  year  to  collect,  process,  and  release  the  data  for  analysis.   Moreover,  in  many  countries  national  household  surveys  may not be carried out regularly.  Second, additional work and resources may be needed to  ensure  that  national  survey  data  can  be  useful  for  program  monitoring.    For  example,  survey  sampling  design  may  require  an  oversampling  of  program  beneficiaries,  or  a  special  module  or  questions  may  have  to  be  added  to  identify  program  beneficiaries,  thus  21    increasing the cost of data collection.  Finally, it is possible that the statistical office requires  technical assistance to complete the survey or to analyze the data.  Using  national  household  surveys  for  KPI  monitoring  is  probably  more  difficult  in  low  institutional  capacity  settings.    For  one  thing,  it  is  less  likely  that  household  surveys  are  fielded  annually  or  at  least  every  two  years  in  low  capacity  environments.  Surveys  that  are  conducted  too  far  apart  or  lack  a  regular  schedule  are  unlikely  to  be  good  data  sources  for  KPI  monitoring.    In  these  cases,  investing  in  technical  assistance  for  collecting  tailor�made  data may be a safer choice.  22    Table 3: Comparative Table of Different Data Sources for Safety Net Programs KPI Monitoring  Data Source  Data Collection Instruments  Advantages  Limitations  Administrative data    Beneficiary registry   Useful for input, activities and output   Inadequate to measure outcomes   Payment records  indicators  and service quality.   Case files   Usually readily available   Timeliness, reliability and objectivity   Program supervision reports   Relatively low cost.  may be an issue.   May require investment in  equipment, software, and personnel  training, as well as technical  assistance on operational processes  and data standardization.  Tailor�made data   Facility surveys   Useful for short term and   Require more time and resources.   Household surveys  intermediate outcomes and service   Involve special expertise in data   Direct observation or site inspections  quality monitoring; some activities  collection instruments and sample  indicators may also be measured  design; personnel training; and  through direct observation or site  logistical arrangements for field  inspections  work.   Data collection instruments may be   Data collection may not be sustained  more or less complex to  after project ends.  accommodate different institutional  capacity settings  National household   LSMS type surveys   Useful for outcome monitoring,   Not always available when needed.  surveys   Employment surveys  particularly poverty rates, targeting   Increased cost if program  efficiency and benefits incidence  beneficiaries are oversampled and/or  analysis.  special program module is added.   Statistical office is in charge of   May require technical assistance for  implementation.  survey implementation or data   Potential costs savings, if  analysis.  piggybacking.    Source: Author’s compilation.  23    Step 4: Clarifying roles and responsibilities in M&E  A number of different actors, often from different agencies, participate in the production of  information  for  monitoring  each  KPI.   For  instance,  the  statistical  office may  be  in  charge  of  fielding  a  household  survey  to  collect  consumption  data.    These  data  may  be  processed  later  by  the  planning  unit  at  the  social  assistance  ministry  to  calculate  the  percentage  of  social  assistance  transfers  going  to  the  first  poorest  quintile.    Finally,  this  and  other  indicators may be compiled by the M&E unit at the same ministry to prepare a performance  report for social assistance programs.   It  is  important  to  identify  the  individual  within  the  organizational  chart  of  an  agency  that  will  be  responsible  for  reporting  each  KPI  at  the  agreed  times.   This  person  may  not  be  the  direct  information  producer,  but  should  oversee  the  whole  process  from  data  collection  to  indicator  value  reporting,  and  ensure  that  performance  information  is  available  on  time.  She  or  he  may  also  be  responsible  for  verifying  the  information  reliability  and  conducting  further  analysis  of  time  trends  or  across  regions  or  service  units.    The  same  or  different  individuals  may  be  responsible  for  reporting  each  KPI.    At  a  minimum,  results  framework  should specify the unit and the agency in charge of reporting each indicator.         24    II. Examples of SSN Programs Results Chains and Frameworks  This  section  presents  four  examples  of  results  chains  of  SSN  programs  including  unconditional  and  conditional  cash  transfer  programs,  in�kind  transfers  programs,  and  PWPs.   In  addition,  it  provides  an  example  of  a  results  chain  of  a  social  assistance  reform  project.    Results  chains  will  vary  depending  on  the  specific  project  or  program  design  features  such  as  project  development  objective,  components,  duration,  target  population  and whether it is a new intervention or a reform initiative.  Examples provided are meant to  illustrate the process of outlining results chains and using them for KPI selection.  Each  link  in  the  results  chain  includes  alternative  indicators,  the  corresponding  data  source  and  suggested  monitoring  frequency.    Input  indicators  are  excluded  from  the  tables  since  they  are  common  for  all  programs  and  were  discussed  earlier.    Moreover,  the  review  of  final  outcome  indicators  is  beyond  the  scope  of  this  paper  since  they  are  outside  the  direct  influence  of  the  program,  and  the  appropriate  timing  for  their  measurement  is  likely  to  be  beyond the timeframe considered in a project lifespan.10   Proposed  indicators  are  meant  to  illustrate  some  of  the  alternatives  to  measure  the  results  chain  link  objective.   Examples  are  defined  in  broad  terms  and  need  to  be  better  specified  based  on  particular  program  circumstances  to  obtain  a  SMART  indicator.11   Moreover,  it  is  important to note that indicators for monitoring may be different from indicators used in an  impact  evaluation.    KPIs  tend  to  be  more  straightforward  measures  of  program  performance  and  are  usually  assessed  against  a  target  value,  whereas  impact  evaluation  indicators  are  assessed  against  a  counterfactual  and  sometimes  involve  more  complex  formulas.    Finally,  efforts  were  made  to  harmonize  the  examples  provided  with  other  existing lists of indicators.  However, some indicators were not included as they may not be  measuring  a  results  chain  objective.    The  decision  to  include  such  indicators  in  projects’                                                               10  Despite being excluded from the following examples, final outcome indicators may be considered for policy  analysis and program medium�to�long term M&E activities. Annex 1 includes the full list of Social Protection  Atlas indicators comprising some examples of final outcome measures.  11  SMART indicators are Specific, Measurable, Attributable, Realistic, and Targeted.  25    results  framework  will  depend  on  the  balance  between  achieving  a  manageable  number  of  indicators and the performance information needs.  2.1. Unconditional Cash Transfer Programs  Pure  cash  transfer  programs  may  be  classified  according  to  their  target  population  in  three  groups:  needs�based  social  assistance,  non�contributory  pensions  for  the  elderly  and  family  allowance  programs.   Their  results  chains  are  very  similar  except  for  the  target  population,  and  the  expected  intermediate  outcomes.   Whereas,  family  allowance  programs  are  likely  emphasize  the  increased  human  capital  of  children  as  an  intermediate  outcome,  non� contributory  pensions  may  focus  on  increased  self�reliance  of  the  elderly.   Figure  3  shows  an  example  of  a  needs�based  social  assistance  program  results  chain  and  Table  4  presents  alternative KPIs.    Figure 3: Results Chain of a Needs�based Social Assistance Program      Source: Author’s compilation.  26    Table 4: Alternative KPIs for a Needs�Based Social Assistance Program  Objective/Dimension  Indicators Data source Monitoring  Frequency  Intermediate outcomes  Increased productive   % of beneficiary households who have invested in their family business during  Household survey Every 1�3 years investments among  the last year  (could be a  poor households  national survey)  Increased asset   % of beneficiary households that report the acquisition of physical assets during  Household survey Every 1�3 years accumulation among  the last year  (could be a  poor households  national survey)  Short�term outcomes  Increased consumption   Percentage increase in household consumption  Household survey Every 1�2 years  of poor households  (could be a  national survey)   % of beneficiaries who increased their household consumption levels (in food,  Household survey health, education, etc.) compared to their baseline consumption levels12.  (could be a  national survey)  Targeting accuracy   See Table 2   National  Every 1�2 years  household survey   Service quality     % of individuals considering that service provision is sensitive to the age, sex,  Beneficiary  Quarterly � ethnic, and linguistic background of each person  surveys  Biannual     % of staff – client interaction in a given day in which staff performed  Beneficiary  Quarterly – satisfactorily (i.e. listen to client’s request/question and provide complete,  surveys or direct  Biannual  knowledgeable, accurate, precise information regarding the inquiry)  observation  Cash transfers delivery   % of individuals in the beneficiary roster who received the cash transfer in the  Payment registry Bi�monthly last payment period   Average per capita transfer among program beneficiaries, for the population  National  Every 1�2 years and by quintiles of post�transfer welfare distribution   household survey                                                                 12  If there is an impact evaluation planned for the program, a better indicator would be the increased household consumption compared to the counterfactual  situation.  27    Table 4: Alternative KPIs for a Needs�Based Social Assistance Programs (Continued)  Objective/Dimension  Indicators Data source Monitoring  Frequency  Outputs  Cash transfers delivery   Value of the transfers received divided by the total consumption or income of  National  Every 1�2 years (continued)  the beneficiaries, for the population and by quintiles of post�transfer welfare  household survey  distribution  Program coverage   % of population enrolled in the program with respect to the coverage goal  Payment registry Bi�monthly  Number of program beneficiaries   % of the population that participates in the program, as a whole and by  National  Every 1�2 years quintiles of welfare distribution  household survey  Activities  Process applications   Average application processing time  Staff /beneficiary  Quarterly survey   % of beneficiary files that are complete and show a correct eligibility  Case file review assessment  Integrate beneficiary   Average time taken to update in the MIS changes in beneficiary information  Beneficiary  Biannual registry  (e.g. household composition (newborns or deaths) or address changes)  registry (if  systematized)   % of beneficiary registry entries that are complete and accurate  MIS data quality  audit  Process payments   % of cash transfer transaction made directly to beneficiaries through a secure  Payment registry Bi�monthly channel   % of beneficiaries who received the cash transfers in time during the last  payment period   % of individuals in the beneficiary roster whose payment has been withhold for  more than two consecutive periods  Implement control   Number of monthly lists of irregularities detected via data matching –during  Program files Quarterly mechanisms  the previous quarter� that are generated and sent to the inspection office for  verification and remedial actions  Recertify beneficiaries   % of beneficiaries who are recertified after X years of program enrollment  Case files Annual  Source: Author’s compilation  28    2.2. Conditional Cash Transfer Programs  CCTs  seek  to  reduce  future  levels  of  poverty  by  promoting  the  investment  in  human  capital  of  the  poor  population.   They  provide  cash  transfers  to  poor  families  contingent  on  certain  behaviors,  such  as  keeping  children  in  school  or  taking  them  to  health  centers  on  a  regular  basis.    CCT  programs  design  varies  in  the  inclusion  of  health,  nutrition  and  education  components  as  well  as  on  the  emphasis  on  reducing  current  poverty.   Hence,  there  may  be  differences in the results chains output and outcome links and the corresponding indicators.  Figure  4  presents  the  results  chain  for  a  full  model  CCT  program.   Alternative  indicators  for  this program are included in Table 5.    Figure 4: Results Chain of a Conditional Cash Transfer Program      Source: Author’s compilation.  29    Table 5: Alternative KPIs for a Conditional Cash Transfer Program  Objective/Dimension  Indicators Data Source Monitoring  Frequency  Intermediate outcomes  Improved educational   Primary (or secondary) school completion rates  Beneficiary survey,  Every 1�2 years,  attainment of poor   Transition to secondary school rates  possibly school  depending on data  households  records  source  Improved health   Incidence of vaccine�preventable childhood diseases  Beneficiary survey,  Every 1�2 years,  status of poor  possibly health  depending on data  households  center records  source  Improved nutrition of   % of children 6�23 months of age who receive a minimum acceptable diet,  Beneficiary survey Every 1�2 years children under 5 years  as defined by WHO  old   Short�term outcomes  Strengthened human   School enrollment rate  Beneficiary survey,  Annually, if a  capital investment   School attendance rate  possibly school and  beneficiary survey is  behavior among poor   % of children under 2 years being measured and weighed at the health  health center records  required may be  households  center at least every X months  every 2 years   % of beneficiary children with complete and timely immunizations   % of pregnant women receiving adequate prenatal care  Increased   Percentage increase in household total consumption  Household survey  Every 1�2 years consumption  (could be a national    survey)   % of households who increased their consumption levels (in food, health,  Household survey  education, etc.) compared to their baseline consumption levels13.  (could be a national  survey)  Targeting accuracy   See Table 2  National household  Every 1�2 years survey                                                                 13  If there is an impact evaluation planned for the program, a better indicator would be the increased household consumption compared to the counterfactual  situation.  30    Table 5: Alternative KPIs for a Conditional Cash Transfer Program (Continued)  Objective/Dimension  Indicators Data Source Monitoring  Frequency  Service quality     % of local offices that publicized regularly information on the number and  Site inspection Biannual�Quarterly type of complaints, compliments and suggestions received, along with the  improvements made as a result   Number of complaints of abusive treatment   Beneficiary survey  and administrative  data  Outputs  Cash transfers delivery   % of households in the beneficiary roster who received the cash transfer in  Payment registry Bi�monthly the last payment period   % of households in the beneficiary roster who actually collected the cash  transfer in the last payment period   Average per capita transfer among program beneficiaries, for the  National household  Every 1�2 years population and by quintiles of post�transfer welfare distribution   survey   Value of the transfers received divided by the total consumption or income  of the beneficiaries, for the population and by quintiles of post�transfer  welfare distribution  Program coverage   % of population enrolled in the program with respect to the coverage goal  Payment registry Bi�monthly  Number of program beneficiaries   % of the population that participates in the program, as a whole and by  National household  Every 1�2 years quintiles of welfare distribution  survey  Activities  Process applications   Average application processing time  Staff survey/   Quarterly and select  beneficiary survey    beneficiaries   % of beneficiary files that are complete and show a correct eligibility  Case file review assessment  Integrate beneficiary   Average time taken to update in the MIS changes in beneficiary  Beneficiary registry  Biannual registry  information (e.g. household composition (newborns or deaths) or address  (if systematized)    changes)  31    Table 5: Alternative KPIs for a Conditional Cash Transfer Program (Continued)  Objective/Dimension  Indicators Data Source Monitoring  Frequency  Integrate beneficiary   % of beneficiary registry entries that have not been updated in the past 2  Beneficiary registry  Biannual registry (continued)  (or 3) years  (if systematized)     % of beneficiary registry entries that are complete and accurate  MIS data quality  audit  Monitor condition   % of conditionality compliance reports that are received on time  Administrative data Bi�monthly compliance    % of compliance reports that are false  Audit/on site review Process payments   % of cash transfer transaction made directly to beneficiaries through a  Payment registry Bi�monthly secure channel   % of beneficiaries who received the cash transfers in time during the last  payment period   % of individuals in the beneficiary roster whose payment has been  withhold for more than two consecutive periods  Implement control   % of suspected fraud and error cases that are investigated  Administrative data Quarterly mechanisms  Recertify beneficiaries   % of beneficiaries who are recertified after X years of program enrollment  Case files Annual  Source: Author’s compilation. 32    2.3. In Kind Transfer Programs  Within  safety  nets,  in  kind  transfer  programs  usually  refer  to  food14 and  include  food  rations, supplementary and school feeding programs, and emergency food distribution.  The  main  objective  of  these  programs  is  to  provide  for  adequate  food  consumption  and  thus  help  poor  consumers  achieve  and  maintain  a  better  nutritional  status  (Grosh  et.  al.  2008).  Results chains will vary for different food transfer programs. In particular, results chains and  indicators  will  change  depending  on  the  specific  type  of  intervention,  services  included,  delivery  mechanism  and  the  program  target  population  that  may  include  pregnant  and  lactating  women,  infants,  young  children,  school  children,  and  so  on.   Moreover,  outcomes  will  differ  when  food�based  programs  are  also  used  as  a  means  to  improve  participation  in  social  programs,  such  as  primary  health  care  (including  prenatal,  postnatal,  and  well�baby  care) and education.   As an example, Figure 5 presents the results chain for a supplementary feeding program for  pregnant  women,  infants  and  young  children.15   Alternative  indicators  for  this  program  are  included  in  Table  6.   It  is  important  to  note  that  indicators  would  need  to  be  selected  and  better  specified  depending  on  the  exact  program  design  and  the  type  of  food  supplements  (food  rations,  micronutrient  supplements,  etc.).    Indicators  of  nutritional  status  can  be  obtained  from  growth  monitoring  records  at  health  centers  as  well  as  from  a  beneficiary  survey  including  anthropometric  measures.    In  some  countries,  there  may  be  national  health  and  nutrition  surveys  that  are  fielded  regularly  and  may  be  enhanced  to  include  a  sample design and questionnaire suitable for program monitoring.                                                                    14  However, in kind programs can provide a number of other goods including health care, education, child  care, and housing.  The immediate purpose of this type of programs is to promote the consumption of the  particular good they provide.  Hence, each type of in kind transfer would involve a different results chain.  15  For a comprehensive discussion on nutrition interventions design, see World Bank forthcoming.  33    Figure 5: Results Chain of a Supplementary Feeding Program    Source: Author’s compilation.    34    Table 6: Alternative KPIs for a Supplementary Feeding Program  Objective/Dimension  Indicators Data Source Monitoring Frequency Intermediate outcomes  Improved nutrition of   % of stunted children under two (24 months) and five years  Anthropometric measures from  Every 2�5 years  children under 5  among program beneficiaries  beneficiary survey or growth  monitoring records   % of wasted children under two and five years among  Anthropometric measures from  Every 1�2 years  program beneficiaries.   beneficiary survey or growth  Note: This indicator may not be applicable in all settings, for  monitoring records   example in LAC, wasting is very low.   % of low birth weight infants among program beneficiaries  Health center records Annual   Note: It may be difficult to get  accurate data in low capacity  settings (lack of scales or skilled  birth attendants), as well as in  countries where institutional  delivery rates are low.  Short�term outcomes  Adequate food and   % of infants 0�5 months of age who are fed exclusively with  Beneficiary survey Every 1�2 years  micronutrient intake  breast milk  of children under 5   % of children 6�23 months of age who receive a minimum  Beneficiary survey Every 1�2 years  and pregnant and  acceptable diet, as defined by WHO16  lactating women   % of children 6–23 months of age who receive an iron�rich  food or iron�fortified food that is specially designed for  infants and young children, or that is fortified in the home   % of pregnant and lactating women having an adequate diet  Beneficiary survey Every 1�2 years  as defined by  Dietary Diversity Scores using Household Diet  Diversity Scores (HDDS) or Women’s Diet Diversity Scores  (http://www.fao.org/fileadmin/user_upload/wa_workshop/d ocs/FAO�guidelines�dietary�diversity2011.pdf )                                                               16  See WHO 2008 and 2010 for additional indicators and measurement guidance.  35    Table 6: Alternative KPIs for a Supplementary Feeding Program (Continued)  Objective/Dimension  Indicators Data Source Monitoring Frequency Targeting accuracy   % of poor communities participating in the program  Poverty map and administrative data Annual  % of poor17 children under two and five years who  National household survey  Every 1�2 years  participate in the program   % of poor children under two and five years who do not  National household survey participate in the program  Service quality     % of beneficiaries who report incomplete or missing  Beneficiary survey Quarterly � Biannual food supplements deliveries within the past 6 months   % of beneficiaries who benefited from timely and  complete growth monitoring and promotion services  within the past 6 months   % of beneficiaries who report adequate health and  social services integration, as specified in the program  operations manual   % of beneficiaries who consider food supplements as  culturally appropriate  Outputs  Food supplements   % of beneficiary children 6�59 months receiving food  Administrative records Bi�monthly � Quarterly delivery  supplements according to the program operation  manual in the previous X months   % of beneficiary pregnant and lactating women  Administrative records Bi�monthly � Quarterly receiving food supplements according to the program  operation manual in the previous X months  Note for both indicators: It is important to verify that  program rules are based on internationally accepted  standards on quantity, composition and quality of food  supplements                                                                 17  See also Table 2.  36    Table 6: Alternative KPIs for a Supplementary Feeding Program (Continued)  Objective/Dimension  Indicators Data Source Monitoring Frequency Program coverage  % of beneficiaries (children under 2 and 5 years old, and  Beneficiary registry Bi�monthly pregnant and lactating women) enrolled in the program  with respect to the coverage goal  Number of beneficiaries (children under 2 and 5 years  old, and pregnant and lactating women)  % of the population (children under 2 and 5 years old) National household survey Every 1�2 years that participates in the program, as a whole and by  quintiles of welfare distribution  Activities  Enroll beneficiaries  % of pregnant women who are enrolled in the program  Beneficiary registry/beneficiary  Quarterly � Biannual within the first three months of their pregnancy  survey  Distribute food  % of health (or community) centers in poor communities  Health facilities supervision reports Quarterly supplements to  with inadequate stock of food supplements  health (or  community) centers  Conduct children  % of children under 5 years being measured and weighed  Health center records review/direct  Quarterly growth monitoring  and with their growth plotted in the card, as established  observation/beneficiary survey  in the program operation manual.     Source: Author’s compilation.  37    2.4. Public Works Programs  PWPs  typically  provide  short�term  employment  at  low  wages  for  unskilled  and  semi�skilled  workers  on  labor�intensive  projects  (Del  Ninno  et  al.  2009).  Among  the  main  objectives  of  PWP  is  to  provide  temporary  income  support  to  poor  households.18   The  rationale  for  this  support  varies,  and  is  critical  for  the  definition  of  program  specific  design  elements  such  as  the  targeting  mechanism  and  the  duration  of  the  employment.    This,  in  turn,  shapes  the  program  results  chain  and  the  selection  of  KPIs.    For  example,  income  support  may  be  aimed  at  smoothing  consumption  to  mitigate  seasonal  shortfalls  in  employment  during  the  agricultural  slack  season.    In  this  case,  one  could  argue  that  the  final  outcome  is  to  contribute to reduce household vulnerability to income variability in agricultural regions.  By  contrast, in some countries, PWP programs are aimed at providing more permanent income  support  for  large  segments  of  unemployed  or  underemployed  poor  workers.   In  this  case,  the final outcome could be to contribute to reduce the country poverty gap.  Figure  6  presents  an  example  of  a  results  chain  for  PWP  aimed  at  mitigating  a  covariate  shock for poor households.19  Alternative indicators for this program are included in Table 7.  It  is  important  to  note  that  indicators  may  need  to  be  adapted  and  better  specified  depending  on  the  exact  program  design.    In  particular,  output  indicators  for  public  goods  generated depend on the PWP specific subproject menu.                                                                   18  A complementary objective of PWP is to generate public goods for the community.  There is a wide range of  goods and services including creation, maintenance, or reconstruction of infrastructure; environmental and  agricultural tasks such as reforestation, soil conservation and watershed development; cleaning roads and  other public facilities; and social services including day care, food preparation and so on.   19  For an alternative PWP results chain and indicators examples, see Subbarao et al. 2012 and Del Ninno et al.  2009.  38    Figure 6: Results Chain of a Public Works Program      Source: Author’s compilation  39    Table 7: Alternative KPIs for a Public Works Program  Objective/Dimension  Indicators  Data Source  Monitoring Frequency  Intermediate outcomes  Distress asset sales   % of beneficiary household who report distress sales of assets during  Household survey  Every 1�2 years  among poor households  the previous six months  avoided  Short�term outcomes  Poor households   % of beneficiary households who report minimal or no variations in  Household survey  Every 1�2 years  consumption smoothed  their consumption levels of food, health care, education, utilities, and  other essential goods after the shock.    Net income benefit (if an impact evaluation is planned)  Household survey  Every 2�3years    Change in household food consumption  Targeting accuracy   See Table 2  National household  Every 1�2 years  survey   % of projects in target areas (i.e. high unemployment and high  Project registry and  Annual  poverty)  poverty map  Service quality     % of beneficiaries who received the payments in time  Payment registry/  Quarterly  beneficiary survey     % of projects that are implemented following appropriate working  On site visits  Quarterly � Biannual  conditions     % of households reporting satisfaction with community assets  Community  Every 1�2 years  developed  survey/citizen  report card  Outputs  Wages paid   Average employment time (days)  Payment registry  Bi�monthly   Persons�day of employment created  40    Table 7: Alternative KPIs for a Public Works Program (Continued)  Objective/Dimension  Indicators  Data Source  Monitoring Frequency  Wages paid (continued)   Average per capita transfer among program beneficiaries, for the  National household  Every 1�2 years population and by quintiles of post�transfer welfare distribution   survey   Value of the transfers received divided by the total consumption or  income of the beneficiaries, for the population and by quintiles of  post�transfer welfare distribution  Program coverage   % of workers who were employed for at least X days with respect to  Beneficiary/paymen Bi�monthly  the coverage goal  t registry   Number of beneficiaries   % of the population that participates in the program, as a whole and  National household  Every 1�2 years by quintiles of welfare distribution  survey  Public goods for the   Number of projects by type and region  Subproject registry  Quarterly � Biannual  community generated  Activities  Select projects   Average project approval time  Project files review  Quarterly   % of approved projects that meet the selection criteria  Integrate beneficiary   Average time taken to update in the MIS changes information  Beneficiary and  Biannual  and subprojects registry  subprojects registry  (if systematized)   % of beneficiary (or subprojects) registry entries that are complete  MIS data quality  and accurate  audit  Process payments   % of payment transaction made directly to beneficiaries through a  Payment registry  Bi�monthly  secure channel  Supervise project   % of public works that are completed on time and comply with  On site visits  Annual  implementation  established specifications   % of projects that have a full compliance with supervision protocols  Supervision reports  Quarterly  review       Source: Author’s compilation with inputs from Subbarao et al. 2012 and Del Ninno et al. 2009.  41    2.5. Social Assistance Reform  A  number  of  countries  have  embarked  in  reforming  their  social  assistance.   These  reforms  usually  have  a  number  of  objectives  including  improving  equity,  reducing  error  and  fraud,  and so on.   Figure 7 shows an example of a results chain for  a reform focused on improving  the equity of disability benefits and Table 8 provides alternative KPIs.    Figure 7: Results Chain of a Disability Assistance Reform    Source: Adapted from World Bank 2012a.  42    Table 8: Alternative KPIs for a Disability Assistance Reform  Objective/Dimension  Indicators Data Source Monitoring Frequency Intermediate outcomes  Persons with disability receive   % of individuals with disability that receive care and  Beneficiary survey Every 1�2 years appropriate care and support   support according to the social model criteria  Short�term outcomes  Strengthened institutional capacity   Share of disability assistance beneficiaries that report no  Beneficiary survey Every 1�2 years to provide disability assistance   functional disability  Service quality  Redress mechanisms   % of beneficiaries who consider the complaints and  Beneficiary survey Every 1�2 years disputes processes as satisfactory  Outputs  Disability assistance applicants are   % of disability assistance beneficiaries that have been  Beneficiary registry Quarterly screened using the social model   reassessed using revised criteria and processes based on  the Social Model  Program coverage   % of population enrolled in the program with respect to  Beneficiary registry Bi�monthly the coverage goal   Number of beneficiaries   % of the population that participates in the program, as a  National household  Every 1�2 years whole and by quintiles of welfare distribution  survey  Activities  Develop new disability eligibility   Assessment criteria for the disability assistance program  Program records Once year 1 criteria based on social model  based on the Social Model is developed and pre�tested  Revise business processes and   Business procedures and institutional arrangements for  Program records Once year 1 institutional arrangements based on  the disability assistance program based on the Social  social model  Model are revised and pre�tested  Pilot testing of new model   % of new applicants in the pilot regions who are screened  Program records Quarterly for program eligibility using the Social Model criteria  Consultation, approval and   Revised assessment criteria, business procedures and  Program records Once year 3 dissemination of new model   institutional arrangements based on the Social Model are  published in the official gazette      Source: Adapted from World Bank 2012a  43    III. Key Messages  Results chains are useful tools to clarify project objectives, verify the program internal logic,  and  guide  the  selection  of  indicators.    In  addition  to  the  traditional  results  chain  links  – input,  activities,  output  and  outcomes,  making  explicit  the  service  quality  dimension  and  the  different  levels  of  expected  outcomes  helps  strengthening  program  performance  measurement.   Once  the  results  chain  has  been  outlined,  the  next  task  is  to  identify  KPIs  to  assess the achievement of program objectives.   KPIs  should  be  selected  for  all  levels  of  the  results  chain.    Although  the  recent  trend  has  been  to  focus  mostly  on  outcome  indicators,  key  indicators  on  inputs,  activities,  outputs  and  service  quality  are  needed  to  better  understand  program  implementation.    In  particular,  well�selected  activity  indicators  can  be  useful  measures  of  SSN  governance  performance,  such  as  the  functioning  of  the  information  systems  and  control  mechanisms,  as  well  as,  the  observance  of  clear  operational  procedures.   Moreover,  output  and  service  quality  indicators  are  important  to  track  the  quantity  and  quality  of  goods  and  services  delivered by the program.   Needless  to  say  is  the  critical  role  of  the  different  level  of  outcome  indicators  in  monitoring  to  what  extent  the  intended  results  from  the  provision  of  goods  and  services  have  been  attained.    For  SSN  programs,  outcome  indicators  should  address  at  least  two  questions.  First,  as  a  short�term  outcome,  it  is  critical  to  know  to  what  extent  SSN  target  population  such  as  poor  households,  people  with  disabilities,  ethnic  minorities,  and  so  on,  have  been  included  or  excluded  from  the  program.   Targeting  accuracy  indicators  are  instrumental  in  measuring who has benefited from SSN programs and who has not.  Second, a combination  of  short�term,  intermediate  and  final  outcomes  indicators  are  required  to  understand  program results in terms of changes in beneficiaries’ motivations, behaviors, or conditions.  Selecting  KPIs  should  include  specifying  the  calculation  formula,  defining  the  frequency  for  their  monitoring,  as  well  as  the  data  sources  and  the  institutional  responsibilities  for  their  measurement  and  reporting.    As  a  general  rule,  the  lower  the  indicator  is  in  the  results  44    chain the more often it is monitored.  Whereas input, activity and output indicators may be  monitored quarterly or even more often, outcome indicators are usually measured annually  or  every  two  to  three  years.   The  monitoring  frequency  depends  on  the  information  needs  for decision making and data availability.  Indicators for measuring SSN program performance are diverse and require a variety of data  sources.    The  selection  of  indicators  should  consider  the  costs  and  feasibility  of  collecting  performance data with the desired frequency.  As a general rule, KPI monitoring will always  involve special efforts either to collect new data, to improve the timeliness and reliability of  existing  data,  and/or  to  develop  data  analysis  capacity,  reporting  procedures  and  formats.   Thus, it is important to plan for resources and technical assistance to support these efforts.   There  are  three  broad  categories  of  data  sources  for  measuring  SSN  indicators:  administrative  data  from  program  or  agency  records,  program  tailor�made  data  sources,  and  national  surveys.   Although  there  may  be  some  degree  of  substitution  between  them  for  measuring  particular  indicators,  most  of  the  time,  they  are  complementary.    These  categories  provide  different  information  all  needed  for  a  complete  performance  monitor  along  the  results  chain.    For  instance,  reliable  administrative  data  is  useful  to  monitor  program  inputs,  outputs  and  activities.    Program  tailor�made  data  sources  can  provide  an  independent  measure  of  some  outputs  and  activities  and  are  essential  to  measure  outcomes  and  service  delivery  quality.   When  available  at  the  right  time,  national  surveys,  especially  LSMS�type  surveys  can  provide  data  for  assessing  poverty  targeting  and  some  program outcomes.   All  data  sources  require  some  technical  and  financial  support  to  ensure  that  they  are  appropriate  for  program  monitoring.    Even  existing  data  sources  such  as  administrative  records  and  national  surveys  usually  involve  extra  work  and  resources  to  be  used  for  program  performance  measurement.    Reliable  and  timely  administrative  data  demand  standardized  criteria  and  procedures  for  data  collection,  as  well  as  regular  quality  checks.  They  may  also  entail  equipment  and  software  upgrading.    The  use  of  ongoing  national  45    surveys  is  likely  to  call  for  an  oversampling  of  program  beneficiaries  and  additional  questionnaire modules.  Finally, program tailor�made data sources require variable levels of  expertise for sampling design, field work, data processing and analyzing.   Ideally,  SSN  performance  monitoring  systems  should  build  upon  reliable  program  records  and  be  complemented  with  a  combination  of  tailor�made  data  sources  and  national  surveys.    The  latter  should  be  considered  not  only  for  monitoring  purposes  but  within  a  program  evaluation  agenda  including  different  assessment  tools  such  as  processes  and  impact  evaluations.   Finally,  the  preparation  of  results  frameworks  also  involves  identifying  the  unit  and  the  agency  responsible  for  reporting  each  indicator  selected  along  the  results  chain.    It  is  critical  that  adequate  resources  and  technical  assistance  are  channeled  to  strengthen the institutional capacity of these agencies to carry out performance monitoring.         46    Annex 1: The Atlas of Social Protection: Indicators of Resilience and Equity (ASPIRE)    1. Average  per  capita  transfers:  Average  per  capita  transfer  among  program  beneficiaries  (daily $ppp) for the population and by quintiles of post�transfer welfare distribution.  2. Coverage:  Percentage  of  population  participating  in  Social  Protection  programs  for  the  population and by quintiles of post�transfer welfare distribution.  3. Beneficiary  Incidence: Percentage of program beneficiaries relative to the total number  of beneficiaries by quintile of the post�transfer welfare distribution.  4. Benefit  Incidence:  Percentage  of  benefits  going  to  each  quintile  of  the  post�transfer  welfare distribution.  5. Leakage: Percentage of benefits going to the non poor population.  6. Targeting  differential:  Difference  between  the  coverage  rate  and  the  leakage  to  the  non�poor population, measuring how good (100) or bad (�100) the targeting method is.  7. Coady�Grosh�Hoddinott  indicator:  Ratio  of  the  value  of  transfers  going  to  the  poorest  to the (relative) size of the same group in the population.  8. Generosity: Value of the transfers received by a group divided by the total consumption  or income of the beneficiaries in that group.   9. Poverty and Inequality reduction: Simulated change (%) on poverty headcount, poverty  gap and on Gini inequality simulating the absence of the programs.  10. Cost benefit ratio: Reduction in poverty gap obtained for each $1 spent in the program.  11. Program  duplication:  Percentage  of  population  receiving  assistance  from  none  or  multiple programs.  12. Overlap: Percentage of population receiving assistance from multiple main categories.  Source: www.worldbank.org/spatlas     47    References  Del  Ninno,  Carlo,  Kalanidhi  Subbarao,  and  Annamaria  Milazzo.  2009.  “How  to  Make  Public  Works  Work:  A Review  of  the  Experiences,�  SP  Discussion  Paper  No.  905,  World  Bank,  Washington, D.C.   European Commission. 2004. “Aid Delivery Methods,� Volume 1, Project Cycle Management  Guidelines, EuropeAid Cooperation Office, Brussels.   FAO  (Food  and  Agriculture  Organization).  2011.  “Guidelines  for  Measuring  Household  and  Individual Dietary Diversity,� Nutrition and Consumer Protection Division, FAO, Rome.   Grosh,  Margaret,  Carlo  del  Ninno,  Emil  Tesliuc,  and  Azedine  Ouergui.  2008.  For  Protection  and  Promotion:  The  Design  and  Implementation  of  Effective  Safety  Nets.  Washington,  D.C.: World Bank.  Hatry,  Harry  P.  1999.  Performance  Measurement:  Getting  Results.  Washington,  D.C.:  Urban  Institute Press.  Honorati, Maddalena, Laura Rawlings, and Julie Van Domelen. 2011. “Results�Based Lending  Approaches  in  Social  Protection  and  Labor,�  Social  Protection  and  Labor  Policy  Note  No. 1, World Bank, Washington, D.C.   Honorati,  Maddalena,  Laura  Rawlings,  Gloria  Rubio,  and  Julie  Van  Domelen.  2011.  “Results  Readiness  in  Social  Protection  and  Labor  Operations,�  Social  Protection  and  Labor  Discussion Paper No.1107, World Bank, Washington, D.C.   IEG  (Independent  Evaluation  Group).  2011.  Social  Safety  Nets:  An  Evaluation  of  World  Bank  Support 2000�2010. Washington, D.C: World Bank.  Innovation  Network,  Inc.  “Logic  Model  Workbook,�  Washington,  D.C.  Available  at  http://www.innonet.org/client_docs/File/logic_model_workbook.pdf  Institute  for  Urban  Economics,  Independent  Institute  for  Social  Policy,  and  Urban  Institute.  2006.  “Guides  for  Collecting  Information  on  the  Administration  of  Social  Assistance  Programs,�  Moscow.  Available  at  48    http://siteresources.worldbank.org/SAFETYNETSANDTRANSFERS/Resources/281945� 1131468287118/1876750�1182357017643/Russia_Report_Study_Tools_6�07.pdf  Rubio,  Gloria  M.  2011.  “Measuring  Governance  and  Service  Delivery  in  Safety  Net  Programs,� SP Discussion Paper No. 1119, September, World Bank, Washington, D.C.  Subbarao,  Kalanidhi,  Carlo  del  Ninno,  Colin  Andrews,  and  Claudia  Rodriguez�Alas.  2012.  "Public  Works  as  a  Safety  Net:  Design,  Evidence  and  Implementation,"  Directions  in  Development Series (in print), World Bank, Washington, D.C.  World Bank. “SPA. The Social Protection Atlas�, Human Development Network, World Bank,  Washington, D.C.            .  2011.  “Romania  Social  Assistance  Modernization  Project,�  Project  Appraisal  Document, World Bank, Washington, D.C.            .  2012a.  “Albania  Social  Assistance  Modernization  Project,�  Project  Appraisal  Document, World Bank, Washington, DC.            .  2012b.  “Core  Sector  Indicators  and  Definitions,�  Results  Platform,  World  Bank,  Washington, D.C.            . (Forthcoming). “Mothers and Children in Crisis: Protecting and Promoting Nutrition in  Times  of  Shocks.  A  Toolkit  for  Policy  Makers,�  Health,  Nutrition  and  Population,  Latin  America and the Caribbean Region, World Bank, Washington, D.C.  WHO  (World  Health  Organization).  2008.  Indicators  for  Assessing  Infant  and  Young  Child  Feeding Practices. Part 1: Definitions. Geneva: WHO.            .  2010.  Indicators  for  Assessing  Infant  and  Young  Child  Feeding  Practices.  Part  2:  Measurement. Geneva: WHO.    49    Social Protection & Labor Discussion Paper Series Titles  2011�2012    No.    Title    1218  Building Results Frameworks for Safety Nets Projects    by Gloria M. Rubio, October 2012     1217  Pension Coverage in Latin America: Trends and Determinants    by Rafael Rofman and Maria Laura Oliveri, June 2012    1216  Cash for Works in Sierra Leone: A Case Study on the Design and  Implementation of a Safety Net in Response to a Crisis    by Colin Andrews, Mirey Ovadiya, Christophe Ribes Ros and Quentin Wodon,  June 2012     1215  Public Employment Services, and Activation Policies    by Arvo Kuddo, May 2012    1214  Private Pension Systems: Cross�Country Investment Performance    by Alberto R. Musalem and Ricardo Pasquini, May 2012    1213  Global Pension Systems and Their Reform: Worldwide Drivers, Trends, and  Challenges    by Robert Holzmann, May 2012    1212  Towards Smarter Worker Protection Systems: Improving Labor Regulations  and Social Insurance Systems while Creating (Good) Jobs  by David A. Robalino, Michael Weber, Arvo Kuddo, Friederike Rother,  Aleksandra Posarac and Kwabena Otoo    1211  International Patterns of Pension Provision II: A Worldwide Overview of Facts  and Figures    by Montserrat Pallares�Miralles, Carolina Romero and Edward Whitehouse,  June 2012    1210  Climate�Responsive Social Protection    by Anne T. Kuriakose, Rasmus Heltberg, William Wiseman, Cecilia Costella,  Rachel Cipryk and Sabine Cornelius, March 2012     1209  Social Protection in Low Income Countries and Fragile Situations: Challenges  and Future Directions    by Colin Andrews, Maitreyi Das, John Elder, Mirey Ovadiya and Giuseppe  Zampaglione, March 2012     1208  World Bank Support for Pensions and Social Security    by Mark Dorfman and Robert Palacios, March 2012          1207  Labor Markets in Middle and Low Income Countries: Trends and Implications for  Social Protection and Labor Policies    by Yoonyoung Cho, David Margolis, David Newhouse and David Robalino,  March 2012     1206  Rules, Roles and Controls: Governance in Social Protection with an Application  to Social Assistance    by Lucy Bassett, Sara Giannozzi, Lucian Pop and Dena Ringold, March 2012    1205  Crisis Response in Social Protection    by Federica Marzo and Hideki Mori, March 2012    1204  Improving Access to Jobs and Earnings Opportunities: The Role of Activation  and Graduation Policies in Developing Countries    by Rita Almeida, Juliana Arbelaez, Maddalena Honorati, Arvo Kuddo, Tanja  Lohmann, Mirey Ovadiya, Lucian Pop, Maria Laura Sanchez Puerta and Michael  Weber, March 2012    1203  Productive Role of Safety Nets    by Harold Alderman and Ruslan Yemtsov, March 2012    1202  Building Social Protection and Labor Systems: Concepts and Operational  Implications    by David A. Robalino, Laura Rawlings and Ian Walker, March 2012    1201  MicroDeterminants of Informal Employment in the Middle East and North    Africa Region    by Diego F. Angel�Urdinola and Kimie Tanabe, January 2012     1120  Employment Generation in Rural Africa: Mid�term Results from an    Experimental Evaluation of the Youth Opportunities Program in Northern    Uganda    by Christopher Blattman, Nathan Fiala and Sebastian Martinez, December 2011      1119  Measuring Governance and Service Delivery in Safety Net Programs    by Gloria M. Rubio, September 2011     1118  Assessing Safety Net Readiness in Response to Food Price Volatility    by Margaret Grosh, Colin Andrews, Rodrigo Quintana, Claudia Rodriguez�Alas,    September 2011    1117  Social Safety Nets in Fragile States: A Community�Based School Feeding    Program in Togo, August 2011 (also available in French)    by Colin Andrews, Elena Galliano, Carolyn Turk and Giuseppe Zampaglione,  August 2011    1116  Strengthening Governance of Social Safety Nets in East Asia    by Sara Giannozzi and Asmeen Khan, August 2011     1115  International Portability of Health�Cost Coverage: Concepts and Experience    by Martin Werding and Stuart McLennan, July 2011     1114  Liberia’s Cash For Work Temporary Employment Project: Responding to Crisis    in Low Income, Fragile Countries  by Colin Andrews, Prospère Backiny�Yetna, Emily Garin, Emily Weedon,    Quentin Wodon and Giuseppe Zampaglione, July 2011    1113  Employability and Productivity among Older Workers: A Policy Framework and    Evidence from Latin America    by Edmundo Murrugarra, July 2011     1112  Cash Transfers, Children and the Crisis: Protecting Current and Future    Investments    by Ariel Fiszbein, Dena Ringold, Santhosh Srinivasan, June 2011     1111  Severance Pay Programs around the World: History, Rationale, Status, and    Reforms    by Robert Holzmann, Yann Pouget, Milan Vodopivec and Michael Weber, May    2011     1110  Portability of Pension, Health, and other Social Benefits: Facts, Concepts, Issues    by Robert Holzmann and Johannes Koettl, May 2011    1109  Disability and Poverty in Developing Countries: A Snapshot from the World    Health Survey    by Sophie Mitra, Aleksandra Posarac and Brandon Vick, April 2011    1108  Advancing Adult Learning in Eastern Europe and Central Asia    by Christian Bodewig and Sarojini Hirshleifer, April 2011     1107  Results Readiness in Social Protection & Labor Operations    by Laura Rawlings, Maddalena Honorati, Gloria Rubio and Julie Van Domelen,    February 2011    1106  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Social Service Delivery Projects    by Julie Van Domelen, February 2011    1105  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Social Safety Nets Task Teams    by Gloria Rubio, February 2011      1104  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Social Funds Task Teams    by Julie Van Domelen, February 2011    1103  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Labor Markets Task Teams    by Maddalena Honorati, February 2011    1102  Natural Disasters: What is the Role for Social Safety Nets?    by Larissa Pelham, Edward Clay and Tim Braunholz, February 2011    1101  North�South Knowledge Sharing on Incentive�based Conditional Cash Transfer    Programs    by Lawrence Aber and Laura B. Rawlings, January 2011    To view Social Protection Discussion papers published prior to 2011, please  visit www.worldbank.org/sp      Abstract Results chains are useful tools to clarify safety nets programs’ objectives, verify the program internal logic, and guide the selection of indicators. Although the recent trend has been to focus mostly on outcome indicators, indicators are needed at all levels of the results chain to better understand program performance. Ideally, safety nets performance monitoring systems should build upon reliable program records and be complemented with a combination of tailor-made data sources and national surveys. The latter should be considered not only for monitoring purposes but within a program evaluation agenda. In any case, it is very important that adequate resources and technical assistance are channeled to strengthen institutional capacity for safety nets results-based management. About this series... Social Protection & Labor Discussion Papers are published to communicate the results of The World Bank’s work to the development community with the least possible delay. The typescript manuscript of this paper therefore has not been prepared in accordance with the procedures appropriate to formally edited texts. The findings, interpretations, and conclusions expressed herein are those of the author(s), and do not necessarily reflect the views of the International Bank for Reconstruction and Development / The World Bank and its affiliated organizations, or those of the Executive Directors of The World Bank or the governments they represent. The World Bank does not guarantee the accuracy of the data included in this work. The author(s) attest(s) that the paper represents original work. It fully references and describes all relevant prior work on the same subject. For more information, please contact the Social Protection Advisory Service, The World Bank, 1818 H Street, N.W., Room G7-803, Washington, DC 20433 USA. Telephone: (202) 458-5267, Fax: (202) 614-0471, E-mail: socialprotection@worldbank.org or visit us on-line at www.worldbank.org/sp. Printed on recycled paper