DISCUSSION PAPER NO. 1216 73719 Cash for Work in Sierra Leone: A Case Study on the Design and Implementation of a Safety Net in Response to a Crisis Colin Andrews, Mirey Ovadiya, Christophe Ribes Ros, and Quentin Wodon November 2012   Cash for Work in Sierra Leone: A Case Study on the Design and Implementation of a Safety Net in Response to a Crisis   Colin Andrews, Mirey Ovadiya, Christophe Ribes Ros, and Quentin Wodon1    November 2012                                                                   1  The  authors  are  with  the  World  Bank.  The  opinions  expressed  are  those  of  the  authors  only  and  need  not  reflect  those of the World Bank, its Executive Directors or the countries they represent.       Abstract  This  paper  presents  an  assessment  of  the  first  phase  (2008�2009)  of  Sierra  Leone’s  Cash  for  Work  program  based  on  a  qualitative  and  quantitative  analysis  examining  program  design  features,  main  processes  and  impact.   The  assessment  highlights  that  while  Cash  for  Work  was  an  appropriate  crisis  response,  the  challenge  of  achieving  good  targeting  should  not  be  underestimated.    Findings  from  the  assessment  point  to  high  inclusion  errors  of  non�poor  population  quintiles,  despite  the  program  apparently  following  many  rules  of  best  practice  in  program  design.  The  assessment  points  to  a  series  of  factors  to  explain  targeting  performance,  and  proposes  that  future  strategies  consider  mixed  methods  with  a  greater  emphasis  on  the  role  of  communities  in  affecting  overall  outcomes.  The  assessment  notes  areas  of  success  during  implementation,  including  the  impact  of  the  program  in  promoting  cohesion  amongst  youth  groups,  as  well  as  women.  In  this  sense  the  assessment  points  to  future  strategies  and  options  for  moving  Cash  for  Work  forward  under  its  expanded  incarnation  of  the  Youth  Employment  Support  Project.    Through  the  use  of  light  qualitative  and  quantitative  methods,  the paper also advocates for similar assessments where monitoring and evaluation capacity are  weak and time constraints tight.   JEL Classification:  H53 – Social Security and Public Pensions: I38 – Government Policy; Provision  and Effects of Welfare Programs; J3 – Wages, Compensation, and Labor Costs  Keywords: public Works, social protection, cash for work, poverty, wage rate      ii  ACKNOWLEDGEMENT In  preparing  the  paper  we  have  received  excellent  comments  and  guidance  from  Sean  Bradley  (Senior  Social  Development  Specialist,  World  Bank),  Mohamed  Ihsan  Ajwad  (Senior  Economist,  World  Bank)  and  John  Elder  (Lead  Social  Protection  Specialist,  World  Bank).  We  are  grateful  to  many  counterparts  who  have  provided  feedback  and  ideas  and  contributed  to  various  background  materials  for  the  paper,  including  John  Van  Dyck  (Senior  Economist,  World  Bank),  John  Paul  Ngebeh  (National  Commission  for  Social  Action,  Sierra  Leone)  and  Dalan  Consulting.  Vijay  Pillai  (Country  Manager,  Sierra  Leone,  World  Bank).  Sergiy  Kulyk  (Country  Program  Coordinator,  Sierra  Leone,  World  Bank)  read  the  paper  and  gave  helpful  comments.  Cristina  Botero  provided  research  assistance  for  finalizing  the  paper.  Nedege  Nouviale  provided  final  formatting.  This  work  benefited  from  support  from  the  Luxemburg  poverty  reduction  partnership,  the  Gender  Action  Plan  (GAP),  and  the  Trust  Fund  for  Environmentally  &  Socially  Sustainable  Development  (TFESSD)  made  available  by  the  governments  of  Finland  and  Norway.  The authors alone are responsible for the contents of this final version. Moreover, the opinions  expressed here are those of the authors and do not necessarily reflect those of the World Bank,  its executive directors or the countries they represent.       iii    Acronyms  CEM  Coarse Exact Matching  CfWP  Cash for Work Program  COCs  Community Oversight Committees  CoPaD  Community Partnership for Development   CWIQ  Core Welfare Indicator Questionnaire  GAP  Gender Action Plan  GoSL  Government of Sierra Leone  HDI  Human Development Index  ICR  Implementation Completion Report  JEL  Journal of Economic Literature  MAFFS Ministry of Agriculture, Forestry and Food Security   MDAs  Ministries, Departments and Agencies   M&E  Monitoring and Evaluation  NaCSA  National Commission for Social Action  NSPA  National Social Protection Authority   PCRs  Project Completion Reports  SLIHS  Sierra Leone Integrated Household Survey  SLRA  Sierra Leone Roads Authority  SOCEP  Economic Opportunities Directorate   TFESSD Trust Fund for Environmentally & Socially Sustainable Development  YESP  Youth Employment and Skills Project      iv  Table of Contents Acknowledgement ................................................................................................................................... iii  Chapter I: Introduction .............................................................................................................................  1  Chapter II: Context: Food Price Crisis and the Political Economy of a Social Protection Response ......... 2  2.1. The 2008 Food Price Crisis and its Impact on Poverty ................................................................... 3  2.2. Political Economy Factors Shaping Response ................................................................................  5  Chapter III: Tailoring a Cash for Work Response to Sierra Leone: Basic Design Features ........................ 6  Chapter IV: Implementation Issues and Evolution of Key Program features in the Fragile State Context  .................................................................................................................................................................. 8  4.1. Poverty Targeting and Beneficiary Selection .................................................................................  9  4.2. Setting the Wage rate ..................................................................................................................  14  4.3. Choice of Projects � Public Works Menu ......................................................................................  17  4.4. Program Benefits and Quality ......................................................................................................  19  4.5. Program monitoring and transparency .......................................................................................  22  4.6. Social Cohesion: The Role of communities, women and youth .................................................. 23  Chapter V: Lessons Learned and Looking Ahead ....................................................................................  25  5.1. Lessons Learned ...........................................................................................................................  25  5.2. Looking Ahead .............................................................................................................................  27  References .............................................................................................................................................. 30      v  CHAPTER I: INTRODUCTION  Seven years after the end of the 10 year civil war, Sierra Leone continues to face serious human  development  challenges  with  more  than  60%  of  its  population  living  below  the  poverty  line.  Sierra  Leone  has  very  limited  programs  and  resources  to  provide  social  assistance  to  its  structural  poor  and  does  not  yet  have  a  coherent  safety  net  system  to  allow  a  timely  response  in face of shocks.  The recent global food price increases followed by the financial crisis brought  to light once more a need for a flexible safety net program to protect the poor as Government’s  ability  to  deliver  basic  services,  and  generate  employment  and  incomes  was  severely  constrained.    With  this  realization,  the  Government  of  Sierra  Leone,  with  support  from  the  World  Bank,  set  up  a  Cash  for  Work  program  in  2008  to  primarily  cushion  the  adverse  impacts  of  the  food  price  increases.  The  program  was  expanded  throughout  the  country  with  an  improved  design  in  2009  and  then  scaled  up  again  in  2010  as  a  component  of  the  IDA� supported Youth Employment Support Project (YESP).    In  order  to  assess  the  performance  of  the  cash  for  work  program,  the  World  Bank,  in  partnership  with  the  National  Commission  for  Social  Action  (NACSA),  implemented  a  ‘assessment’ of the Cash for Work Project (CfWP) in 2009 during its first phase. The assessment  comprised  of  quantitative  and  qualitative  methods  to  assess  the  effectiveness  of  program  implementation.  This  allowed  feedback  to  program  managers  and  policy  makers  and  also  overcame  bottlenecks  that  would  limit  evaluation  in  crisis  and  low  capacity  contexts.  Typically,  a  program  sets  out  to  establish  robust  evaluation  processes  comprising  of  impact  evaluation  and  drawing  on  a  programs  Monitoring  and  Evaluation  (M&E)  system.  Since  this  was  neither  feasible nor appropriate in the crisis response, a light assessment proved the next best option.   Both  quantitative  and  qualitative  data  were  collected  for  this  assessment,  focusing  especially  on  targeting,  wage  setting,  project  selection  and  direct  and  indirect  benefits  of  the  program  such  as  gender  empowerment  and  social  cohesion.  This  paper  presents  a  synthesis  of  the  findings  from  the  quantitative  and  qualitative  data  in  order  to  analyze  the  context  that  led  to  the  creation  and  implementation  of  the  CfWP  in  Sierra  Leone,  the  nature  and  administrative  arrangements  for  the  program,  and  its  performance.  The  objective  is  to  share  the  lessons  learned  from  the  assessment  so  that  they  can  be  useful  for  implementing  similar  programs  in  the future in Sierra Leone itself or in other countries.  The  paper  is  structured  as  follows.  Section  2  presents  the  overall  context  of  the  food  crisis  and  the  political  economy  setting  through  which  the  choice  of  scaling  up  a  public  works  program  prevailed.  Section  3  outlines  how  the  public  works  approach  was  tailored  in  the  context  of  Sierra  Leone  as  a  labor  intensive  cash  for  work  operation.  Basic  design  features  of  the  program  are  also  highlighted.    Section  4  discusses  the  implementation  issues  and  program  evolution  focusing  on  poverty  targeting,  wage  setting,  project  selection,  program  benefits,  monitoring  and  evaluation,  and  social  cohesion  with  respect  to  community,  youth  and  gender  empowerment.  Section  5  summarizes  the  current  outlook  of  the  program,  and  proposes  a  number  of  lessons  arising  from  the  light  assessment  to  inform  future  design  and  implementation  of  public  works,  and  other  social  protection  operations.  The  conclusion  provides  a  series  of  considerations  for  responding  to  similar  crises,  taking  into  account  broader  lessons in other low�income, fragile states.  In  summarizing  design  elements  and  feedback  from  program  implementation,  the  paper  draws  on  two  previous  World  Bank  analyses  of  the  project.  The  first  document  is  a  quantitative  assessment,  which  was  based  on  a  survey  carried  out  from  February  to  March  2010  (Backiny� Yetna  and  Wodon,  2012a).  The  quantitative  assessment  was  primarily  intended  to  analyze  program results such as  targeting performance, wage substitution effects and patterns of wage  usage  among  participating  households.  The  second  document  is  a  qualitative  analysis,  which  included  summary  results  from  stakeholder  interviews  and  focus  group  discussions  held  with  both program participants and non�participants (Dalan Consulting, 2010).  CHAPTER II: CONTEXT: FOOD PRICE CRISIS AND THE POLITICAL ECONOMY OF A SOCIAL  PROTECTION RESPONSE  Given  that  the  objective  of  the  CfWP  was  to  alleviate  food  insecurity  in  the  context  of  the  recent food, fuel, and financial crisis, it is important to discuss first the level of poverty in Sierra  Leone  in  recent  years.  The  latest  available  estimates  of  poverty  on  the  basis  of  consumption  data  are  based  on  the  Sierra  Leone  Integrated  Household  Survey  (SLIHS)  of  2003�04.  According  to those estimates, 66.4% of the population is poor (47.0% in urban areas versus 78.6% in rural  areas).  Rural  areas  account  for  the  largest  proportion  of  the  poor  (73%,  versus  61%  of  the  population). Extreme poverty is defined as a household having a consumption level below what  is needed to meet basic food needs. At the national level, 21% of the population is estimated to  live  in  extreme  poverty,  with  rural  areas  faring  again  much  worse  than  urban  areas  and  especially Freetown.  The  poor  and  vulnerable  in  Sierra  Leone  face  important  risks.  These  risks  relate  to  macroeconomic  shocks,  social  instability,  natural  disasters  and  household  level  vulnerabilities.  Sierra Leone is a fragile state and fares poorly in most indicators related to human development  and  the  Millennium  Development  Goals.  The  country  was  ranked  last  in  the  latest  Human  Development Index (HDI) by the United Nations Development Program. Life expectancy at birth  is  reported  at  47.8  years.  Under  5  mortality  was  estimated  at  192  per  1,000  live  births  and  maternal  mortality  at  970  per  100,000  live  births.  The  adult  literacy  rate  according  to  HDI  data  is  40.9%,  whilst  the  combined  gross  enrolment  rate  for  primary,  secondary  and  tertiary  education  is  estimated  at  around  22.8%.  The  overall  HDI  value  for  Sierra  Leone  in  2005  is  estimated at 0.336.   As  a  small  economy  strongly  reliant  on  milled  rice  imports  Sierra  Leone  is  vulnerable  to  fluctuations in global commodity prices.  Natural disasters, in particular floods, also constitute a  recurrent  risk  of  loss  of  livelihoods  for  subsistence  farmers  in  the  rural  areas  and  poor  urban  populations.  Although  Sierra  Leone  is  a  relatively  stable  post�conflict  country,  the  social  tensions  between  the  young  and  the  old,  different  regions,  urban  and  rural  populations  and  ethnic groups can easily escalate.    Youth  employment  is  a  particularly pressing  issue.  Young  people  (ages  15  to  35)  represent  34%  of the population (Statistics Sierra Leone 2004). Today’s young people are transitioning from ex� combatants  and  victims  of  civil  conflict  to  productive  civilians  in  a  peaceful  society.  It  is  estimated  that  by  the  age  of  20–24  one  in  three  urban  youth  and  one  in  six  rural  youth  is  inactive  in  the  labor  market.  While  official  estimates  indicate  that  just  4%  of  Sierra  Leoneans  2  are  unemployed,  the  figure  masks  significant  differences  across  age  groups  as  well  as  under� employment—for  example,  one  in  five  youth  aged  20–24  is  working  fewer  hours  than  s/he  would  like,  and  unpaid  work  in  subsistence  farming  is  common  (Peeters  et  al,  2009).  The  president’s agenda for change puts underemployment among youth at 70% (Platt, 2009).   2.1. The 2008 Food Price Crisis and its Impact on Poverty  In  2008,  against  an  already  precarious  backdrop,  global  food  price  increases  reached  crisis  proportions:  the  average  export  price  for  rice,  for  example,  increased  from  US$375/mt  in  January  2008  to  US$775/mt  by  June  2008.  The  impact  of  high  world  food  prices  was  compounded  by  the  pass�through  effects  of  higher  fuel  prices,  which  added  to  distribution  costs,  further  fueling  the  rate  of  food  price  inflation  across  the  world.  International  price  volatility  fed  through  quickly  to  consumer  prices,  most  particularly  in  urban  areas.  The  cost  of  imported  rice  in  Freetown  in  December  2007  was  21%  higher  than  in  the  preceding  year  while  the  June  2008  price  was  53%  higher  than  in  the  preceding  year.  Similarly,  the  price  of  wheat  flour in December 2008 was twice that of a year earlier and the June 2008 price was 39% higher  than  in  the  preceding  month  of  June  (World  Bank  2009).  The  impact  of  the  increase  in  food  prices  on  households  was  especially  large  because  a  substantial  share  of  the  rice  consumed  in  Sierra  Leone  is  imported,  which  means  that  producers  may  not  have  benefitted  from  the  increase  in  the  price  of  food  staples  as  much  as  may  have  been  the  case  in  some  other  countries.  Over  the  period  immediately  preceding  the  crisis,  the  country  produced  between  450,000  tons  and  600,000  tons  of  rice,  which  represented  a  substantial  improvement  versus  the conflict years. Nevertheless, rice imports continued to be important.  Simple techniques used to assess the impact of a change in the price of rice on poverty  suggest  that  an  increase  in  the  price  of  rice  by  50%  would  have  led  to  an  increase  in  the  share  of  the  population  in  poverty  to  69.6%  from  the  baseline  of  66.4%  �  if  only  the  potential  impact  of  higher  prices  on  consumers  is  taken  into  account.  This  is  shown  in  table  1  which  provides  the  results of the simulations with and without taking into account the potential positive impact on  producers  of  higher  price  prices  (in  the  later  case,  the  impact  is  only  slightly  lower  because  much  of  the  rice  produced  in  the  country  is  auto�consumed).  While  this  may  not  seem  to  be  a  very large proportional change given an already poor population, it is substantial. Furthermore,  the increase in the poverty gap which takes into account the distance separating the poor from  the poverty line would have been much larger proportionately (Wodon et al., 2008).      3  Table 1: Potential Impact on Poverty of Higher Food Prices in Sierra Leone  Lower  Area  Share in  Baseline  Upper bound  Upper bound  Lower Bound  Bound  Impact on  Impact on  Impact on  Impact on  Household  poverty  Consumers  Consumers  Consumers  consumers    Consumption  measure  only  Only  and producers  & producers  25%        25% increase  50% increase  25% increase  increase    Headcount index  National  11.7  66.4  67.8  69.6  67.2  68.5  Urban  6.4  47.0  48.6  51.4  48.5  50.9  Rural  18.2  78.6  79.9  81.0  79.0  79.6    Poverty gap  National  11.7  27.5  28.6  29.7  28.1  28.7  Urban  6.4  16.3  17.1  17.9  16.9  17.6  Rural  18.2  34.6  35.8  37.1  35.1  35.6  Source: Wodon et al. (2008)  The  combined  effect  of  food  and  fuel  price  increases  not  only  created  severe  hardships  for  the  population,  but  it  also  made  it  more  difficult  for  the  government  to  maintain  the  planned  level  of  basic  services  to  the  population.  The  government  was  especially  concerned  about  programs  for  education,  health,  social  welfare,  local  councils,  and  security  services.  There  was  a  need  for  urgent  action,  especially  taking  into  account  the  population’s  needs  during  June  and  December  � traditionally known as the "hungry season".   One  of  the  measures  taken  by  the  Government  included  –  as  in  most  other  African  countries  (see  for  example  Wodon  and  Zaman,  2010)  –  reducing  taxes  on  selected  imported  foods,  and  especially  rice.  In  many  countries,  this  measure  could  be  shown  to  be  fairly  poorly  targeted,  as  the  majority  of  the  rice  consumed  is  purchased  by  relatively  better  off  households.  In  the  case  of Sierra Leone, the jury is still out, in the sense that 32% of the rice consumed in the country is  purchased  by  the  bottom  40%  as  the  poor.  Similarly,  about  54%  of  the  rice  consumed  in  the  country is purchased by the bottom 60% of the population. Therefore, if cuts on imported taxes  were indeed passed through by importers and distributors to  consumers through lower market  prices,  the  poor  may  have  benefitted  substantially  from  these  tax  cuts.  Whether  such  tax  cuts  did  indeed  succeed  in  reducing  consumer  prices  remains  however  open  to  question,  as  evidence for some other countries suggest that this may not always have been the case.   Beyond  tax  cuts,  the  Government  considered  a  range  of  other  measures  to  help  protect  the  poor  from  the  increase  in  food  and  fuel  prices.  This  included  a  Cash  for  Works  response  given   the fact that the impact of the increase in food� and fuel�related price was likely to be especially  high among low income youths and female headed households.     4  2.2. Political Economy Factors Shaping Response  Before  assessing  the  implementation  experience  of  the  Cash  for  Work  Program,  it  is  important  to  consider  a  number  of  political  economy  factors  that  shaped  this  choice  of  response,  and  will  shape  the  overall  debate  for  social  protection  in  Sierra  Leone.  As  the  food  crisis  unfolded  there  was  strong  interest  amongst  Government  and  stakeholders  on  the  possibility  of  mounting  a  social  protection  response,  based  both  on  existing  activities  within  country,  as  well  as  experiences from other contexts.   Government’s  primary  objective  was  to  shield  the  poor  from  price  increases  to  the  extent  possible  and  ensure  that  social,  economic  and  political  pressures  were  managed.    For  this,  it  preferred  a  package  of  interventions  with  immediate  and  visible  impact  on  household  incomes  and  consumption  smoothing  effect.   It  was  also  important  to  identify  measures  which  could  be  mounted quickly and would have urban and rural coverage. Quick consensus was built amongst  policy  makers  and  other  stakeholders  around  the  desirability  and  feasibility  of  a  public  works  program:  a  safety  net  intervention  which  combined  a  cash  transfer,  temporary  employment  opportunities  for  large  numbers  of  young  people  and  rehabilitation  of  critical  infrastructure  that  could  improve  access  to  markets  and  boost  subsistence  farming  in  the  communities.  This  program  was  combined  with  fiscal  measures  which  allowed  the  Government  to  absorb  a  large  portion of the global price increases and reduce the impact on the market prices.   In  addition,  in  the  context  of  Sierra  Leone,  a  public  works  program  offered  probably  the  only  viable  safety  net  response  which  could  deliver  rapid  results  in  a  challenging  institutional  environment whereby:  (i) Despite  a  large  majority  of  the  population  being  highly  vulnerable  to  recurrent  shocks,  Sierra  Leone  lacks  an  effective  social  protection  system  and  leadership  of  an  institution.   Although  various  sector  ministries  (agriculture,  education,  health,  social  welfare,  youth,  labor)  oversee  programs,  there  is  not  one  agency  which  centralizes  beneficiary information and creates linkages between programs;   (ii) The  social  protection  field  is  very  fragmented  with  small  programs,  scattered  implementation.  Collaboration  amongst  public  sector  agencies  and  development  agencies implementing programs is weak;  (iii) Public  sector  capacity  is  inadequate  to  set  up  and  implement  programs  in  a  short  period  of  time.    The  Ministry  of  Social  Welfare,  which  has  the  mandate  to  assist  vulnerable groups, does not have the financial or physical capacity to serve its target  population.  For  example,  while  small  and  marginal  social  assistance  programs  targeting  the  widows,  orphans,  disabled  and elderly  were  in  place  at  the  time  of  the  crisis,  they  were  not  supported  by  scalable  targeting,  enrollment,  payment  or  monitoring mechanisms.   In  such  an  environment,  the  option  of  working  through  an  existing  social  fund  mechanism  through  the  National  Commission  for  Social  Action  (NACSA)  emerged.  Relative  to  other  interventions,  a  public  works  program  was  fairly  straightforward  to  set  up  by  relying  on  5  NACSA2,  an  agency  which  had  an  extensive  and  capable  field  network  with  well  trained  staff  and  experience  on  construction  of  small  community  infrastructure.  NACSA’s  experience  collaborating  with  local  councils �  accumulated  in  working  with  communities3 �  also  proved  to  be invaluable and a good entry.   CHAPTER III: TAILORING A CASH FOR WORK RESPONSE TO SIERRA LEONE: BASIC DESIGN  FEATURES  Despite  the  time  pressures  created  by  the  onset  of  the  food  price  crisis  and  the  weak  national  capacity  for  implementation,  Sierra  Leone  was  able  to  mount  quickly  a  response  in  the  form  of  the  Cash  for  Work  Program  (See  Box  1  for  a  descriptive  overview  on  safety  nets  and  public  works).  The  CfWP  was  introduced  in  response  to  a  formal  request  from  the  Ministry  of  Finance  and  Economic  Development,  alongside  a  series  of  other  aforementioned  crisis  response  interventions.  The  project  was  a  joint  effort  of  the  Government  of  Sierra  Leone  (GoSL)  and  the  World  Bank,  designed  to  provide  short  term  employment  and  income  for  households  hard�hit  by  rising  food  prices.  By  January  2010,  the  project  had  reached  all  16,000  intended  beneficiaries. A second phase of the program with an additional US$4 million was implemented  in  2009�2010.  Based  on  this  early  implementation  experience,  another  project  (the  Youth  Employment  Support  Project  –  YESP)  which  scaled  up  the  CfWP  was  approved  by  the  Board  of  the  World  Bank  in  June  2010.  The  third  phase  under  the  YESP  will  run  from  September  2010  to  June 30, 2013.  Basic design features of the program included:  Key  Objectives:  The  objective  of  the  CfWP  was  to  mitigate  the  impact  of  the  food  price  increases  in  particular  in  the  most  “food  insecure�  areas  of  the  country.  The  program  aimed  to  provide  temporary  employment  to  16,000  beneficiaries/households  and  create  849,000  person�days  of  employment  in  its  first  phase.  The  total  cost  of  the  first  phase  of  the  program  was  US$4  million.  Work  performed  through  the  program  also  provided  public  services  to  Sierra  Leonean  communities,  including  by  rehabilitating  public  agricultural  land  in  rural  areas  and  fixing  rural  feeder  roads  and  roads  in  peri�urban  areas,  as  well  as  drains,  and  public  spaces  in  urban and rural areas.  Institutional Arrangements: The program was executed in a decentralized context involving the  participation  of  a  centralized  semi�autonomous  agency4,  several  ministries,  district  authorities  and  small  independent  contractors.  Critically,  the  CfWP  was  designed  to  build  on  the  existing                                                               2  Following  the  war,  the  National  Commission  for  Social  Action  (NACSA)  gained  prominence  by  implementing  a  large  community  driven  development  program.   Later,  its  mandate  was  extended  to  take  the  lead  in  coordinating  the  elaboration  of  the  social  protection  strategy.   The  Ministry  of  Finance  in  Sierra  Leone  has  played  a  key  role  in  overseeing  large  programs  targeting  communities  and  local  councils,  but  in  reality  it  has  not  yet  taken  a  strategic  approach  to  social  protection  policy.    A  National  Social  Protection  Authority  (NSPA)2 chaired  by  the  President’s  Chief  of  Staff  and  co�chaired  by  the  Ministry  of  Finance  was  recently  approved  by  Parliament.  The  new  body  is  expected to make policy decisions on social protection programming and spending and have an oversight function  3  NACSA  implemented  a  community  driven  development  program�National  Social  Action  Program�  during  the  period of 2003�2008. 4  The  National  Commission  for  Social  Action  (NACSA)  was  created  by  a  Parliament  Act  in  2001  however  it  has  received largely external funding for its programming.   6  capacities  and  experience  of  the  National  Social  Action  Program  which  had  been  operating  since  the  end  of  the  civil  war  in  2003.  The  program,  since  its  inception,  has  been  managed  by  the National Commission for Social Action (NACSA) which has an overall mandate to coordinate  social  protection  activities  in  Sierra  Leone.5   NACSA  has  been  the  lead  agency  implementing  a  number  of  Government  and  externally  funded  community  development  and  social  protection  programs  targeting  war  affected  and  vulnerable  populations.   It  is  organized  in  a  decentralized  fashion  with  field  offices  throughout  the  country  which  establish  direct  contract  with  beneficiary  communities  and  implementing  partners  in  the  field.  Program  implementation  was  overseen  by  NACSA  field  offices  in  partnership  with  several  other  actors.   Local  Councils,  Sierra  Leone  Roads  Authority  (SLRA),  and  the  Ministry  of  Agriculture  and  Fisheries  (as  well  as  representatives  of  other  relevant  ministries  or  agencies)  formed  the  local  level  works  projects  approval  committee.  Works  projects  were  executed  by  “small  contractors�  which  were  qualifying  private  local  contractors,  artisans,  or  registered  youth  groups.  The  works  were  supervised  by  local  teams  consisting  of  NACSA  field  staff,  SLRA,  local  councils  and  relevant  ministry staff.  Box 1: Public Works and Safety Nets: An Overview  The  case  study  focuses  on  safety  net–oriented  public  works  programs.  These  are  social  protection  instruments  used  mainly  in  low�  and  middle�income  countries  in  response  to  a  variety  of  circumstances  in  order  to  create  temporary  jobs.  They  are  typically  financed  and/or  implemented  by  a  federal  or  provincial  government,  or  by  a  donor  agency.i The  output  of  such  programs  is  twofold:  temporary  jobs  that provide wage income to participants; and the creation of public goods, including new infrastructure  or  improvement  to  existing  infrastructure,  soil  conservation  and  land  rehabilitation,  or  service  delivery.  Though  all  public  works  programs  taking  a  safety  net  approach  generate  income  for  participants  while  creating  assets,  they  are  flexible  program  instruments  that  can  respond  to  specific  country  situations  by  prioritizing program objectives and adjusting program design elements. Primary program objectives may  be  varied  and  include:  (i)  mitigation  of  shocks;  (ii)  poverty  relief;  (iii)  a  bridge  to  more  permanent  employment.   The  success  of  each  program  depends  very  much  on  its  design  features  including:  (i)  the  level of the  wage rate is a  critical design feature; in  theory, self�selection can  be encouraged if the wage  paid by the public works program is set at slightly below the market wage for unskilled labor; and (ii) the  overall  share  of  labor  costs  is  also  critical.  Public  works  as  a  safety  net  program  put  particular  emphasis  on  selecting  labor�intensive  projects  to  maximize  the  number  of  people  benefiting  from  wages.  In  other  words,  the  program  aims  to  implement  projects  with  a  high  share  of  labor  cost  without  compromising  the  quality  of  the  assets  created.  These  two  design  features  in  particular  cut  across  many  of  the  key  discussions of this assessment. For more details see Subbarao et al (2012).  Targeting:  A  combination  of  targeting  mechanisms  was  foreseen  in  program  implementation.  Initially,  program  resources  were  allocated  to  seven  districts6 of  the  country  based  on  poverty  and  food  insecurity  prevalence  rates  and  population  ranking78.  At  the  district  level,  beneficiary                                                               5  The  Parliament  extended  NACSA’s  mandate  until  2018,  and  expanded  it  to  include  support  for  local  development/local councils and social assistance programs for the poor, and for the war reparations effort. 6  In its second phase and subsequent phases, the program expanded to cover all regions.  7  As  defined  per  the  2008  Comprehensive  Food  Security  and  Vulnerability  Assessment  (CFSVA)  by  the  WFP/FAO.  This was measured largely by household food production and consumption patterns.    7  communities  that  would  receive  the  works  projects  were  identified  jointly  by  NACSA  and  local  councils  based  on:  (a)  the  viability  of  the  project  proposals  put  forward;  and  (b)  the  relative  needs  of  the  communities.  At  the  community  level,  beneficiary  selection  was  to  be  determined  by:  (a)  self�targeting—individuals  who  would  be  willing  to  work  for  the  program  wage  rate  and  (b) the stipulation that 30% of all workers be female. Each beneficiary was entitled to work for a  maximum  of  50  days  and/or  the  duration  of  the  project  not  to  exceed  two  months.  Workers  were  to  be  selected  from  within  the  locality,  and  only  one  member  from  each  household  was  eligible to participate in the program. In the case of more potential participants than needed for  each project, the contractor was to utilize a transparent mechanism to select participants either  on a first�come�first serve basis or a lottery.  Wage  Rate: A widely practiced design principle in public works programs is the application of a  below  market  wage  rate  to  ensure  self�selection  of  the  neediest  into  the  program.  The  understanding  is  that  an  individual  who  has  other  alternatives  for  employment  will  not  be  attracted  by  the  nature  of  the  work  and  low  wages.  The  program  used  a  wage  band  of  6,000� 7,500  Leones  per  day  depending  on  the  prevailing  regional  wages  in  the  country.  The  wage  rates  used  under  the  CfWP  were  calculated  to  be  significantly  under  the  prevailing  market  rate  that was found in the area (with a discount around 30% in most cases). In certain areas, such as  Freetown  Western  Area  the  wage  rate  offered  by  the  CfWP  was  in  this  case  at  50%  or  less  of  the market rate. The number of hours worked varied among the districts, but in general tended  to be between 6 and 8 hours per day.   Project  Selection:  The  works  menu  included  sub�projects  that  could  provide  employment  to  large  numbers  of  people  and  help  improve  the  livelihood  of  beneficiaries.  The  eligible  works  menu  consisted  of:  (i)  rural  feeder  road  rehabilitation;  (ii)  inland  valley  swamp  (IVS)  rice  cultivation;  (iii)  other  agriculture  projects  (alternative  crop  cultivation);  and  (iv)  environment  (reforestation,  terracing  and  other  soil  conservation  activities)  projects.  The  labor  content  of  the  works  projects  needed  to  be  above  60%,  so  that  the  projects  could  enable  a  high  share  of  temporary  jobs  creation.    Roads  rehabilitation  projects  were  often  favored  because  they  had  the  potential  to  absorb  large  numbers  of  beneficiaries  at  once  and  were  seen  as  critical  for  communities  to  access  markets  and  improve  livelihood  opportunities.   The  communities  were  asked  to  submit  proposals  for  eligible  works  projects  in  their  localities.   Projects  were  selected  by  a  committee  consisting  of  local  council  members,  NACSA  local  representative  and  representatives of relevant sector ministries.  CHAPTER IV: IMPLEMENTATION ISSUES AND EVOLUTION OF KEY PROGRAM FEATURES IN THE  FRAGILE STATE CONTEXT   We  now  turn  to  consider  the  evidence  generated  during  the  assessment  to  look  at  how  the  Cash  for  Work  operation  fared  during  implementation9.  In  the  following  section  we  examine                                                                                                                                                                                                    8  These  districts  were  Western  Rural,  Freetown,  Kono,  Bombali,  Moyamba,  Bo  and  Port  Loko.  Although  Freetown  and  Kono  ranked  lower  in  terms  of  overall  food  insecurity  and  vulnerability,  they  were  chosen  because  of  the  presence of large concentrations of unemployed youth.  9  The  implementation  period  that  is  reviewed  in  this  paper  covers  the  first  phase  of  the  Cash  for  Works  of  the  Program�2008/9.  8  findings  related  to  poverty  targeting,  wage  setting,  project  selection,  beneficiary  perceptions  and social cohesion priorities.   4.1. Poverty Targeting and Beneficiary Selection  Findings  from  a  light  assessment10 point  to  a  disappointing  targeting  performance  of  the  program,  with  high  inclusion  errors  of  non�poor  population  quintiles.  The  findings  seem  counter�intuitive  to  what  one  might  expect  ex�ante,  given  the  incorporation  of  international  best  practice  approaches  around  mixed  targeting  methods  i.e.  geographic  targeting  at  the  district  level  and  self�targeting  at  the  beneficiary  level.  Evidence  and  findings  on  these  issues  are now considered.   The  targeting  performance  of  the  program  was  estimated  ex�post  using  as  assessment  survey  questionnaire  fielded  in  Sierra  Leone  at  the  end  of  2009  by  Backiny�Yetna  and  Wodon  (2012a)  supplemented  by  a  qualitative  program  assessment11.   A  random  sample  of  beneficiaries  from  CfWP  was  drawn  from  most  of  the  regions  in  which  the  program  is  implemented  (at  the  time  the  survey  was  fielded,  not  all  regions  had  completed  their  implementation  of  the  program,  which  explains  why  the  sample  is  not  fully  representative).    Approximately  1,000  participants  were  interviewed.  Targeting  performance  was  estimated  by  matching  the  characteristics  of  CfWP  participants  (i.e.  welfare  status)  with  the  national  population  as  represented  by  the  2007  Core  Welfare  Indicator  Questionnaire  (CWIQ)  and  the  2003�4  Sierra  Leone  Integrated  Household Survey (SLIHS).  Different  methods  were  used  by  Backiny�Yetna  and  Wodon  (2012a)  for  assessing  where  the  beneficiaries  of  the  CfWP  were  situated  in  the  distribution  of  welfare  of  the  country.  Comparisons  were  made  in  terms  of  assets  indices  between  beneficiaries  and  the  overall  population,  as  well  as  in  terms  of  consumption  per  equivalent  adult.   In  addition,  two  different  techniques  were  used  for  the  analysis  –  with  or  without  so�called  coarse  exact  matching  (CEM)  as a first step before matching households through more standard techniques. The main results  are provided in table 2, with a comparison with similar results obtained for the assessment of a  very similar cash for work project in Liberia which was evaluated at the same time as the Sierra  Leone  project  and  using  the  same  approach  (see  Backiny�Yetna  et  al.,  2012b).  Overall,  the  results were robust to the choice of methodology for assessing targeting performance.  The  results  presented  in  table  2  suggest  that  many  of  the  2008�09  CfWP  households  belonged  to  the  higher  quintiles  of  wealth,  with  21.0%  located  in  the  third  quintile,  44.1%  in  the  fourth,  and  15.1%  in  the  top  quintile  of  welfare.   It  must  be  emphasized  that  even  households  in  the  fourth  quintile  in  Sierra  Leone  could  be  considered  as  poor,  or  at  least  as  highly  vulnerable  to  poverty,  given  that  the  simulations  presented  in  table  1  suggest  that  about  70%  of  the  population  could  have  been  considered  as  poor  given  the  increase  in  food  prices.  Thus,  the  program  did  reach  households  in  need.  Yet  at  the  same  time  table  2  also  presents  the  results  for  Liberia,  where  the  similarly  designed  CfWP  apparently  better  reached  households  in  the                                                               10  Light  assessment  refers  to  use  of  a  short  survey  targeted  to  a  random  sample  of  CfW  program  beneficiaries  and  comparing/matching the results of this survey with the available national household survey data.   11 Qualitative Assessment of the Sierra Leone Cash for Works program, Dalan Consulting, 2010.  9  lower  quintiles  of  welfare  than  was  the  case  for  Sierra  Leone.    Clearly,  even  if  the  2008�09  Sierra  Leone  CfWP  did  provide  much  needed  relief  to  populations  in  need,  its  targeting  performance was weaker than it could have been.  Table 2: Targeting Performance � Share of Project Beneficiaries by Welfare Quintile (%)  Sierra Leone  (First phase (2008�09))  Comparison: Liberia  Poorest quintile  5.5  16.5  Second quintile  14.4  43.3  Third quintile  21.0  27.8  Fourth quintile  44.1  11.4  Richest quintile  15.1  1.0  All  100.0  100.0  Source: Backiny�Yetna and Wodon (2012a), Backiny�Yetna et al. (2012b)  What  might  account  for  the  relatively  poor  targeting  performance  of  the  program  in  Sierra  Leone? It is difficult with the quantitative data alone to identify what led to weak targeting, but  drawing  also  on  the  qualitative  assessment  findings  a  number  of  factors  could  account  be  considered.  Geographic  Targeting  Factors:  As  a  rapidly  implemented  emergency  operation  operating  in  a  low�data  environment,  the  2008�09  CfW  program  struggled  to  apply  strict  poverty/need  based  geographic  targeting  criteria  at  the  lowest  administrative  level  possible  closest  to  the  beneficiary.   At  the  district  level12,  the  program  was  successful  in  allocating  resources  based  on  poverty  and  food  insecurity  prevalence  rates  and  population  ranking.  Going  down  to  sub� district and community13 level the program adopted a more opportunistic approach due to lack  of  data  at  these  levels.  As  per  operational  guidelines,  beneficiary  communities  were  identified  by NACSA and local councils based on: (a) the viability of the project proposals put forward; and  (b)  the  relative  needs  of  the  communities.  The  first  criteria  on  ‘project  viability’  proved  to  be  critical in many cases. Communities were selected on the basis of relevance of the public works  activity that they were proposing, rather than on the relative exposure of these communities to  food  insecurity  or  poverty:  in  particular,  one  of  the  main  criteria  for  selection  was  that  priority  would be given to projects that had already been identified and captured in the District Council  Development plans. Given the emergency nature of the first phase of the program, this implied  that  about  70%  of  communities14 were  selected  based  on  an  ability  to  quickly  implement  “off� the�shelf�  road  rehabilitation/maintenance  projects  in  localities.  The  fact  that  the  selection  of  the communities was in such a manner and not based primarily on poverty/vulnerability criteria  undoubtedly  weakened  the  ability  of  the  program  to  reach  the  poorest,  such  that  the  project  has attracted less poor beneficiaries living closer to city centers and markets.   A  further  complication  of  geographic  targeting  relates  to  the  distribution  of  poor  populations.  Geographic  targeting  is  appropriate  where  the  poor  or  the  affected  (from  a  flood,  drought  or                                                               12  There  are  14  districts  in  Sierra  Leone.   Their  population  ranges  between  approximately  140,000  to  800,000  the  largest being Western Urban which includes Freetown.  13  Each district on average has 15�17 towns and villages.   14  Authors’ estimation based on the sub�project administrative database   10  other)  are  disproportionately  concentrated  in  one  area.   However,  in  places  where  pockets  of  poverty or vulnerability co�exist with relatively well�off populations, geographic targeting needs  to  be  combined  with  other  methods  that  make  use  of  poverty  data.  Although  the  program  design  emphasized    the  use  of  multiple  targeting  methods  to  make  identification  of  the  neediest  more  accurate  and  comprehensive,  thereby  improving  targeting15,  the  intra�district  targeting to be based on relative poverty and need was not well implemented and applied.  The  geographic  targeting  approach  has  been  revamped  under  the  Youth  Employment  Support  Project,  with  a  new  data�driven  geographic  targeting  model  that  permits  more  objective  targeting at the sub�district level.   Self  Targeting:  Self�targeting  also  posed  challenges  for  the  program,  and  brings  into  focus  the  efficacy  of  two  particular  design  attributes  (i)  wage  rates  and  (ii)  work  requirement.  The  program’s  targeting  at  the  beneficiary  level  relied  heavily  on  self�targeting  through  below  market  wage  rates,  which  were  meant  to  dissuade  participation  by  people  in  upper  income  quintiles  and  those  who  already  had  productive  employment.  Despite  what  appeared  to  be  a  low wage setting approach, the program seemed to attract high numbers of relatively better off  beneficiaries and was often oversubscribed16.   Findings from the assessments are inconclusive on this front, and require further scrutiny as the  program  evolves.  Assuming  the  full  six�to�eight  hour  work  requirement  was  enforced  (which  seems  likely  from  the  qualitative  assessment),  we  see  higher  than  anticipated  inclusion  errors.   This raises a number of possibilities. Firstly, it suggests the limitations of using wage levels alone  working  in  high  poverty  and  high  unemployment  contexts.    This  brings  into  focus  whether  a  lower  wage  level  should  be  set.  Although  concessionary  wage  levels  are  higher  than  the  program  wage,  those  jobs  are  not  widely  available,  and  perhaps  a  truer  benchmark  in  wage  setting is to look at the casual labor market wage rates. We return to this issue in the following  section.  Second,  it  suggests  a  need  for  additional  targeting  mechanisms  at  community  level  to  ensure places in the program were well rationed. For example, in Liberia by contrast – where as  already  mentioned  a  similar  study  was  conducted  (see  Baciny�Yetna  et  al.,  2012b,  as  well  as  Andrews et al., 2011) � the jobs were allocated in most cases on a first�come, first�served basis,  which  may  have  prevented  reaching  the  extreme  poor,  but  seemed  to  be  efficient  in  reaching  the  poor.  In  the  context  of  Sierra  Leone,  the  communities  resorted  to  a  rotation  based  approach (discussed below) which may have had opposite results.   If  the  full  work  requirement  was  not  enforced,  other  possibilities  could  come  into  focus,  i.e.  beneficiaries  could  avail  of  a  full  day’s  wage,  without  having  to  substitute  away  from  other  labor  activities.  This  did  not  seem  likely  based  on  qualitative  findings.  Work  sites  were  organized  to  include  registration  and  muster  roles  that  ensured  projects  were  completed.                                                               15    For  more  information  see  Coady,  Grosh,  and  Hoddinott,  2004.  In  their  review  of  128  social  assistance  programs  implemented  in  48  countries,  Coady,  Grosh,  and  Hoddinott  found  that  there  was  no  clearly  preferred  targeting  method.  In  fact,  80%  of  the  variability  in  targeting  performance  was  due  to  differences  within  targeting  methods;  only 20% was due to differences across methods. 16  The  sub�project  administrative  data  suggests  that  in  30%  of  the  sub�projects  rotation  of  beneficiaries  was  used  which  implies  that  the  projects  were  oversubscribed.    However,  authors  believe  that  based  on  manual  record� keeping  practices  at  the  work�sites,  interviews  with  beneficiaries  during  supervision  visits  and  the  qualitative  assessment findings , this is an underestimation.    11  Monitoring  activities  suggest  these  control  mechanisms  worked  well.    Flexibility  offered  to  combine  public  works  with  other  (e.g.  agriculture,  petty  trade)  work  may  have  attracted  a  larger  pool  of  labor  than  initially  anticipated.  Regardless,  the  project  design  intended  to  supplement household incomes and not to replace them completely.   Underlying  dynamics  of  targeting  performance:  Assessment  findings,  however,  point  to  a  number  of  underlying  program  dynamics  which  appeared  to  hamper  overall  targeting  performance:   First,  there  was  a  lack  of  transparency  on  beneficiary  selection  in  the  2008�09  phase:  Beneficiary  selection  was  facilitated  in  some  cases  by  local  authorities,  in  others  by  the  contractors  implementing  the  program  (who  did  in  some  cases  provide  jobs  to  individuals  external  to  the  community),  and  still  in  other  cases  by  local  traditional  chiefs/elders  and/or  youth  leaders.  Although  contractors  were  never  assigned  a  role  in  selecting  participants  in  the  original  project  design,  there  were complaints  expressed  by community members  that  they  did  play  a  role  and  did  not  always  apply  the  eligibility  criteria.    For  example,  contractors  were  expected  to  enforce  lottery  or  first�come  first  served  mechanisms  where  oversubscription  occurred.  This  did  not  seem  to  be  the  norm.  Even  though  there  were  selection  criteria  applied  during  enrollment  (i.e.  the  quota  on  women,  one  beneficiary  per  household,  and  being  a  resident  of  the  locality),  these  criteria  were  not  uniformly  enforced  or  adhered.  Findings  suggest  that  as  the  program  rolled  out  there  was  an  emphasis  placed  in  program  implementation  on  targeting  youths.    This  is  particularly  understandable  given  the  physically  demanding  nature  of  projects  selected  for  the  program  i.e.  road  maintenance  and  a  concern  that  most  local  authorities  had  with  respect  to  providing  gainful  employment  to  large  numbers  of  unemployed  youth.    However,  it  may  have  had  an  unintended  effect  of  skewing  overall  targeting  performance.  To  address  this  problem,  beneficiary  selection  under  YESP  has  been  turned over to local Community Oversight Committees (COCs). 12  Box 2: Approach for Selecting Direct Beneficiaries  “I  was  here  the  very  day  the  NaCSA  man,  the  contractor  .  .  .  came  here.  .  .  .  When  we  brought  him  here  he  said  to  us  he  was  going  to  walk  the  road.  .  .  .  He  started  registering  people  at  Compass  Street.  As he came along, he advertised the work and registered people at the same time.  So, those  he met on the way were the people he registered.  He was not looking for qualification; he did not in  fact visit houses.   “So  for  us  in  the  area,  we  passed  on  the  information  about  the  work  to  our  friends  the  moment  we  were  told  about  it,  this  was  how  the  information  went  round  in  this  area.�  (FGD  participant,  Campbell Street, Makeni)  Another  (female)  participant  also  added  the  people  and  chief  in  the  area  played  no  role  in  selecting  workers:  “It  was  the  contractor  that  selected  me.  He  found  me  selling  cassava  and  he  registered  us.  When  he  came  the  next  day  we  were  not  selected,  he  brought  new  set  of  men.  We  were  only  called  to work the other week after work had started.� (FGD participant, Campbell Street, Makeni).  When  asked  whether  all  who  worked  were  residents  of  the  locality,  one  beneficiary  responded:  “The  contractor  brought  other  people,  he  brought  his  relatives  to  work,  and  most  of  them  were  his  relatives. For those of us that were in fact registered he replaced us with his relatives, that was what  he  did  to  us. If they had  gone  house  to  house,  I am sure it would have been genuine but they did not  go house  to house. Please if this vacancy was  happening  again, we  would like you to  keep an  eye on  it so this thing will go thoroughly.� (FGD participant, Campbell Street, Makeni)  Source: Dalan Development Consultants, 2010  Second,  because  of  high  demand  for  the  CfWP,  many  communities  introduced  a  rotation  mechanism17 to enable more individuals to participate, albeit for a smaller number of days (this  is  documented  in  the  qualitative  assessment;  see  Dalan  Development  Consultants,  2010).  At  the  works  sites,  although  self�targeting  and  first–come,  first�served  were  to  be  the  main  mechanisms  to  identify  and  enroll  beneficiaries  to  the  program,  the  overwhelming  demand  required  additional  measures.  The  program  design  called  for  a  lottery  mechanism  to  regulate  excess demand. However, communities approached this proposal with skepticism and mistrust,  noting  its  susceptibility  to  manipulation  and  favoritism  and  therefore  did  not  use  it  in  many  instances.    Instead,  a  rotation  system  emerged  whereby  all  those  who  were  willing  to  work  were  given  an  opportunity  to  participate  in  the  program  through  weekly  or  bi�weekly  rotations  of  works  crews.  The  qualitative  assessment  established  that  community  members  viewed  the  rotation  as  a  “fair  system�  which  distributed  the  benefits  of  the  program  equally  amongst  the  poor  and  the  unemployed.  The  rotation  system  was  an  innovation  that  was  coherent  with  the  objective  of  giving  opportunities  to  a  larger  group  of  youths.  NACSA,  the  implementing  agency,  and the local councils agreed with the rotation arrangement as an important adjustment to the  program  design  in  line  with  the  socio�economic  dynamics  and  values  of  many  poor                                                               17  Based  on  a  sub�project  administrative  database,  it  is  estimated  that  in  30%  of  the  works  projects  rotation  mechanism  was  used  for  beneficiary  enrollment  to  the  program.   However,  the  qualitative  assessment  interviews  and  field  visit  findings  suggest  that  this  ratio  may  have  been  much  higher  than  recorded.    It  may  be  that  the  reporting  of  the  number  of  workers  was  not  done  accurately  –  and  whenever  2  workers  were  effectively  sharing  the number of days it was actually reported as only one worker.  13  communities  in  Sierra  Leone  and  as  a  means  to  avoid  any  social  unrest  by  those  potentially  excluded  from  the  program.  Even  with  the  rotational  arrangements  in  place  in  some  communities, an ex post analysis conducted by NACSA and the World Bank found that over the  course  of  phases  one  and  two,  about  47,000  people  were  turned  away  at  CfWP  sites  as  losers  of  lotteries  or  because  they  did  not  come  early  enough  in  first–come,  first  served  arrangements,  demonstrating  the  high  level  of  demand  for  the  program.  With  the  rotation  in  place, a larger number of youths were able to earn some minimum income, even allowing some  students  to  pay  for  their  school  fees  (Dalan  2010  p.  24).   However  the  rotation  system  had  the  effect  of  lowering  the  magnitude  of  transfers  offered  to  participants,  and  of  keeping  the  participation in the program open to everyone interested regardless of poverty level.   Box 3: Implication of Rotational Scheme on Number of Working Days  According  to  the  beneficiary,  the  program  lasted  for  a  total  of  nine  weeks  in  the  community.  Given  that  it  was  a  “community  program,�  the  work  had  to  be  spread  round.  There  were  three  groups  with  25 people per group.  Each group was allowed to work for a total of three weeks and then withdrawn  for another group to take over.   When  the  rotational  system  was  first  introduced,  there  were  tensions  and  complaint  from  participants  who  obviously  wanted  to  work  longer.  It  was,  however,  explained  to  beneficiaries  that  the  system  was  introduced  as  a  way  of  extending  the  limited  work  opportunity  to  everyone  in  the  community.  Eventually  this  argument  was  accepted  and  everyone  was  satisfied  with  the  rotational  arrangement. (FGD, direct beneficiaries, Ndomahina Street, Kono)  Source: Dalan Development Consultants, 2010  4.2. Setting the Wage rate  The  wage  rate  is  a  key  program  feature  because  it  performs  several  important  functions.  First  and  foremost,  it  determines  the  benefits  accruing  to  participants.  Second,  it  can  allow  the  self� selection  of  the  poor  into  the  program  while  discouraging  the  non�poor  from  participation.  Third,  the  wage  rate  can  significantly  influence  the  overall  cost  and  labor  absorption  potential  of the program with consequential implications for its efficiency as a safety net.18 A higher wage  rate  will  most  likely  attract  the  relatively  non�poor  and  crowd  out  some  of  the  real  poor,  in  particular,  where  there  is  a  budget  constraint.  As  evidenced  from  the  targeting  discussion  above, there appeared to be limitations to using the wage rate alone as a targeting mechanism,  especially  given  the  high  poverty  and  underemployment  that  prevails  in  Sierra  Leone.  This  brings  into  focus  two  questions  for  our  discussion:  Was  the  wage  level  appropriate?   Could  the  wage rate be recalibrated to ensure smoother targeting?   Was the wage level appropriate?  Despite  the  wage  setting  principle  identified  above,  in  practice  setting  a  wage  level  that  accurately  reflects  local  market  wages  is  not  an  easy  task.  For  example,  one  difficulty  comes  from  the  established  minimum  wage  rate  for  Sierra  Leone.  According  to  the  National                                                               18  Subbarao,  Kalanidhi,  Carlo  del  Ninno,  Colin  Andrews,  and  Claudia  Rodriguez  Alas.  Forthcoming  2012.  Public  Works Programs as a Safety Net: Design, Evidence and Implementation.  Washington, D.C.: World Bank.  14  Commission  for  the  Social  Action,  the  country  does  not  have  a  minimum  wage  in  the  strict  sense.19 Instead,  the  Regulations  of  Wages  and  Industrial  Relations  Act  of  1971  sets  the  Government’s position on the subject by authorizing the Joint National Negotiating Board to fix  minimum  wages.20 According  to  the  Commissioner,  it  is  the  Trade  Group  Councils  that  set  the  minimum  wage  for  their  respective  trades,  which  are  then  submitted  to  the  Government  for  approval.  For  roads  works,  which  fall  under  the  trade  group  of  Building  and  Construction,  it  is  the  Construction  Union  that  sets  the  minimum  wage  for  the  industry,  and  it  is  approved  by  the  Government.  Given  the  confusion  on  minimum  wages,  the  question  is  whether  the  CfWP  wage  was prevailing wages.  Table  3  compares  the  daily  wage  rate  offered  by  the  program  to  rates  offered  for  local  concessions  or  similar  unskilled  tasks  in  the  community.  The  concessionary  rates  are  based  on  local (market) wage rates for unskilled labor in the locations, as estimated through interviews in  the localities visited.   Table 3: CfWP Wage versus Local Concessionary Wage Rate by District  District/Area  CfW Daily wage  Daily wages for similar work  (Leones)  (Leones)  Kono  7,500  12,000  Bo  6,000  10,000  Moyamba  7,000  10,000  Port Loko  6,500  8,000�10,000  Bombali  6,500  8,000�10,000  Western Rural  7,000  12,000�15,000  Western Urban  7,000  20,000�25,000  Source: Dalan Development Consultants, 2010  As  shown  in  table  3,  the  concessionary  wage  rate  offered  for  unskilled  labor  was  higher  than  what  was  paid  by  the  program  in  every  district.  The  difference  is  much  higher  in  Freetown.  In  Kono the rate exceeds Le 10,000 because of the mining activities that also rely on manual labor.  The  rate  offered  by  the  program  was  also  compared  with  daily  (minimum)  wage  rates  other  ministries,  departments  and  agencies  (MDAs)  paid  to  unskilled  laborers as  well  as  rates  offered  by other development agencies implementing CfWP projects (see table 4).                                                                   19  Telephone discussion with the Commissioner of NACSA on May 12, 2010.  20  See Section (3) of the Regulation of Wages and Industrial Relations Short Title Act of 1971. 15  Table 4: Wage Rates Offered for Unskilled Labor by Selected Government Agencies  and Different CfW Programs  MDA  Wage Rate for Unskilled Labor (Le)  NaCSA CfW Program  6,000–7,500  Ministry of Agriculture and Food Security�  6,000–10,000  NERICA Project  Ministry of Finance and Economic  6,82721  Development  Sierra Leone Roads Authority  5,000/Task22  COOPI CfW Program  7,00023  Catholic Relief Services CfW Program  7,00024  Source: Dalan Development Consultants, 2010  Tables  3  and  4  suggest  that  the  rate  wage  offered  by  the  CfWP  was  relatively  low  –  and  in  the  theoretical  sense  appropriate,  yet  the  program  faced  over�subscription.  As  mentioned  above,  this  may  simply  reflect  the  realities  of  working  in  high  unemployment  and  underemployment  context25,  whereby  temporary  employment  opportunities  such  as  those  provided  by  the  CfWP  remain  attractive  to  many.  As  in  other  Sub�Saharan  African  countries,  many  people  are  simply  too  poor  to  be  unemployed  and  must  take  up  work  regardless  of  its  quality  or  level  of  remuneration (Peeters et al 2009). So any work, even at a low wage, is better than no work.  Could the wage rate be recalibrated to ensure smoother targeting?  Where  poverty  and  unemployment  is  widespread  and  affects  a  large  part  of  the  youth  population,  it  is  very  difficult  to  determine  a  low  enough,  and  at  the  same  time  politically  acceptable,  program  wage  that  will  attract  only  the  neediest  and  the  poorest.  The  CfWP  wage  rate  seems  to  have  attracted  unemployed  or  underemployed  individuals  from  wealthier  households,  who  despite  their  relatively  well�off  status  have  a  low  reservation  wage.  What  should be the future wage setting approach for the program?  While  a  lower  wage  rate  would  help,  if  only  to  spread  work  opportunities  among  a  larger  number of beneficiaries, politically, it would not be acceptable to decrease the wage rate below  a  certain  level.  This  highlights  the  politically  sensitive  nature  of  government  programs  setting                                                               21  The Ministry of Finance does not pay daily wage to government employees. The lowest monthly salary for Grade  1  employees,  which  are  unskilled  laborers,  is  Le  150,204,  which  was  divided  by  an  average  of  22  working  days  to  arrive at Le 6,827 wage per day.  22  SLRA  pays  Le.5,  000  per  piece  of  task  performed.  A  task  in  the  road  sector  could  for  instance  entail  spot  improving 10 meters of road section and not necessarily 8 hours of work per day.  23  This  program was  modeled after  the  NACSA  CfW  program  and used  the  same  wage  scale  in  the  region  that  they  operated.   24  This  program was  modeled after  the  NACSA  CfW  program  and used  the  same  wage  scale  in  the  region  that  they  operated.  25  Official  unemployment  in  Sierra  Leone  amongst  youth  is  4%  although  this  does  not  take  into  account  demographic  differences  across  groups  and  those  who  are  inactive,  underemployed  and  those  with  very  low  paying and low quality jobs. As an example, unemployment amongst urban youth of 15�19 is 17.4%. 16  wages  far  below  other  accepted  "minimum"  wage  rates  and  whether  there  is  a  break�even  point when poverty is so prevalent that the extra cost (administratively and socially) of trying to  exclude the relative better off (but still reasonably poor) is not worth it.  The  CfWP  experience  demonstrates  the  need  to  carefully  think  about  the  program  wage  rate  but  also  suggests  that  it  is  unlikely  that  the  program  will  be  able  to  target  the  poorest  relying  solely  on  the  program  wage  rate.  It  is  thus  crucial  to  put  complimentary  selection  criteria  in  place.  These  criteria  can  be  categorical  criteria  such  as  asset  or  land  ownership  to  exclude  relatively better off members of the community from the program.    4.3. Choice of Projects � Public Works Menu  The  vast  majority  of  interventions  (80%)  supported  road  maintenance  and  rehabilitation,  while  another  16%  were  in  agriculture  (in  particular  Inland  Valley  Swamp  rice  development,  accounting  for  10%).  Almost  the  entire  funding  was  therefore  shared  between  these  two  sectors,  with  some  residual  investment  in  environmental  projects.   A  number  of  criteria  were  also  applied  to  guide  the  selection.  The  most  restricting  criterion  (as  is  typically  the  case  for  labor�intensive public works programs) was the ratio between labor and non�labor costs which,  as mentioned earlier, was set at 60% and 40% of each subproject cost.     Table 5: Profile of CfWP Phases 1 and 2    Number  Female  Male  o/w  o/w  of sub� total  adult  youth  adult  youth  female  youth  projects  Road  579  2,213  6,419  5,030  17,207  30,955  28%  76%  rehabilitation  Inland Valley  33  191  403  376  893  1,863  32%  70%  swamp (IVS)  rice  cultivation  Other  80  591  1,177  865  1,945  4,573  39%  68%  agriculture  (Cassava,  vegetables,  etc.)  Environment  33  180  439  232  987  1,929  32%  74%  Other  2  4  15  8  63  90  21%  87%  (water)  Total  727  3,179  8,453  6,602  21,095  39,410  30%  75%  Source: National Social Action Project Implementation Completion Report, 2011  17  Although the communities were to take the lead in the formulation of eligible works projects, in  practice the process was driven by the local councils. Local councils saw the opportunity to fund  activities  in  the  council  development  plans  that  were  otherwise  lacking  funding,  such  as  maintenance  and  rehabilitation  of  small  roads.  Ultimately,  NACSA  and  local  councils  made  the  decisions  about  which  activities  to  implement  and  later  communicated  to  the  target  community.  The  subprojects  that  were  given  priority  were  to  the  extent  possible  already  included  in  Local  Council  Development  Plans.  Other  labor�intensive  activities  (such  as  reforestation  or  soil  conservation  activities)  may  not  have  been  prioritized  in  the  Local  Council  Development  Plans  in  the  first  place  –  as  Council  Development  Plans  do  not  necessarily  consider the labor�intensive dimension of the planned investments.  Chiefs  and  community  elders  were  on  the  other  hand  largely  excluded  in  decision  making  regarding  activities  that  would  be  financed  by  CfWP  funding.  The  experience  of  these  stakeholders  was  that  NaCSA  did  not  necessarily  consult  them  in  identifying  a  community  project  that  could  be  funded.  News  of  project  approval  for  communities  often  reached  them  after  contracts  had  been  awarded.  Even  though  these  local  authorities  did  not  normally  have  a  say  in  what  projects  to  undertake,  they  mostly  agreed  that  the  activities  that  were  eventually  funded by the program were indeed community priorities.  As  projects  were  linked  to  existing  council  plans,  the  understanding  was  that  the  local  councils  would  allocate  funds  out  of  their  yearly  budget  for  maintenance  of  the  assets  created.  Local  councils  also  had  arrangements  that  predate  the  CfWP  for  managing  community  assets  such  as  roads.  Councils  often  cited  the  use  of  communal  labor,  which  is  usually  organized  by  chiefs,  to  undertake road maintenance on a voluntary basis. In some localities, communal labor had been  effectively utilized to keep the CfWP assets in good condition although this was not the case for  other localities.   Finally,  natural  resources  management,  soil  conservation,  environment  and  climate  change  mitigation  activities  that  are  labor�intensive  and  may  have  a  positive  impact  on  food  security  have  been  the  focus  of  a  number  of  large  public  works  program  in  Africa  and  elsewhere.   However, such labor�intensive public works rely on techniques of which communities, and local  councilors,  may  not  always  have  previous  knowledge  or  may  not  be  familiar  with.  Therefore,  they  may  not  always  be  an  obvious  choice  for  communities,  and  may  also  require  a  greater  involvement  of  central  government agencies  such  as  the  Ministry  of  Agriculture  or  the  Ministry  of  Environment  for  design  and  supervision.  A  positive  menu  of  standard  labor�intensive  activities,  coupled  with  appropriate  awareness  and  capacity�development  activities  at  the  council  and  community  levels,  could  have  been  a  way  to  diversify  the  choice  of  public  works  activities.  There  are  several  questions  that  the  implementation  experience  highlights  and  for  which  this  paper is not able to provide complete answers.   First,  did  the  choice  of  works  projects  yield  the  possible  economic  outcomes  with  respect  to  income  transfers  and  value  created?  Technically,  putting  the  maximum  weight  on  the  rehabilitation/maintenance  of  feeder  roads  has  served  the  temporary  employment  creation  and  income  transfer  program  objectives  of  the  program  well.  It  has  maximized  number  of  person  days  of  employment  created  and  the  portion  of  the  program  resources  that  was  used  18  cash transfers.  Lack of administrative data did not allow the assessment to assess the economic  value  of  the  infrastructure  created  however  the  qualitative  assessment  and  reliance  on  the  local development plans suggest that the infrastructure did indeed respond to the communities  immediate needs in terms of access to markets and livelihood support.  In the future, there is a  need  to  evaluate  better  the  value  of  the  assets  created  as  they  absorb  a  significant  (40%)  portion of program resources and constitute an important output.   Second,  how  well  are  the  community  assets  being  maintained?  The  assessment  did  not  include questions on this aspect as it was too early in the implementation. The Implementation  Completion  Report26 for  the  first  two  phases  of  the  Cash  for  Work  Program  is  also  silent  on  the  status  of  assets  created  other  than  stating  that  the  maintenance  is  the  responsibility  of  local  authorities and communities for these types of assets.    Third, would fuller community involvement in the selection of the works projects have made a  difference  with  respect  to  benefits  accruing  to  communities?  The  qualitative  assessment  suggests  that  stronger  involvement  of  communities  in  the  selection  of  the  works  projects  is  needed  and  desirable  by  beneficiaries  to  ensure  community  oversight  in  the  selection  of  beneficiaries and implementation of works. This recommendation was taken into account in the  Cash for Work component of the ongoing YESP.  4.4. Program Benefits and Quality  Magnitude of Transfer  Each beneficiary household was entitled to work up to 50 days and receive a maximum transfer  of  SLe  300,000�350,000.27 The  transfer  was  equivalent  in  nominal  terms  to  about  40%  of  the  annual  poverty  line  for  one  equivalent  adult28 as  measured  by  the  2003/2004  Integrated  Household  Survey.  In  real  terms  the  proportion  was  lower  given  inflation  since  then,  and  it  must  also  be  emphasized  that  many  households  tend  to  have  about  four  equivalent  adult  members.  Still,  the  transfers  could  have  had  a  large  impact  on  poverty  (especially  the  poverty  gap  and  squared  poverty  gap)  among  beneficiaries  if  they  had  reached  primarily  the  poor,  as  was  evidenced  in  the  assessment  for  the  similar  project  carried  out  in  Liberia  (Backiny�Yetna  et  al., 2012b; Andrews et al., 2011).   In  practice,  in  part  due  to  the  rotation  arrangements  used  in  some  communities29,  the  average  amounts  transferred  per  beneficiary  or  household  were  lower  (they  ranged  between  SLe  126,000  and  SLe  300,000)  depending  on  the  number  of  weeks  that  beneficiaries  were  allowed                                                               26  Implementation and Completion Results Report, National Social Action Project, June 28, 2011.   27  An equivalent of US$90�112. 28  The  2003/2004  Sierra  Leone  Integrated  Household  Survey  (SLIHS),  which  gives  the  most  recent  information  on  poverty  in  the  country,  the  food/extreme  poverty  line  was  estimated  at  Le  1,033  ($0.34)  per  day  per  equivalent  adult, and the full poverty line at Le 2,111 ($0.69) per day per equivalent adult.   29  It  is  estimated  that  rotation  arrangements  were  used  in  about  30%  of  the  communities/sub�projects.  This  may  be  an  under�estimation  since  this  was  not  explicitly  tracked  and  recorded  by  NACSA.  The  estimate  is  authors’  calculation based on data on total wages paid and person days worked for 729 works projects.   19  to  work  before  rotating30.  The  rotation  arrangement  inevitably  reduced  program  impact  vis�à� vis households’ ability to cope with the price increases. In its  subsequent phases, as  mentioned  earlier,  the  program  officially  endorsed  rotation  arrangements  used  to  subscribe  beneficiaries  to  the  program  (depending  on  the  labor  supply  and  community  dynamics)  along  with  the  lottery and first�come�first�serve mechanisms.   Beneficiary Perceptions of program benefits and quality  A  series  of  questions  on  subjective  perceptions  regarding  the  program  were  also  asked  to  program  participants  during  the  quantitative  assessment,  the  results  of  which  are  provided  in  Table  6.  Most  participants  declared  that  they  had  not  done  this  type  of  work  before  and  that  they  acquired  skills  that  they  would  be  able  to  use  later.  They  also  learned  to  be  punctual.  The  assignments  that  they  received  were  clear,  and  corruption  (bribes  paid  by  participants)  was  on  the  low  side  according  to  participants.  While  some  participants  experienced  delays  in  being  paid, this was limited to approximately one in five participants.                                                                    30  Authors’ estimation based on the project administrative database. It was not possible to establish accurately the  minimum  number  of  days  a  beneficiary  may  have  worked.  The  calculation  is  based  on  average  number  of  days  worked  per  works  project  which  we  think  underestimates  the  numbers  of  workers  recorded  and  hence  the  average number of workdays and earnings. 20  Table 6: Subjective Indicators of Program Quality among Participants (%)  Relation to Head  Gender  Assignment  All    Rehabilitation  Head  Other  Male  Female  Other  Total  of roads  Has done this type  26.8  28.7  28  26.4  21.5  51  27.6  of work before  Has gained  86.4  83.6  86.6  82  84.2  90.8  85.6  technical skills  Has learned to be  98.7  97.8  98.3  98.5  98.8  97.8  98.6  punctual  Through the  96  94.5  95.8  94.5  97.8  88.2  95.8  program  Has gained skills  88.9  86.5  88.4  87  87.7  90.1  88.2  helping later  Assignment was  83.7  85.6  83.1  87.6  84.8  84.5  84.7  clear  Has worked too  69.2  60.9  69.5  54.4  72.7  40.5  66.1  hard  Has paid a bribe  5.1  5.2  4.8  5.8  5.3  4.6  5.2  The salary was fair  36.6  43.5  36.8  45.2  35.7  54  39.4  Experienced  15.2  24.2  20.8  13.4  17.7  22.3  18.6  payment delays  Source: Backiny�Yetna and Wodon (2012a)  Also,  the  creation  of  new  community  assets  has  probably  brought  at  the  community  level  additional  benefits,  particularly  in  the  form  of  improved  roads  that  have  increased  access  to  communities.  More  vehicles  are  able  to  transit  the  roads  and  this  has  eased  local  transport  (in  particular  motorbikes)  and  facilitated  access  to  markets,  administrative  centers,  and  health  facilities.  The  capacity  to  maintain  these  assets  is  however  sometimes  questionable.  In  some  instances,  communities  and  Local  Councils  may  have  capacity  to  maintain  roads  over  time,  while  in  other  cases  where  this  may  not  be  possible,  in  which  case  it  may  be  more  meaningful  in  the  future  to  consider  other  types  of  projects  that  will  generate  more  durable  benefits  for  the communities and their population.  At  the  household  level,  the  qualitative  assessment  reports  that  beneficiaries  valued  highly  the  short  term  employment  and  supplemental  income.  The  assessment  found  that  earnings  were  primarily  used  to  purchase  food  for  the  household.  Some  beneficiaries  utilized  a  portion  of  the  wages to pay for school and medical expenses. In a few cases, some women were able to save a  portion  of  their  income  and  set  up  small  businesses,  as  discussed  below.  On  the  negative  side,  the  program  raised  expectations  amongst  youths  for  longer  term  employment  opportunities  which it was not meant to deliver, and these expectations will need to be managed.   21  4.5. Program monitoring and transparency  The  program  was  housed  at  the  Social  and  Economic  Opportunities  Directorate  (SOCEP)  of  NaCSA.    NaCSA  had  the  overall  responsibility  to  keep  project  activities  on  track  so  that  they  could  be  completed  on  schedule,  in  line  with  the  approved  budget,  and  at  the  expected  standards.  Nevertheless,  the  oversight  functions  were  divided  amongst  several  stakeholders,  with varying roles and levels of authority.  The program was implemented in a decentralized context in 7 districts, with plans to expand to  14  districts.  The  program  relied  on  the  network  of  NaCSA  field  staff,  local  authorities,  technical  agencies, civil society organizations (youth groups), and the private sector at the local level. The  arrangement  required  effective  coordination  mechanisms  not  only  at  the  center  but  also  at  field level.  The director of SOCEP was responsible for general oversight of the program. On the  basis  of  initial  program  implementation  experiences,  a  number  of  features  proved  important  for program monitoring and transparency.   Roles  and  Responsibilities:  Based  on  the  works  project  menu,  NACSA  had  formal  agreements  with  ministries  and  technical  agencies  whose  inputs  were  necessary  at  different  stages  of  program implementation. The technical agencies SLRA and the Ministry of Agriculture, Forestry  and  Food  Security  (MAFFS)  played  limited  roles  in  monitoring  and  overseeing  the  implementation  of  program  activities.  They  were  involved  in  monitoring  activities  for  which  they  had  the  requisite  expertise,  and  in  many  situations  they  acted  as  technical  advisors.  The  local  councils  were  expected  to  participate  in  joint  monitoring  and  supervision  of  works  with  NACSA.  The  local  authorities  were  informed  of  all  activities  in  their  jurisdiction  and  they  were  loosely  involved  in  supervision.  Beneficiary  accounts31 suggest  that  the  fact  that  local  council  officials  did  visit  sites  was  a  positive  action  that may  have  sent  important  signals  to  contractors  that  the  council  was  watching,  and  may  thus  directly  or  indirectly  have  helped  in  holding  contractors accountable for their actions.   Communities  also  provided  oversight,  in  particular,  through  community  leaders  and  elders,  on  the  beneficiary  selection  process  and  adherence  to  the  criteria  set  forth  for  the  selection  of  beneficiaries, as well as the use of the rotation process. This facilitated better acceptance of the  program  within  communities,  and  provided  –  at  least  in  principle,  an  added  guarantee  for  communities  that  the  selection  process  was  fair  and  transparent.  In  its  third  phase,  under  the  Youth Employment Support program, youth representatives of youth councils were deployed to  oversee  the  registration  at  the  worksites  including  the  lotteries.  In  addition,  as  mentioned  before,  Community  Oversight  Committees  have  assumed  an  active  role  in  the  selection  of  the  appropriate  method  of  beneficiary  enrollment  in  each  community  as  well  as  enforcement  of  the selection criteria.   Grievance  management:  There  was  neither  a  formal  mechanism  to  lodge  grievances  in  the  program,  nor  any  system  to  follow�up  and  resolve  complaints.  The  qualitative  assessment  conducted  during  the  first  phase  of  the  CfWP  reveals  areas  where  beneficiaries  did  have                                                               31  Dalan Consultants, Qualitative Assessment of Cash for Work Programs for Sierra Leone. Freetown, Sierra Leone.  2010, P. 47  22  complaints.  These  complaints  related  especially  to  the  way  the  beneficiary  selection  was  conducted,  for  example  the  fact  that  some  contractors  seem  to  have  brought  workers  from  outside  the  community.  In  its  third  phase,  under  the  Youth  Employment  Support  program,  a  grievance  mechanism  has  been  put  in  place.  Information  dissemination  on  the  grievance  mechanism  has  accelerated  in  2012.  Youth  Councils  (in  each  local  council)  are  active  in  channeling complaints to the Youth Commission.  More importantly, beneficiaries are now able  to call in anonymously or send a text message to a call center housed in the Ministry of Finance  and  Economic  Development  Integrated  Program  Management  Unit.  Complaints  to  date  range  from:  information  requests  on  the  program  processes  to  allegations  for  corruption  which  were  subsequently investigated.   Management  Information  System:  NACSA  has  a  management  information  system  which  captures  program  administrative  data.  The  database  is  managed  centrally  in  the  NACSA  Freetown  office.   Monthly  and  quarterly  progress  reports  on  the  status  of  works  are  compiled  in district offices and sent in to be entered centrally. Near the end of the project, the limitations  of  NACSA’s  M&E  system  for  CfWP  became  apparent,  as  the  data  from  sub�Project  Completion  Reports  (PCRs)  were  not  aggregated  in  one  comprehensive  database  allowing  for  full  exploitation of the data on project indicators.  Instead, separate databases existed for individual  CfWP indicators until a unified database was created for the ICR. As the program matures, it will  become  important  to  move  from  a  simple  record  keeping  system  (communities,  beneficiaries,  payments,  geographic  location,  etc)  to  a  more  systematic  way  of  capturing  and  analyzing  data,  ideally with an electronic platform linking major data points.   Under  the  YESP  and  the  new  phase  of  the  CfWP,  data  entry  has  become  more  regular.   While  PCRs  are  still  paper�based,  they  are  now  aggregated  into  a  single  master  database  as  they  are  received  from  the  field,  making  project  administrative  data  available  in  a  timelier  manner.  There is also new thinking about establishing an electronic beneficiary registry however suitable  options for the country capacity context need to be studied.   4.6. Social Cohesion: The Role of communities, women and youth  In  a  fragility  and  post�conflict  context,  public  works  programs  may  have  the  potential  to  promote  social  cohesion  through  the  participation  of  the  community,  among  others;  for  program  processes,  and  the  social  inclusion  of  excluded  groups  such  as  women  and  youths.  In  these respects the program appears to have had different impacts.   Role  of  Communities:  Despite  NACSA’s  well�established  communication  channels  with  a  large  network of communities and design parameters, in the initial phase of the program, community  resources  were  not  fully  utilized  to  assist  in  key  program  processes  such  as  beneficiary  selection,  project  selection,  and  monitoring.  This  may  have  been  a  reflection  of  the  emergency  nature  of  the  program  and  the  implementing  agency’s  desire  to  maintain  necessary  speed  and  efficiency.  Works  projects  were  selected  through  a  mechanical  exercise  with  the  local  councils  relying on lists of existing local council projects fitting the works menu as opposed to relying on  23  new  proposals  form  communities.  As  mentioned  earlier,  communities  were  often  informed  about the choice of the project and the location after the selection made.32  Communities  were  involved  in  the  selection  of  beneficiaries  and  ultimately  in  the  decision  not  to  implement  lotteries  in  favor  of  rotation  arrangements  in  order  to  distribute  benefits  more  widely  and  evenly  amongst  the  community.  However,  the  extent  of  participation  was  not  consistent  and  well  regulated  by  NACSA  or  the  local  councils.  Similarly,  communities  had  little  role in program monitoring and in resolving grievances and disputes.  This  weakness  was  remedied  in  the  new  phase  of  the  program  whereby  project  selection  was  systematically  based  on  community  proposals  with  community  representatives  and  leaders  being  assigned  a  more  formal  role  to  monitor  the  worksites  and  execution  of  first–come,  first– served mechanisms or lotteries. There is however still room to expand the communities’ role to  improve beneficiary selection and for the resolution of grievances.  Youth  Integration:  The  program  encouraged  the  creation  of  youth  groups  which  could  act  as  works  contractors.  About  14%  of  the  works  contractors  were  youth  groups.33 There  is  however  no evidence on whether most of these groups continued to work in the construction sector.   The qualitative assessment also suggests that the program has spurred further collective action  and  group  entrepreneurship.  Some  beneficiaries  (mostly  women)  managed  to  save  some  of  their  earnings  to  set  up  small  businesses,  which  they  continue  to  manage.  One  youth  group  in  Kono �  the  Community  Partnership  for  Development  (CoPaD) �  encouraged  beneficiaries  to  pay  part  of  their  wages  received  into  a  fund,  and  eventually  they  were  able  to  save  Le  3,000,000  (USD 700). The group has been lending money to its members, and so far the loans and interest  are  being  repaid.  In  the  new  phase  of  the  program,  there  is  a  more  deliberate  effort  to  train  small  contractors  (youth  groups  and  other)  to  create  a  base  of  young  entrepreneurs  in  the  construction sector.   Women  Participation  and  Voice: Administrative data confirms that the participation of women  in  the  program  on  average  was  somewhat  low  (29.5%),  although  very  near  the  target  that  had  been  set  for  the  program  (30%).  Several  explanations  may  be  advanced  to  explain  why  fewer  women than men participated.  First,  working  on  road  construction,  which  was  the  dominant  type  of  works,  is  often  more  physically  challenging  for  women  than  men  (as  beneficiaries  noted  in  focus  group  discussions  and interviews), and thereby affecting participation rates. This may have been reinforced by the  fact  that,  at  least  in  some  communities,  the  contractors  seemed  to  have  recruited  the  beneficiaries  themselves,  with  a  high  probability  that  they  were  not  then  giving  priority  to  women.                                                                   32  Qualitative Assessment, Dalan Consulting, 2010   33  Calculated based on a sample of 729 works projects implemented during August 2008 and January 2011.  24  Second, the lack of on�site childcare arrangements seems to have also been an important factor  in  discouraging  young  women  with  children,  and  especially  lactating  mothers,  to  participate.  The  project  design  had  anticipated  that,  where  necessary,  caregivers  would  be  recruited  to  watch  over  children  and  would  have  received  the  same  wage  as  other  beneficiaries.  At  a  few  sites,  caregivers  were  indeed  hired  and  paid  the  regular  wage.  But  at  many  other  sites,  contractors  did  not  hire  caregivers.  It  was  therefore  left  to  the  women  to  find  someone  to  look  after  their  children  while  they  worked.  It  was  often  the  case  that  these  women  gave  some  of  the  wages  earned  to  those  who  had  helped  with  caring  for  their  children.  Consequently,  the  affected  women  earned  less  than  other  beneficiaries  that  did  not  have  to  make  private  arrangements  for  childcare.  Participation  of  women  also  varied  from  region  to  region,  partly  due to social and cultural factors.  In  the  subsequent  phases,  NACSA  intensified  its  efforts  to  improve  participation  of  women  and  strengthened  its  communication  on  the  issue  to  ensure  that  contractors  hire  caregivers  at  worksites  where  necessary  and  women  have  more  flexibility  in  terms  of  workload.  In  addition,  the works menu was adjusted to include a higher percentage of agriculture related works which  women tend to prefer.  CHAPTER V: LESSONS LEARNED AND LOOKING AHEAD  While the CfWP was intended as a one�off intervention to address the immediate effects of the  food  price  crisis,  its  implementation  experiences  are  informative  for  future  social  protection  programming  in  both  Sierra  Leone  and  other  similar  contexts.  This  concluding  section  looks  at  the  emerging  lessons  under  the  first  phase  of  the  CfWP  and  considers  future  policy  and  programming options in light of Sierra Leone’s evolving policy context.   5.1. Lessons Learned  Apart  from  the  risk  and  vulnerability  profile  of  its  population  and  its  economy  to  external  shocks,  administrative  and  human  capacity  and  financial  constraints  make  Sierra  Leone  a  difficult  environment  to  launch  and  implement  safety  net  programs.  While  the  CfWP  experience  has  demonstrated  that  local  capacity  and  resources  can  be  leveraged  to  implement  safety  net  programs  even  in  highly  constrained  environments,  some  lessons  from  the  first  phase of the program are worth emphasizing.  It appears that in a context such as that of Sierra Leone, CFW programs are appropriate, but the  challenge  of  achieving  good  targeting  should  not  be  underestimated.  If  inclusion  errors  cannot  be  limited  and  if  positive  externalities  are  not  evident  from  the  assets  being  created,  then  the  cost  effectiveness  and  value  of  public  works  vis�à�vis  other  safety  net  programming  options  must be reconsidered. It could be that the relative weak targeting observed in the program was  related to the multiple objectives “assumed� under the program beyond its stated objective: (i)  increasing wage�transfers to the poor and food insecure, (ii) supporting youth employment (not  necessarily  among  the  very  poor),  and  (iii)  supporting  local  development  priorities  as  well  as  social  cohesion.  Given  the  context  of  the  food  price  crisis,  the  main  objective  of  the  program  should  have  been  to  maximize  the  wage  transfers  from  the  program  to  the  most  vulnerable.  25  But  it  could  be  that  there  were  tensions  between  this  and  the  need  to  respond  to  “other  socioeconomic  “factors.  The  fact  that  the  program  had  to  be  implemented  as  an  emergency  response  may  also  have  impacted  the  choice  of  certain  processes  over  others  during  implementation, which in return has resulted in weak targeting.  A  second  lesson  concerns  the  recognition  of  the  value  of  rapid  program  assessment  methods.  Such rapid qualitative and quantitative assessments fielded early on during implementation can  be very useful and instrumental in assessing appropriateness of program design features and in  introducing  adjustments.  Experience  from  many  large  scale  and  long  standing  public  works  programs  indicate  that  rigorous  program  monitoring  and  periodic  assessments  are  key  to  improving  program  targeting  (reducing  errors  of  inclusion  and  exclusion),  governance  mechanisms,  payments,  adjusting  wages  and  benefits  amongst  others.  In  this  case,  the  light  assessment provided substantial findings/lessons on program implementation which were then  fed  into  the  design  of  the  subsequent  phases  of  the  CfWP.  Although  not  always  conclusive,  the  assessment  provided  an  overview  of  beneficiary  perceptions  of  the  programs  and  evidence  on  processes  that  could  be  improved.  The  second  phase  of  the  CfWP  and  the  subsequent  Youth  Employment  Support  program  were  designed  with  the  results  of  the  qualitative  and  quantitative  assessments  and  findings  of  regular  program  supervision  in  mind.    For  example,  the  subsequent  phases  of  the  program  introduced  stricter  application  of  beneficiary  selection  criteria,  geographic  targeting,  and  better  oversight  amongst  others.  The  CfWP  will  continue  to  benefit from annual rapid assessments as the program continues to evolve.   On  targeting  still,  what  could  be  the  way  forward?  One  possibility  would  be  to  rely  on  mixed  targeting  approaches,  as  opposed  to  relying  solely  on  the  wage  rate  for  self�targeting.   This  is  because  in  country  contexts  where  underemployment  and  unemployment  are  widespread  and  most of the opportunities are in the informal sector and low productivity jobs, the public works  programs  offering  even  below  market  wages  are  likely  to  be  oversubscribed.  When  wage  setting  alone  may  not  yield  the  desired  self�targeting  of  the  neediest  and  the  most  vulnerable,  it  may  need  to  be  combined  with  community  targeting  mechanisms,  whereby  communities  decide  on  who  should  participate  based  on  a  number  of  pre�agreed  criteria,  as  has  been  done  in  a  number  of  similar  programs  in  other  countries.  In  its  later  phases,  the  CfWP  and  YESP  also  introduced  improved  geographical  targeting  (of  poor  and  vulnerable  communities  rather  than  just  food  insecure  districts)  as  well  as  Community  Oversight  Committees  to  oversee  the  beneficiary  selection  process  which  should  have  reduced  the  reliance  on  self�targeting  and  pressure  for  rationing  of  program  benefits.  The  targeting  performance  of  the  CfWP  (under  YESP)  with  these  innovations  is  in  the  process  of  being  evaluated  with  results  expected  by  the  end  of  2012.  Nevertheless,  setting  a  low  wage  rate  remains  important,  even  if  not  always  politically  attractive  for  program  design  for  the  Sierra  Leone  Cash  for  Work  program,  so  that  more may benefit from the program at the same overall program cost.  A number of other lessons were learned as well. For example, it is important to assess whether  the public works indeed meet the needs of communities. Improvements in data collection could  also  be  considered.  The  CfWP  relies  on  manual  recording  of  key  administrative  data;  i.e.  employee  rosters,  payment  records,  sub�project  implementation  data  on  number  of  workers  and other are paper based and first processed at the district level before being compiled at the  central NACSA offices. This process had the potential of introducing errors with implications for  26  an  accurate  assessment  of  program  implementation  status  and  impact.  Alternative  and  more  reliable  mechanisms  for  data  capture  must  be  considered  for  every  stage  of  the  program.  This  may  mean  re�thinking  beneficiary  registration  and  payments  processes  to  introduce  use  of  technology,  such  as  using  ID  cards  and  automation  of  payments  to  beneficiaries  through  banks  or cell phones to allow an automatic record trail that can be easily compiled.   What  about  the  role  of  the  community  role  in  program  implementation?  Sierra  Leone  had  a  fairly  strong  track  record  of  community  driven  development  established  in  the  immediate  aftermath  of  the  civil  war.  Communities  implemented  social  and  economic  infrastructure  projects  working  with  NACSA  and  have  re�developed  awareness  for  their  competencies  and  collective  action.  The  first  phase  of  the  CfWP  was  not  able  to  take  full  advantage  of  this  capacity.  Instead  communities  were  somewhat  marginalized  in  the  selection  of  work  sites,  monitoring  of  the  works  and  not  fully  utilized  in  the  selection  of  the  beneficiaries.  Effective  community  participation  in  various  aspects  of  program  implementation  can  reduce  administrative  costs  and  improve  social  cohesion.  As  already  mentioned,  there  is  also  evidence  suggesting  that  community  involvement  increase  targeting  performance  given  its  advantages  regarding  access  to  information  (Conning  and  Kevane  2002;  Platteau  and  Abraham  2002;  Subbarao 1997).   Finally,  in  terms  of  controls,  oversight  and  supervision,  weak  monitoring  systems  and  information flows within the implementing agency has limited the ability of NACSA to recognize  implementation  trends  and  react  quickly  when  program  improvements  were  needed.  Even  though,  there  is  recognition  of  the  need  to  systematize  data  collection,  entry  and  dissemination,  further  progress  towards  a  better  management  information  system  will  take  time.  The  qualitative  and  quantitative  assessments  suggest  that  NACSA  oversight  of  the  program was only partially adequate. Some important program guidelines were not followed or  enforced.  An  illustrative  example  is  the  extent  of  authority  and  discretion  works  contractors  had with not enough controls. Key processes of beneficiary selection, administration of lotteries  and beneficiary tracking (i.e. daily worker logs) and payments of beneficiaries were overseen by  the  contractors.  Although  there  was  NACSA  and  local  council  presence  at  the  worksites,  beneficiary  interviews  suggest  that  the  controls  were  not  sufficient  to  prevent  abuse  of  basic  program  principles  by  the  contractors.  Program  oversight  and  controls  need  to  be  a  shared  responsibility between NACSA, local councils and communities.   5.2. Looking Ahead  Safety  net  policies  and  programming  in  Sierra  Leone  have  evolved  since  the  first  phase  of  the  CfWP  in  2008�9.  Recent  consecutive  years  of  financial  and  food  crisis  have  helped  to  raise  awareness  amongst  policy  makers  on  the  need  to  move  from  current  ad  hoc  emergency  safety  net programs to longer term national systems that respond to shocks and protect the poor over  time.  In  this  context,  there  is  increased  interest  in  reviewing  the  effectiveness  of  existing  programs  to  improve  their  impact  on  poverty  and  vulnerability  and  in  exploring  ways  to  rationalize  safety  net  spending.  In  particular,  the  Government  of  Sierra  Leone  and  program  implementers  have  developed  a  keen  interest  in  ensuring  the  transparency  and  equity  of  the  CfWP given the visibility and “popular� nature of the program.   27  In  practice,  the  subsequent  phases  of  the  program  and  the  Youth  Employment  Support  Project  (YESP)  have  taken  on  board  all  the  operational  lessons  in  design  and  implementation  mentioned  here.   The  program  overall  is  built  upon  improved  design  principles  on  beneficiary  identification,  targeting,  and  monitoring  and  oversight  in  response  to  results  of  the  qualitative  assessment, periodic supervision reports and the quick assessment. The program also expanded  its  geographical  coverage.  Over  25,000  households  are  expected  to  benefit  from  the  YESP  Cash  for Work which represents over 30% increase in population coverage.  The  Youth  Employment  Support  Project  has  two  components  which  address  short  term  and  longer  term  vulnerability  and  youth  employment  concerns,  and  attempt  to  bring  together  the  protection  and  promotion  agendas  of  cash  for  work  in  an  experimental  way.  The  first  component  is  the  continuation  of  the  cash  for  work  program  with  additional  design  features  and  improvements.  This  component  aims  to  protect  the  poor  from  falling  into  deeper  poverty  by  offering  them  short  term  employment  and  a  cash  transfer.  The  program  also  intends  to  address  supply  side  labor  market  constraints  for  very  low  skill  unemployed  or  underemployed  poor  youth  and  provide  skills  training  to  a  limited  number  of  individuals  interested  in  pursuing  careers as a small works contractor. This new feature partially addresses the concerns raised by  beneficiaries about the short term nature of the program and its inability to link beneficiaries to  future  employment  opportunities.  The  second  component  is  an  innovative  safety  net  intervention  which  aims  to  address  supply  and  demand  side  labor  market  constraints  and  increase  the  employability  of  youth  with  little  education  and  skills  through  the  provision  of  an  assistance package including training (life skills and technical), apprenticeship, and cash or asset  transfer.   Both  components  have  built  in  impact  or  process  assessments  to  allow  further  learning  and  to  provide  adequate  evidence  to  policy  makers  on  program  effectiveness  and  potential  for  scale  up.  The  program  became  active  in  October  2010  and  implementation  experiences  to  date  indicate  that  use  of  improved  processes  is  resulting  in  smoother  execution  and  more  transparent distribution of benefits.   Going  forward,  the  policy  dialogue  on  safety  nets  will  continue  to  evolve  in  particular  as  the  results  of  the  YES  program  as  well  as  the  results  of  the  ongoing  social  protection  assessment  become  available.  In  this  context,  no  matter  what  the  nature  of  safety  net  interventions  may  be, Sierra Leone will need a stronger strategic platform to hinge its safety net interventions on.  The  Cabinet  approved  a  national  social  protection  strategy  that  will  need  to  be  elaborated  in  light  of  the  review  of  existing  social  protection  initiatives  and  of  institutional  mandates  of  government  departments  providing  social  protection  services.  This  policy  instrument  would  identify  how  the  social  protection  system  (or  the  combination  of  interventions)  will  provide  services  and  incentives  to  beneficiaries  on  the  three  aspects  of  protection,  promotion  and  prevention.   The  most  immediate  priorities  therefore  involve  the  strengthening  of  basic  building  blocks  of  the  YES  program,  which  could  also  help  as  a  centralized  administrative  platform  supporting  social  protection  interventions  more  broadly.  Implementation  of  YES  has  spurred  discussion  on  how  to  use  this  program  as  a  platform  to  work  on  the  building  blocks  of  a  safety  net  system  comprising  of  the  following  elements:  Targeting,  Beneficiary  Enrollment  and  Registration,  28  Payment  Systems,  Grievance  Mechanism,  and  Monitoring  and  Oversight.  Sierra  Leone  has  a  unique opportunity to use the learning which the YES program will yield and to work on setting  up and adjusting its basic systems (i.e. targeting, payments, beneficiary enrolment and registry,  monitoring and grievance mechanisms) gradually.   29  REFERENCES  Andrews,  C.,  P.  Backiny�  Yetna,  E.  Garin,  E.  Weedon,  Q.  Wodon  and  G.  Zampaglione,  2011,  Liberia’s  Cash  For  Work  Temporary  Employment  Project:  Responding  to  Crisis  in  Low  Income,  Fragile Countries. The World Bank. Washington, DC.  Backiny�Yetna, P., and Q. Wodon, 2012a, Targeting Performance and Cost Effectiveness of Labor  Intensive  Public  Works  in  Sierra  Leone:  Results  from  a  Light  Evaluation  Survey.  The  World  Bank.   Washington, DC.  Backiny�Yetna,  P.  Q.  Wodon,  and  G.  Zampaglione,  2012b,  Impact  of  Labor  Intensive  Public  Works  in  Liberia:  Results  from  a  Light  Evaluation  Survey,  in  Q.  Wodon,  editor,  Poverty  and  the  Policy  Response  to  the  Economic  Crisis  in  Liberia,  World  Bank  Study,  World  Bank,  Washington,  DC.  Conning,  J.  and  M.  Kevane.  2002.  Community�Based  Targeting  Mechanisms  for  Social  Safety  Nets: A Critical Review. World Development 30(3):375�  Dalan  Consultants,  2010,  Qualitative  Assessment  of  Cash  for  Work  Programs  for  Sierra  Leone.  Freetown, Sierra Leone.  Peeters,  P.,  G.  Acharya,  A.  Van  Adams,  and  W.  Cunningham,  2009,  Youth  Employment  in  Sierra  Leone: Sustainable Livelihood Opportunities in a Post�Conflict Setting. Washington, DC.  Platteau, Jean�Philippe, and Anita Abraham, (2002). \Participatory Development in the  Presence of Endogenous Community Imperfections." Journal of Development Studies, 39(2),  104�136.    Subbarao, Kalanidhi (1997) Safety Net Programs and Poverty Reduction: Lessons from Cross� Country Experience (World Bank : Washington DC).    Subbarao, Kalanidhi, Carlo del Ninno, Colin Andrews, and Claudia Rodriguez Alas. Forthcoming  2012. Public Works Programs as a Safety Net: Design, Evidence and Implementation.   Washington, D.C.: World Bank.  World  Bank,  2009.  Project  Paper:  Second  Additional  Grant  for  the  Co�financing  of  the  Sierra  Leone  National  Social  Action  Project.  Western  Africa  Social  protection  Unit,  Africa  Region,  The  World Bank. Washington D.C  World  Bank,  2011.  National  Social  Action  Project  Implementation  Completion  Report  (IDA� 37480,  TF  92671,  and  TF  95661).  Western  Africa  Social  protection  Unit,  Africa  Region,  The  World Bank. Washington D.C  Wodon,  Q.,  and  H.  Zaman,  2010,  Higher  Food  Prices  in  Sub�Saharan  Africa:  Poverty  Impact  and  Policy Responses, World Bank Research Observer, 25: 157�176.  World  Bank,  2009.  Sierra  Leone:  Poverty  Diagnostic,  Report  No.  44082�SL,  The  World  Bank:  Washington, DC.      30                                                                             i The entity that finances the program does not necessarily need to be the one that implements it. A variety of financing and implementation arrangements exist in countries’ public-private-donor partnerships; these are explored in section 3.3. 31  Social Protection & Labor Discussion Paper Series Titles  2011�2012    No.    Title    1219  Do Social Benefits Respond to Crises? Evidence from Europe & Central Asia  During the Global Crisis    by Aylin Isik�Dikmelik, November 2012     1218  Building Results Frameworks for Safety Nets Projects    by Gloria M. Rubio, October 2012     1217  Pension Coverage in Latin America: Trends and Determinants    by Rafael Rofman and Maria Laura Oliveri, June 2012    1216  Cash for Work in Sierra Leone: A Case Study on the Design and  Implementation of a Safety Net in Response to a Crisis    by Colin Andrews, Mirey Ovadiya, Christophe Ribes Ros and Quentin Wodon,  November 2012     1215  Public Employment Services, and Activation Policies    by Arvo Kuddo, May 2012    1214  Private Pension Systems: Cross�Country Investment Performance    by Alberto R. Musalem and Ricardo Pasquini, May 2012    1213  Global Pension Systems and Their Reform: Worldwide Drivers, Trends, and  Challenges    by Robert Holzmann, May 2012    1212  Towards Smarter Worker Protection Systems: Improving Labor Regulations  and Social Insurance Systems while Creating (Good) Jobs  by David A. Robalino, Michael Weber, Arvo Kuddo, Friederike Rother,  Aleksandra Posarac and Kwabena Otoo    1211  International Patterns of Pension Provision II: A Worldwide Overview of Facts  and Figures    by Montserrat Pallares�Miralles, Carolina Romero and Edward Whitehouse,  June 2012    1210  Climate�Responsive Social Protection    by Anne T. Kuriakose, Rasmus Heltberg, William Wiseman, Cecilia Costella,  Rachel Cipryk and Sabine Cornelius, March 2012     1209  Social Protection in Low Income Countries and Fragile Situations: Challenges  and Future Directions    by Colin Andrews, Maitreyi Das, John Elder, Mirey Ovadiya and Giuseppe  Zampaglione, March 2012      1208  World Bank Support for Pensions and Social Security    by Mark Dorfman and Robert Palacios, March 2012    1207  Labor Markets in Middle and Low Income Countries: Trends and Implications for  Social Protection and Labor Policies    by Yoonyoung Cho, David Margolis, David Newhouse and David Robalino,  March 2012     1206  Rules, Roles and Controls: Governance in Social Protection with an Application  to Social Assistance    by Lucy Bassett, Sara Giannozzi, Lucian Pop and Dena Ringold, March 2012    1205  Crisis Response in Social Protection    by Federica Marzo and Hideki Mori, March 2012    1204  Improving Access to Jobs and Earnings Opportunities: The Role of Activation  and Graduation Policies in Developing Countries    by Rita Almeida, Juliana Arbelaez, Maddalena Honorati, Arvo Kuddo, Tanja  Lohmann, Mirey Ovadiya, Lucian Pop, Maria Laura Sanchez Puerta and Michael  Weber, March 2012    1203  Productive Role of Safety Nets    by Harold Alderman and Ruslan Yemtsov, March 2012    1202  Building Social Protection and Labor Systems: Concepts and Operational  Implications    by David A. Robalino, Laura Rawlings and Ian Walker, March 2012    1201  MicroDeterminants of Informal Employment in the Middle East and North    Africa Region    by Diego F. Angel�Urdinola and Kimie Tanabe, January 2012     1120  Employment Generation in Rural Africa: Mid�term Results from an    Experimental Evaluation of the Youth Opportunities Program in Northern    Uganda    by Christopher Blattman, Nathan Fiala and Sebastian Martinez, December 2011      1119  Measuring Governance and Service Delivery in Safety Net Programs    by Gloria M. Rubio, September 2011     1118  Assessing Safety Net Readiness in Response to Food Price Volatility    by Margaret Grosh, Colin Andrews, Rodrigo Quintana, Claudia Rodriguez�Alas,    September 2011        1117  Social Safety Nets in Fragile States: A Community�Based School Feeding    Program in Togo, August 2011 (also available in French)    by Colin Andrews, Elena Galliano, Carolyn Turk and Giuseppe Zampaglione,  August 2011    1116  Strengthening Governance of Social Safety Nets in East Asia    by Sara Giannozzi and Asmeen Khan, August 2011     1115  International Portability of Health�Cost Coverage: Concepts and Experience    by Martin Werding and Stuart McLennan, July 2011     1114  Liberia’s Cash For Work Temporary Employment Project: Responding to Crisis    in Low Income, Fragile Countries  by Colin Andrews, Prospère Backiny�Yetna, Emily Garin, Emily Weedon,    Quentin Wodon and Giuseppe Zampaglione, July 2011    1113  Employability and Productivity among Older Workers: A Policy Framework and    Evidence from Latin America    by Edmundo Murrugarra, July 2011     1112  Cash Transfers, Children and the Crisis: Protecting Current and Future    Investments    by Ariel Fiszbein, Dena Ringold, Santhosh Srinivasan, June 2011     1111  Severance Pay Programs around the World: History, Rationale, Status, and    Reforms    by Robert Holzmann, Yann Pouget, Milan Vodopivec and Michael Weber, May    2011     1110  Portability of Pension, Health, and other Social Benefits: Facts, Concepts, Issues    by Robert Holzmann and Johannes Koettl, May 2011    1109  Disability and Poverty in Developing Countries: A Snapshot from the World    Health Survey    by Sophie Mitra, Aleksandra Posarac and Brandon Vick, April 2011    1108  Advancing Adult Learning in Eastern Europe and Central Asia    by Christian Bodewig and Sarojini Hirshleifer, April 2011     1107  Results Readiness in Social Protection & Labor Operations    by Laura Rawlings, Maddalena Honorati, Gloria Rubio and Julie Van Domelen,    February 2011    1106  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Social Service Delivery Projects    by Julie Van Domelen, February 2011      1105  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Social Safety Nets Task Teams    by Gloria Rubio, February 2011    1104  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Social Funds Task Teams    by Julie Van Domelen, February 2011    1103  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Labor Markets Task Teams    by Maddalena Honorati, February 2011    1102  Natural Disasters: What is the Role for Social Safety Nets?    by Larissa Pelham, Edward Clay and Tim Braunholz, February 2011    1101  North�South Knowledge Sharing on Incentive�based Conditional Cash Transfer    Programs    by Lawrence Aber and Laura B. Rawlings, January 2011    To view Social Protection Discussion papers published prior to 2011, please  visit www.worldbank.org/sp      Abstract This paper presents an assessment of the first phase (2008-2009) of Sierra Leone’s Cash for Work program based on a qualitative and quantitative analysis examining program design features, main processes and impact. The assessment highlights that while Cash for Work was an appropriate crisis response, the challenge of achieving good targeting should not be underestimated. Findings from the assessment point to high inclusion errors of non-poor population quintiles, despite the program apparently following many rules of best practice in program design. The assessment points to a series of factors to explain targeting performance, and proposes that future strategies consider mixed methods with a greater emphasis on the role of communities in affecting overall outcomes. The assessment notes areas of success during implementation, including the impact of the program in promoting cohesion amongst youth groups, as well as women. In this sense the assessment points to future strategies and options for moving Cash for Work forward under its expanded incarnation of the Youth Employment Support Project. Through the use of light qualitative and quantitative methods, the paper also advocates for similar assessments where monitoring and evaluation capacity are weak and time constraints tight. About this series... Social Protection & Labor Discussion Papers are published to communicate the results of The World Bank’s work to the development community with the least possible delay. The typescript manuscript of this paper therefore has not been prepared in accordance with the procedures appropriate to formally edited texts. The findings, interpretations, and conclusions expressed herein are those of the author(s), and do not necessarily reflect the views of the International Bank for Reconstruction and Development / The World Bank and its affiliated organizations, or those of the Executive Directors of The World Bank or the governments they represent. The World Bank does not guarantee the accuracy of the data included in this work. The author(s) attest(s) that the paper represents original work. It fully references and describes all relevant prior work on the same subject. For more information, please contact the Social Protection Advisory Service, The World Bank, 1818 H Street, N.W., Room G7-803, Washington, DC 20433 USA. Telephone: (202) 458-5267, Fax: (202) 614-0471, E-mail: socialprotection@worldbank.org or visit us on-line at www.worldbank.org/sp. Printed on recycled paper