DISCUSSION PAPER NO. 1204 67610 Improving Access to Jobs and Earnings Opportunities The Role of Activation and Graduation Policies in Developing Countries Rita Almeida, Juliana Arbelaez, Maddalena Honorati, Arvo Kuddo, Tanja Lohmann, Mirey Ovadiya, Lucian Pop, Maria Laura Sanchez Puerta and Michael Weber Background Paper for the World Bank 2012–2022 Social Protection and Labor Strategy March 2012 Improving Access to Jobs and Earnings Opportunities:   The Role of Activation and Graduation Policies In  Developing Countries  Background Paper for the World Bank 2012–2022 Social Protection and Labor Strategy  Rita Almeida, Juliana Arbelaez, Maddalena Honorati,   Arvo Kuddo, Tanja Lohmann, Mirey Ovadiya, Lucian Pop,   Maria Laura Sanchez Puerta and Michael Weber  March 2012  Abstract  Throughout the developing world there is a growing demand for advice on the design of policies to  facilitate  access  of  the  most  vulnerable  individuals  to  jobs,  while  reducing  their  dependency  from  public income support schemes. Even though these policies are common to both the activation and  graduation  agendas,  a  separation  is  needed  as  the  graduation  of  beneficiaries  out  of  poverty  is  a  much more ambitious agenda. This paper proposes a simple policy framework highlighting the most  common barriers for productive employment. It also reviews the topic of incentive compatibility of  income  support  schemes  and  employment  support  programs  that  are  used  to  address  them.  The  paper finds that, especially in middle income countries, activation and active labor market programs  play an important role connecting individuals to jobs and improving earnings opportunities. In low  income  countries,  these  programs  are  far  from  being  a  panacea  to  graduate  beneficiaries  out  of  poverty. Furthermore, only scant evidence is available on the pathways to graduation and significant  knowledge gaps remain. More cross�disciplinary research is needed to strengthen the evidence base  and develop recommendations for different contexts and capacity levels.  JEL Codes: J00, J22, J38, J32, J68  Key Words: activation, active labor market policy, incentive compatibility, unemployment benefits,  program evaluation    ACKNOWLEDGEMENTS  This  report  was  prepared  as  a  background  paper  to  the  new  Social  Protection  and  Labor  Strategy  2012–2022.The  report  is  also  part  of  an  emerging  program  of  the  Human  Development Network of the World Bank to support the work on activation and active labor  market programs throughout the World Bank. Excellent guidance and inputs were provided  by  David  A.  Robalino  (Lead  Economist,  HDNSP)  and  Ruslan  Yemtsov  (Lead  Economist,  HDNSP).  The  report  benefited  from  comments,  inputs,  and  materials  provided  from  multiple  colleagues  in  the  regions  including  Diego  Angel�Urdinola,  Rebekka  Grun,  Theresa  Jones,  Qaiser  M.  Khan,  Johannes  Koettl,  Nadine  Poupart,  Setareh  Razmara,  Marcela  Salvador,  Veronica  Silva  Villalobos,  and  many  others  in  the  consultative  group  for  activation  and  graduation  policies.  The  report  also  greatly  benefitted  from  written  comments  by  Omar  Arias,  Theresa  Jones,  Margaret  Grosh,  Rebekka  Grun,  Kathy  Lindert,  Herwig  Immervoll,  Jesko  Hentschel,  Dug�Ho  Kim,  Truman  Packard  and  Milan  Vodopivec.  Paloma  Acevedo� Alameda, Dug�ho Kim, and Victor Essedin provided useful inputs and background materials.  Finally, Laura Rawlings, Ariel Fiszbein and Arup Banerji also provided very useful insights and  guidance.      TABLE OF CONTENTS  I.  INTRODUCTION ....................................................................................................................... 1  II.  MAKING SENSE OF ACTIVATION AND GRADUATION POLICIES:A CONCEPTUAL FRAMEWORK . 5  . 2.1  DEFINING THE RISKS OF REDUCED WORK AND JOBSEARCH EFFORT  ....................................................... 7  2.2  DEFINING OF CONSTRAINTS/BARRIERS TO WORK ............................................................................... 8  2.3  POLICY INSTRUMENTS .................................................................................................................. 10  2.4  KEY ISSUES/AREAS IN TERMS OF DESIGN AND IMPLEMENTATION ........................................................ 13  III.  PROMOTING INCENTIVE COMPATIBLE INCOME SUPPORT SCHEMES ................................... 15  3.1  LEVEL AND DURATION OF BENEFITS ................................................................................................ 20  3.2  MUTUAL RESPONSIBILITIES ........................................................................................................... 25  3.3  FINANCIAL INCENTIVES ................................................................................................................. 29  3.4  IMPLICATIONS FOR PROGRAM IMPLEMENTATION .............................................................................. 32  IV.  INTERNATIONAL EXPERIENCE WITH ACTIVATION PROGRAMS ............................................. 35  4.1  PROGRAMS TARGETED TO THE BENEFICIARIES OF SAFETY NET PROGRAMS ............................................ 41  Patterns in Graduation Programs in Lower Capacity Contexts .................................................... 45  Patterns in Activation Programs in Higher Capacity Settings ...................................................... 50  4.2  MORE GENERAL ACTIVE LABOR MARKET PROGRAMS ........................................................................ 57  . Comprehensive Training Programs for Youth  .............................................................................. 58  Second Chance Education and Trainings ...................................................................................... 63  General Technical and Vocational Trainings ................................................................................ 64  Skills Certification and Provider Accreditation ............................................................................. 68  Wage Subsidies to the Private Sector ........................................................................................... 71  Employment Services .................................................................................................................... 74  Entrepreneurship Support Interventions ...................................................................................... 81  V.  LOOKING FORWARD: BUILDING A KNOWLEDGE AND OPERATIONAL AGENDA  ..................... 93  . 5.1  MAIN MESSAGES ........................................................................................................................ 93  5.2  IMPLICATIONS FOR THE WORLD BANK’S WORK ON SOCIAL PROTECTION AND LABOR  ............................. 97 . APPENDIX 1: SOCIAL ASSISTANCE IN KAZAKHSTAN .................................................................... 101  APPENDIX 2: COLOMBIA JUNTOS: AN EXAMPLE OF IMPROVING THE ARTICULATIONOF SOCIAL  ASSISTANCE WITH OTHER SERVICES ..................................................................... 102  APPENDIX 3: CLIENTELE OF THE PUBLIC EMPLOYMENT SERVICES ............................................... 108  . BIBLIOGRAPHY  .......................................................................................................................... 109    LIST OF BOXES  BOX 1:  “ACTIVATION� AND “GRADUATION� POLICY TERMINOLOGY  ...................................................................    . 6 BOX 2:  EXPERIMENTAL EVIDENCE FROM THE UNITED STATES ...........................................................................  6  2 BOX 3:  EUROPE AND CENTRAL ASIA – REGISTRATION OF SAFETY NET BENEFICIARIES WITH PES ......................  7  2 BOX 4:  ARGENTINA JEFES DE HOGAR – LESSONS FROM IMPLEMENTATION ......................................................  9  2 BOX 5:  JORDAN PESW SOCIAL HEALTH INSURANCE REFORM .............................................................................  1  3 BOX 6:  INTEGRATION OF ACTIVATION SERVICES IN NORWAY ............................................................................  4  4 BOX 7:  GRADUATION MODEL PROMOTED BY CGAP AND THE FORD FOUNDATION ..........................................  8  4 BOX 8:  PROMOTING EMPLOYMENT IN THE LABOR MARKET: A MORE SUSTAINABLE EXIT STRATEGY – THE  CASE OF CHILE SOLIDARIO .....................................................................................................................  6  5 BOX 9:  TURKEY ISKUR VOCATIONAL TRAINING PROGRAMS ...............................................................................  8  6 BOX 10: SOUTH AFRICA YOUTH WAGE SUBSIDY PILOT: EVALUATING PROGRAM EFFECTIVENESS .....................  2  7 BOX 11: PROMOTING ENTREPRENEURSHIP AMONG YOUTH IN UGANDA: NUSAF .............................................  5  8 BOX 12: BUSINESS PLAN COMPETITIONS IN TUNISIA: PROMOTING SELF�EMPLOYMENTAMONG SKILLED YOUTH  ............................................................................................................................................................  0  9 BOX 13: VODACOM COMMUNITY SERVICES IN SOUTH AFRICA ...........................................................................  2  9 LIST OF FIGURES  FIGURE 1: CONCEPTUAL FRAMEWORK ..................................................................................................................    7 FIGURE 2: EMPLOYMENT STATUS OF THE ABLE�BODIED POPULATION IN SELECTED COUNTRIES ......................  7  1 FIGURE 3: SHARES OF INACTIVE LABOR FORCE AND INFORMAL SECTOR EMPLOYMENT,IN THE BOTTOM  QUINTILE OF THE INCOME DISTRIBUTION .........................................................................................  9  1 FIGURE 4: GENEROSITY OF SOCIAL ASSISTANCE PROGRAMS (AS % OF TOTAL CONSUMPTION)IN SELECTED  COUNTRIES .........................................................................................................................................  3  2 FIGURE 5: INTEGRATING SAFETY NETS AND ACTIVATION/GRADUATION INTERVENTIONSAS A FUNCTION OF  CAPACITY CONTEXT ............................................................................................................................  7  5 FIGURE 6: CHILECALIFICA: CERTIFYING BASIC EDUCATION AND TECHNICAL AND VOCATIONAL TRAINING .......  0  7 FIGURE 7: ELEMENTS OF VODACOM COMMUNITY SERVICES PROGRAM IN SOUTH AFRICA ..............................  2  9 LIST OF TABLES  TABLE 1: INCENTIVE COMPATIBLE MEASURES, LIKELY IMPACTS,AND IMPLEMENTATION REQUIREMENTS .......  3  3 TABLE 2: A DIVERSE PORTFOLIO OF PROGRAMS ADDRESSING DIFFERENT BARRIERS TO WORK: A SNAPSHOT  FROM AROUND THE WORLD ................................................................................................................  8  3 TABLE 3: SUMMARY OF IMPACT EVALUATION RESULTS OF ALMPS ....................................................................  1  4 TABLE 4: COMPREHENSIVE TRAINING PROGRAMS IN LATIN AMERICA ...............................................................  0  6     ABBREVIATIONS  AAA  Analytic and Advisory Activities  ALMP  Active Labor Market Programs  BDP  Beneficiary Development Program   CCT  Conditional Cash Transfers   CDD  Community Driven Development   CGAP  Consultative Group to Assist Poverty   CV  Curriculum Vitae   ECA  Europe and Central Asia  EITC  Earned Income Tax Credits   EU  European Union   FPD  Finance and Private Sector Development  GDP  Gross Domestic Product   GED  General Education Degree   GMI  Guaranteed Minimum Income   GNI  Gross National Income  GoK  Government of Kazakhstan   HIC  High Income Countries  ICBF  Colombian Institute for Family Welfare   ICETEX  Colombian Institute for Educational Loans and Technical Studies Abroad  ILO  International Labor Organization   IT  Information Technology   KKV  Kazi Kwa Vijana   LAC  Latin America and Caribbean   LIC  Low Income Countries  MIC  Middle Income Countries   MSP  Ministry of Social Protection   M&E  Monitoring and Evaluation   NGO  Non�governmental Organization   NPD  National Planning Department   NUSAF  Northern Ugandan Social Action Fund  OECD  Organization for Economic Co�operation and Development  OVAY  Orphan Vulnerable and Affected Youth   PATH  Program of Advancement Through Health and Education   PES  Public Employment Services   SA  Social Assistance  SENA  National Service for Job Training  SF  Solidarity Fund  SISBEN  Selection System for Beneficiaries of State Subsidies   SNERGIA  National System of Evaluation of Public Sector Performance   SP  Social Protection   SSN  Social Safety Net  SWF  Social Welfare Fund    TSA  Targeted Social Assistance   TOR  Terms of Reference   TVST  Technical and Vocational Skills Training   UI  Unemployment Insurance   UISA  Unemployment Insurance Savings Accounts   VUP  Vision 2020 Umurenge Program   WAPES  World Association of Public Employment Services     I.  INTRODUCTION  Governments around the world are increasingly focused on the “promotion� function of  their  social  protection  systems  –  how  to  improve  access  to  jobs  and  earnings  opportunities.1  On  one hand,  they are looking  for  policies that  improve  the  employability  and earnings opportunities of the able�bodied recipients of public income support. Part of  the concern is related to the potential dependency on benefits, incentives for beneficiaries  to  stay  or  become  inactive,  and  the  fiscal  cost  of  the  transfer  (welfare  or  unemployment  benefits).2  On  the  other  hand,  there  is  a  general  concern  with  the  ability  of  workers,  including  the  majority  who  are  not  receiving  any  type  of  transfer,  to  access  quality  jobs.  Indeed, a majority of the labor force is engaged in low productivity activities either as self� employed  or  in  household  enterprises  (often  without  pay).  In  addition,  imperfections  in  labor  markets  can  make  it  difficult  for  individuals  to  transit  from  school  to  work,  from  inactivity or unemployment into employment, or simply between jobs.3  A  first  policy  agenda  to  address  problems  of  employability  focuses  on  the  creation  of  business  and  higher  productivity  jobs.  In  general,  these  are  policies  that  guarantee  macroeconomic  stability  and  reduce  the  costs  of  doing  business  while  promoting  competition  and  incentives  to  innovate,  adopt  new  technologies,  and  enter  new markets.  Some  of  these  interventions  include:  adequate  fiscal  and  monetary  policies;  enforceable  property  rights  and  contracts;  friendly  regulations  to  create  and  close  businesses;  and  access to land and infrastructure. But most of these policies will only have greater effects in  the  medium  term  and,  while  necessary,  they  are  certainly  not  sufficient  to  address                                                               1  See Robalino et al (2011) for a discussion on the different SP functions. The promotion function of SP systems  relates  to  (i)  making  benefits  from  social  assistance  conditional  on  participation  in  education,  health,  and  possibly nutrition services; and also to (ii) improving earnings and opportunities through better linkages and  investments in programs promoting higher employability (including active labor market programs). This paper  will not focus on the former.  2  In  this  paper,  we  consider  social  assistance  and  basic  public  works  (without  an  added  employability  component such as technical or life skills training) as welfare programs and thus are not the direct object of  review.  3  See Cho et al. (2011).  1  employability  problems,  especially  for  the  most  vulnerable  and  low  skilled  individuals.  Furthermore,  in  most  contexts  there  is  a  significant  amount  of  "churning"  in  the  labor  market with several jobs being created at the same time they others are destroyed. And the  question on how to promote employability for the jobs being created remains a challenge.   The  second  agenda,  which  is  the  focus  of  this  paper,  calls  for  policies  that  remove  the  disincentives  or  the  constraints  that  individuals  have  to  access  better  jobs,  and/or  that  improve the productivity of the jobs that they already have. Individuals might not be able  to  get  good  jobs  because  they  do  not  have  the  right  skills,  they  do  not  have  the  social  networks to find them, or they cannot move to where the jobs are. Those who are or want  to  become  self�employed  or  entrepreneurs  may  also  have  difficulties  running  or  creating  their  businesses  for  lack  of  skills  or  know�how,  use  of  inadequate  technologies,  credit  constraints, lack of access to markets, or simply cultural factors that discourage risk�taking  and innovation. There can also be cases where the transfers that governments provide to  prevent poverty or help individuals transition between jobs become a disincentive for work.  Designing  these  transfers  in  a  way  that  minimizes  distortions  in  labor  supply  is  therefore  also an important policy issue.  The  paper  takes  stock  of  social  protection  and  labor  policies  that  have  been  used  to  connect individuals to jobs or increase the earnings from their current activities. In middle  and high income countries, these policies are referred to as “activation policies�, especially  when  they  target  beneficiaries  of  unemployment  benefits  (or  in  some  cases  welfare).  In  middle  and  low  income  countries,  some  of  these  policies  target  beneficiaries  of  social  assistance  programs  and  can  be  referred  to  as  “graduation  policies.�  In  both  cases,  the  typology of programs and policies, and the principles that drive their design, are similar and  remain relevant for individuals who are not receiving any type of transfer and yet are facing  difficulties  finding  a  salary  job,  moving  into  self�employment,  or  are  involved  in  low  productivity  and  low  earnings  activities.  The  graduation  agenda,  however,  is  more  ambitious and involves interventions that go beyond the programs discussed in this paper.  2  The paper has two main objectives. First, lay out a simple conceptual framework to guide  the  assessment  and  design  of  interventions  improving  access  to  jobs  and  earnings  opportunities in various contexts. Most countries use a package of policies – blending both  incentives and programs/support services – to foster employability of the most vulnerable.  In this paper, we will discuss mainly the incentive compatibility of income support schemes.  These are features or modifications of benefits programs to make recipients less prone to  work  disincentives  and  relate  to  the  level  or  duration  of  a  benefit,  co�responsibility,  or  financial incentive (e.g., income disregard, bonus for swift reemployment, or earned income  tax credits).4 Because incentives alone may not be sufficient, the conceptual framework will  also  highlight  the  importance  of  having  a  wide  range  of  complementary  support  programs/services to help target groups overcome a gamut of (often multiple) barriers to  work.5  Although  in  practice  the  distinction  between  the  two  instruments  –  incentives  and  programs – is not always clear�cut, in this paper we will focus on each separately.6 Second,  conduct  a  selective  review  on  the  effectiveness  of  policies,  discussing  both  incentive  compatibility and employment support programs. The review will focus predominantly on  the  evidence  for  developing  countries  and  will  only  sporadically  refer  to  OECD  country  examples.  In  addition,  it  will  rely  mostly  on  evidence  from  micro�studies  and  impact  evaluations,  resorting  to  selective  case  studies  to  illustrate  important  design  or  implementation features.  The stock�taking shows that although initiatives to activate individuals and improve their  employability  are  promising,  major  knowledge  gaps  about  the  best  ways  to  design  and  implement the relevant policies and programs still exist. Very few programs in middle and                                                               4   It  is  worth  stressing  that,  in  this  paper  we  will  not  discuss  stand�alone  incentives.  Rather,  we  focus  the  discussion  mainly  on  the  incentive  compatibility  of  income  support  systems.  These  are  modifications  or  features of income support programs that make them less prone to generating work disincentives. Because  we  narrow  the  concept  of  “incentives�,  we  will  exclude  important  stand�alone  instruments  as  the  "back�to� work  bonuses".  These  can  be  used  as  an  activation  approach  and  are  not  necessarily  tied  to  a  welfare  or  unemployment insurance transfer (see Vodopivec 2004).  5  Support services may be very diverse to overcome an array of barriers to work. However, in this paper, we  will mainly focus on the employment�related support services.  6  This is the case, for example, with the wage subsidies.  3  low income countries have been evaluated. Among those evaluated, it is difficult to assess  how  different  design  features  explain  success  or  failure  as  well  as  determine  the  role  of  local  conditions.  At  the  same  time,  the  constraints  facing  individuals  in  accessing  jobs  or  improving  earnings  cannot  be  ignored.  Moreover,  it  might  be  that  a  pro�active  safety  net  agenda – based on innovative designs and linking beneficiaries with effective labor market  interventions – is the only politically sustainable pathway to expand the coverage of social  protection in many countries today.7  This  paper  relates  closely  to  a  large,  ongoing  analytical  and  operational  agenda  at  the  World  Bank  focused  on  promoting  employability  and  activation  of  the  most  vulnerable.  The topic of how to increase the employability and productivity of the most vulnerable has  been  the  subject  of  extensive  work  led  the  Bank,  both  at  the  analytical  and  more  operational  levels.  Although  we  cannot  exhaustively  list  all  the  projects,  this  report  has  benefited from materials and feedback from staff in all regions of the Bank. Furthermore,  we  draw  on  an  extensive  list  of  analytical  work  produced  either  by  the  networks  or  the  regions. In particular, our conceptual frame draws closely on the work by Cunnigham et al.  (2010). We also complement and update several other review papers on the optimal design  of  incentive  schemes  (Vodopivec  2004),  on  productive  safety  nets  (Yemtsov  et  al.  2011),  and  on  the  effectiveness  of  active  labor  market  programs  and  youth  employment  interventions  (among  others,  Angel�Urdinola  et  al.  2010,  Betcherman  et  al.  2000,  Betcherman  et  al.  2004,  Betcherman  et  al.  2007,  Todd  2010,  and  Kluve  et  al.  2010).  Our  work is also directly related to other ongoing efforts within the Bank, including the review  on  youth  employment programs  led  by  the  World  Bank  Independent Evaluation  Group  or  the upcoming Jobs World Development Report.  The remainder of the paper is organized as follows. Section II proposes a simple conceptual  framework to guide the assessment and design of interventions that improve access to jobs                                                               7  In the short run, this agenda will open the door to a multi�year analytical work program on activation and  graduation policies in the World Bank. The main objective of this work program is to improve our knowledge  base for the effective design and implementation of activation policies.  4  and  earnings  opportunities  in  various  contexts.  Section  III  presents  a  discussion  of  the  different  types  of  incentive  compatible  income  support  schemes  that  countries  use  to  induce  individuals  to  search  for  jobs  or  engage  in  activities  that  can  improve  their  employability.  Section  IV  presents  the  stock�taking  of  the  different  employment  support  programs.  It  starts  by  focusing  on  the  support  programs  targeted  to  safety  nets  beneficiaries; it then goes over more general active labor market programs that are usually  available  to  a  wider  target  population  even  when  they  are  not  recipients  of  any  income  transfer.  Finally,  Section  V  summarizes  the  main  messages  and  discusses  the  implications  for the World Bank social protection and labor agenda in the coming years.8  II.  MAKING SENSE OF ACTIVATION AND GRADUATION POLICIES:   A CONCEPTUAL FRAMEWORK  This  section  proposes  a  simple  framework  to  guide  the  design  and  implementation  of  policies  contributing  both  to  the  activation  and  graduation  agendas.  The  objectives  and  strategies of these two agendas overlap (see Box 1 for definitions and concepts). In some  middle income countries (MIC), the provision of integrated employment services is aimed at  both the unemployed and social welfare recipients, as well as informal sector workers who  do not benefit from social assistance. In low income countries (LIC), most of the labor force  cannot afford being unemployed and stay underemployed or occupied in low productivity  (often  informal)  jobs.  Here,  the  new  agenda  of  “active�  or  “productive�  integrated  social  programs  focuses  on  productivity  enhancement  and  asset�building  together  with  services  and incentives that help individuals connect to jobs or improve the earnings of their current  activities.  Although  the  set  of  programs  reviewed  in  this  paper  and  the  constraints  that  justify  their  utilization  are  common  to  both  agendas,  these  are  only  a  narrow  part  of  the  larger  and  more  ambitious  set  of  graduation  policies,  which  ultimately  involve  exiting  poverty.                                                               8  By safety net programs, we understand programs meant to support the incomes/consumption of population  groups deemed to be poor or vulnerable.  5  Box 1: “Activation� and “Graduation� Policy Terminology  There is no consensus around the different regions on a standardized terminology for these policies. The  term  “activation�  is  more  common  in  Europe  and  Central  Asia  (ECA)  where  most  countries  are  middle  income and due to the proximity with the European Union (EU), where most of the challenges are similar.  There,  income  support  programs  and  extensive  social  assistance  systems  create  the  need  for  more  proactive  policies,  and  for  “activating�  beneficiaries.  Indeed,  the  EU  is  increasingly  focused  on  social  policies emphasizing "active inclusion", which is yet another variation in the terminology for activation and  graduation.  In  low  income  countries  (LIC),  like  in  Africa,  regular  social  assistance  programs  have  low  coverage, and the able�bodied safety net beneficiaries are usually active in low productivity jobs. There,  the  concept  of  “graduation�  is  usually  more  common,  reflecting  the  fact  that  these  policies  ultimately  promote the exit from poverty. Nevertheless, the two “concepts� manifest strong similarities. Both imply  pro�active policies and measures aiming to fulfill the promotion function of social protection systems.  “Activation  Policies�  encourage  jobseekers  or  low  skilled  workers  to  become  active  in  finding  work  and/or improving their employability (e.g., investing in their own skills). The essence of activation is in  many  countries  increasingly  based  on  the  principle  of  “mutual  obligations�.  The  principle  states  that  in  return for receiving income support (unemployment insurance or social safety nets) and being offered a  range  of  (re�)employment  services,  individuals  must  commit  to  and  comply  with  a  set  of  eligibility  requirements (e.g., active job search, participation in training or (re�)employment programs, etc.). In most  cases, activation policies also take the form of incentives and sanctions. In LICs with low implementation  capacity,  these  policies  often  take  the  form  of  a  package  where  programs  include  additional  services  aimed at improving individual employability and productivity.  “Graduation Policies� entered the social policy discourse relatively recently. The term does not have one  clear definition, rather alternative operational definitions. However, there is a general consensus on the  final  objective,  which  is  about  more  independent,  sustainable,  and  resilient  livelihoods.  The  various  operational uses of the terms converge in agreeing that it refers to a process of moving from the status of  poverty or dependency of public support to an independent livelihood, or both. When it comes to design  and implementation of graduation “strategies� or “policies�, there is a large array of interventions – from  the  narrow  ones  that  emphasize  “exit�  (i.e.,  limited  duration  of  benefits)  to  the  broader  ones  which  enhance opportunities by enabling the poor to use complementary services and programs that may tackle  income poverty or “dependency�, based on linkages with active labor market programs. In this paper we  will focus on the broad definition.    The  presentation  of  the  framework  is  organized  in  three  parts.  It  starts  by  discussing  the  constraints  or  barriers  to  productive  employment  and  how  relevant  they  are  for different  population  groups  in  different  contexts.  The  second  part  discusses  the  instruments  (incentives and programs) that countries can consider to help connect individuals to better  jobs in order to increase the earnings they generate from their current activities. Here, it is  worth  stressing  again  that  the  paper  will  only  deal  with  incentive  compatibility  of  income  support schemes thus excluding stand�alone incentives (as back to work bonuses) that may  6  exist regardless of the benefit of income support. The last part briefly addresses important  issues  related  to  implementation,  in  terms  of  the  profiling  of  potential  beneficiaries  (see  Figure 1).  Figure 1: Conceptual Framework      2.1  Defining the Risks of Reduced Work and Job Search Effort  Both unemployment insurance (UI) and social safety net (SSN) programs may carry risks of  decreased  job  search  efforts  and  a  lower  likelihood  of  adult  beneficiaries  accepting  jobs  while receiving benefits. This potential disincentive to work and resulting dependency from  income support programs is a major concern for policymakers. The adverse work incentives  may result if out�of�work benefits are sufficiently generous to leave income levels close to  what someone would be able to earn in the labor market. And evidence shows that benefit  generosity,  and  the  tax  treatment  of  in�work  earnings,  vary  widely  across  countries.  Incentive compatibility of both SSNs and UI should offset these adverse work effects (e.g.,  7  by  making  benefits  conditional  on  intensive  job�search  efforts  or  participation  in  active  labor market programs).  2.2  Defining of Constraints/Barriers to Work  Individuals  may  face  many  constraints  preventing  their  access  to  productive  employment.  Below we discuss some of the most common constraints that are focused on the supply side  of  the  market.9  These  may  relate  to  lack  of  the  right  skills  set,  information  gaps,  working  capital constraints, or mobility constraints. Most often individuals face not one but rather  multiple  constraints.  Therefore,  policies  to  promote  higher  employability  and  productivity  should involve a package of instruments that seamlessly address different barriers.  Skills  constraints  (technical,  cognitive,  or  non�cognitive).  Skills  constraints  imply  that  individuals lack the appropriate technical, cognitive, and/or non�cognitive skills to respond  to  the  demand  of  prospective  employers.  This  is  likely  to  be  the  case  of  individuals  who  dropped out of school. But it can also be an issue for young individuals entering the labor  market  and  holding  diplomas  for  which  there  is  not  enough  demand.  Workers  who  are  forced to change areas of specialization in mid�career as a result of economic restructuring  can  also  be  affected.  Lack  of  business  and  management  skills  is  often  an  important  constraint especially for the poorest who want to become self�employed.  Information constraints (e.g., lack of networking, poor signaling). Information constraints  are pervasive in the labor market. One type of constraints refers to individuals who are not  able to signal their skills to prospective employers, either because they lack the necessary  knowledge and experience and/or because the value of the diplomas they hold cannot be  objectively  assessed.  Other  types  of  constraints  relate  to  the  lack  of  social  network  (or  contacts) and/or information about job offers. Inadequate knowledge or understanding of                                                               9  One can think of many other barriers like the lack of labor demand, strict labor regulations affecting work  hours  and  flexibility  or  incentives  for  on  the  job  firm  provided  training.  Unlike  the  ones  we  review  below,  these are more focus on the demand side of the labor market and all these may play important roles in some  settings. However, the discussion in this section is meant to provide a framework to focus on several supply  side interventions we review ahead. This is the main reason for restricting the attention here to supply side  barriers.   8  the  functioning  of  markets  and  policy  instruments  available  may  also  condition  the  set  of  available options or choices.  Working capital constraints (lack of access to financial or social capital). Capital constraints  can also be a major constraint for many trying to start a business or become self�employed.  Indeed,  banking  requirements  in  terms  of  collateral  can  be  binding  for  low  income  individuals and financing mechanisms through capital markets are often underdeveloped.  Mobility  constraints.  Mobility  constraints  can  take  many  forms.  One  is  simply  lacking  resources  to  move  across  regions  to  find  or  take  jobs.  Poor  infrastructure  care  and  underdeveloped  public  transport  systems  can  also  severely  limit  the  mobility  of  the  labor  force.  Alternatively,  failures  in  property  registration  and  rental  markets  or  in  the  rules  governing  the  portability  of  social  benefits  may  also  be  binding  in  many  middle  income  countries.   In addition, other constraints and barriers to work include social constraints on the supply  side,  lack  of  care  for  dependents  (children  and  the  elderly),  inadequate  housing,  substance  abuse  problems,  or  psychological  and  other  health  issues.  In  particular,  local  customs  and  social  norms  may  be  an  important  external  deterrent  for  certain  groups  to  participate in employment programs or the labor market, even though employers may be  willing to hire them. These include, for instance, competing homecare and home production  responsibilities,  men’s  decision�making  power  over  women’s  time  use  and  skills  development  possibilities,  or  self�discrimination/occupational  segregation.  Furthermore,  another important constraint, especially affecting women, is family constraints related with  taking care of children or sick parents. For space constraints, the instruments we discuss in  Sections III and IV will not deal with all these barriers in detail. Rather, the paper will focus  mainly on addressing the first four constraints listed.10                                                               10   For  brevity  we  cover  in  more  detail  only  the  employment�related  support  services.  Even  though  the  discussion in Section 4.1 refers to other services, there we do not refer to the evidence on many of the non� labor�related  support  services  that  are  often  needed  to  help  the  poorest  individuals  and  connect  them  to  better earnings opportunities (e.g., child care, psycho�social supports, and transport subsidies). For a recent  9  These  constraints  affect  the  various  population  groups  that  can  be  targeted  by  policies  aiming to connect individuals to jobs or improve their earnings opportunities. At one end  of the spectrum are the extreme poor and inactive receiving some public income support  (either cash or in�kind). Among this group, some individuals have the potential to engage in  productive  occupations  that  may  generate  sufficient  income  to  stay  out  of  poverty  and  welfare programs, and may benefit from activation/graduation programs to get them into  employment.  At  the  other  end  are  formal  sector  workers,  in  general,  more  educated  and  with higher incomes, who are temporarily unemployed. Many of them have had a history of  contributing  to  public  insurance  schemes  and  are  likely  to  receive  some  form  of  unemployment benefit. Policies targeting this group should promote their reintegration into  the labor market before these benefits expire and before their skills depreciate.  Effective  policies  and  programs  need  to  take  into  account  this  heterogeneity  in  beneficiaries’  profiles. While  in  most  cases all constraints  are likely  to  be common  across  population groups, their severity will vary. The set of policies considered will therefore also  be  common  across  population  groups  but  the  composition  of  the  policy  portfolio  will  change.  In  low  income  settings  where  individuals  are  not  connected  to  functioning  labor  markets,  intermediation  services  will  provide  little  or  no  role  whereas  programs  that  support self�employment become essential. These issues are discussed next.  2.3  Policy Instruments  Several  programs  can  be  used  to  address  the  constraint  precluding  access  to  productive  employment.  They  are,  however,  not  sufficient.  Governments  also  need  to  ensure  that  individuals are motivated and face the right set of incentives to engage in job search or in  other  activities  that  improve  their  earnings  opportunities.  These  incentives  can  relate  to  features  of  transfer/benefits  programs  to  make  them  less  prone  to  generating  work  disincentives but they may also be stand�alone incentives, like wage subsidies or “back to  work�  bonuses  that  can  be  offered  regardless  of  other  welfare  and  unemployment                                                                                                                                                                                           discussion on some of the instruments to address some health and psychological barriers for the disabled, see  World Health Organization (2011).  10  insurance  transfers.  In  this  paper,  we  only  focus  on  incentive  compatibility  of  income  support  programs.  Effective  interventions  therefore  will  combine  both  incentives  and  programs  that  address  specific  constraints.  Actually,  many  countries  use  a  mix  of  these  incentives and programs (or "support services") in a very diverse blend of approaches. We  discuss each of these components next.  Incentive  Compatibility.  A  fundamental  issue  when  activating  the  dependent  of  public  transfers  is  the  incentives  built  in  the  design.  Well�designed  incentives  are  at  the  root  of  promoting  search  effort  and  investments  in  job  relevant  skills.11  Various  policies  and  alternative  activation  measures  have  been  conceived  and  implemented  to  mitigate  disincentive effects of income support schemes. The most important are: (i) program design  features  (duration  and  level  of  benefits);  (ii)  co�responsibilities  (job  search  and  other  requirements  combined  with  monitoring  and  sanctions);  and  (iii)  financial  incentives  (e.g.,  income  disregard,  bonus  for  swift  reemployment,  or  earned  income  tax  credits).  Some  of  these incentives aim at going beyond the immediate integration of individuals into the labor  market and fostering higher and more sustainable standards of living.  Support  Programs.  Several  programs  can  be  devised  to  address  specific  employability  constraints.  These  range  from  the  most  common  active  labor  market  programs  (including  trainings,  entrepreneurship  support  services,  job  search  assistance  and  counseling,  job  intermediation)  to  the  “integrative�  or  “bridging�  safety  net  programs  as  well  as  other  graduation  programs  (including  asset  transfer/building  programs,  microfinance  type  instruments, and livelihood improving programs). The discussion in Section 4.1 of the paper  will  define  and  exemplify  the  different  service  delivery  approaches  of  these  different  programs for the safety net (SSN) beneficiaries, which are often implemented together with  other incentives.                                                               11  For the poor not receiving any type of income support program, a core issue is to provide them with access  to an income support scheme. The paper will not tackle how to promote higher coverage, but rather focus on  how  to  promote  sustainable  employability  among  those  who  are  already  beneficiaries  of  public  income  transfers schemes.  11  Various  types  of  training  programs,  for  instance,  can  be  designed  to  address  skills  constraints. Information problems can be addressed through properly designed certification  programs and employment services (intermediation, counseling, and job search assistance).  Microfinance programs can be used to reduce capital constraints among the poor. Mobility  can  be  improved  through  various  types  of  grants,  social  insurance  arrangements,  and  social/support  services.  The  latter  can  also  include  assistance  to  obtain  various  types  of  official documents.  The most effective policy instruments for each target group differ depending on country  contexts and institutional capacities. Conditioning country factors include, among others,  the level of economic and institutional development, the political economy, the size and the  design of the overall social protection system, and demographic, human capital, and labor  market  conditions  (including  the  nature  of  the  job  loss).12  All  these  matter  for  the  set  of  feasible  policies  and  their  effects  on  labor  outcomes.  For  example,  the  challenges  of  the  MICs are very different from the challenges in LICs.13 In most LICs, the degree of informality  is  very  high  with  social  assistance  programs  having  relatively  low  coverage.  Within  MICs,  there  are  also  several  differences.  For  example,  in  most  of  the  ECA  countries,  there  is  relatively low informality, complex Social Protection (SP) systems (including large coverage  of social insurance), and a mix of universal /categorical and targeted social assistance (with  relatively small coverage by the latter). In Latin America and Caribbean (LAC), the situation  is quite different, with much higher informality rates and larger social assistance coverage  relative  to  social  insurance.  Although  most  countries  combine  both  incentives  and                                                               12  Two points are worth noting here. First, the government's ability to do the pro�active and conduct a close  "hand  holding"  required  to  activate  individuals  deeply  depends  on  the  number  of  poor  and  vulnerable.  Complex programs may work well especially when there are not poor people. However, even middle income  countries with high poverty rates likely struggle to afford and maintain complex activation programs. Second,  the  "nature  of  the  loss",  including  how  often  the  unemployment  spell  is  occurring  and  its  duration  are  important to determine what sort of policies to deploy and their effectiveness.  13   There  is  wide  heterogeneity  even  within  the  MICs  and  LICs  categories.  For  a  discussion  on  the  different  profiles of countries depending on structural conditions and labor market outcomes, see Cho et al. (2011).   12  programs,  the  way  this  combination  is  achieved  in  practice  depends  on  the  services  and  incentives available as well as on these different conditioning factors.14  2.4  Key Issues/Areas in Terms of Design and Implementation  The following cross�cutting themes are important common features in most incentives and  programs.  These  are  proposed  as  an  organizing  framework  to  elaborate  the  discussion  within each of the case studies above.  Governance  and  Private  Sector.  Governance  structures  determine  the  incentives  facing  program  managers  and  staff,  and  ultimately  the  quality  of  the  services  provided  their  impacts  and  costs.  Issues  to  be  addressed  include  what  is  the  role  of  central  and  local  governments and service providers, how responsibilities and accountability are distributed  at  various  levels  (including  the  different  roles  of  ministries),  how  the  performance  of  programs  and  providers  is  assessed,  and  how  this  performance  is  linked  to  resources  and  the  compensation  of  managers  and  staff.  Finally,  public  versus  private  provision  is  a  key  feature to take into account. The private sector is, in many countries, a core player in the  implementation of activation programs through non�governmental organizations (NGO) or  private  providers  of  various  services.  In  the  case  of  employment  services,  for  instance,  it  would be inefficient to rely exclusively on public institutions; private placement agencies are  expected to have an important role under the right set of regulations. Similarly, the private  sector should be involved in provision of training programs through different ways including  coordination with employers’ associations. Private microfinance institutions should also be  involved.  Financing. The appropriate financing structures determine the incentives of the provision of  these  services.  Countries  differ  in  the  financial  arrangements  used  for  employment  programs. For example, in many LICs external financing plays a major role. Moreover, while                                                               14  In a forthcoming paper the Social Protection teams in ECA and HDN propose a typology of activation and  graduation  policies  for  different  OECD  countries.  The  typology  illustrates  the  different  mix  of  activation  approaches  (blending  different  incentives  and  programs)  used  across  the  countries.  The  note  also  makes  reference to the alternative service delivery models (e.g., integrated, referrals) in OECD.  13  some countries rely more heavily on general taxation, others rely on payroll taxes. Worker’s  own contributions are usually linked with a beneficiary’s greater sense of accountability to  the provider. This may lead to improved program quality.  Profiling. Profiling of beneficiaries to understand their multiple barriers/constraints to work  and  better�design  and �target  interventions  is  critical.  Profiling  allows for  the  definition  of  an  appropriate  blend  of  incentives  and  support  programs  to  simultaneously  address  multiple  barriers;  otherwise  the  intervention,  even  if  well  implemented,  may  not  work.  Unfortunately,  profiling  of  the  beneficiaries  of  income  transfers  is  still  uncommon  among  most  middle  and  low  income  countries.  This  contrasts  with  the  experience  in  the  OECD  where  some  countries  have  adopted  a  preventive  and  proactive  approach  to  early  identification  of  the  major  constraints  to  better  employment  opportunities.  In  many  European  countries  (e.g.,  France,  Germany,  Netherlands,  and  Sweden)  as  well  as  in  Australia, Canada, and the United States, profiling is used as a diagnostic tool to identify the  beneficiaries’  risks  based  on  quantitative  (statistical)  and/or  qualitative  (interviews  and  “soft  profiling�)  approaches.15  Furthermore,  profiling  and  customer  segmentation  enable  customized services according to the client’s characteristics and needs, and allow for action  planning  and  better  targeting  of  services  and  resources.  In  Germany,  for  example,  the  systematic  profiling  of  the  clients  of  public  employment  offices  is  now  one  of  the  cornerstones  of  the  integration  strategy  of  the  services  and  targeting  of  resources  allocation.  The  process  is  based  on  the  identification  of  barriers  that  prevent  full  labor  market  integration.  Such  barriers  can  be  found  in  the  individual’s  formal  qualifications,  motivational  aspects,  and  other  characteristics,  including  health.  Still,  most  MICs  have  no                                                               15  When statistical profiling is used, it is rarely the sole instrument. Usually, the caseworker judgment plays an  important  role.  This  major  exception  is  likely  the  United  States.  In  general,  the  statistical  profiling  is  used  together with other assessment methods (interviews, checklists). In most countries, the statistical profiling is  used to measure the risk of long term unemployment, or the distance to a labor market. The different models  depend  significantly  on  the  availability  of  administrative  data  (usually  the  models  include  socio�economic  characteristics, past history of employment, and type of benefits). For a discussion, see Rudolph and Konle� Seidl (2005).  14  adequate profiling of their social insurance/assistance beneficiaries in place yet. In ECA, for  example, this is constrained by the lack of capacity and a minimal number of counselors.16  Administration,  Monitoring  and  Evaluation  (M&E),  and  Information  Technology  (IT).  Administrative  processes  and  IT  systems  are  key  determinants  of  the  performance  of  the  programs. Yet, it is probably at this level where significant knowledge gaps still exist. There  are several questions to be addressed in terms of what are the best ways to set up various  business  processes  (e.g.,  registration,  evaluation  and  counseling,  referrals,  benefit  calculation and payment, and selection of providers of various services) and to design and  integrate  various  information,  client  interface,  and  management  systems.  As  the  data  storage  and  managing  capacity  become  more  ubiquitous  and  are  made  increasingly  available,  the  integration  of  administrative  systems  linked  with  employment,  social  assistance, and social services will likely yield to important savings in administrative costs. In  addition, there is also scope for simplified and integrated program procedures. Among the  most  important  challenges  ahead  is  the  pressing  need  for  stronger  coordination  across  multiple ministries. At another level, the review in the paper will also illustrate the need for  more  rigorous  evaluations  on  the  effectiveness  of  activation  policies  in  promoting  employability and productivity.   III.  PROMOTING INCENTIVE COMPATIBLE INCOME SUPPORT SCHEMES  Ensuring incentive compatibility of income support schemes can have very positive effects  on labor market outcomes. Such compatibility can increase the number of people engaged  in active job search, raising the supply of labor in local markets and, eventually, contributing  to  a  more  dynamic  market.  It  may  also  decrease  dependency  of  benefits  while  linking  beneficiaries  to  services  that  may  actually  help  them  to  grow  professionally  and  be                                                               16   For  example,  in  the  FYR  Macedonia,  one  job  counselor/advisor  handles  with  more  than  1,200  registered  unemployed,  leaving  only  around  10  minutes  per  person  per  “meeting�  (see  Kuddo  2009).  In  some  ECA  countries, the classification of jobseekers in different groups depending on their placement prospects is based  on the judgment of PES officers. In other countries, PES officers may describe certain unemployed as not being  job�ready.  15  successful  in  the  labor  market.  Moreover,  guaranteeing  incentive  compatibility  of  income  support schemes can foster formal employment and avoid the numerous pitfalls of poorly  designed  schemes  that  tend  to  discourage  beneficiaries  from  formal  labor  market  participation.  Therefore, policymakers are increasingly concerned with improving the design of income  support programs to promote greater participation of beneficiaries in the labor market. A  major  area of  concern  for  policymakers  relates  to  the  potential  disincentives  to  work  and  resulting  dependency  from  income  support  programs.  Both  unemployment  insurance  and  social  safety  net  programs  may  carry  risks  of  decreased  job  search  efforts  and  a  lower  likelihood  of  adult  beneficiaries  accepting  jobs  while  receiving  benefits.  Indirectly,  income  support programs that increase household income may also negatively influence the labor  supply of other household members. Another area of concern for policymakers is the effect  of income support schemes on the beneficiary’s choice between formal and informal sector  jobs. Given the vast informal sector in many developing countries, especially LICs, and their  low  enforcement  capacity,  income  support  programs  may  unintentionally  increase  the  attractiveness of the informal sector.  Concerns  with  the  disincentive  effects  of  income  support  schemes  may  hinder  the  expansion in coverage with social protection for those at risk. In many countries, the size  of  the  group  of  income  support  beneficiaries  that  are  at  risk  is  not  necessarily  large  compared  to  the  total  population  (see  Figure  2).  Furthermore,  most  SSN  beneficiaries  are  often  too  poor  to  afford  to  be  inactive.  Figure  3  shows  the  share  of  (able�bodied)  beneficiaries at the bottom quintile of the income distribution that are inactive as less than  30%  in  many  countries.  Furthermore,  there  seem  to  be  only  small  differences  among  the  inactivity rates for safety net beneficiaries and similar non�beneficiaries.  16  Figure 2: Employment Status of the Able�bodied Population in Selected Countries  100% 90% employed,  80% 70% beneficiaries 60% employed, non� 50% beneficiaries 40% not employed,  30% beneficiaries 20% 10% not employed, non� 0% beneficiaries   Source: Staff estimations based on household surveys. In parenthesis we report the year of  the household survey: Brazil, Chile, Mexico, and Vietnam (2006); Bulgaria (2007); Albania,  Armenia, and Romania (2008); Kenya (2005); Malawi (2004).  Note:  Table  reports  the  percentage  of  able�bodied  individuals  (between  17  and  59  years  old)  that  are  employed  and  depending  on  whether  they  are  beneficiaries  of  poverty� targeted transfers or of unemployment benefits. In each country, the able�bodied exclude  all the disabled, retired, and individuals still in school.  The  impact  of  income  transfers  on  incentives  and  behaviors  ultimately  depends  on  the  initial local conditions. In MICs, with comprehensive unemployment insurance and complex  SA systems, the concerns are with labor supply and levels of informal employment.17 Some  countries, like Romania, have overlapping and often overly generous benefits making them  more susceptible to possible work disincentive. In many other middle income countries in  ECA,  early  retirement  is  also  an  important  part  of  the  problem.  Other  countries,  like  Kazakhstan, are increasingly affected by the negative effects of transfers on informal work  (see  Appendix  1).  In  LICs,  on  the  other  hand,  income  transfers  are  more  incipient.  There,  labor informality is less of a concern; the main issue is the potential dependency effects of  SSN benefits and the challenges of recurrent costs under constrained public budgets.                                                               17  See Levy (2008) and Ribe et al. (2010) for discussions on Latin America.  17  Overall,  the  evidence  on  the  disincentive  effects  of  SSN  programs  on  labor  supply  and  informality is still scant and findings are mixed. Even though the evidence is still very thin,  there is little evidence form recent impact evaluations showing significant negative effects  on  adult  labor  supply.18  A  recent  Bank  review  shows  that  none  of  the  SSN  programs  reviewed  significantly  discouraged  beneficiaries  from  working.  A  recent  evaluation  for  Armenia shows that the receipt of the targeted SA program did not have a significant effect  on  labor  force  participation,  hours  worked,  or  labor  informality.19  The  evidence  from  Conditional  Cash  Transfers  (CCTs)  also  found  no  disincentive  effects  for  work  in  Brazil,  Cambodia,  Ecuador,  and  Mexico.20  Furthermore,  recent  studies  also  find  evidence  supportive  of  the  contrary.  For  example,  the  labor  market  participation  of  Bolsa  Familia  beneficiaries  was  higher  than  that  for  non�beneficiaries  in  Brazil.  Likewise,  the  receipt  of  social  pensions  in  South  Africa  also  increased  the  probability  of  employment  of  other  household  members  by  enabling  the  households  to  improve  their  allocation  of  labor  resources.21  In  rural  Ethiopia,  food  aid  was  found  not  to  be  associated  with  lower  work  effort  in  agriculture, wage work, or self�employment after accounting for the fact that food transfers  are being targeted to the poorest communities and to the less able�bodied members of the  community.22 However, studies in Albania and Nicaragua found that cash transfers led to a  reduction  in  the  total  hours  worked  by  beneficiaries.  In  Malawi,  results  of  an  impact  evaluation also suggest a reduction in own�farm labor.23 The evidence of the effects of SSNs  on  the  choice  of  beneficiaries  between  the  formal  and  informal  sector  in  developing  countries  is  scarcer.  Figure  3  shows  that  beneficiaries  of  SSNs  are  more  likely  to  be                                                               18   A  recent  World  Bank  Independent  Evaluation  Group  (IEG)  report  (IEG  2011)  reviews  the  evidence  on  the  effects  of  safety  net  programs  based  on  impact  evaluations  work  in  the  developing  world.  The  review  identifies a small number of impact evaluations looking at the impact of cash transfers on adult labor supply (6  out of 100 evaluations).  19  See Levin (2011).  20  See Fiszbein and Schady (2009).  21  See ILO (2010).  22  See Abdulai et al. (2005).  23  See ILO (2010).  18  employed  in  the  informal  sector  than  non�beneficiaries.  However,  in  many  cases  these  differences can be explained by differences across beneficiaries and non�beneficiaries in the  (local)  labor  market,  specific  characteristics  of  beneficiaries  (e.g.,  low  skills),  or  by  the  program design (including program eligibility rules and targeting).  Figure 3: Shares of Inactive Labor Force and Informal Sector Employment,   in the Bottom Quintile of the Income Distribution  60% 100% 90% 50% 80% 70% 40% 60% 30% 50% beneficiaries beneficiaries 40% 20% non beneficiaires non beneficiaires 30% 10% 20% 10% 0% 0%   Source: Staff estimations based on households surveys. In brackets is the year of the data used: Brazil, Chile, Mexico, and Vietnam (2006); Bulgaria (2007); Albania, Armenia, and Romania (2008); Kenya (2005); Malawi (2004). Note:  Figure  3A  reports  the  percentage  of  individuals  at  the  bottom  quintile  of  the  income  distribution  that  are  inactive  both  for  the  group  of  beneficiaries  of  public  income  support  and  for  non�beneficiaries,  respectively.  For  example,  the  numbers  for  Albania  show  that  35%  of  all  the  beneficiaries  of  public  income  support  schemes  at  the  bottom  quintile  are  inactive.  This  number  compares  with  25%  for  the  non�beneficiaries  of  income  support.  Figure  3B  reports  the  same  statistics, also at the bottom quintile, for the percentage of individuals that are informal. The bottom  quintile  is  computed  using  information  before  the  transfers.  Income  support  programs  include  unemployment  benefits  and  poverty�targeted  cash  transfers.  Benefits  included  by  country  include:  Albania  –  Ndihma  Ekonomike  (poverty�targeted  benefit)  and  unemployment  benefit;  Armenia  –  poverty  family  benefit  and  unemployment  benefit;  Bulgaria  –  Guaranteed  Minimum  Income  and  unemployment  benefit;  Romania  –  Guaranteed  Minimum  Income,  poverty�targeted  family  allowances,  and  unemployment  benefit;  Brazil  –  Bolsa  Familia  and  unemployment benefits;  Chile  –  Chile  Solidario  (Bonos  Protection  Social,  family  allowances,  subsidies  for  water  and  sewer),  and  unemployment benefit; Mexico – Progresa; Kenya – food and cash transfers; Malawi – food and cash  transfers, including public works; Vietnam – welfare benefit.  Income  transfers  for  UI  benefit  recipients  may  affect  individual  behaviors  in  the  labor  market  and  potentially  can  have  a  disincentive  effects  on  the  supply  side  of  the  labor  market.  The  recent  empirical  work  on  unemployment  insurance  systems  hereby  emphasizes  the  potential  negative  moral  hazard  created  by  unemployment  benefits,  19  potentially  reducing  the  incentives  to  search  for  or  keep  jobs.  Indeed,  there  is  some  evidence from transition and OECD countries (e.g., Poland, Hungary, and the United States)  on a positive correlation between the level of the benefit and its duration and the length of  the  unemployment  spell.  However,  there  are  also  some  studies  that  do  not  support  this  positive relationship for a number of countries, including the Slovak Republic and Romania.  The evidence on developing countries is scant.24 In addition, the bundle of unemployment  benefits  offered,  their  conditionalities,  and  their  financing  mechanisms  may  also  affect  individual’s decisions to take formal sector jobs. Incentives to work (formally) and save can,  for  example,  be  reduced  if  social  security  contributions  are  perceived  as  a  tax.  This  may  occur if benefits are not valued, are too generous relative to the contributions, or if there is  an important redistributive component.25  The  relevant  policy  question  going  forward  is  therefore  how  to  design  income  transfers  that  minimize  negative  effects  on  the  supply  of  labor.  Some  designs  may  create  disincentives  to  work,  while  others  are  more  apt  to  create  incentive  compatible  income  support  schemes.  The  remainder  of  this  section  focuses  on  three  features  of  incentive  compatible income support schemes: (i) how to devise benefits and eligibility conditions; (ii)  the role of mutual responsibilities (i.e., the rights and duties of both benefit providers and  recipients);  and  (iii)  the  role  of  financial  incentives,  which  influence  individual  behaviors  using strictly monetary stimuli.26  3.1 Level and Duration of Benefits  No single blueprint guides the optimal duration or level of benefits. Imposing time limits  on benefits, reducing benefit generosity, and reducing the benefit level over time are some  of  the  most  common  measures  designed  to  generate  incentives  to  work.  The  choice  of                                                               24  See Vodopivec (2004); Card and Levine (2000); Calmfors and Holmlund (2000); Anderson and Meyer (1993);  Meyer  (1990);  Jones  and  Kotzeva  (1998);  Vodopivec,  Wörgötter,  and  Raju  (2003);  Micklewright  and  Nagy  (1998);  Vodopivec  (1995);  Ham,  Svejnar,  and  Terrell  (1998);  Adamchik  (1999);  Puhani  (1996);  Kwiatkowski  (1998); Boeri and Steiner (1996); Cazes and Scarpetta (1998).  25  See Perry et al. (2007); Levy (2008); Krueger and Meyer (2002); Robalino et al. (2009).  26  In Europe the preferred terminology refers to mutual obligations. Although this difference also has policy  implications, in this paper we use mutual or co�responsibilities interchangeably.  20  these parameters, however, requires a balanced approach taking into account the type of  benefit, target group, country context, and program objectives. The recent economic crisis  has also shown the importance of adaptable UB and SSN benefit levels and durations to be  able to quickly respond to shocks in a countercyclical way.  The most robust evidence shows that combining a reasonable duration of unemployment  benefits  with  declining  benefits  over  the  spell  promotes  protection  while  activating  UI  beneficiaries.  Most  practitioners  agree  that  the  moral  hazard  associated  with  flat  (or  increasing)  benefits  over  time  involves  major  challenges.  Establishing  decreasing  benefits  improves incentives for job search and reduces the beneficiary’s reservation wage, which in  turn,  increases  the  likelihood  of  exiting  from  unemployment.  However,  less  generous  benefits  can  also  reduce  the  efficiency  of  the  jobs  search  process  since  individuals  have  fewer means. Moreover, evidence from Romania from the 90s suggests that the receipt of  benefits increases the probability of leaving unemployment.27 In most OECD countries, the  exit rates from unemployment fluctuate over the unemployment duration: they decline at  the beginning, remain relatively stable after the initial phase, and rise steeply before benefit  exhaustion.28  Several  studies  in  MICs  (Bulgaria,  Estonia,  Hungary,  Slovenia,  Slovakia,  and  Poland)  support  this  relationship  between  the  probability  of  leaving  unemployment,  the  duration of benefit receipt, and the benefit level.29 Jordan is another example of a country  that  recently  introduced,  with  support  from  the  World  Bank,  declining  unemployment  benefits.  For  the  first  month  of  unemployment the  eligible recipients  now  receive 75%  of  their former wage. The benefit is reduced to 65% for the second month, 55% for the third,  and 45% for the fourth to sixth months.  The evidence on SSNs suggests that time limits alone, not accompanied by employability  measures,  are  not  an  effective  policy  since  beneficiaries have  multiple  barriers  to  work.                                                               27  See Earle and Pauna (1998).  28  See Vodopivec (2004).  29   See  Jones  and  Kotzeva  (1998);  Vodopivec,  Wörgötter,  and  Raju  (2003);  Micklewright  and  Nagy  (1998);  Vodopivec  (1995);  Ham,  Svejnar,  and  Terrell  (1998);  Adamchik  (1999);  Puhani  (1996);  Kwiatkowski  (1998);  Boeri and Steiner (1996); Cazes and Scarpetta (1998).  21  The  profile  of  SSN  beneficiaries  is  very  different  from  the  profile  of  UI  beneficiaries.  The  former usually have a smaller capacity to smooth incomes and have been without a job for  longer periods. They are also more likely to require longer durations of support in order to  cover  the  deficits  in  assets  and  human  capital.  If  not  accompanied  by  effective  employability/productivity  enhancing  measures,  establishing  limited  benefit  duration  may  actually work against the main objective of the safety nets, protection against poverty and  destitution.30  In  many  countries,  the  debate  on  setting  the  duration  of  SSN  benefits  is  accompanied  by  an  increased  emphasis  on  assessing  the  circumstances  in  which  beneficiaries are able to exit assistance without the risks of destitution, negative impact on  longer  term  human  capital  objective,  or  returning  to  the  program.  Brazil,  Colombia,  Ecuador,  Ethiopia,  Mexico,  and  Peru  are  examples.  In  Ethiopia,  about  five  years  after  the  implementation of the Productive Safety Nets Program, only about 10% of beneficiaries had  met  the  benchmarks  to  graduate.  Most  beneficiaries  remained  in  the  program  for  an  additional  year,  because  households  on  the  cusp  risk  quickly eroding their  asset base  and  falling back into poverty.31 This experience is not singular and is not exclusive to low income  countries.  The  Mexican  Progresa/Oportunidades  changed  several  times  the  recertification  period and the rules for the exit strategy, including as a response to this type of challenges.  Depending on the results of the recertification households may remain in the program, be  transferred  to  a  “differentiated  scheme�  with  lower  benefits  for  an  additional  number  of  years, or exit the program.32,33                                                               30  It worth noting that, for some types of safety nets, such as CCTs, time limits are intrinsically present since  the duration depends on the age of children.  31  See World Bank (2010a).  32  Panel studies carried out after the first round of households were transferred to the differentiated scheme  in 2003 showed that about 40% of those transferred returned below the line. As a result, in 2006�2008, the  period before the first reassessment of households was increased from three to six years. See Yaschine and  Davila (2008).  33  The experience of developed countries with SSN benefit duration is controversial. For example, the effects  of time limits in the United States are mixed and often imprecisely estimated due to the difficulty of isolating  their effects from other components of the reform package. However, successful experiences are reported by  programs  (such  as  Chile  Solidario)  that  accompany  time  limits  (and  decreasing  benefit  levels)  with  complementary employability and graduation measures. These examples will be discussed in Section III.  22  In  most  countries  the  safety  net  benefit  levels  are  already  low  enough  to  prevent  work  disincentives.  Figure  4  suggests  that  the  generosity  of  targeted  SSN  benefits  in  most  countries is too low to significantly generate large disincentives to work. In most countries,  SA  benefits  account  for  less  than  20%  of  household  consumption.  In  most  MICs,  the  existence  of  multiple  programs  leading  to  the  receipt  of  multiple  benefits  by  the  same  household,  or  non�cash  benefits  (such  as  fee  waivers  or  subsidized  goods  and  services),  likely  pose  greater  challenges.  This  suggests  that,  in  these  settings,  the  need  of  designing  more  coherent  systems  with  consistent  rules  across  programs  may  be  a  more  important  priority for SSN programs.  Figure 4: Generosity of Social Assistance Programs (as % of Total Consumption)   In Selected Countries  40% 35% 30% 25% 20% 15% 10% 5% 0% poverty targeted  all social assistance    Source: Staff estimations based on households surveys.In brackets is the year of the data used: Brazil, Chile, Mexico, and Vietnam (2006); Bulgaria (2007); Albania, Armenia, and Romania (2008); Kenya (2005); Malawi (2004). Note:  The  figure  reports  the  share  of  social  assistance  benefits  in  total  consumption  for  beneficiaries  of  at  least  one  poverty�targeted  program  and  for  beneficiaries  of  at  least  one  social  assistance  program,  respectively.  Attention  is  restricted  to  households  with  at  least  one  able�bodied  person  (i.e.,  households  with  labor  supply).  For  example,  the  numbers  for  Albania  show  that  social  assistance  benefits  account  for  12%  of  the  total  household  consumption  when  households  benefit  from  at  least  one  poverty�targeted  program. This number compares with 13% for households that benefit from at  least one social assistance program.  The  work  disincentives  of  SSNs  may  be  reduced  by  setting  the  benefit  level  below  the  level of the unemployment benefit or of the market wage for unskilled work, but above a  minimum  subsistence  standard.  When  benefit  levels  are  linked  to  the  incomes  of  23  beneficiaries  (usually  in  means�  or  income�tested  programs,  in  MICs)  and  calculated  as  a  simple difference between the current household incomes and a threshold, a reduction in  work effort may appear as a result of a 100% implicit tax on earned income. In this case, the  benefit is reduced by one unit for each additional unit of income earned. To avoid the risk of  reduced  job  search  or  work  effort  in  such  cases,  the  design  of  the  program  may  include  incentives  in  the  form  of  income  disregards  for  wage  income,  or  a  lower  marginal  tax  on  earnings. The best practice in public works programs is also to set the benefits below the  minimum  wage  or  below  the  market  wage  for  unskilled  labor.  This  ensures  both  self� targeting and reduced dependency risks. Often, incentive challenges may remain for part� time work. Moreover, employment regulations may prevent the implementation of such an  approach. Resorting to  piece wage rates may overcome this latter challenge.34 In general,  most  Bank  projects  follow  these  rules,  and  in  the  large  majority  of  cases,  the  relation  between the benefit levels and the minimum net�of�tax (market) wages or unemployment  benefits is assessed during project appraisal.35  But  there  are  no  “one  size  fits  all�  solutions  and  decisions  on  the  level  and  duration  of  benefits  should  account  for  the  country  context.  In  LICs,  the  SSN  benefits  may  end  up  being  used  to  pursue  income�generating  activities  and  thus  ultimately  increase  the  work  effort,  rather  than  decrease  it.  Some  early  evidence  from  pilot  programs  in  Namibia  and  Zambia support this finding.36 There, a part of the SSN transfers is used as working capital to  engage  in  income�generating  activities,  or  for  small  investments.37  Establishing  very  restrictive benefit levels would limit this opportunity, which could be especially binding for  the  poorest  that  often  lack  the  access  to  credit.  Despite  the  emerging  evidence  in  developing  countries  on  the  positive  role  of  safety  nets  in  promoting  higher  labor  productivity,  not  much  is  yet  known  about  the  link  between  benefit  levels  and  income  generation or investment decision�making by beneficiaries.                                                               34  See Subbarao et al. (2010).  35  See World Bank (2010b), World Bank (2011a), and World Bank (2011b).  36  This type of findings is not limited to LICs. Gertler et al. (2006) find that Oportunidades transfers resulted in  increased investment in micro�enterprise and agricultural activities  37  See Regional Hunger and Vulnerability Programme (2010).  24  3.2 Mutual Responsibilities  Establishing  mutual  responsibilities  is  an  increasingly  popular  approach  to  minimize  the  disincentives to work. The most common types of mutual responsibilities come in the form  of “soft� obligations to search for a job, and participate in skills training, or in the form of  “hard� requirements such as workfare. Enforcing mutual responsibilities has been argued to  increase the legitimacy of income support programs, and eventually the overall support of  these  programs,  by  reducing  the  idea  that  beneficiaries  are  “lazy�  and  that  benefits  only  create a culture of dependency. In spite of the importance, evidence on the effectiveness of  establishing  mutual  responsibilities  and  their  costs  is  not  large.  Furthermore,  it  is  mostly  based  on  developed  economies.  Some  countries,  for  example  in  Central  and  Eastern  Europe,  make  use  of  a  mixture  of  soft  requirements  combined  with  the  “work  first�  approach.  For  example,  in  the  Czech  Republic  and  Montenegro,  job  search  is  a  pivotal  activity.  Programs  start with  job  search  for  most  participants,  using  the  labor  market  as a  first employability test. For those who are not able to find jobs within a short period of time,  this approach proposes other activities for benefit recipients to address the barriers to their  employability.  These  might  include  training,  retraining,  activities  to  enhance  the  work  experience  of  the  unemployed,  or  other  options.  During  economic  downturns,  when  vacancies are limited, the focus on finding work first can shift to training or retraining first.  Some of the recent evidence supports the idea that disincentives to work associated with  income  support  programs  can  be  reduced  by  imposing  more  stiff  requirements  and  ensuring the respective monitoring (see Box 2). The effect of enforcing stiff requirements on  the  exit  rate  from  unemployment  might  be  significant.  Even  the  imposition  of  moderate  sanctions  can  increase  the  exit  rate  by  more  than  50%.38  However,  monitoring  and  enforcement  is  costly  and  requires capacity.  There  is  still  very  little empirical evidence  on  their costs.39                                                               38  See Svarer (2007).  39   See  Fredriksson  and  Holmlund  (2006)  and  Boone  et  al.  (2007)  for  two  exceptions.  Both  studies  make  the  point that introducing monitoring and sanctions represents a welfare improvement for reasonable estimates  of monitoring costs.   25  Box 2: Experimental Evidence from the United States  An  experiment  undertaken  in  the  state  of  Maryland  in  1994  provides evidence  to  support  the  link  between  imposing  different  job  search  requirements  on  the  unemployment  duration.  The  study  randomly allocated the recipients of unemployed benefits into a control group and different treatment  groups. Each group was exposed to different search requirements including: (i) increased work�search  requirements whereby workers had to make at least four employer contacts per week; (ii) requiring two  employer contacts per week but without any requirement of documentation; (iii) requiring workers to  attend a four�day job search workshop early in the unemployment spell; and (iv) informing the benefit  recipients that their reported employer contacts would be verified. The control groups were required to  contact at least two employers per week but no verification was conducted.  The  results  suggest  a  strong  correlation  between  (i)  the  stiffness  of  job  search  requirements  and  the  unemployment spell and (ii) the probability of monitoring the requirements and the duration of benefit  receipt. Increasing the number of required employer contacts from two to four reduced the duration of  benefit  receipt  by  6%.  Moreover,  informing  claimants  that  their  employer  contacts  would  be  verified  reduced the duration of benefit receipt by 7.5%. In addition, it was found that participation in the job  search workshop reduced the number of benefit weeks by 5%, a finding broadly consistent with results  from other experiments undertaken in the United States. The effect could reflect enhanced skills in job  search  but  may  also  reflect  higher  perceived  costs  of  remaining  on  UI  (as  the  workshop  reduces  time  available for leisure).  Source: Fredriksson and Holmlund (2006).    While in many MICs Public Employment Services (PES) are a key for the implementation  of  “soft�  co�responsibilities,  in  countries  with  low  capacity  a  network  of  community  caseworkers or promoters might provide a viable alternative. “Soft� mutual responsibilities  can take various forms. They range from the simple mandatory registration with the PES to  the  development  of  contract�based  obligations  and  individual  plans  with  activities/indicators  that  can  be  monitored.  In  many  MICs,  employment  services  are  strongly present and play a major role in implementation. Box 3 illustrates the case of many  ECA countries where the registration in PES is mandatory for both the unemployed claiming  unemployment benefits and for the safety net beneficiaries able to work. In other contexts,  community caseworkers or promoters may also be an alternative to implement and monitor  the  principle  of  mutual  responsibilities.  Nicaragua  is  planning  to  experiment  with  this  approach. There, social assistance beneficiaries agree with social workers on a set of criteria  and  actions  to  receive  the  assistance.  The  criteria  are  defined  in  “family  improvement  plans,� which may include mandatory participation in community�based workshops meant  26  to  inform  about  existing  services  and  provide  basic  training  in  financial  management  and  financial  literacy,  family  budgeting,  access  to  credit,  entry  level  work  skills,  and  risk  management.40  Box 3: Europe and Central Asia – Registration of Safety Net Beneficiaries with PES  In  most  ECA  countries,  registration  of  SSN  beneficiaries  with  PES  is  mandatory  as  it  ensures  that  beneficiaries  are  actively  looking  for  a  job  and  taking  up  training.  This  also  works  as  a  way  of  (re)integrating  able�bodied  beneficiaries  in  the  labor  market  and  increases  their  employability  through  participation  to  training/re�qualification  programs.  Once  registered,  beneficiaries  cannot  refuse  employment or training offers provided by these services. In the case of refusal, they lose the entitlement  to  benefits  and  in  some  cases  the  right  to  re�apply  may  be  suspended  for  a  given  period.  Beneficiaries  must undertake periodic visits to the employment services to prove that they are searching for a job. The  intervals differ across countries. They range from three months in Albania and Romania to once a year in  Armenia.  In practice, this model presents challenges. First, with the exception of workfare, additional requirements  are more difficult to implement in rural areas where PES are rarely present. In rural areas, information on  job or training offers (or information about labor demand/vacancies) for beneficiaries is more difficult to  access.  Second,  PES  do  not  always  perceive  the  safety  net  beneficiaries  as  being  their  “typical�  clients.  These beneficiaries usually have multiple employability constraints and are among the “hardest to serve�.  Therefore,  quite  often  PES  have  no  incentives  or  capacity  to  provide  services.  In  Romania,  for  example,  only  4%  of  the  Guaranteed  Minimum  Income  beneficiaries  registered  with  PES  received  training  or  job  offers (Romania GMI Evaluation Survey, 2003).  Source: Kuddo (2011).    Workfare programs may also be effective in discouraging “dependency� while improving  the targeting of SSN programs. Mandatory participation in work, or workfare, is one of the  common  approaches  used  to  avoid  the  disincentive  effects  of  income  support  programs.  Although the term “workfare� covers many approaches, here, we focus on conditioning the  receipt of “regular� income support with participation in community service or small scale  public works.41 The participation in either can be a condition for maintaining the receipt of                                                               40  See World Bank (2010c).  41  We exclude programs aimed at providing short term employment, where the benefit level (or the wage) is  directly linked with the quantity of work performed. Although the distinction between the two approaches is  not always clear, several elements make the distinction clear. Workfare as a “conditionality� applies to income  support programs where the benefit level is usually a set function of criteria other than supply of work (i.e.,  the  benefit  is  not  a  “wage�),  and  its  level  may  be  only  loosely  linked  with  the  quantity  of  work  performed;  however, maintaining beneficiary status is conditioned on participation in mandatory work activities. Usually  in  these  cases  a  minimum  and/or  a  maximum  number  of  hours  of  service  is  required.  In  the  case  of  public  27  income support benefits.42 These programs usually have a strong self�selection as recipients  vary  in  the  valuation  of  their  leisure  and  their  income  capacity.  Depending  on  the  predefined benefit level, programs can better target the most vulnerable and thus reduce  dependency.  And,  there  is  some  evidence  that  the  mere  anticipation  or  threat  of  such  features  can  influence  the  entry  and  exit  probability  of  beneficiaries.43  Examples  of  programs that condition the receipt of benefits on participation of community service are  widespread in ECA (e.g., Guaranteed Minimum Income (GMI) programs in Albania, Bulgaria,  Lithuania, and Romania) and are also present in Latin America. For example, in Argentina,  Jefes de Hogar, a program that was originally designed as an emergency workfare program,  required  beneficiaries  to  participate  up  to  a  maximum  of  20  hours  a  week  in  eligible  activities.  In  addition  to  public  works,  eligible  activities  included  adult  education  and  training  classes  or  participation  in  community  services  projects.  However,  program  implementation also illustrates important implementation challenges at the local level (see  Box 4).                                                                                                                                                                                           works programs aimed at providing (short term) employment, the benefits are paid as wages, and the time  worked is usually linked to the benefit amount. In addition, the programs are financed and implemented in  different ways – in the case of short term employment programs usually communities or local governments  have  to  submit  a  project  to  be  eligible  for  funds,  and  the  program  is  assessed  against  completion  of  the  project;  while  in  the  case  of  income  support  conditioned  by  workfare,  the  funds  are  disbursed  against  the  program  caseload  (number  of  beneficiaries),  and  benefits  are  paid  against  compliance  with  the  workfare  requirement (for those subject to conditionality).  42  Community service usually consists in small scale environmental activities (including landscaping or cleaning  parks and public spaces), rehabilitation/ maintenance of local roads, or provision of social services (including  support for elderly).  43  See Vodopivec (2004).  28  Box 4: Argentina Jefes de Hogar – Lessons from Implementation  During the economic crisis in 2002, the Argentinean government initiated the Jefes de Hogar. The program  transferred cash to families with unemployed household heads with at least one child below 18 years old,  pregnant women, or the disabled, conditioned on participation mainly in workfare (for up to 20 hours per  week) or on working for a private company but also in other training/education activities. Participation in  workfare activities did not reach the target of 90% of beneficiaries and the Program’s workfare character  weakened over time. Compliance with workfare (or other eligible) activities declined from around 70% in  October  2002,  to  56%  at  the  end  of  2004.  This  reflected:  (i)  the  increased  “pull�  to  other  part�time  employment due to economic recovery; (ii) the difficulties of a number of municipalities in enforcing the  requirement;  and  (iii)  the  Program’s  broader  role  as  the  main  response  of  the  government  during  the  social crisis, which implied that it included a sizeable number of beneficiaries that could not be reasonably  expected  to  effectively  comply  with  the  workfare  requirement  (mothers  with  three  or  more  children  accounted  for  nearly  a  third  of  the  beneficiaries  and  many  municipalities  exempted  them  from  the  workfare requirement; 5% of the beneficiaries were women above 60 years of age, the disabled, parents  of disabled children, or men above 65 years of age).  Subsequent  assessments  showed  that  the  municipalities  and  local  councils  had  limited  capacity  to  organize and supervise activities. This happened partly because the program was setup quickly in response  to  the  crisis  and  the  Ministry  of  Labor  never  had  the  capacity  to  provide  guidance  or  supervise  the  municipalities.  This,  among  other  reasons,  explains  why  the  conditionality  on  the  work  requirement  steadily  decreased.  The  weak  enforcement  of  the  work  requirement  also  contributed  to  beneficiaries  being  employed  in  the  informal  sector  even  if  they  no  longer  participated  in  workfare  (or  other  eligible  activities).  Overall,  this  likely  slowed  down  the  decrease  in  the  numbers  of  beneficiaries.  By  the  second  semester of 2006, EPH data showed that a fourth of Program participants did not participate in workfare  activities and worked only in informal activities.  Source: World Bank (2007).    3.3 Financial Incentives  Financial  incentives  conditional  on  swift  (re�)employment  are  a  common  incentive  to  make (re�) employment alluring in many countries. Financial incentives can take different  forms.  A  simple  example  is  a  bonus  for  swift  (re)employment  or  a  back  to  work  bonus.  Another instrument is a (temporary) relaxed income (or means) test to determine program  eligibility. Hereby, the earned income from formal employment  is disregarded for tax and  benefit calculations up to a certain amount. Depending on the actual implementation, the  beneficiary receives either the full or a partial benefit. For example, in the case of Romania  (Guaranteed  Minimum  Income),  the  existence  of  a  working  member  in  the  household  increases the social benefit by 15%. This means that, as opposed to other schemes where  29  the value of the income benefit is reduced by an amount equal to the earned income, the  additional incomes from employment are not “taxed� 100%. For safety net programs that  are based on targeting methods other than income/means test (e.g., PMTs), this principle  translates in setting exit thresholds higher than entrance thresholds.  Particularly in MICs, other types of financial “in�work benefits� include earned income tax  credits  (e.g.,  EITC  in  the  United  States,  W  (F)  TC  in  the  United  Kingdom)  and  other  subsidies  targeted  to  low  income  workers.  Earned  income  tax  credits  proved  to  have  significant  positive  employment  effects,  in  particular  on  single  mothers  in  developed  countries,44 and are likely to have the potential to replicate similar impacts in high capacity  MICs. A more sophisticated wage or income tax that depends on the length of the previous  unemployment  spell  can  also  be  considered  to  activate  dependents  of  income  support  programs. Such taxes could even be negative. Wage subsidies that are directly paid to the  beneficiaries might also be seen as a financial incentive. However, the evidence regarding  the  effects  of  these  measures  is  mixed  and  often  controversial.45  Other  types  of  financial  incentives that may be considered are transitional childcare or transportation allowances.  Alternative  instruments  to  the  traditional  unemployment  insurance  scheme  appear  to  have  lower  risks  of  work  disincentives.  As  reviewed  above,  the  impact  assessments  of  unemployment  insurance  schemes  in  several  countries  indicate  that  unemployment  insurance  may  lead  to  increased  work  disincentives  and,  consequently,  increased  unemployment.46  This  well�known  moral  hazard  problem  can  partly  be  addressed  by  introducing  individual  savings  accounts  in  UI  systems,  so�called  Unemployment  Insurance  Savings Accounts (UISA). Under a UISA system, each worker saves part of his/her earnings in  an  individual  account  that  defines  eligibility.  In  case  of  exiting  employment,  benefits  are  withdrawn  from  this  account.  To  introduce  redistribution,  the  individual  account  is  complemented by a solidarity fund that is only accessible if the individual account expires                                                               44   Blundell  and  Hoynes  (2004);  for  a  comprehensive  review  of  in�work  benefits  in  OECD,  see  Immervoll  and  Pearson (2009).  45  See Leppik (2006). See Meyer (1995) for a discussion of the side effects of a reemployment bonus.  46  For an overview for transition economies and OECD countries, see Vodopivec (2004).  30  before the end of the maximum benefit duration. The individual component is supposed to  strengthen  work  incentives,  relative  to  standard  UI  approaches.  Upon  retirement,  the  balance  in  the  account  usually  feeds  into  the  pension  payments.  In  Chile,  an  innovative  program combines social insurance through a solidarity fund (SF) with self�insurance in the  form  of  UISA.  Recent  evidence  shows  that  the  individual  account  component  can  help  to  improve  work  disincentives.  Similarly,  the  job  finding  rates  over  the  first  five  months  of  unemployment are considerably higher for workers not using the SF than for beneficiaries  of  the  SFs,  controlling  for  different  characteristics  of  the  recipients.47  Drawing  on  this  experience,  other  Latin  American  countries,  like  Colombia,  are  considering  UISA  systems.  Jordan  is  even  pushing  the  model  by  allowing  the  participation  of  beneficiaries  who  have  not  saved  enough  before  becoming  unemployed  but  have  already  accumulated  some  pension  wealth.  The  system  allows  borrowing  equivalent  to  three  times  the  individual’s  monthly  wage  and  balances  the  account  with  retirement  pay.48  However,  Jordan  has  not  introduced a solidarity component in its system.  Box 5: Jordan PESW Social Health Insurance Reform  The World Bank has assisted the Government of Jordan through programmatic economic and sector work  (ESW) with the introduction of UISA. This is part of a comprehensive reform of the Social Insurance Law.  The Bank team prepared a series of notes supporting the main pillars of the Social Insurance reform. These  included: (i) parametric reform of the pension system; (ii) introduction of unemployment insurance savings  accounts; and (iii) mechanisms to enhance coverage extension of social security. As a result of an intense  and effective cooperation, the Social Security Commission (SSC) submitted the most comprehensive Social  Insurance  reform  in  the  region  to  the  Cabinet  in  early  2009.  The  approach  is  innovative  because  it  addresses the reforms in a comprehensive manner, and because it includes not only aspects of financial  sustainability but also important programs for social protection (e.g., UI) that would otherwise be missing.  The  law  benefited  from  strong  support  from  HM  the  King  of  Jordan;  it  was  endorsed  and  sent  to  the  Parliament in July 2009and was approved by the Cabinet in October 2009.  Source: World Bank Operations (2011).                                                                   47  See Reyes et al. (2011).  48  See Robalino et al. (2009) and Acevedo and Eskenazi (2003).  31  3.4 Implications for Program Implementation  One  of  the  main  challenges  underlying  the  implementation  of  incentive  compatible  policies is the existence of a dynamic labor market offering productive opportunities for  the  most  vulnerable.  Table  1  below  summarizes  the  main  incentives  reviewed  in  this  section  and  the  most  common  challenges  in  their  implementation  across  countries.  The  establishment of time limits or lower benefits implicitly requires the existence of jobs and a  dynamic  labor  market  where  beneficiaries  of  UI  and  SSN  programs  find  productive  opportunities. This is also an important precondition when promoting some of the financial  incentives that are made conditional on finding a job, often in the formal sector.  Establishing  mutual  responsibilities  implies  the  capacity  to  provide  and  enforce  service  provision but also to define, communicate, and impose sanctions when beneficiaries fail  to  meet  these  conditions.  Regardless  of  the  requirement,  the  establishment  of  mutual  responsibilities demands the administrative capacity to monitor and enforce compliance. In  addition, it also assumes that there are services facilitating job search and the provision of  trainings  through,  for  example,  public  employment  offices.  These  services  need  to  be  of  high  quality,  helpful,  and  supportive  of  their  clients.  It  is  important  that  they  gain  high  repute  and  recognition  in  all  these  dimensions  to  ensure  compliance  and  reduce  the  exigency  of  sanctions.  Mutual  responsibilities  also  call  for  the  capacity  to  monitor  the  service  delivery.  The  workfare  conditionality  necessitates,  for  example,  the  capacity  to  organize and supervise the works or other activities (such as community services). It is also  important  that  co�responsibilities  are  clearly  defined  and  communicated  to  beneficiaries.  Moreover,  their  design  should  account  for  the  specific  constraints  that  beneficiaries  may  have. Signed agreements such as individual action plans may further the acceptance of and  compliance  with  the  measures  and  steps  required.  Establishing  mutual  responsibilities  should thereby ideally involve the development of indicators or criteria that are both, easy  32  to understand and easy to measure and enforce. In many cases, defining these criteria is a  rather complex task.49  Table 1: Incentive Compatible Measures, Likely Impacts,  and Implementation Requirements  Measures  Likely Impact  Implementation  Requirements  Level and Duration of  Lower benefits can increase job  Existence of jobs (labor  Benefits  search and decrease the reservation  demand).    wage.    Limited benefit duration may imply an  increased job search effort.  Lower and limited benefits work best  if complemented with employability  measures.  Mutual Responsibilities  The monitoring of job search  Capacity to monitor and  (e.g., job search  requirements may increase job search  enforce requirements.  requirements, training,  and decrease the unemployment  Local provision of job  and workfare)  spell.  intermediation services,  The mere anticipation of search, work,  training, and workfare� or training requirements changes the  related activities.  valuation of time in the program and  elsewhere, and can influence the  entry and exit of beneficiaries from  the program.  Financial Incentives  Income disregards and bonuses can  Participation in the formal  (e.g., income disregard,  help reduce disincentives to accept  labor market.  bonus for swift (re� job offers.  Existing jobs (labor demand)  )employment, earned  Earned income tax credits and  Implementation capacity and  income tax credits)  bonuses can increase attractiveness of  coordination across systems.  formal jobs.    Voluntary savings accounts can  Effective incentives for  increase job search and the  voluntary savings.  probability of accepting a job as the  costs of income support is  internalized.  Source: Authors (2011).                                                              49  For example, when beneficiaries are required to follow up on job offers, the job offer needs to be assessed  as to whether it was considered reasonable for a given beneficiary. In addition, a “reasonable wage� for the  beneficiary can be set to decide on the suitability of the offer.  33  The  design  of  workfare  programs  needs  to  account  for  the  labor  market  constraints  of  beneficiaries  and  the  implementation  capacity  of  agencies  to  organize  and  supervise  works  or  other  activities.  In  practice,  community  service  activities  are  not  always  easy  to  implement. First, they require some administrative capacity to organize and supervise the  works  or  other  activities  (such  as  community  services)  as  well  as  to  enforce  the  conditionality.  Depending  on  the  complexity  of  activities,  they  also  require  resources  that  may not be available in every municipality (e.g., staffing). Second, even if in most cases the  activities are labor intensive, they require inputs (e.g., tools, equipment, or materials) that  are  not  always  available  or  affordable  to  the  poorest  communities.  As  a  result,  not  all  communities  are  able  to  organize  community  works  in  a  systematic  and  regular  manner.  However, qualitative evidence shows that the experience in Albania and Romania has been  positive  for  both  local  governments  and  beneficiaries.50  The  design  of  workfare  requirements  should  also  take  into  account  some  of  the  beneficiaries’  constraints.  For  example, many of the able�bodied beneficiaries of SSN programs are primary caregivers for  the elderly, the disabled, or children.51  To  reap  the  positive  impacts  of  incentive  compatible  income  support  schemes,  it  is  important  to  consider  the  “right�  measures  early  in  the  design  stage  of  the  income  support. Depending on the labor demand and the administrative capacity, several options  exist and can be adapted to different contexts. This review has shown that approaches may  vary  widely  across  countries.  In  low  capacity  countries  with  high  informality  and  labor  demand constraints, income support programs typically deliver “parallel� SSNs for different  target  groups,  while  most  do  not  provide  any  type  of  UI  scheme.  The  unconditional  transfers primarily target labor constrained households or those not able to work, and cash  or  food  for  work  programs  for  those  able  to  work.  In  these  countries,  the  risk  of  work                                                               50   Community  works  are  viewed  as  activating  beneficiaries  even  for  a  short  time,  helping  to  target  beneficiaries, and improving community assets, including the environment, infrastructure, and social services.  51   The  experience  in  Romania  (Guaranteed  Minimum  Income)  highlights  the  importance  of  defining  the  exemptions  from  the  work  requirement  when  care  facilities  are  lacking.  When  the  conditionality  was  first  implemented  and  exemptions  were  not  clearly  defined,  about  20%  of  beneficiaries  under  40  years  old  reported not being able to comply with the work requirement because of lack of supply side conditions (e.g.,  childcare).  34  disincentives  is  minimized  by  conditioning  the  receipt  of  the  income  benefit  to  work.  In  many countries, benefits are also set below the minimum wage. A few programs also limit  the duration of benefits merely due to budget constraints and the need to provide benefits  to newly entering beneficiaries, rather than to address dependency or work disincentives. In  middle income countries, the supply of employment services and both UI and SSN programs  are  more  developed.  Moreover,  the  administrative  capacity  to  monitor  and  sanction  is  higher  and  increases  with  the  country’s  income  level.  Countries  with  these  characteristics  put a higher emphasis on promoting incentive compatible programs, which often leads to  the  adoption  of  a  mix  of  measures.  This  mix  typically  includes  job  search  requirements,  participation in mandatory activities, adjusting program design features (benefit levels and  duration), and, to a lesser extent, financial incentives.  IV.  INTERNATIONAL EXPERIENCE WITH ACTIVATION PROGRAMS  This section reviews the international evidence of the impacts of activation programs in  promoting  higher  employability  and  productivity  of  their  beneficiaries,  while  discussing  their key design features. While the previous section reviewed the international evidence  on the effectiveness of the most commonly used incentives for activation and graduation,  this  section  will  focus  on  the  international  best  practice  in  developing  countries  for  the  activation  support  programs.  Although  activation  programs  are  gaining  relevance  in  the  developing world, high income OECD countries still spend significantly more resources than  lower  income  countries.  For  example,  in  2008  in  the  European  Union  (EU)  a  total  of  201  billion euro (1.6% of EU�27 Gross Domestic Product) was spent on labor market polices in  EU�27  countries.52  In  developing  countries,  spending  is  still  much  smaller  often  not                                                               52  There is considerable variation across EU countries with expenditure ranging from 3.3% of GDP in Belgium  to only just over a quarter of 1% in Romania and Estonia. A major part of labor market programs expenditure  (60%) goes to income support for out of work jobseekers – primarily unemployment benefits. Expenditure in  labor  market  services  in  2008  represented  around  12%  of  total  expenditure  in  labor  market  programs  or  0.19% of EU�27 GDP. Only four countries spent more than a quarter of 1% of GDP (the Netherlands, Sweden,  Germany, and the United Kingdom). The spending in each component also varies widely across countries as it  35  exceeding  0.1–0.2%  GDP.  As  a  consequence,  most  of  the  available  rigorous  evidence  on  program evaluation still comes from high income countries. In this review, our objective is  not to be comprehensive but rather to choose selective examples of programs in order to  quantify  program  impacts  and/or  illustrate  special  features  of  programs.  We  deliberately  restrict the attention to the evidence for developing countries and mention OECD examples  only when they prove to be particularly relevant to the developing country context.53 Even  though most of the evidence tends to be based on more rigorous empirical studies, we also  resort to selected country case studies. When evidence is available, we also discuss effects  of programs on the quality of the jobs or on the stability of jobs.  The  section  is  divided  into  different  subsections,  reflecting  the  most  relevant  types  of  programs  for  our  client  countries:  activation  programs  for  safety  net  beneficiaries,  comprehensive  trainings,  wage  subsidies,  skills  building  and  signaling  programs,  employment and intermediation services, and entrepreneurship support. First, we review  the  evidence  on  the  alternative  approaches  to  activate  and  graduate  the  beneficiaries  of  safety  net  programs.  In  this  section,  we  review  the  public  works  plus  programs,  encompassing public jobs and complementary activities. Second, we discuss broader active  labor market programs, which are usually available regardless of whether the beneficiaries  are also recipients of other public income support programs. Within this group, we will first  discuss  comprehensive  training  programs  for  youth.  These  typically  combine  classroom  technical  training  with  more  hands  on,  on  the  job  training  through  internships  in  private  sector  firms.  More  recently,  these  programs  also  have  offered  life  skills  training  modules.  Following  this,  we  also  review  the  most  recent  evidence  on  wage  subsidies  and  skills  building and signaling programs, which include second chance programs and vocational and                                                                                                                                                                                           depends on program coverage and generosity. For example in Korea, the expenditure with training reached  8.3% of GDP while the expenditure with UB covered 0.31% of unemployed and reached 2.05% of GDP.  53   This  review  draws  on  several  examples  of  recent  meta�analysis  including  Betcherman  et  al.  (2004),  Fares  and  Puerto  (2009),  Kluve  et  al.  (2011),  and  Cunningham  et  al.  (2010).  The  Bank  has  also  engaged  in  a  concerted effort in compiling a Youth Employment Inventory covering youth employment projects around 100  developing countries (see Fares and Puerto 2009 and Kluve et al. 2011). See Muzi et al. (2011) for a summary  of the programs and evaluation designs led by the World Bank through a large impact evaluation Trust Fund.  36  technical  trainings.54  Finally,  we  also  review  the  evidence  for  employment  and  intermediation  services  and  entrepreneurship  support.  When  reviewing  the  evidence  for  entrepreneurship support programs, we consider both education�related programs, as well  as microcredit and SME support, and micro�franchising. As discussed, we will resort mostly  to  rigorous  empirical  studies  for  developing  countries  to  discuss  effectiveness.  However,  this  will  not  always  be  possible  due  to  lack  of  evidence.  In  addition,  we  complement  the  discussion with country case studies that shed important light on how activation and active  labor market programs are currently being designed and implemented. Table 2 showcases  some of the most promising programs that are recent or ongoing in the developing world.  The table is meant to be simply illustrative of some of the most interesting programs in the  developing  world.  We  give  preference  to  programs  that  have  sound  monitoring  or  an  impact  evaluation.  As  illustrated  in  the  last  column,  programs  usually  address  more  than  one  constraint  to  work.  This  reflects  the  increasing  complexity  of  interventions,  which  in  turn reflects the many dinging constraints to the employability of different groups.                                                               54  There are multiple market failures in skill formation, and most governments intervene to minimize the risk  of under investments in training (see Banerji et al. 2010 and Almeida et al. 2011a for a discussion). There are  basically  three  types  of  vocational  trainings:  (i)  before  employment  and  largely  targeted  to  youth  (or,  pre� employment TVET); (ii) on the job (on the job trainings); and (iii) ALMP�type of trainings. In this section, we  only discuss the third type, which in most countries is organized and delivered by the government. For a more  detailed discussion of the different programs, see Almeida et al. (2011a) and Kluve et al. (2011).  37  Table 2: A Diverse Portfolio of Programs Addressing Different Barriers to Work:  A Snapshot from Around the World  TYPE OF PROGRAM SELECTED PROGRAMS CONSTRAINTS / BARRIERS TO WORK • A Youth Wage Subsidy Experiment (South Africa) • Bonificación a la Contratación de Mano de Obra �Chile  Solidario (Chile) Lack of skills / experience and lack of  Stand Alone Wage Subsidies • Jovenes con Mas y Mejor trabajo (Argentina) information • Idmaj (Morocco) • Stage d'initiation a la vie professionnelle (Tunisia)  • Kenya Youth Empowerment Program (Kenya) Comprehensive    • Youth Internship Subprojects Program (Argentina) Lack of skills / experience constraints and  Training Programs for   • Juventud y Empleo (Dominican Republic)    lack of information Youth • Taehil (Morocco) • ProbeCat (Mexico) General Technical and  • ISKUR Public Employment Agency vocational  Skills building/signaling   Vocational Training trainings(Turkey) Lack of skills  / experience; Lack of  Second chance  • Afghanistan Primary Education Program �APEP  information and signaling of competencies Programs (Afghanistan) • Chilecalifica (Chile) Certification • Lifelong Learning and Training Project (Argentina) • Red CIL Pro Empleo (Peru) • Career Guidance Services (Slovenia, Lithuania) Lack of information and lack of working  Employment Services • Job Clubs (Lithuania) capital  • Vacancy and Job Fairs (Azerbaijan) • Fomento del Espiritu Empresarial (Colombia)  • Concours de Plans d’affaires Entreprendre et Gagner  Education (Tunisia)  • Know About Business Program (Syria)  • Apprenticeship Training Program and Entrepreneurial  Lack of skills / experience; lack working  Support for Vulnerable Youth (Malawi) Enterpreneurship Support Programs capital; lack of entrepreunurial skills; lack of  SME support • Northern Uganda Social Action Fund (NUSAF) (Uganda) information • Economic Empowerment of Adolescent Girls (EPAG)  (Liberia)   • Vodacom Community Services: Rural Telephone Access  Microfranchising (South Africa) Source: Authors (2011). The  empirical  evidence  shows  that,  when  well�targeted,  �designed,  and  �implemented,  activation and active labor market programs can be cost effective, short�run responses to  improving the beneficiary’s employability and productivity. Although these programs are  not a panacea for large scale unemployment, some types of interventions, when properly  designed  and  implemented,  can  be  effective  for  selected  groups  of  workers.  Even  though  evidence  is  still  very  scarce,  employment  services  (including  counseling,  placement  assistance,  and  job  matching)  have  been  shown  to  produce  positive  and  cost  effective  results on employability. They tend to be relatively low cost but have limited effectiveness  in  contexts  of  large  informality,  outside  urban  centers,  and  with  limited  labor  demand.  38  Comprehensive  training  programs  have  also  proved  to  be  effective  tools  to  foster  employability  among  the  most  vulnerable  groups,  especially  youth  and  women.  Their  effectiveness is higher when classroom trainings are combined with hands on trainings and  possibly  are  complemented  with  life  skills.55  Table  3  summarizes  the  main  findings  for  a  selected group of interventions.  Even  though  activation  programs  are  very  diverse  in  their  costs  per  beneficiary,  employment services across most countries tend to have the lowest cost per participant  and the widest beneficiary outreach. The cost of activation programs is very diverse across  countries  and  is  deeply  related  with  the  design  and  generosity  of  the  benefits/services  provided.  On  the  cheapest  side  are  the  employment  services,  including,  among  others:  providing  information  services  to  jobseekers,  including  access  to  trainings  and  other  programs; job brokerage services for employers; and individual case management services  of individualized assistance (e.g., intensive counseling and guidance, job search assistance,  personalized  action  plans).  They  tend  to  reach  a  large  number  of  jobless  individuals  and  tend to have a low cost per placement. At the other extreme, public employment programs  or  wage  subsidies  typically  involve  transferring  larger  income  support  to  beneficiaries  or  employers.  Unfortunately,  the  data  available  on  the  costs  of  these  programs  is  still  very  limited.  Data  from  Romania  in  2001  shows  that  employment  services  reached  the  largest  number  of  clients  at  an  average  cost  of  only  USD  12  per  client  which  contrasts  with  the  much  smaller  number  of  clients  served  by  public  employment  at  a  much  larger  cost  per  client of about USD 294 per client.56  Early  evidence  also  shows  that  activation  programs  may  improve  the  beneficiary’s  psycho�social well�being and optimism towards the future. Even if activation programs fail  in producing better employment outcomes, they may still produce beneficial effects on the  society by fostering the psycho�social welfare of their beneficiaries. Important dimensions  are individual self�esteem or his/hers self�confidence. Researchers are increasingly focused                                                               55  For recent meta�analysis mostly in developing countries, see Betcherman et al. (2004, 2007).  56  See Rodrigues�Planas and Benus (2006).  39  on investigating the impacts on mental and behavioral outcomes at least in the short term.  For  example,  recent  findings  show  that  participants  in  Chile  Solidario  have  greater  self� esteem and higher perceived self�efficacy in the labor market as well as greater optimism  towards the future. The impact evaluation of a business plan competition among university  graduates in Tunisia also strongly associates participants with greater optimism towards the  future.  Finally,  these  effects  are  corroborated  by  the  evaluation  of  Juventud  y  Empleo,  a  comprehensive training program in the Dominican Republic, which finds significant effects  on future expectations, job satisfaction, and job search attitudes.57  Much remains  to be learned on the cost effectiveness of programs, especially for which  groups they are most effective and how they can be best delivered. While much has been  documented  over  recent  years  for  example  on  training  programs,  there  are  still  many  under�evaluated interventions in developing countries. These include more comprehensive  public  works,  targeted  wage  subsidies,  or  the  many  services  delivered  by  employment  services.  Because  program  effectiveness  deeply  depends  on  specific  program  designs  and  country  contexts  and  institutional  capacities,  there  are  still  major  knowledge  gaps  in  how  and why some programs work and others do not. Conditioning country level factors include  the level of economic and financial development, competitive structure of the labor market,  design  of  the  overall  social  protection  system,  and  existing  institutional  arrangements.  There  is  especially  need  for  deeper  understanding  of  the  most  effective  program  designs  when implementation capacity is low.                                                               57  For evidence on these outcomes, see Carneiro et al. (2010) for Chile and Almeida et al. (2011b) for Tunisia.  40  Table 3: Summary of Impact Evaluation Results of ALMPs  Intervention  Impact   Type of Studies  (on Employment and Earnings)  Employment  Positive, with low costs.  Case studies from developing  Services/Sanctions  Increases employment probability  countries; Quasi�experimental  and earnings.  studies from developed  But also increases search time (“lock� countries  in effect�).  Sanctions increase search intensity.  Training  Generally positive impacts on  Randomized studies from  employment.  developing and developed  Many studies (but not all) show  countries. Several quasi  better impacts for women than men.  experimental studies and case  Youth most difficult group to benefit.  studies in both developed and  Classroom and OJT have greater  developing countries.   benefits than basic (remedial)  education.  Increasing evidence that benefits  increase over time.  Wage/Employment  No consistent evidence, with some  Few quasi�experimental  Subsidies  positive and some negative results.  studies from developing  High deadweight and substitution  countries and several studies  effects.  from developed countries.   Self�employment  Few evaluations.  Selected randomized studies  Assistance  Very low take�up.  from developing and from  Can have positive effects for older,  developed countries.   well�educated individuals.  Source: Adapted from Betcherman (2010). 4.1  Programs Targeted to the Beneficiaries of Safety Net Programs  Safety  Net  programs  increasingly  include  a  “promotion�  arm  based  on  a  very  diverse  portfolio  of  programs.  The  main  objective  of  activation  and  graduation  strategies  within  SSN  programs  is  to  improve  the  employability  and  livelihoods  of  beneficiaries.  Their  long  term  objective  is  to  achieve  sustainable  inclusion  in  the  labor  market.  The  range  of  programs available throughout the developing world to achieve this is large. These include  general  active  labor  market  programs  but  also  interventions  promoting  the  financial  inclusion of SSN beneficiaries (e.g., access and incentives for saving accounts, microfinance  41  services),  livelihood  support  through  asset  transfers  (e.g.,  livestock  transfer),  investment  grants, and extension programs for small farmers.58  There  are  multiple  channels  to  connect  beneficiaries  to  activation  and  graduation  programs,  which  vary  among  country  contexts  and  program/beneficiary  characteristics.  Linking  or  integrating  safety  net  and  activation  programs,  can  be  done  at  different  levels  and  in  various  forms.  The  specific  channel  is  determined  by  many  factors,  including  the  administrative capacity and the available set of supply side services, the complexity of the  social  protection  system,  the  characteristics  of  the  SSN  program,  and  the  profile  of  the  beneficiaries.  In  countries  with  less  developed  social  protection  systems  and  a  minimal  supply  of  employment  services,  graduation  programs  are  often  offered  as  comprehensive  packages or are designed as complementary interventions. In Sierra Leone, all beneficiaries  of public works receive literacy and life skills training. In countries where a given supply of  support services exists, beneficiaries are linked through provision of information, referrals,  or  mutual  obligations.  At  one  extreme  is  the  simple  provision  of  information  to  the  SSN  beneficiaries about available programs and services in a given geographic area. This usually  occurs  through  different  instruments,  ranging  from  information  campaigns  to  community  workshops.59  A  social  protection  project  in  Nicaragua  plans  to  implement  this  approach:  Families in the project will be informed about available services in their locality and how to  access them through community�based workshops (with mandatory attendance for safety  net beneficiaries) and also through brochures disseminated by outreach workers promoting  the  use  of  the  services.  Another  approach  is  to  link  beneficiaries  to  employment  services  through conditionalities, as do most countries in the ECA region. In Romania, beneficiaries  are required to frequent the employment services every three months, where they can be                                                               58  In addition to these types of interventions, the activation/graduation packages for safety net beneficiaries  may  often  involve  support  services  meant  to  remove  barriers  and  constraints  such  as  the  lack  of  access  to  basic  legal  documents  or  the  lack  of  identification  documents.  Also,  the  provision  of  childcare  services,  psychological support, language coaching, etc. can be part of the package. Even if such interventions address  important constraints to labor mobility and thus employability, we do not review them in this section. For a  discussion in the context of youth, see Cunningham et al. (2010).  59  Information campaigns may use fliers and brochures and even application forms made available at the point  of benefits payment.  42  offered training, counseling, or jobs. Beneficiaries can also be linked to activation programs  through  referrals  from  social  workers.  Among  the  most  well�known  programs  of  this  type  are Juntos (Unidos)60 in Colombia and Chile Solidario. Both include personalized support in  the  form  of  diagnostics  of  the  main  barriers,  customized  action  plans  to  overcome  them,  and referrals from social workers.61 Similarly, the Steps to Work program in Jamaica makes  personalized referrals for the conditional cash transfer (PATH) beneficiaries to participate in  relevant employment programs. In Bangladesh, the beneficiaries of the Rural Maintenance  Program (public works targeted to women) are referred to microfinance institutions.  Programs  (and  beneficiaries)  can  be  linked  through  unified  information  systems  and/or  harmonized  intake  procedures.  Turkey  has  recently  implemented  an  online  information  system  that  collects  information  on  all  beneficiaries  (and  applicants)  of  national  social  assistance programs, the different benefits they receive, and the conditionalities attached  to  the  benefits.  This  database  is  linked  to  the  e�school  database  to  check  on  children's  schooling, health database, and the public employment agency (ISKUR). Integration at the  registry/MIS  level  facilitates  monitoring  and  profiling  of  beneficiaries,  and  may  support  matching  and  referrals  processes.  Juntos  in  Colombia  uses  core  information  systems  to  identify  its  beneficiaries  (the  updated  national  targeting  system  Selection  System  for  Beneficiaries of State Subsidies (SISBEN)) and to identify needs and gaps in coverage with  services and programs.  Finally,  programs  and  services  can  be  integrated  in  a  one�stop  shop.  This  reduces  the  beneficiaries’  transaction  cost,  and  may  also  reduce  the  administrative  costs  of  the  programs.  One�stop  shops  offer  the  possibility  of  triaging  beneficiaries  and  have  the  capability  of  increasing  program  outreach  and  take�up  rates  for  other  services.  While  this                                                               60   The  program  has  been  recently  reformed  and  renamed.  Throughout  the  paper  we  refer  to  it  using  its  previous name.  61  Juntos and Chile Solidario include relatively similar approaches in linking beneficiaries to support services,  although  their  implementation  arrangements  differ.  Juntos,  as  opposed  to  Chile  Solidario,  does  not  include  any cash transfer, but many of its beneficiaries are also participants in the Familias en Acción, a CCT program.  Participants  in  Juntos,  who  for  some  reason  are  not  participating  in  Familias,  receive  no  cash  transfer.  The  cash transfer in Chile Solidario is conditioned on more general criteria of participation in the program and in  working with the social worker.  43  approach  is  not  common  in  the  developing  world,  many  developing  countries  are  looking  for examples of well�established one�stop shop offices in the EU and OECD countries, where  activation  services  and  social  assistance  programs  are  integrated  under  “one  roof.�  The  United  Kingdom  and  Norway  are  two  such  examples  (see  Box  6  for  Norway).  The  British  Jobcentre Plus provides a wide range of information and services, including benefits, loans,  grants,  and  job  search  assistance.  Thousands  of  job  vacancies  are  advertised  every  week  using  the  Labor  Market  System  (LMS)  computer  system.  These  can  be  accessed  by  beneficiaries  through  Jobpoints  (i.e.,  touch�screen  computer  terminals)  and  via  the  Jobcentre website.  Box 6: Integration of Activation Services in Norway  The  threefold  organization  of  the  welfare  agencies  in  Norway  � National  Employment  Service  (Aetat),  National  Insurance  Administration  (NIA),  and  Municipal  Social  Assistance  Services  �  was  long  considered  sub�optimal.  It  raised  concerns  on  a  divided  and  fragmented  administration,  especially  for  those  that  needed help from more than one agency. In the late 90s, the government developed a proposal for a more  coordinated  social  security  system,  with  the  setup  of  one�stop  arrangements  between  the  employment  services  and  social  welfare  offices.  The  proposal  consisted  of  merging  the  employment  and  insurance/pension  services  into  one  comprehensive  service,  and  establishing  a  one�stop  shop  system  at  the  local  level  together  with  the  municipal  social  services.  All  claimants  for  unemployment,  social  assistance,  sickness,  rehabilitation,  and disability  benefits  and  those  wishing  to participate  in ALMPs  are  serviced.  The  reform  was  finalized  in  2009  and  is  quite  similar  to  the  reforms  in  the  United  Kingdom,  Denmark, and Germany.  In  line  with  the  reform  agenda,  the  2006  Labor  and  Welfare  Services  Act  gives  the  organization  responsibility for a wide range of clients and issues: unemployment, sick leave, vocational rehabilitation,  disability,  social  assistance,  and  old�age  pensions.  In  particular,  the  Norwegian  Labor  and  Welfare  Administration (NAV) tasks include:  i.  Implementing labor market, social insurance, and pension policies  ii.  Providing incentives to benefit recipients to take up employment wherever possible  iii.  Assisting in job search and mitigating the effects of unemployment  iv.  Following up and controlling benefit payments  v.  Providing advice and guidance to employers and employees to prevent sickness, absence, and labor  market exclusion.  The new NAV offers an integrated service consisting of job placement, job counseling, benefits, and active  programs  for  all  the  above  groups.  According  to  NAV’s  activation  principle,  the  focus  is  on  job  search  assistance and job clubs for easy�to�place clients, while skill�enhancing training and labor market programs  are targeted at those most distant from the labor market.  Source: Kluve (2010) and Duell et al. (2009).    44  Patterns in Graduation Programs in Lower Capacity Contexts  Low  capacity  contexts  have  experimented  with  different  approaches  to  graduation  usually  involving  the  definition  of  broader  and  more  comprehensive  packages.  A  first  approach  consists  of  adding  a  training  component  to  a  cash  or  food  for  work  programs,  which  is  also  known  as  “public  works  plus�.  Examples  of  these  programs  include  the  El  Salvador PATI program and Papua New Guinea, providing additional technical and life skills  training, and the Sierra Leone and Liberia Youth Employment Support Programs, providing  integrated  compulsory  literacy,  numeracy,  and  life  skills  training.  A  second  approach  delivers  more  comprehensive  packages  of  benefits  and  services  to  SSN  beneficiaries.  The  interventions  comprise  grants  (or  direct  cash  transfers)  and  complementary  livelihood  support  packages,  usually  including  microfinance  services  and/or  asset  transfers  and  skills  development  support.62  These  programs  vary  in  the  degree  of  integration  (i.e.,  inter� connectedness of benefits and services) and complexity of design, as well as with respect to  the required intensity of monitoring and coaching by staff. Starting in 2006, the Ethiopian  government  enhanced  the  social  assistance  packages  targeting  the  poorest  under  the  Productive Safety Net Program (PNSP). Currently, some of the beneficiary households also  receive  subsidized  credit  to  rebuild  their  assets  or  to  purchase  household  packages  consisting  of  agricultural  inputs.63  The  government  aimed  to  achieve  approximately  30%  coverage of the annual PNSP beneficiaries with the household packages for three years.64 In  sum, delivery of comprehensive social assistance packages is often the only possible avenue  in low capacity contexts as these areas are characterized by severe supply side constraints  where there are fewer services or programs to link safety net beneficiaries with.  The graduation of safety net beneficiaries can be pursued through financial inclusion and  microfinance programs, though recent evidence suggests that expectations should not be  overly ambitious. A significant number of countries focus on non�wage employment and in                                                               62   They  may  also  include  asset  transfers,  literacy  and  numeracy  training,  income�generating  skills  training,  health and education awareness, group formation and training, and micro�credits.  63  This is often based on a business plan developed with the support of the extension services.  64   See  World  Bank  (2010e).  One  of  the  main  challenges  in  the  implementation  of  the  PNSP  was  that  the  agricultural extension system was under�resourced and there were few skilled staff.  45  particular  on  improving  the  access  of  safety  net  beneficiaries  to  microfinance  or  mainstream  financial  services  in  order  to  foster  self�employment.  The  objectives  are  to  remove  the  barriers  of  lack  of  savings  and  access  to  financial  capital,  and  to  facilitate  income�generating  opportunities  for  the  poor  or  to  improve  their  ability  to  smooth  consumption  and  cope  with  shocks.  SSN  beneficiaries  are  provided  with  financial  services  such as microcredit or saving accounts, sometimes accompanied by training (e.g., financial  literacy,  income�generating  skills).  Examples  of  such  programs  include  the  Vision  2020  Umurenge  Program  (Rwanda),65  Samurdhi  (Sri  Lanka),66  and  the  Bangladesh  Rural  Maintenance Program. In Bangladesh, the participants in the public works67 are required to  participate in mandatory savings plans and receive training in numeracy, income�generating  skills, and micro�enterprise management. They are referred to microfinance institutions and  receive  business  management  advice  one  year  after  exiting  the  program.  Evidence  shows  that  three  years  after  exiting  the  program,  almost  80%  were  still  self�employed  in  micro� enterprise  activities.68  However,  recent  rigorous  impact  evaluations69  show  that  the  microcredit  impact  on  welfare  and  income  generation  (in  particular  entrepreneurship)  is  more modest than was thought, and that microcredit may work for some populations and  contexts although not for others. Regarding saving accounts, the evidence is still limited.                                                               65  The program encourages beneficiaries to save a portion of their wages to be utilized for income�generating  activities in the future. In particular, the program opens a bank account where wages are deposited weekly.  After  one  or  two  years,  and  when  beneficiaries  accumulate  savings,  the  government  provides  a  matching  grant  for  those  interested  in  starting  their  own  business.  The  program  promotes  financial  inclusion  and  encourages  savings  habits  thus  creating  an  enabling  environment  for  beneficiary  graduation.  No  rigorous  evidence exists regarding the impact of the program.  66  The Samurdhi combines a relief component (cash or food stamps) with mandatory savings and microfinance  services for entrepreneurial and business development. The forced savings component requires beneficiaries  of higher grants to contribute 20% of the value of their stamps as compulsory savings. These savings can be  neither  withdrawn,  nor  used  as  collateral,  nor  accessed  in  any  other  way.  They  are  deemed  to  be  used  for  financing secondary education and for retirement pension. The savings and credit component accounted for  45%  of  the  total  Samurdhi  budget.  This  component  was  initially  available  only  to  Samurdhi  households.  Currently,  it  is  available  to  all  interested  and  loans  are  issued  to  members  mostly  for  agricultural  and  self� employment activities. No rigorous evidence exists regarding the impact of the program.  67  The program is targeted to women.  68  See Hashemi and Rosenberg (2006).  69   For  a  review  of  these  impact  evaluations  and  further  references,  see  Bateman  (2011)  and  Bauchet  et  al.  (2011).  46  Although  the  evidence  is  still  scarce,  some  studies  suggest  that  productive  packages  including  investment  grants  and  training  increase  the  welfare  of  the  poorest.  A  recent  impact evaluation of the Atención a Crisis pilot in Nicaragua found that two years after the  end  of  project  the  welfare  of  the  households  receiving  a  package  of  a  CCT  together  with  investment  grants  to  jump  start  non�agricultural  activities  and  business  training  was  significantly  higher  than  the  welfare  of  the  households  in  the  control  group.70  A  more  complex, integrated model is the “ladder� graduation promoted by the Consultative Group  to Assist Poverty (CGAP) and the Ford Foundation (see Box 7). Although most of the projects  are still in the pilot stage, preliminary results are encouraging.71                                                               70   See  Macours  et  al.  (Forthcoming).  Preliminary  evidence  also  suggests  that  the  well�being  of  households  receiving the comprehensive package is also higher than the ones in groups receiving only the CCT or the CCT  plus a vocational training package (including a stipend to compensate for income loss related to attending the  courses).  71  A randomized impact evaluation of the “Targeting the Hard Core Poor� (THCP) pilot in India finds that the  program leads to a 15% increase in monthly consumption. This happened most probably due to an increase of  income from small�scale household enterprises (see Banerji et al. 2010.)  47  Box 7: Graduation Model Promoted by CGAP and the Ford Foundation  According to this model “graduation� refers to participants moving out of SSN programs and “graduating�  into  self�sustaining  income�earning  activities.  Although  initially  developed  by  BRAC  in  Bangladesh,  since  2006, CGAP and the Ford Foundation have adapted this experience to other contexts. Pilots in Ethiopia,  Haiti,  Honduras,  India,  Pakistan,  Peru,  and  Yemen  are  under  way  through  partnerships  among  financial  service  providers,  NGOs,  and  SSN  programs.  The  model  includes  consumption  support  transfers,  asset  transfers,  and  training,  and  it  aims  to  “graduate�  beneficiaries  to  microfinance  over  a  relatively  short  period.      When implemented in partnership with safety net programs, the SSN provides the consumption support  necessary  for  the  first  stage  of  the  model.  This  transfer  is  meant  to  stabilize  household  consumption.  Afterwards, beneficiaries are encouraged to start saving, usually in an individual account at a microfinance  institution.  They  also  receive  skills  training  for  specific  assets  or  for  running  a  small  business.  While  rudimentary,  this  training  is  essential  in  managing  successful  businesses.  The  training  also  provides  information  on  where  to  go  for  assistance  and  services.  A  few  months  after  the  program  starts,  each  participant  receives  some  form  of  subsidized  asset  transfer  to  help  jump�start  an  economic  activity.  To  identify sustainable livelihood options in value chains that can absorb new entrants, support services and  market infrastructure must be thoroughly analyzed beforehand.  A crucial part of the model is the regular monitoring and coaching of participants by program staff. Weekly  household  visits  by  staff  allows  for  monitoring  and  “coaching�.  During  these  meetings,  participants  also  improve  their  business  planning  and  money  management,  along  with  social  support  and  health  and  disease  prevention  services.  Peer  support  in  group  meetings  and  self�help  groups  also  promotes  higher  self�confidence.  Several  pilots  have  also  created  “village  assistance  committees�  which  typically  include  local community leaders. These committees support participants during the program and can continue to  help them after the program is over. The program adopts a contractual approach, setting clear targets for  participants.  Source: CGAP (2009).    Sustainability and scalability are some of the main challenges behind the more complex  graduation  approaches  in  low  capacity  settings.  Most  strategies  in  low  income  countries  are  relatively  new  and  still  in  pilot  stages.  The  most  common  challenges  include  their  demand  for  highly  intensive  monitoring  and  coaching  of  beneficiaries,  the  degree  of  48  complexity of some of the interventions, and the risks of sustainability and stability of the  safety  net  programs  to  which  they  are  linked.  The  Yemen  Social  Welfare  Fund  (SWF)  illustrates some of these scalability risks. The program has rapidly expanded to provide cash  transfers  to  1  million  households  and  in  2004,  established  the  Beneficiary  Development  Program  (BDP)  with  the  aim  of  providing  SWF  beneficiaries  skills  training  and  economic  advancement  opportunities.  The  BDP  delivered  44  training  programs  benefiting  23,000  individuals  among  SWF  beneficiary  households  and  provided  4,375  loans  with  a  total  disbursement  of  USD  1.8  million  with  a  payback  rate  of  approximately  80%.  Most  beneficiaries participate in the training program because they automatically get a loan after  the  completion  of  the  program.  However,  the  expansion  of  the  SWF  coverage  and  its  services  was  not  accompanied  by  adequate  technical  and  operational  support,  which  resulted  in  large  inefficiencies.  The  BDP  experience  highlights  severe  challenges  in  staff  capacity,  preventing  for  example  the  reduced  assessment  of  the  beneficiaries’  capacity  to  repay, as well as the low budget for case management and monitoring and evaluation of the  program.  Public  works  are  an  important  instrument  for  providing  short  term  employment  in  low  income settings, but their promotional role is rather limited. In low income countries, SSN  beneficiaries are active in low productivity jobs and their main constraint consists in the lack  of  labor  demand  as  well  as  lack  of  skills  and  means  to  participate  in  the  economy.  Public  works,  including  Guaranteed  Employment  Schemes  like  those  in  India  or  Bangladesh,  although  not  aiming  at  improving  the  employability  of  beneficiaries,  are  important  instruments  to  provide  them  with  temporary  employment  and  wage  earnings,  and  thus  maintaining  their  links  with  the  labor  market.  In  some  cases,  evidence  shows  that  public  works can help beneficiaries to escape poverty. However, from this perspective their impact  is  rather  similar  with the  impacts of  other  cash  transfer  programs  with  equivalent  benefit  levels.  Still,  in  low  capacity  and  fragile  settings,  the  provision  of  cash  or  food  for  work  is  likely to be a better alternative to costly interventions with sustainability risks.  49  A  new  role  for  Social  Funds?  In  several  low  income  countries,  Social  Funds  are  experimenting  with  various  employment  generation  and  graduation  programs  targeted  to  the  poor,  including  safety  net  beneficiaries.  Such  programs  include,  among  others,  public  works linked with training or assets transfers linked with microcredit (e.g., Yemen and Sierra  Leone).  Innovative  use  of  combinations  between  safety  nets  and  Community  Driven  Development  (CDD)  operations  are  being  tested  in  India,  the  Philippines,  and  Tanzania.  Although  Social  Funds  may  not  be  the  long  term  mechanisms  to  deliver  safety  nets  or  microcredit,  their  capacity  and  experience  in  working  with  vulnerable  groups  at  the  community  level  makes  them  a  promising  delivery  channel  for  linking  beneficiaries  with  graduation interventions, in particular in low capacity settings or in response to a crisis.  Patterns in Activation Programs in Higher Capacity Settings  In  MICs,  as  in  the  OECD,  the  activation  agenda  is  also  increasingly  prominent,  but  the  approaches and the delivery models have large regional variation. At one extreme are the  social assistance systems in ECA where the activation strategies focus mostly on incentive  compatibility: low benefit levels, frequent recertification, mandatory community works, and  mandatory  registration  with  employment  services  (e.g.,  Bulgaria  and  Romania).  In  most  middle  income  countries  in  this  region,  the  social  assistance  is  still  characterized  by  a  relatively high degree of fragmentation, passivity, and disconnect from labor market policies  and programs. At the other end of the spectrum are some of the newest initiatives in LAC.  There,  countries  are  exploring  different  models  of  bridging  and  integrating  existing  programs  to  link  beneficiaries  with a  larger  array  of  support  services, and  by  tailoring  the  activation  programs  to  respond  to  the  needs  of  SSN  beneficiaries.72  In�between  are  the  middle income countries from the East and South Asia Regions with developing strategies of  linking beneficiaries to other programs and services, but constrained by a relatively scarce  supply  of  these  services  and  thus  mostly  focused  on  non�wage  employment  (i.e.,  microfinance and entrepreneurship support). The Philippines is such an example. There are                                                               72   In  such  countries,  the  menu  of  available  activation  programs  is  comprehensive,  ranging  from  active  labor  market programs to financial inclusion.  50  ongoing  efforts  to  better  integrate  the  existing  safety  net  (Pantawid  Pamilyang  Pilipino  Program – 4Ps) with financial services and entrepreneurship training. In particular, existing  linkages  are  being  strengthened  between  the  4Ps  and  the  Self�Employment  Assistance– Kaunlaran  (SEA�K)  Integrated  Program,  which  aims  at  improving  the  capacity  of  the  economically active poor to create micro�enterprises.  Linking SSN beneficiaries to active labor market programs and services seems a promising  approach to overcome welfare dependency and achieve self�sufficiency; nevertheless, the  results  are  mixed  and  dependent  on  implementation  arrangements.  In  2003,  Bulgaria  introduced  a  program  (From  Social  Assistance  to  Employment)  to  (i)  generate  temporary  employment and promote the social integration of the unemployed receiving social benefits  and  (ii)  increase  the  employability  of  persons  within  the  program.  The  program  provided  wage  subsidies  for  employing  long  term  unemployed  social  assistance  beneficiaries  for  a  period  of  at  least  nine  months.  In  addition,  beneficiaries  could  access  literacy/vocational  courses  combined  with  part  time  employment.73  A  non�experimental  evaluation  covering  the  period  2003�2004  suggests  mixed  effects.74  The  study  found  that  participation  in  the  program  reduced  significantly  the  unemployment  spell,  increased  self�confidence  and  job  search motivation of beneficiaries, and also had positive results for the local communities  (through the creation and maintenance of public goods, including social services). However,  the gross impact on employment was rather small, and the net impact was estimated to be  negative. Furthermore, the evaluation found that 14% of the projects (and the subsequent  effect  on  employment)  would  have  occurred  even  in  the  absence  of  the  program.  In  addition, findings also show that the program did not increase the chances of participants  to find a regular job, attributing this to the low levels of training provided before or during  employment  under  the  project  and  to  a  tendency  of  participants  to  stay  in  subsidized                                                               73  Priority was given to the long term unemployed (registered with the Employment Bureaus for more than 24  months) receiving social assistance benefits for more than 18 months, members of a family with children in  which both parents were unemployed, and unemployed single parents receiving social benefits.  74   Koning  et  al.  (2007)  do  not  explore  an  experimental  design  but  rather  an  ex  post  evaluation  based  on  a  cross�section  survey.  Despite  the  challenges  in  sampling  and  comparability  of  the  treatment  and  control  group, the evaluation may provide indicative information about the program impact.  51  employment.  Another  example  of  activating  safety  net  beneficiaries  with  a  wage  subsidy  comes  from  Proempleo,  a  pilot  launched  by  the  Argentinean  government  in  1998�2000.  Proempleo targeted Trabajar workfare beneficiaries and offered training and job vouchers  entitling private sector employers to a wage subsidy. Experimental evidence shows that the  program  helped  voucher  recipients  transition  into  a  temporary  employment  but  had  no  effects  on  income  gains  in  the  short  term.75  Anecdotal  evidence  suggests  that  the  temporary employment outcome was driven by a “demonstration effect� of the voucher. In  particular, beneficiaries holding the voucher may have made beneficiaries more confident  than  the  average  Trabajar  beneficiary.  Alternatively,  holding  the  voucher  made  beneficiaries more confident in approaching employers and active in finding a job.76  Evidence shows that the success of activation strategies also heavily depends on capacity.  In 2006, the Government of Argentina implemented the program Seguro de Capacitación y  Empleo.  The  program  combines  a  non�contributory  unemployment  benefit  with  a  set  of  activation conditions and requirements such as attending a training course and enrolling in  public  employment  services.77  Upon  registration  with  the  municipal  employment  offices  (EO),  beneficiaries  receive  labor  intermediation  services  and  technical  assistance  to  start  small businesses. Beneficiaries sign an agreement to: (i) accept job offers received through  the EO; (ii) participate in interviews and job placement workshops organized by the EO; and                                                               75   The  level  of  the  subsidy  was  designed  to  avoid  displacement  effects  and  was  received  by  hiring  firms  conditional on registering the worker formally. Galasso et al. (2004) provide estimates of the program impact  on  the  probability  of  employment  on  the  order  of  six  percentage  points  with  respect  to  the  control  group,  mostly among women, younger and more educated workers. There are no effects on labor earnings since the  program  helped  workfare  beneficiaries  access  temporary  employment  in  the  formal  labor  market  at  wages  similar to those obtained in the Trabajar program.  76  Few rigorous evaluations of activation programs focus on SSN beneficiaries. Following the crisis in the late  90s, the Government of Argentina experimented with multiple programs targeted to the Jefes beneficiaries.  Results  from  rigorous  evaluations  led  by  the  Bank  show  that  promotion  of  self�employment  activities  and  provision of wage subsidies are effective channels to transition at least some of the beneficiaries. Almeida and  Galasso  (2010)  show  that  providing  women  with  technical  assistance  and  in�kind  grants  to  support  self� employment  activities  may  be  an  effective  way  to  foster  employability.  The  self�employment  support,  however,  produces  greater  results  for  the  younger  and  more  educated  beneficiaries,  and  for  those  with  previous self�employment experience.  77   While  income  transfers  were  managed  centrally  by  the  Ministry  of  Labor,  services  were  provided  at  the  municipal level. By July 2010 nearly 200,000 workers had participated in the program, through more than 300  employment offices across the country.  52  (iii)  join  training  activities  (both  basic  and  professional)  offered  to  them  by  the  EO.  In  October 2010, only 26% of Seguro beneficiaries received employment and training services  and  nearly  47%  exited  the  program  because  they  reached  the  maximum  time  limit  (two  years). Only 20% exited the program into formal employment. This experience suggests that  the establishment of a network of public employment services requires a longer term effort  in  capacity  building.  The  incipient  nature  of  public  employment  offices,  including  the  reduced  staff  and  low  administrative  capacity,  were  important  constraints  in  the  implementation of the program.78  Some  countries  are  also  moving  towards  more  integrated  systems  ensuring  better  coordination  of  the  supply  of  support  services  and  providing  customized  assistance  to  address  specific  needs of  beneficiaries.  Chile  Solidario  and  Juntos  in  Colombia  are  among  the most structured examples of integrating social assistance with activation policies. Box 8  describes  in  detail  the  case  of  Chile  Solidario  (CHS)  first  introduced  in  2002.  Appendix  2  describes  Juntos,  a  very  recent  pilot  in  several  Colombian  municipalities.79  On  the  supply  side,  programs  are  integrated  in  the  sense  that  different  government  offices  and  local  service  providers  coordinate  in  assessing  beneficiary  needs  and  in  adapting  existing  programs  and  services  to  the  needs  of  the  poorest  population  in  each  municipality.  For  some programs, this is likely to require substantive adjustments, both in terms of expanding  and reorganizing the supply of services.80 On the demand side, beneficiaries – the extreme  poor  –  are  ensured  “preferential  access�  meaning  that  they  have  priority  access  to  the                                                               78  A survey of employment offices was carried out at the end of 2009 to evaluate the program implementation  processes and the quality of service delivery. Data show that only 50% of offices had a computerized guide to  resources  and  that  about  35%  of  offices  never  used  the  national  computer  platform  to  register  training  courses  or  to  make  training  referrals.  In  most  of  the  cases,  information  about  the  local  labor  market  is  obtained through informal conversations with employers and municipal analysis.  79  Other countries are trying to implement similar approaches including Brazil, Ecuador, and El Salvador.  80   Often  the  existing  supply  of  services  is  not  adequate  for  the  target  population.  For  example,  access  to  microcredit services can be problematic for some of the extreme poor who do not have the financial literacy  to use those services. Chile Solidario and Juntos try to rationalize the supply of public institutions by adapting  the  existing  services  to  the  target population.  Moreover,  to  support  the  employability  of people  in  extreme  poverty,  it  is  not  just  enough  to  know  the  beneficiary’s  profile  and  working  trajectories.  Knowledge  of  the  demands  of  the  local  labor  market  is  essential.  It  is  thus  necessary  to  have  an  updated  analysis  of  local  markets, often micro�markets, where the beneficiaries develop their economic activities.  53  supply  of  social  programs  and  services  available  to  them  and  for  which  they  apply.  Social  workers play a key role in the activation strategy by informing, counseling, and encouraging  beneficiaries to access employment programs tailored to their needs and capabilities. Early  evaluations  of  Chile  Solidario  show  that  in  the  short  run  the  program  has  significantly  improved the take�up of transfers and social programs related with housing, training, and  employment.81 A more recent evaluation of CHS also finds a positive and significant impact  on  the  employment  and  income  of  spouses  of  heads  of  households  (but  not  among  men  and female heads of households).82,83 The impact is greater in rural areas, in municipalities  with a good network of social services, and among families assisted by social workers with a  low caseload.  The  most  important  implementation  challenges  of  the  integrated  approaches  relate  to  the institutional coordination and the creation of the “right set� of incentives to include  the  “hardest  to  serve�.  Effective  activation  programs  in  MICs  usually  imply  institutional  coordination  across  the  different  ministries  and  implementing  agencies.  This  represents  a  challenge  in  many  countries.  For  example,  in  Colombia,  the  coordination  of  existing  programs  is  organized  in  partnership  with  local  authorities  at  the  departmental  and  municipal  levels  through  formal  agreements.  The  coordination  is  led  by  the  Ministry  of  Social  Protection  (MSP)  and  the  National  Planning  Department  (NPD)  but  the  program  administration  remains  housed  in  the  respective  institutions/agencies.  A  key  element  in  implementation is the collaboration and coordination between the central agency running  the Juntos strategy, national public agencies providing services in the key dimensions of the                                                               81   Galasso  (2011)  and  Carneiro  and  Galasso  (2007)  document  the  short  and  medium  term  effects  of  the  program  on  cohorts  in  the  first  two  years,  before  the  program  was  completely  phased�in  nationally.  They  exploit the exogenous geographic variation in the assignment of the program to estimate the impact of the  program  on  a  large  array  of  socio�economic  outcomes  (including  health  and  education  outcomes)  and  on  access to programs and services.  82   Carneiro  et  al.  (2010)  expand  previous  analysis  and  use  a  panel  of  CHS  beneficiaries.  They  analyze  the  impact  of  CHS  on  take�up  of  subsidies  and  employment  programs  (only  some  of  the  available  employment  programs  are  evaluated),  income  and  employment  of  family  members,  improvement  in  housing  conditions,  and psycho�social variables such as self�esteem, optimism toward the future, work and school self�efficiency  scenario, and perceived family and work support.  83  Nonetheless, it is important to note that most male heads of households were already working when the  program started, and there was limited room for improvement.  54  strategy,  local  or  departmental  service  providers,  and  the  municipal  governments.  The  government  engaged  in  partnerships  with  80%  of  the  municipalities  and  developed  instruments  to  support  the  coordination  of  agencies  at  the  national  level.84  Another  key  element  of  the  integration  strategy  is  the  approach  to  program  financing.  In  Juntos,  resources  are  hosted  at  the  NPD  and  channeled  to  the  different  ministries  involved.  A  budgeting mechanism is in place, according to which the government disburses resources to  the public agencies conditional on whether services are provided to the targeted population  and whether services need to be redesigned.                                                               84   For  instance,  the  central  service  providers  are  expected  to  specifically  set  aside  some  of  their  resources  (number of spots) for Juntos beneficiaries in their annual budget proposals, and to adapt their services to the  poorest groups (adapting the nature of a training course, for instance, to reflect the lower literacy prevalence  amongst the Juntos population).  55  Box 8: Promoting Employment in the Labor Market: AMore Sustainable Exit Strategy –  The Case of Chile Solidario  Chile Solidario (CHS) is a system of social protection programs targeted to the extreme poor that combines  social  assistance  with  activation  policies  and  services  aimed  at  fostering  employability.  The  program  targets  to  meet  a  set  of  pre�defined  criteria  related  with  seven  dimensions  of  the  quality  of  family  life:  identification,  health,  education,  family  dynamics,  housing,  work,  and  income.  For  each  of  these  seven  dimensions, the family is expected to achieve a minimum set of welfare conditions throughout the lifetime  of the intervention.  CHS  has  four  different  dimensions:  (i)  an  intense  phase  of  psycho�social  support  implemented  by  local  social workers or technical staff in a personalized way to each home to help families achieve the minimum  conditions; (ii) cash transfer conditional on the family meeting the contract; (iii) guaranteed cash subsidies  families  are  entitled  to  (family  allowances,  old  age  pensions,  and  water  subsidies);  and  (iv)  preferential  access  to  social  services  related  to  the  minimum  conditions.  It  is  worth  noting  that  families  get  "preferential access" to programs related to these conditions for five years, but their coverage under the  social  protection  system  is  not  limited  to  five  years.  Families  obtain  coverage  as  long  as  they  meet  the  eligibility conditions for the various benefits.  Within  the  work  dimension,  CHS  has  set  three  minimum  conditions  to  be  achieved  by  the  beneficiary  families: (i) at least one adult family member works regularly and earns a steady income; (ii) no child or  young  family  member  under  18  years  drops  out  of  school;  and  (iii)  all  unemployed  family  members  are  registered  with  the  Municipal  Office  for  Labor  Information.  Over  the  past  eight  years  of  program  implementation, CHS has faced many challenges in the promotion of this work dimension. Below are some  of the main lessons accumulated:  i. Knowing  the  work  trajectory  of  individuals  provides  important  signals  for  the  design  and  organization of social support services.  ii. A wide range of programs is needed to support employability to ensure that the supply side is  relevant to the beneficiaries’ characteristics and needs. These include, job training, especially  for young people, which may include completion of primary or secondary education; training  for  work,  especially  for  those  who  have  not  worked  or  have  had  a  long  period  of  unemployment. This includes the development of socio�emotional skills for job performance;  labor intermediation; seed money for self�employed in the form of grants in order to improve  an ongoing business or to start a new one; technical assistance for small businesses, including  support  in  the  design  and  implementation  of  a  business  plan;  and  links  with  options  for  microcredit and/or small business loans.  iii. Labor  intermediation  is  essential  in  the  supply  of  programs  to  support  employability  and  labor inclusion.  iv. The  local  context  significantly  influences  the  type  of  support  required  and  the  results  to  achieve.  v. Supporting second income earners is a very effective strategy in overcoming extreme poverty  and creates a more balanced power relation within the family.  Source: Carneiro et al. (2011) and Galasso (2011).    56  The  institutional  and  administrative  capacity  determines  to  a  large  extent  not  only  the  approach  to  be  used  to  deliver  graduation  interventions  but  also  their  outcomes.  Integrating  safety  nets  with  activation  and  graduation  interventions  and  programs  can  be  achieved at different levels. In low capacity settings, with a low supply of services able to  improve  employability  of  the  poor,  integration  of  graduation  measures  in  safety  nets  is  done  mostly  at  the  program  and  beneficiary  levels  through  comprehensive  packages.  In  higher  capacity  settings  with  more  complex  social  assistance  systems  and  with  supply  of  employment services, the integration is increasingly being done at multiple levels – policy,  systems,  programs,  and  beneficiary,  whereby  a  framework  defines  the  roles,  responsibilities, and incentives of institutions, service providers, and beneficiaries.  Figure 5: Integrating Safety Nets and Activation/Graduation Interventions   As a Function of Capacity Context      4.2  More General Active Labor Market Programs  This  section  reviews  the  evidence  on  the  effectiveness  in  fostering  employability  and  productivity  of  other  active  labor  market  programs  that  are  not  necessarily  targeted  to  safety net beneficiaries. These programs are usually available to those who are willing and  interested  in  their  take�up  (as  long  as  they  fulfill  some  of  the  predefined  conditions).  We  57  initially  cover  the  evidence  for  skills  building  and  signaling  programs,  including  comprehensive  trainings  for  youth,  second  chance  literacy  and  numeracy  programs,  and  vocational and technical education. We then proceed by looking at the evidence for wage  subsidies  to  the  private  sector,  employment  support  services,  and  entrepreneurship  support.  This  section  draws  on  several  World  Bank  reports  for  country  projects,  selected  journal articles, and several meta�analyses.85  Comprehensive Training Programs for Youth  Comprehensive  training  programs,  combining  vocational  and  life  skills  with  hands�on  experience,  are  increasingly  popular  to  reach  out  to  vulnerable  youth.  Comprehensive  programs targeting unskilled youth were a popular approach in several regions of the world  including  Latin  America.86  Possibly  their  most  relevant  feature,  which  remains  attractive  today  to  many  countries,  is  the  comprehensiveness  of  the  trainings  in  the  interventions  covered.87 It includes strong investment in technical or vocational skills, often coupled with  life  skills  and  followed  by  a  period  of  on�the�job  work  experience  (promoted  through  private sector internships). Many programs especially in middle income countries tend to be  followed  by  a  period  of  counseling  and  job  placement  assistance  (provided  through                                                               85   See  Dar  and  Tzannatos  (1999),  Betcherman  et  al.  (2004,  2007),  and  Ibarraran  and  Rosas  Shady  (2008).  Throughout the paper, we chose to restrict attention to programs outside the OECD. There is extensive work  on the OECD, especially in Europe (see Kluve 2006, Martin 2000, Martin and Grubb 2001). The evaluations of  the reforms in Germany, the United Kingdom, Australia, and Sweden have proven to be especially relevant for  developing countries.  86   The  Jóvenes  type  of  model  was  developed  in  several  countries  Argentina  (Proyecto  Joven),  Chile  (Chile  Joven), Colombia (Jóvenes en Acción), Dominican Republic (Juventud y Empleo), Peru (Projoven), and Panama  (PROCAJOVEN). More recent experiences include the Kenya Youth Employment program; the Argentina Youth  Internship Subprojects where work experience is combined with education and training, with the possibility of  assessment and certification of competencies; and the job voucher and training pilots in Jordan.  87  Several design characteristics were common to these programs. First, is the coordination by the state, civil  society,  and  the  private  sector.  The  state  assumed  the  responsibility  for  the  design,  supervision,  technical  control, and full or partial financing of programs. Implementation was done by state agencies and civil society,  which  received  support  services  to  develop  their  operational,  technical,  and  administrative  capacity.  The  private sector provided spaces for work experience and in so doing, ensured that the training delivered mets  real  market  needs.  Second,  the  targeting.  included  geographical  location,  duration  of  the  training  package,  qualification  level  achieved,  conditions  for  work  experience  and  the  amount  of  subsidies  was  intended  to  ensure  that  it  reaches  the  target  population  and  not  "borderline"  social  groups.  Third,  the  decentralized  implementation was regulated by market mechanisms. Finally, the training went beyond specific occupational  skills  and  incorporates  curriculum  to  improve  communications,  personal  relations,  and  self�esteem.  See  Betcherman et al. (2004).  58  employment  services).  They  were  also  characterized  by  private  sector  contracting  of  training and work experience.  Trainees of more comprehensive programs are more likely to find a job and tend to have  better  quality  jobs  than  non�trainees,  although  differences  in  labor  earnings  are  mixed.  Evidence  has  shown  that  in  many  middle�low  income  Latin  American  countries,  comprehensive  trainings  tend  to  be  effective  programs  in  promoting  employability,  especially  among  women  and  younger  groups.88  Table  4  summarizes  the  post�training  effects on employability and earnings. Even though the results are mixed for labor earnings,  the results from the evaluation of the Colombian Jóvenes en Acción show significant effects,  particularly  for  women.  In  addition,  the  evaluation  also  shows  that  youth  move  up  the  “career  ladder�  with  a  greater  percentage  of  women  and  men  having  access  to  jobs  with  written  contracts  and  health  and  social  security  coverage.    In  sum,  the  overall  average  impact on earnings seems to be driven both by a combination of increased employment and  an increase in the productivity of those employed through greater access to better jobs.89                                                               88   Most  of  the  evaluations  to  date  have  focused  on  testing  the  overall  effectiveness  of  the  programs  (all  components).  A  focal  point  of  the  more  recent  wave  of  evaluations  (e.g.,  Dominican  Republic  Youth  Employment  Training  and  Kenya  Youth  Employment  programs)  is  the  importance  of  individual  program  components, including technical versus life skills and classroom versus on the job training. In reference, see  Attanasio et al. (2011).  89  See Attanasio et al. (2011).  59  Table 4: Comprehensive Training Programs in Latin America  Program/  Number of  Effect of  Effect of Program on  Effect of  Country/  Beneficiaries  Program on  Wages  Program on  Implementation  Employability  Job Quality  Period  Argentina  100,000 and  0% and 11%, 10� No significant pattern.  0 �3%; 6�9% for  Proyecto Joven  180,000   30% for those  youngest in  1994�1998  less than 21  one cohort.  years old).  Chile Joven 1992� 100,000   18�22%; effect is  22�25% but imprecisely  15�23% larger  1997  larger for  estimated.  for youngest  youngest  groups.  groups.  Colombia  100,000   5% for women;  18% for women; 8% for  6�7% for  Jóvenes en  no effect for  men.  women; 5�9%  Acción 2000� men.  for men.  2005  Dominican  30,000  No effect;  17%; larger for males  Health  Republic  (through  approx. 5% but  under 19 years old.   insurance 9%  Juventud y  2006)  not significant in  higher for men  Empleo  the East and  than for  1999�ongoing  Santo Domingo.  women (43%  vs. 34%).  Panama  11,400   No effect;  Little or no effect; 38%  Positive effects  PROCAJOVEN  between 10%  for women; 25% in  (10�20%) since  2002  and 12% for  Panama City.  2002.  women and in  Panama City.  Peru Projoven  160,000  13%; 20% for  Between 12% and 30%.  Overall not  1996  women and no  significant.  effects for men.  Source: Authors’ adaptation from Ibarraran and Rosas Shady (2008). Note: The table reports the effect of participation on the likelihood of being employed, having a high  quality job, and average labor earnings. Job quality is measured by whether the program promoted  the integration into a formal job as defined by receiving a contract and/or receiving health insurance.  Estimated impacts are expressed in percentage changes.  Although  the  evidence  is  still  weak,  comprehensive  training  programs  tend  to  be  cost� effective interventions. Estimates for the unit cost range from the upper USD 600s to about  USD 2,000 per participant. Some back of the envelope calculations have also shown that, for  Latin  America,  these  programs  have  been  cost  effective.  For  example,  internal  rates  of  return  are  above  4%  in  the  Dominican  Republic.  The  Colombian  version  of  the  program,  60  Jóvenes  en  Acción,  has  also  shown  large  returns  assuming  that  that  some  of  the  skills  depreciate overtime but that individuals have a working life of another 40 years.90 The most  costly  programs  in  this  wide�ranging  Latin  American  experience  is  Proyecto  Joven,  which  subsequently hampered its sustainability.  Complementing selected vocational trainings with non�cognitive skills (also known as soft  or life skills) is a promising approach to reach out to the most vulnerable youth. Following  the trends in the demand for labor, the most recent comprehensive training programs often  complement  technical  and  vocational  trainings  with  soft  or  life  skills.91  The  latter  are  intended to develop basic skills on livelihood and social interactions as well as work�related  practices and attitudes.92 One example of a program blending the technical and life skills is  Juventud y Empleo in the Dominican Republic. This intervention offers training courses and  apprenticeships  in  private  firms  to  the  unemployed,  under�employed,  and  inactive  youth  between  the  ages  of  16  and  29  years  old.  The  success  of  the  program  stems  from  the  combination  of  training  courses  divided  in  two  modules:  a  module  of  basic  life  skills  to  strengthen  life  skills  and  non�cognitive  skills  such  as  self�esteem,  conflict  resolution,  and  communication. A second module of vocational training developed with the private firms,  aims  at  providing  technical  needs  to  the  beneficiary  during  an  internship.  Between  2008                                                               90   Attanasio  et  al.  (2011)  estimate  a  lower  bound  to  the  benefits  of  the  program  by  looking  at  alternative  patterns of the gains in wage and salary earnings. They consider two alternative scenarios: (i) earnings gains  are  permanent  but  do  not  grow  over  time;  and  (ii)  a  10%  depreciation  rate  in  these  gains  (which  is  more  realistic  since  some  of  the  skills  acquired  also  depreciate  over  time).  They  assume  that  the  working  life  of  these individuals is another 40 years, given that their average age is about 22. On average, the costs of the  program tend to be about one eighth of the lifetime benefits.  91  Almeida et al. (2011a) reflect on optimal skills development policy around the developing world. They show  that  skills  are  considered  by  many  employers  as  a  key  constraint  to  growth  and  productivity.  Furthermore,  employers  are  looking  for people  who  have  good  technical  (cognitive)  skills,  giving them  the  ability  to  think  creatively and solve problems, but also with strong non�cognitive skills, who can communicate effectively with  co�workers and managers, resolve disputes and conflicts constructively, work in teams, understand employer  expectations for behavior on the job, and keep their working lives on an even keel through their financial and  health  practices.  These  are  known  as  "soft"  or  "life"  skills.  Anecdotal  evidence  shows  that  these  are  increasingly important as to whether a young person is viewed favorably by an employer.  92   The  latter  includes  skills  like  how  to  perform  in  job  interviews,  personal  strategies  for  looking  for  jobs,  interview  techniques,  and  curricula  preparation,  as  well  as  techniques  to  improve  the  beneficiary’s  self�esteem. The modules usually range from 40 to 200 hours of training.  61  and 2009, the program offered 650 courses and covered 13,000 beneficiaries.93 The ongoing  experimental  impact  evaluations  of  the  Dominican  Republic  Juventud  y  Empleo  and  the  Kenya  Youth  Employment  program  are  designed  to  determine  whether  these  skills  alone  increase  employability.  Anecdotal  evidence  from  the  Entra  21  program  also  shows  that  participants have greater ability to take responsibility and work in teams.94  Strong collaboration with the private sector, both in the selection of the training contents  and in the  provision of workplace internships, is a critical component of success. A core  component of these programs is the accentuation of demand�driven skills training. This has  been ensured by ex ante agreements between training providers and the private sector that  hosts  the  internships  for  graduates.  Many  programs  either  provide  a  wage  subsidy  or  a  subsidized training period – especially for young mothers – to promote learning by doing.  And,  the  benefits  of  the  on  the  job  experience  can  be  dramatic.  Evidence  from  a  recent  impact evaluation shows that the benefits of participating in Jóvenes en Acción are greater  the larger is the time spent with on�the�job training. The total hours spent in the classroom  training  have  no  impact  on  the  overall  rate  of  return  of  the  program.95  In  addition,  the  promotion  of  a  competitive  market  for  training  providers  may  have  played  an  important  role  in  the  success  of  these  vocational  trainings.  Through  a  competitive  bidding  process,  many  programs  in  Latin  America  selected  training  providers  based  on  experience  and  the  quality of their training proposals. To be eligible for funds, providers were required to lineup  internships and identify the types of skills that are needed by the private sector. Anecdotal  evidence suggests that developing strong counseling services (prior to program enrolment)                                                               93  Tesliuc et al. (2010) describe in detail the program and the methodology for the ongoing impact evaluation.  94  One of the most recent skills training programs for youth is Entra 21. These programs include a behavioral  (life)  skills  component,  covering  the  improvement  of  a range  of personality  traits  such  as  motivation,  socio� emotional  regulation,  time  management,  and  the  ability  to  work  with  others  (see  Entra  21  2009).  This  initiative  was  developed  in  2002  by  the  International  Youth  Foundation  to  improve  employability  of  disadvantaged  youth  by  providing  training  in  information  and  communication  technology.  Program  evaluations in El Salvador, the Dominican Republic, Peru, Panama, Colombia, Paraguay, Bolivia, and Brazil have  shown not only improved chances of a participant getting a job but also a higher quality job.  95  Attanasio et al. (2011) show that the employment and earnings gains are greater the longer the duration of  on�the�job training. Moreover, the study also shows that the when the skills taught in the classroom and on� the�job training were the similar there are larger employment and earnings gains.  62  and  job  search  assistance  following  training  completion  are  important  complementary  steps.  Nevertheless,  currently  the  public  sector  remains  largely  involved  in  the  provision  of  these  trainings,  both  through  full  financing  and  by  defining  the  overarching  regulatory  and  monitoring  framing.  In  most  countries,  these  vocational  trainings  are  fully  publicly  funded with bilateral and international donors playing a more important role in low income  countries. For example, internship financing usually would be shared between the Ministry  of Labor and the employers offering internships. Employers would finance some portion of  on�the�job  training  and  a  stipulated  minimum  remuneration  for  youth  during  their  participation  in  the  internship  while  the  Ministry  would  finance  a  stipend  for  participants  and  arrange  training  outside  of  the  workplace.  Regardless  of  financing  and  delivery  methods,  governments  are  usually  responsible  for  setting  an  overall  skills  strategy,  priorities, and monitoring and evaluation.  Second Chance Education and Trainings  When many of the most vulnerable frequently lack the most basic functional literacy and  numeracy skills, second chance programs become a priority to promote employment and  further skills development opportunities. While literacy rates continue to improve they are  still  as  low  as  72%  for  Sub  Saharan  Africa,  and  far  lower  in  specific  countries  (e.g.,  Benin  39%). Second chance training programs allow youth and adults to finalize their basic and/or  secondary  education  through  part�time  schooling.  Literacy  and  numeracy  programs,  equivalency  degrees,  and  accelerated  learning programs  are  designed to  teach  basic  skills  who  did  not  acquired  them  by  the  time  they  left  school.  Around  the  developing  world,  programs are very diverse. They may be as simple as adult literacy programs or as complex  as a package of cognitive and non�cognitive capacities.96                                                               96  Second Chance programs are usually classified into second chance education programs and second chance  training  programs.  Within  the  first  category,  there  are  two  types  of  programs:  (i)  programs  that  provide  primary education level knowledge and skills to enable access to secondary education; and (ii) programs that  63  Second  chance  programs  are  effective  in  promoting  skills,  and  possibly  employability,  especially when the program is certified. The most well�documented and �analyzed second  chance  programs  are  for  OECD  countries.97  For  example,  evidence  from  the  JOBSTART  program  in  the  United  States  shows  that  participants  had  a  higher  likelihood  of  earning  their General Education Degree (GED), which is the equivalent of a high school diploma, as  opposed  to  a  matched  control  group  of  non�participants.98  The  long�term  economic  benefits  of  earning  a  GED  have  been  refuted  by  some  economists.99  Second  chance  programs are more successful when they provide some certification. Certification provides  proof to the potential employer that the person has acquired basic skills and thus mitigates  informational problems.100  Second  chance  component  of  Chilecalifica  is  probably  one  of  the  most  successful  programs  in  the  context  of  a  middle  income  country.  It  was  designed  to  provide  beneficiaries  with  basic  education  and/or  technical  and  vocational  training.  Unlike  a  GED,  the degree in Chile is indistinguishable from an ordinary school diploma. The fact that the  initiative is free, well�promoted, and supported with its own materials and flexible services  customized to poor youngsters and adults proves that formal education is considered key in  training  for  work.  Preliminary  impact  evaluation  results  suggest  an  increase  in  wages  and  greater  post�program  schooling  of  Chilecalifica  beneficiaries,  particularly  for  women;  though the small sample size and selectivity issues may positively bias the results.101  General Technical and Vocational Trainings  General  technical  and  vocational  training  programs  are  the  most  common  type  of  activation programs in the majority of countries around the world. An important barrier to  employability for many of the most vulnerable, regardless their income or age, is the lack of                                                                                                                                                                                           provide  general  secondary  education  level  knowledge  and  skills  such  as  accelerated  learning  programs  to  primary education graduates (Mattero 2010).  97  See Mattero (2010).  98  See Cave et al. (1993).  99  See Heckman and LaFontaine (2006).  100  See Crawford and Mogollon (2010).  101  See Santiago Consultores (2009).  64  relevant technical and vocational skills to engage in a productive occupation.102 This is often  the result of the lack of information on which skills are most valuable in the labor market or  due  to  the  lack  of  resources  to  invest  in  their  own  human  capital.  The  main  objective  of  large  scale  training  programs  is  to  promote  employability  through  the  public  provision  of  technical and vocational skills to the unemployed or those in low productivity activities.103  In  countries  with  limited  social  assistance,  publically  sponsored  trainings  may  be  an  important  social  protection  instrument.104  Traditionally,  they  have  been  organized  and  provided by the state but increasingly they are being privately provided. An example of an  ongoing World Bank collaboration is the vocational trainings for the unemployed offered by  ISKUR, the Turkish employment offices.  Program  success  is  deeply  related  with  the  content  of  the  skills  provided  and  how  well  they  serve  the  local  labor  demand.  The  Mexican  Probecat  was  an  influential  program,  shaping  more  demand�driven  vocational  trainings,  which  are  currently  present  in  many  Latin  American  countries.105  Probecat  is  characterized  by  three  features.  First,  there  is  complete separation of the financing and the provision of training. The government selects  training  courses  competitively,  through  a  process  where  private  but  also  public  firms/training  institutions  may  also  participate.  Second,  the  government  does  not                                                               102   According  to the  Enterprise  Surveys,  the  share  of  firms  worried  about  inadequate  worker  education  and  skills averages about 25% among countries in the OECD and in Europe and Central Asia, 40% among countries  in Sub�Saharan Africa, and 50% among countries in East Asia and the Pacific. Even in Europe and Central Asia  where the countries have enjoyed a legacy of high skill endowments, the great majority of firms surveyed in  2008  considered  deficits  in  education  and  skills  to  be  a  major  or  severe  constraint.  For  a  discussion  see  Almeida et al. (2011a) and Banerji et al. (2010).  103 Publically financed vocational and technical trainings are in most middle income countries the most popular  activation programs. In the early 2000s, training represented the largest category (or 36% of total expenditure  in ALMPs among OECD countries). Public employment services and job subsidies accounted for 25% and 20%,  respectively.  far  below  what  countries  generally  spend  on  micro�enterprise  development  and  self� employment support programs.  104  Usually, a small income support to cover transportation and other dietary costs – stipend – is granted to  the beneficiaries in exchange for attending the trainings. They are usually a strong incentive to participate.  105   In  1984  the  Mexican  Ministry  of  Labor  launched  Probecat  as  a  job  training  program  targeted  to  unemployed workers. The program aims at providing training skills to unemployed workers to help them find a  job and a subsistence stipend during the training period. Individuals among 15 and 55 years old are eligible to  participate  (Wodon  and  Minowa,  2009)  showing  that  program  reducing  the  length  of  unemployment  and  increasing earning participants in the short term. However, it does not represent medium to long run effects  in the participants.   65  autonomously  set  the  contents  of  the  trainings  thus  making  them  more  demand�driven.  Third,  classroom  training  is  always  followed  by  private  sector  internships  where  trainees  acquire  on  the  job  training.  Probecat  was  very  effective  in  placing  the  short  term  unemployed, and internships were essential to the success of the program. Most evidence  also  suggests  increased  training  effectiveness  when  there  is  a  strong  consultative  process  involving  employers  and  business  associations,  providing  general  direction  on  which  trainings are offered.106  In  countries  with  greater  implementation  capacity,  promoting  a  close  follow  up  of  trainees  and  disseminating  the  information  to  prospective  students  may  be  important  ingredients  of  success.  One  should  not  downplay  the  relevance  of  conducting  a  rigorous  follow�up  of  trainees  on  the  labor  market  and  the  importance  of  disseminating  this  information for prospective students. Having information will allow students to do a more  careful  and  informed  selection  on  which  courses  to  take.  Although  the  evidence  is  still  scarce,  developing  a  competitive  market  for  training  providers  could  be  associated  with  higher  overall  quality  of  the  trainings.  For  example,  in  ECA  very  few  public  employment  services  still  run  their  own  trainings.  Rather,  they  seek  training  services  from  other  public  and  private  sector  agencies.  Contracts  are  usually  competitive.107  Public  employment  services typically contract for a selected number of training slots or days of training. In some  countries,  the  training  contractor  may  provide  additional  counseling  services.  Often  the  training contractor is required to accept a negotiated placement of a portion of the trainees                                                               106  In addition, most OECD countries have highly structured processes to determine the demand for skills and  different  occupations.  Most  sophisticated  projections  explore  multiple  data  sources,  including  labor  market  data, employer surveys, and focus groups.  107   For  example,  in  Bulgaria,  Hungary,  Poland,  Romania,  Serbia,  and  Slovenia  public  employment  services  purchase  training  programs  from  various  providers  through  public  tenders.  In  Ukraine  or  Azerbaijan,  public  employment  services  run  training  centers  but  the  training  provider  provides  flexible  modular  training.  The  employment  services  provide  the  premises  and  cover  the  costs  while  the  provision of  training  is contracted  out to private providers.  66  in jobs.108 Although evidence is still lacking, countries where providers are incentivized with  well�designed incentive contracts may perform better in the placement of their trainees.   Complementing  trainings  with  a  personalized  counseling  and  customized  job  search  assistance  also  increases  program  performance.  As  discussed  above,  important  components  of  successful  vocational  trainings  are  well�designed  incentive  contracts  and  strong  links  between  the  training  providers  and  local  employers.  The  ex  ante  and  ex  post  links  with  employment  services  are  also  increasingly  important.  The  most  vulnerable  individuals often have very limited information on which occupations are in highest demand  and offer the highest returns. Having a comprehensive profiling assessing the skills required  to  find  a  job  with  prospects  is  very  important  to  promote  the  right  set  of  investments.  In  addition,  most  programs  in  the  OECD  and  some  Latin  American  and  Eastern  European  countries  are  also  incorporating  at  the  end  of  trainings  strong  links  with  job  search  assistance.  A  recent  meta�analysis  suggests  that  this  training  model  has  more  success  in  improving employment outcomes.109 An ongoing impact evaluation of the ISKUR vocational  trainings is also shedding light on this.                                                               108  See Kuddo (2009).  109  See Betcherman et al. (2004).   67  Box 9: Turkey ISKUR Vocational Training Programs  Skills upgrading of the labor force is central to enhancing productive employment in Turkey. Although skills  are  best  acquired  the  first  time  around  and  reforms  to  improve  skills  while  in  school  are  the  most  cost  effective, their impact materializes only in the long run. Meanwhile, there is a large share of the working� age  population  (15�64)  that  does  not  have  the  basic  skills  to  find  a  job  or  to  get  out  of  informal/low  productivity  jobs.  The  expansion  and  improvement  of  the  ISKUR  vocational  training  program  since  2008  have been instrumental to the government employment reform agenda.  The  2008  labor  package  allowed,  among  others,  all  registered unemployed  to benefit  from Active Labor  Market  Programs  (ALMP).  The  coverage  of  ALMP,  mainly  of  the  vocational  trainings,  has  expanded  significantly since 2009: the number of beneficiaries is expected to be around 400,000 in 2011, from just  over 17,000 in 2006. In addition, a number of reforms to improve the quality and relevance of vocational  training  have  been  introduced,  including  the  development  of  a  national  qualifications  framework  for  vocational education and training (ongoing), the introduction in 2010 of quality criteria in the selection of  training providers, and the launch of the UMEM project, which will provide quality vocational training in  technical schools and internships at TOBB businesses.  The  World  Bank  is  currently  engaged  in  the  evaluation  of  vocational  training  programs  provided  by  the  Turkish Public Employment Agency (ISKUR). The ISKUR impact evaluation is the first rigorous evaluation of  a nationwide, public training program in Europe and Central Asia (ECA). The sample consists of more than  5,000 beneficiaries across 95 training courses in more than 20 ISKUR provincial offices. The main objective  of this evaluation is to shed light on the average effect of participation in an ISKUR training program on job  placement, labor earnings, and employment quality.  The evaluation takes measure of the effects of the program on beneficiaries with different profiles. The  evaluation will, in addition, identify the main channels through which ISKUR trainings may influence the  beneficiary’s labor market outcomes. For example, ISKUR trainings may increase individual productivity (or  wages)  through  the  acquisition  of  relevant  vocational  skills  (either  cognitive  or  non�cognitive  skills).  Alternatively, they may contribute to increased employment through reduced costs of searching for a job  (through  better  connections  with  employment  services)  or  a  greater  effort  in  searching  or  networking.  Understanding  the  impact  of  the  program  on  these  intermediate  outcomes  is  important  not  only  to  understand how  public  trainings  may  actually  make  a  difference  in  Turkey  but  also  help  regional  offices  improve  the  effectiveness  of  these  vocational  programs  by  linking  them  with  other  services  (like  counseling and job intermediation).  Source: Almeida et al. (2011c, 2011d).    Skills Certification and Provider Accreditation  Certification  contributes  to  mitigate  an  important  information  problem  in  the  labor  market by making the quality of individual skills more transparent to potential employers.  Even  when  individuals  have  the  right  set  of  skills,  an  obstacle  to  individual  employability  may  be  the  difficulty  in  signaling  these  skills  to  potential  employers.  The  most  commonly  68  used signals of a person’s employability are whether a person has held a job or has a school  or training certificate. Both are especially challenging for the most vulnerable groups in the  population because of the unstable integration in the labor market, leading to large periods  of  unemployment, and the  high  dropout  rates.  Certification  is  also  valuable  to  workers;  it  provides  them  with  wider  access  to  a  national  labor  market,  promoting  geographic  and  occupational  mobility,  and  possibly  more  effective  job  matching  and  placement.  It  is  also  likely  to  improve  labor  earnings,  enhance  self�esteem,  and  augment  psychological  well� being.110  Although evidence on the effectiveness of technical skills certification in increasing access  to  employment  is  scant,  most  OECD  countries  have  established  some  sort  of  skills  certification scheme and many developing countries are following suit. Some of the most  successful  examples  of  the  value  of  job  skills  certification  seem  to  originate  in  the  information  technology  industry.  There,  certification  seemed  to  have  added  significant  value to the holder and may even partially substitute for formal education. It has also been  shown  to  be  associated  with  job�  and  industry�specific  wage  premiums.111  Indeed,  most  OECD countries have established skills certification schemes.  While  many  middle  income  countries  are  starting  to  create  certification  systems,  in  low  income  contexts  certifying  skills  may  be  a  better  option  than  certifying  courses.  The  best  example  of  certification  of  training  programs  is  Chilecalifica  (see  Figure  6  below).  The  program  was  designed  to  provide  beneficiaries  basic  education  and/or  technical  and  vocational  training.  Unlike  the  GED  in  the  United  Stated,  the  degree  in  Chile  is  indistinguishable  from  an  ordinary  school  diploma.  Preliminary  impact  evaluation  results  suggest  an  increase  in  wages  and  greater  post�program  schooling  of  Chilecalifica                                                               110  See Crawford and Mogollon (2010).  111  In the United States, job certification in the information technology industry has focused on ensuring high  quality knowledge and skills of vendors. Companies such as Microsoft and Cisco provide certifications based  on their specific products. Evidence shows this has an impact on worker performance and wages. Quan et al.  (2007)  look  at  10,630  IT  certified  workers  to  estimate  the  wage  premiums.  Based  on  seven  job  functions,  results  indicated  that  the  value  of  specific  certification  varies  depending  of  the  job  function.  For  example,  wage  premiums  for  data  communications/telecommunications  was  46%,  while  for  Engineering/Integration/Technical Services it was 14%.  69  beneficiaries,  particularly  for  women.112  However,  this  likely  overestimates  the  program’s  success  due  to  selection  problems.  In  markets  with  extensive  informal  skills  acquisition,  such  as  the  informal  apprenticeship  system  in  many  Africa  countries,  certifying  skills  –  as  opposed to a completed course – may be particularly useful.  Figure 6: Chilecalifica: Certifying Basic Education and Technical and Vocational Training  PROGRAM  BENEFICIARI GOVERNANCE  CHARACTERISTI OBJECTIVE RESULTS PRINCIPLES ES / FUNDING  CS • Offers skills  • Offer a  • Youth and  •Implementation •Regulated by the  •349,642  certification  flexible  adults with  : Ministries of  Chilean Quality  students  organized in  mode of  incomplete  Education,  Assurance  registered  national  education  primary and  Labor and Social  Standard. during 2003� qualification  to people  secondary  Welfare, and   •Catalogue with  2008. framework. with  education   Economy. 1,000  • More than  • Defines a  incomplete  between the  competencies for  29,000 workers  •Unidad  single set of  primary  ages of 15  315 occupational  certified since  Coordinadora  criteria for  and  and 18 years  profiles in 12  2003. de Ejecución del  specified  secondary  old  for  sectors of the  Programa  • Average age  levels of  education  primary  economy. (UCEP)  registered  learning. in order to  education,  coordinates and  •Phases of the  between 2003  improve  and over 18  • Increases  monitors  Program  and 2008: 33  their skills  for secondary  transparency  implementation  � Initial phase:  years. through  education. and eases  of program. Courses  of 6  •Av. monthly  recognition  free  months (basic  • Financial  income in  of  services. education) and 8  support: USD 75  participants  qualifications million from the  months (middle  that took  .  World Bank   school  secondary  • Provide  and USD 75  education).  education  flexible and  from local  � Reinforcing  courses  dynamic  contribution.       phase:  increased by  system of  Total cost: USD  Educational  10%. lifelong  150 million. reinforcement in  •Taking the  learning and  each learning  courses  training. sector for  increases the  students that  probability of  could not reach  getting a job by  objectives. 4%.    Source: Government of Chile, Ministery of Education (2009). Another important intervention to improve the signaling of skills in the labor market is the  accreditation  of  training  providers.  In  many  middle  income  countries,  individuals  spend  significant  resources  on  job�related  training  that  is  delivered  by  unregistered,  small  scale,                                                               112  See Santiago Consultores (2009).  70  and  often  informal  institutions.113  Having  a  sound  national  system  of  training  providers  accreditation may provide information to individuals to make better decisions about which  institutions to attend and information to potential employers about the types of skills that  an  institution’s  graduates  should  possess.  The  impact  of  training  center  accreditation  on  employment has not been measured.  Wage Subsidies to the Private Sector  There  are  multiple  types  of  wage  subsidies  but  in  a  growing  number  of  OECD  and  also  middle income countries, they are offered directly to specific groups to encourage hiring.  Wage subsidies have the main objective of subsidizing the employer’s cost of hiring. They  may  be  targeted  to  ongoing  workers  or  to  the  hiring  of  new  workers,  including  youth  in  their first job, women, or welfare beneficiaries. They may take various forms but all types  aim  at  promoting  the  participation  in  the  labor  market  of  the  beneficiaries,  while  compensating employers for screening, orientation, and initial training costs. The underlying  assumption is that the learning and training acquired on the job will foster the productivity  of the beneficiary by the time the subsidy is over. This will motivate the firm to continue the  employment  relationship  without  the  subsidy.114  A  well�known  example  is  the  SIVP  (or  Stage d’initiation a la vie professionnelle) in Tunisia. SIVP is a subsidized internship where  beneficiaries receive 150 TND monthly and employers have full coverage of social security  and training costs. The subsidy targets recent university graduates who have been looking  for  a  job  for  six  months,  a  group  especially  affected  by  unemployment.115  Following  the  financial  crisis,  several  middle  income  countries  introduced  targeted  wage  subsidies.  For  example,  the  Slovak  Republic  introduced  a  temporary  exemption  from  health  insurance                                                               113  See Van Adams (2008).  114   Wage  subsidies  may  also  be  given  to  employers  to  stimulate  the  demand  of  specific  workers  or  to  employees to provide incentives for re�employment. They can take the form of direct transfers, reductions in  social security contributions, or income tax credits. They can be targeted to the most vulnerable workers or be  provided across the board. And they can focus on those already employed or only on new hires. Choices at all  these levels determine their impact on employment and their costs. For a discussion, see Banerji and Robalino  (2009).  115  In 2010, there were 67,881 beneficiaries for SIVP. Firms need to pay employees a minimum wage payment  of 150 TND and are mandated to recruit at least 50% of interns over a three�year period.  71  payments for up to 24 months for persons entering self�employment after a period of three  months  on  the  jobseekers  register.  The  World  Bank  is  also  currently  supporting  a  randomized evaluation of a South Africa pilot targeted to youth (see Box 10).  Box 10: South Africa Youth Wage Subsidy Pilot: Evaluating Program Effectiveness  Youth  unemployment  rate  in  South  Africa  is  high  (35%)  and  reaches  72%  of  overall  unemployment.  Pockets  of  unemployment  in  urban  areas  exceed  50%  and  in  the  post�apartheid  era  (post�1994);  high  unemployment has been persistent. Results of recent studies show that once individuals get a job they are  more likely to remain employed. Based on those findings, the International Growth Advisory Panel (IGAP)  proposed to target a wage subsidy intervention for young individuals, aged between 20and 24 years old.  Eligible beneficiaries will receive a letter offering the subsidy. Subsidies are paid directly to firms but are  attached to workers.  The World Bank is currently supporting the impact evaluation of this pilot to assess the effectiveness of  the program in improving the probability of finding and keeping jobs, the quality of post�unemployment  jobs, and its influence on firm decisions regarding labor and hiring. The baseline survey relied on the labor  market survey (LMES). The LMES serves as the baseline survey for the impact evaluation of the targeted  wage subsidy on the employment of young people. In order to do this, the sample was randomly split into  two  groups  –  treatment  and  control.  The  treatment  group  was  allocated  a  voucher  that  entitled  any  registered  firm  that  employed  the  holder  for  more  than  20  hours  a  week  to  a  payment  of  R5,000  (approximately USD 670)over a period of at least six months should the employee remain employed. The  monthly  subsidy  amount  was  calculated  as  half  the  employee’s  wage  up  to  a  maximum  of  R833  per  month. Subsidies were paid to the firm on a monthly basis until exhausted. The national median monthly  wage for youth aged 20�24 was R1,500 (approximately USD 200) in 2007.  Results  show  that  targeted  youth  in  urban  areas  are  more  likely  to  be  unemployed  than  inactive.  Furthermore, 63.7% of the total jobless youth are actively searching for a job, as opposed to 13.19% non� searching  jobless.  Women  are  more  likely  to  be  jobless  than  men.  Most  of  the  targeted  youth  are  relatively skilled. Less than 1% did not complete primary education; 1.6% completed primary education;  45.2% finished secondary; and 14.5% tertiary education; 38% did note complete secondary education. In  addition,  schooling  is  linked  with  chances  of  getting  a  job.  Having  an  incomplete  secondary  education  clearly  reduces  the  likelihood  of  being  employed.  This  is  not  the case for  the  tertiary  education.  In  fact,  young  people  with  tertiary  education  are  less  likely  to  be  employed  than  secondary  graduates.  For  example, 23% often tertiary graduates are wage employed, whereas 23% of the secondary graduates are  employed. This suggests that youth with tertiary education may be selective in the type of employment  they apply for.  Source: Schöer and Rankin (2011).    Even though the evidence in developing countries is still thin and risks are high, anecdotal  evidence suggests that the success of wage subsidies may depend on the target group and  on the economic context. For example, in Slovakia, evidence shows that neither men nor  72  women  benefited  from  wage  subsidies.  An  evaluation  of  wage  subsidies  in  Poland  is  particularly unfavorable for males showing that beneficiaries of the wage subsidies are less  likely to be employed. This is likely be explained by a stigma effect where beneficiaries are  perceived by the employers as inferior workers than otherwise identical workers. However,  evidence  suggests  that  wage  subsidies  may  work  better  for  welfare  beneficiaries.  In  the  Proempleo experiment beneficiaries of wage subsidies seem to have exerted more effort in  searching  for  jobs  than  before  (“empowerment  effect�)  and/or  were  perceived  as  more  trustworthy  than  other  workers.  This  was  especially  true  for  women  and  young  participants.116 In spite of  this, most employers actually did not take up the wage subsidy  even though they ended up hiring the workers with the voucher. Wage subsidies also seem  to be effective tools for the skilled youth in contexts of high taxation  of formal labor. For  example, in Morocco evidence shows that Idmaj was effective in placing beneficiaries into  jobs.  Furthermore,  the  program  also  had  positive  effects  on  the  quality  of  the  jobs  (captured by having social security coverage and by the level of earnings).117 However, while  wage subsidies seemed to be cost�effective in Morocco, and Argentina, the costs are likely  to  be  underestimated.  Deadweight  losses  (i.e.,  wage  subsidies  placing  a  worker  in  a  firm  that  would  have  hired  the  worker  in  the  absence  of  the  subsidy)  and  substitution  effects  (i.e.,  employers  substituting  workers  with  subsidized  ones)  were  not  considered  in  most  evaluations. Overall, more convincing and rigorous evidence is needed to acknowledge the  cost  effectiveness  of  wage  subsidies  in  actually  promote  sustainable  employment  relationships.118  Restricting  wage  subsidies  to  specific  subgroups  in  the  population  –  like  skilled  or  unskilled  youth  –  may  reduce  the  negative  stigma  effects  and  minimize  the  deadweight  loss  to  the  economy.  The  design  of  the  wage  subsidies  is  important  to  promote  employability among those who need it the most while minimizing inefficiencies. Subsidies  that  are  more  finely  targeted  to  the  most  vulnerable  low  pay  workers,  especially  women                                                               116  See Galasso et al. (2004).  117  See World Bank (2011c).  118  See Betcherman et al. (2004).  73  and youth, are more likely to minimize deadweight losses than across the board subsidies.  Across the board wage subsidies tend to be more expensive and possibly end up subsidizing  workers  who  would  have  stayed  in  their  jobs  or  would  have  been  hired  anyway.  The  evidence from the United States shows that wage subsidy may also stigmatize the targeted  population in the eyes of employers. This is likely to be less of a concern when the subsidies  are more finely targeted to specific groups in the population.  Corruption  and  fraud  are  common  concerns,  especially  in  countries  with  low  implementation and enforcement capacity. One risk of promoting wage subsidies to foster  the employability of the most vulnerable is that firms may have an incentive of “gaming the  system�,  by  firing  and  rehiring  subsidized  workers.119  Some  countries  have  developed  special design features in the wage subsidies to explicitly avoid this. For example, Eastern  European employers often are mandated to keep subsidized workers on the payroll for at  least  two  years  to  be  eligible  to  receive  a  full  year  of  subsidy.  Nevertheless,  this  type  of  arrangement is hard to  enforce in countries with low capacity. Another frequent problem  relates to fraud. In some countries wage subsidies are financed through the general budget  but many fake beneficiaries enroll to benefit from the program. While no program is going  to  be  completely  immune  to  fraud,  a  well�designed  and  enforced  program  will  be  less  subject to this problem.  Employment Services  In  countries  and  regions  where  labor  markets  become  more  complex,  the  coordination  and  intermediation  functions  of  employment  services  become  increasingly  important.  With increasingly complex labor markets, workers and firms find it harder to find the best  worker–job matches. Employment services are present in many countries but often remain                                                               119   Wage  subsidies  usually  have  a  probationary  period  during  which  recipients  of  the  wage  subsidy  may  be  freely dismissed. This could be “abused� by employers. Anecdotal evidence from program implementation in  some countries shows that firms may hire subsidized workers, keep them for the period of the subsidy, and re� hire them again as there are probably many available people ready to supply labor.  74  undeveloped.120 They are also very heterogeneous in their degree of sophistication. At one  end  of  the  spectrum  are  the  most  basic  centers.  There,  potential  employers  post  job  openings and potential employees reply directly to employers of interest. At the other end  of the spectrum are full service centers, such as the British Jobcentres Plus or the Korean  Employment  Services.  The  latter  offers  a  wide  range  of  services,  including  career  counseling,  training,  and  education  program  placement  assistance,  job  matching,  labor  exchanges, and other related services. Appendix 3 describes in detail the different services  available  in  the  better  performing  employment  services  in  European  countries.121  Depending on the country, these services may be publically or privately provided.  In  contexts  of  large  formal  labor  markets,  and  compared  with  other  programs,  employment services tend to be relatively inexpensive and cost effective, particularly for  the  short  term  unemployed.  Evidence  from  the  United  Kingdom  shows  that  employment  services  are  especially  effective  at  transitioning  short  term  unemployed  males  back  into  employment.122  In  Romania,  a  recent  empirical  analysis  shows  that  employment  services  were  among  the  most  cost  effective  interventions  implemented  in  the  late  90s  within  a  broad package of active labor market policies. They are followed by trainings and by wage  subsidies.123  Peru  Pro  Empleo  is  another  example  of  a  well�run  and  diverse  program                                                               120   Kuddo  (2011)  shows  that  currently  around  80 countries  are  members  of  the World Association  of Public  Employment Services (WAPES): 15 countries in Africa; 13 countries in the Americas; 8 countries in Asia and the  Pacific;  39  countries  in  Europe;  and  4  countries  in  the  Middle  East  and  Arab  region.  Not  all  the  PESs  are  members of WAPES. More information is available at: www.wapes.org.  121   The  most  successful  employment  services  offer  activities  to  three  distinct  groups:  unemployed,  inactive,  and employers. The services to the unemployed include: (i) early identification and intervention; (ii) support  employability  and  lifelong  learning;  (iii)  balance  extensive  support/self�help  strategy;  and  (iv)  career  planning/advice/guidance; and (v) work trials and supported entry for long term unemployed. The services to  the  inactive  persons  include:  (i)  early  identification  and  intervention;  (ii)  support  employability  and  lifelong  learning; (iii) career planning/advice/guidance; and (iv) work trials and supported entry. Finally, the services to  the employers include: (i) anticipation of skills needs; (ii) support timely job�to�job transitions; (iii) promotion  of  internal  flexicurity;  (iv)  enable  transitions  following  company  restructuring;  and  (v)  promotion  of  entry  points for the long term unemployed and inactive persons. Appendix 3 lists a more detailed menu of services.  122  Blundell et al. (2004) evaluate the effectiveness of the New Deal for Young People in the United Kingdom.  The program provided a combination of wage subsidies to the private sector and job search assistance. They  find that approximately one fifth of the effect was explained through improved job search assistance (instead  of the wage subsidy component).  123  In Romania, employment services provide job and social counseling, job search assistance, job placement  services, and relocation assistance. In the late 90s and early 2000s, beneficiaries had access to the services up  75  reaching  vulnerable  low�income  youth,  low�skilled  workers,  and  the  disabled.  The  cost  of  the program is estimated at only 0.4% of GDP.124 In spite of this developing countries have  not  yet  amassed  rigorous  empirical  evidence  on  the  respective  cost  effectiveness.  Furthermore,  in  lower  income  settings  with  fewer  formal  sector  jobs  available,  the  most  common functions in the employment services can hardly be expected to have a low cost  effectiveness.  Furthermore,  some  studies  go  a  step  further  and  recognize  that,  in  some  settings, informal networks can be as effective as formal networks.125  The success of employment services depends on their outreach to employers and in how  well  they  meet  their  needs.  By  identifying  job�related  skills,  knowledge,  and  abilities  needed by the employer, the local employment offices can match applicant skills and refer  the  best  qualified  applicants  to  employers.  Typically,  employer  contacts  are  established  through workplace visits, telephone contact, direct mail, or local employer group meetings.  This involves establishing good relations with employers and the gradual transformation of  the  employment  agencies  into  a  relevant  service  for  enterprises.126  This  is  especially  challenging  in  developing  countries  where  most  of  the  jobs  are  in  household,  micro,  and  very  small  firms.  Recent  World  Bank  projects  in  Serbia,  Armenia,  and  Azerbaijan  have  evaluated  some  of  these  services.  The  Austrian  PES  are  a  best  practice  example  in  the  provision  of  these  services:  They  provide  specialized  free  services  to  employers,  including  referrals  of  suitable  candidates  for  job  vacancies,  assessment  of  staff  qualification  needs,                                                                                                                                                                                           to nine months and were entitled up to two months of salary at the ongoing minimum wage. Implementation  of ALMPs is done by the National Agency for Employment and Vocational Training and the county agencies for  Employment and Vocational Training.  124  Proempleo provides advisory services to jobseekers as well as employers. Jobseekers receive information  about  job  openings  but  can  also  request  advisory  services  (counseling)  for  career  choices  and  support  in  preparing Curriculum Vitaes (CV) and preparing for interviews. If appropriate, jobseekers can also be referred  to  alternative  training  programs  to  improve  their  employability.  Employers  get  access  to  a  database  of  jobseekers and receive services, including the prescreening of potential candidates and support with official  administrative procedures related to preparing and registering labor contracts.  125  See World Bank (2011e). The study shows that, after controlling for differences across skills, there are no  significant differences in earnings (or job satisfaction) associated to the use of formal or informal job search  methods.  In  addition,  workers’  self�reported  perceptions  tend  to  favored  the  latter  as  the  most  effective  means to find jobs.   126  This includes the modernization of the range of services, creation of specific enterprise and sector desks,  improvement of its public image, and use of information technologies.  76  grant schemes for job training, customized solutions for mass layoffs, and information and  financial  support  for  disabled  employees.  Counselors  keep  in  close  contact  with  firms,  frequently requesting vacancies notifications.  In  most  middle  income  countries,  employment  services  are  independent  bodies  from  relevant  ministries,  with  a  decentralized  geographical  structure  where  local  offices  operate  under  the  general  supervision  of  the  central  office.  Public  employment  services  function  as  an  independent  and  autonomous  government  implementing  agency  in  many  countries  (e.g.,  Lebanon,  Syria,  and  Tunisia).  They  operate  autonomously  within  the  established legal framework and operating budgets defined by the ministry. The central PES  office  defines  service  standards  and  guidelines  for  employment  programs;  information  systems  (including  collection  of  labor  statistics);  labor  market  analysis  and  research;  financing  of  particular  programs  including  unemployment  insurance;  contracting  out  services to NGOs and the private sector; quality control and internal auditing; international  cooperation and public relations; and human resources (staffing of PESs). It also performs  other  functions.  Local  offices  of  PES  operate  under  the  general  supervision  of  the  central  office  and  in  close  collaboration  with  local  administration.  They  are  directly  involved  in  interacting with the unemployed and jobseekers. In other countries, like such as in Egypt,  Jordan, and Yemen public employment services depend on the relevant ministry and, thus,  have a much reduced autonomy.  In countries with high institutional capacity, the British one�stop shop model is effective  in making available a wide set of services to the registered unemployed under one roof.  For middle income countries with higher institutional and coordination capacity, developing  a centralized employment service delivery under “one roof� may be the most effective. The  British Jobcentre Plus is probably the best known example for bundling employment offices  and  benefit  windows  in  a  one�stop  shop.  Others  include  Norway  (as  noted  in  Box  6)  and  Germany.127  In  the  United  Kingdom,  the  counseling  services  intervene  quickly  to  match                                                               127   Jacobi  and Kluve  (2007)  and  Kluve  (2010)  show  that the  Hartz  reform  in  Germany  has produced  positive  effects of one�stop shops on the integration of beneficiaries into regular employment, even though the effects  77  beneficiaries  with  the  most  suitable  programs  and  lay  out  an  action  plan  for  higher  employability  and  productivity.  Since  2001,  the  main  objective  of  the  Jobcentre  Plus  has  been to improve the assessment and delivery of benefits such that clients receive efficient  and needs�tailored services. The evaluation shows that it succeeded in raising the number  of  job  entries  among  the  unemployed.128  Another  important  function  is  to  disseminate  information on the economic returns of the available programs. A recent analysis in Kenya  suggests (no studies document) that simply disclosing early information on returns to skills  may affect individual’s occupational choices.129  Increasingly  developing  countries  follow  the  trend  of  OECD  countries,  where  the  public  sector no longer has the monopoly of the employment services. The Jobcentre Plus is in  many  regions  a  very  light  triage  and  counseling  structure  that  subcontracts  most  of  its  programs to the private sector. In the Netherlands, jobseekers are also referred to private  providers,  while  the  public  authorities  are  responsible  for  benefit  payments  and  remain  gatekeepers  to  a  private  quasi�market.  In  the  Danish  market  for  employment  services,  private  service  providers  work  in  parallel  with  public  system.  There,  private  providers  are  mainly used for subcontracting particular services, which include recruitment agencies and  private agencies for guidance and counseling.130 A good example from Latin America is Peru  Red  CIL  Pro  Empleo.  Created  in  1996  and  managed  by  the  Ministry  of  Labor  and  Employment  Promotion,  it  operates  through  a  network  of  labor  information  centers  managed by the private sector, including NGOs and religious centers.131 Many countries in  Eastern  Europe  have  already  started  this  trend  with  the  ultimate  objective  of  reducing                                                                                                                                                                                           are  not  statistically  significant  due  to  the  small  number  of  agencies  used  in  the  analysis.  Furthermore,  the  effects seem to be more positive in East Germany, where labor market conditions are closer to the developing  country contexts. They also seem to work better for men than for women.  128  See Blundell et al. (2004) for an evaluation.  129   The  Jua  Kali  voucher  program  in  Kenya  provided  female  beneficiaries  with  information  about  wages  in  various occupations. Preliminary results (Hjort 2009) suggest that more than 10% of those who received the  information  switched  to  more  lucrative,  traditionally  male  occupations  (compared  to  girls  not  receiving  this  information).  130  See Bredgaard and Larsen (2008).  131  Although it has not been subject to formal evaluations, implementation reports suggest that ProEmpleo is  serving  the  registered  unemployed  effectively.  In  2006,  its  placement  rate  was  estimated  at  28%  of  job� seekers, or 68% of the demands placed by employers.  78  budgetary  pressure  while  increasing  economic  efficiency.132  Interestingly,  the  empirical  evidence from subcontracting in employment services is still rare and somewhat mixed in  developed country settings.133 For example, the Hartz reform in Germany fails to show that  the outsourcing of placement services to the private sector has produced statistically strong  results  for  the  prospect  of  entering  employment.134  Most  likely  the  gains  from  subcontracting  emerge  over  time.  For  example,  in  Australia,  public  officials  can  exclude  poorer  performers,  increase  competition  and  improve  the  performance  management  of  subcontractors.  While  the  move  towards  private  service  provision  may  entail  greater  efficiency,  when  aimed at serving the safety net beneficiaries, a good regulatory framework is needed to  avoid the tendency of “creaming off.� Although evidence is still scarce on the effectiveness,  the  outsourcing  of  services  to  competent  providers  is  a  growing  trend  in  many  countries,  especially in high income OECD countries.135 Private agencies usually charge fees for their  services from PES. They are typically registered with PES or the Ministry of Labor, depending  on the country and provide their services based on the respective contract. Private agencies  tend  to  offer  a  more  specialized  search,  better  screening,  and  faster  response  times  than  most  public  services.  They  also  are  to  a  larger  extent  oriented  towards  the  employers’  requirements than the needs of the unemployed. Nevertheless, they also pose risks to the  service delivery. They can secure services within smaller and more targeted segments of the                                                               132  For  example,  Kuddo  (2010)  shows  that  in  2009,  587  private  employment  agencies  were  registered  in  Bulgaria, 63 in Latvia, 41 in Lithuania, 51 in Slovenia, but 2,176 in the Czech Republic and over 2,800 in Poland.  133   Finn  (2011)  reviews  literature  and  impact  studies  on  employment  services  subcontracting  in  Britain,  Germany,  the  Netherlands,  France  and  Sweden.  In  each  of  these  countries  the  Ministry,  PES  or  local  government used a competitive bidding process to select providers to deliver job matching, reintegration and  other  employment  services  with  successful  providers  awarded  contracts  with  varying  amounts  of  provider  income dependent on placing participants in jobs. The impact evaluations show mixed results, with the most  positive  found  in  the  United  Kingdom  and  more  negative  findings  in  Germany,  France  and  Sweden.  The  findings  suggest,  however,  that  private  providers  can,  under  certain  contractual  arrangements,  improve  outcomes for particular groups and bring innovation to service delivery. The competitive pressure they bring  may also prompt improved PES performance.  134   Furthermore,  Jacobi  and  Kluve  (2007)  show  that,  in  East  Germany,  those  who  found  a  job  using  a  placement  voucher  remain  in  employment  for  a  significantly  shorter  period  than  those  who  did  not  use  placement vouchers.  135  See Finn (2011).   79  labor  market.  They  typically  address  only  a  few  labor  market  niches  and  will  offer  more  proactive  employment  policy  by  tailoring  it  towards  labor  demand.  They  are  often  more  likely  to  operate  in  large  metropolitan  areas.  In  the  absence  of  public  regulation,  private  employment services may tend to concentrate on the beneficiaries that are easier to place,  i.e.,  “creaming  off�.136  This  is  especially  a  problem  when  services  are  being  contracted  by  the  government  to  work  with  SSN  beneficiaries.  One  way  to  avoid  this  tendency  is,  for  example,  through  the  differentiated  fee  structure  for  the  different  categories  of  clients  served.   Performance�based  contracts  are  needed  to  promote  the  accountability  of  the  service  providers,  leading  to  increased  and  more  sustainable  employment  outcomes.  In  many  developed countries, the contracts with private providers typically include a performance� based element providing placement incentives for the service providers.137 In Germany and  the United Kingdom, performance�based contracts are also a function of the sustainability  of  the  jobs  obtained.  The  German  voucher  system  entitles  the  jobseeker  to  use  a  private  agency.  If  the  placement  results  in  employment,  the  agency  receives  payment  in  the  beginning of employment with the remaining being paid only after six months of the start of  the employment period.138 The British Jobcentre Plus also pays contractors on the basis of  the job outcome and the sustainability of jobs  after 13 to 26 weeks following start of the  employment. In Australia, performance�based contracts also differentiate across the easiest  and hardest clients to serve.139  Advanced  MIS  and  M&E  systems  complemented  with  high  technical  staff  are  necessary  ingredients  for  developing  more  effective  employment  services.  Planning  and  decision� making in the most effective employment services are supported by advanced management                                                               136  For some years, the Jobcentre Plus in the United Kingdom focused on the hardest to place and lower skilled  individuals  while  private  agencies  selected  to  the  more  educated.  This  has  now  changed  with  other  subcontractors, like Action for Employment (A4E), also dealing with the hardest to place.  137  The rationale is to cover the financial costs of the service provided but provide an incentive for placement  through a bonus (which is a function of the placements).  138  See Schneider (2008).  139  Tergeist  and Grubb (2006) show that in Australian payments are higher for the long term unemployment  than for the short term unemployed clients.  80  information systems, based on unified registries and producing real�time data for managers.  The labor market monitor pilots in Germany are a recent “innovation� in this field, and look  for  promising  ways  of  diagnosing  current  and  near�future  skills  needs.  Job  intermediation  and  counseling  need  to  be  supported  by  effective  information  systems  sharing  data  on  available job vacancies. Staff also needs to be proficient in the evaluation of what are the  most  biding  constraints  to  employability.  The  Bank  experience  in  many  Eastern  Europe  countries  shows  that  limited  resources  and  difficulty  in  defining  a  meaningful  set  of  traceable  indicators  are  important  obstacles  to  building  stronger  monitoring  systems.  Although more work is needed in identifying the best indicators, evidence from the United  States  shows  that  attention  should  go  both  to  the  performance  of:  (i)  individual  and  regional  offices,  and  (ii)  individual  programs  and  providers.  Finally,  rigorous  scientific  evaluations  of  program  effectiveness  are  needed  to  be  able  to  continuously  optimize  programs  on  the  basis  of  microdata  and  evidence.  This  was  recognized  early  by  German  policymakers  vis�à�vis  the  recent  Hartz  reforms,  which  implemented  a  corresponding  evaluation mandate.140  Entrepreneurship Support Interventions  Entrepreneurs boost the economy by exploiting new ideas and business models in order  to turn a profit. Although the evidence is still scarce, this section reviews some of the most  promising programs aiming to foster entrepreneurship. Entrepreneurship support programs  typically package both training on entrepreneurial�related skills with some financial support  (either  in  credit  or  grants).  They  can  be  targeted  to  the  inactive  or  unemployed  or  to  existing  low  productivity  self�employed  workers.  Especially  among  OECD  countries,  entrepreneurship education and training is starting earlier in life, often while the youth are  still in the formal schooling system. This type of preventive active labor market program has  been implemented in Tunisia and Colombia, and we review this experience. Finally, we also                                                               140  See Jacobi and Kluve (2007) and Fahr and Sunde (2009). The Hartz reforms are the first major reform in the  history of the German welfare state that is accompanied by a comprehensive scientific evaluation on behalf of  the  government.  The  process  started  with  two  pilot  studies  developing  a  conceptual  framework  for  the  evaluation  and  subsequently  was  put  out  to  tender.  Currently  more  than  20  economic  and  sociological  research institutes with about 100 researchers are involved in the evaluation.  81  discuss  briefly  microfranchising  programs,  a  promising  and  innovative  way  of  promoting  entrepreneurship  in  the  developing  world.  Microfranchising  programs  provide  comprehensive  support  to  existing  small  entrepreneurs  and  small  businesses  with  the  ultimate  objective  of  replicating  existing  successful  businesses  in  other  settings/regions.  Even  though  there  are  many  other  examples  of  entrepreneurship  support  programs,  including  joint  ventures,  business  expansion  programs,  support  to  technology  transfer,  small business networks, and associations and business incubation, we do not cover them  here.141  In  low  income  settings  with  large  informal  sectors,  promoting  and  supporting  entrepreneurship and self�employment is often the most promising approach to promote,  in  the  short  run,  sustainable  employability  and  productivity  of  the  most  vulnerable.142  Most  entrepreneurship  support  programs  include  business  trainings  tailored  to  self� employment activities. In addition, they may be complemented with other business services  and/or  access  to  credit.  In  low�middle  income  countries,  with  very  large  informal  sectors,  the training is often targeted to craftsmen and their apprentices, where the focus is on the  use  of  improved  production  techniques  that  are  better  adapted  to  market  demands.  This  type of entrepreneurship program for unskilled youths has several advantages: it provides  trainees  with  flexible  and  demand�driven  skills,  and  tends  to  be  self�regulating.  The  low  take�up  rates  of  often  expensive  entrepreneurship  support  programs  in  many  countries,  including  among  the  unemployed,  shows  that  they  are  unlikely  to  be  implemented  on  a  large scale as a reaction to structural unemployment.  In  the  OECD  and  higher  income  settings,  governments  work  with  private  sector firms  in  the  promotion  and  support  of  startup  businesses  through  multiple  entrepreneurship  education and training programs often combined with financial assistance. An example of                                                               141   The  World  Bank  has  several  ongoing  analytical  projects  in  entrepreneurship  including:  Margolis  et  al.  (2011), Lederman et al. (2011), and World Bank (2010d).  142  Evidence for Latin America actually suggests that the self�employment rates naturally decline with the level  of  development  probably  as  the  opportunity  cost  of  higher  labor  productivity  in  salaried  work  goes  up.  Therefore, in the medium and longer run the question of whether policy should target more entrepreneurs  more generally or fewer but with higher quality is still pertinent.   82  a  successful  program  combining  entrepreneurship  education,  business  counseling,  and  financial  assistance  is  the  project  in  the  United  States,  Growing  America  through  Entrepreneurship  or  “GATE�.143  A  randomized  evaluation  found  that  the  enrolment  in  the  program  increased  the  likelihood  of  owning  a  business  by  3  to  5  percentage  points  (see  Benus  et  al.  2009).  Enrolment  is  also  associated  with  higher  earnings  in  the  long  run.  Interestingly, there is evidence that the impact on business ownership was higher for those  receiving the unemployment insurance at the moment of application.  Entrepreneurship Trainings and Financial Support  The  most  successful  programs  complement  entrepreneurship  trainings  with  access  to  microcredit or grants and with a number of other services. The most effective programs also  tend to complement training with grants or credit, providing the means of either starting up  a  small  business  or  increasing  the  productivity  of  an  existing  business.  In  addition,  entrepreneurs  need  creativity  and  managerial  skills  that  enable  them  to  “sort  out  good  ideas from bad ones, find the resources and means to create a prototype, and take the idea  through  its  growth  phases.�144  Therefore,  these  programs  usually  include  a  wide  range  of  entrepreneurial�related  skills,  covering  basic,  technical,  but  also  behavioral  skills.  Among  these  are  specific  business  skills  including,  mentoring,  marketing  or  bookkeeping,  and  life  skills training (including counseling to improve risk behavior). As discussed above, program  success heavily depends on the specific course content.  The  sparse  rigorous  evidence  to  date  suggests  that  more  comprehensive  programs,  including  both  human  and  financial  support,  are  most  effective,  although  their  cost�                                                              143   For  a  detailed  review  of  the  program  see  Benus  et  al.  (2009).  GATE  was  implemented  in  three  states  between  2003  and  2005.  It  served  employed  and  unemployed  individuals  interested  in  creating,  sustaining  and expanding a small business. The program provides the applicants an initial assessment of their business  needs, classroom training, one�on�one business counseling, and assistance in applying for business financing.  Individuals  interested  in  the  program  could  apply  at  any  GATE  kiosk,  a  one�stop  career  center  providing  employment services. They also could apply through email, mail, or phone. Following application, individuals  were invited to attend an orientation session explaining the positive and negative aspects of self�employment.  After  the  beneficiary  has  been  assessed,  the  application  is  considered  complete  and  the  beneficiary  is  considered eligible to receive GATE services.  144  See Banerji et al. (2010).  83  effectiveness  is  still  questionable.  These  provide  a  combination  of  business  management  and  leadership  skills,  financial  literacy,  and  microcredit  and/or  insurance  schemes.  Recent  work  in  Peru  evaluated  FINCA,  a  lending  program  serving  poor  women  with  little  formal  education.  FINCA  added  a  short  module  of  business  training  to  its  existing  microfinance  clients, and a randomized experiment found that entrepreneurship skills training increased  new  entrepreneurs’  business  knowledge,  improved  their  business  practices,  but  failed  to  produce  a  higher  level  of  productivity  in  the  short  run.  Similar  evidence  is  available  for  Bosnia�Herzgovina.145 A recent evaluation that focused on poor women in Sri Lanka has also  shown  that  International  Labor  Organization  (ILO)  entrepreneurship  trainings  alone  are  effective in improving business practices; however, only when trainings are complemented  with grants are they able to increase in the short run firm sales or productivity.146 Evidence  from Argentina also shows that entrepreneurship support and micro�grants can be a good  tool  to  foster  a  more  sustainable  living,  especially  for  women  beneficiaries  of  social  assistance.147 Furthermore, the Argentina program has also shown that these interventions  tend  to  be  more  effective  for  beneficiaries  with  previous  self�employment  experience  or  experience in the sector through another job.   The  World  Bank  currently  supports  a  number  of  promising  projects  in  low  income  settings, particularly targeted to the unskilled and at�risk youth. Unskilled youth, relative  to the general population, have specific limitations vis�à�vis self�employment. Youth tend to  have limited life and work experience, limited financial resources, and fewer networks and  contacts. The Bank is currently supporting a number of initiatives targeted to youth. These  include, for example, the adolescent girls initiative in Afghanistan, Liberia, Nigeria, Rwanda,  and  South  Africa.  The  Northern  Ugandan  Social  Action  Fund  (NUSAF)  entrepreneurship  support program and the Entrepreneurial Support for Vulnerable Youth in Malawi are other                                                               145  Karlan and Valdivia (2011) studied the impact of training on women through a microfinance project in Peru  and found improvements in business practices as well as a rise in sales during bad seasons. Similarly, Bruhn  and  Zia  (2011)  measured  the  impact  of  business  training  for  female  microfinance  clients  in  Bosnia� Herzegovina,  finding  some  improvements  in  business  practices  but  no  increases  in  business  profits  or  in  business survival rates.  146  See De Mel et al. (2011).  147  See Almeida and Galasso (2010).  84  examples.148 In order to jumpstart self�employment, many of these interventions combine  trainings  with  some  sort  of  business  support  or  financial  support,  either  in  the  form  of  grants  (cash  or  in  kind)  or  microcredit.  Unfortunately  few  interventions  have  been  rigorously  evaluated  and  many  open  questions  remain  regarding  their  optimal  design  and  implementation.149  Box 11: Promoting Entrepreneurship among Youth in Uganda: NUSAF  The  Youth  Opportunities  Program  (YOP)  was  launched  by  the  Government  of  Uganda  in  2005  as  a  component of the Northern Uganda Social Action Fund (NUSAF). The YOP currently provides trainings to  unemployed  youth  through  vocational  skills,  trade  skills,  leadership  abilities,  community  reconciliation,  and conflict resolution. The program is targeted to the most vulnerable unskilled youth (aged 15�35 years  old) who are unemployed or under�employed. The Program covers 29 of the most vulnerable districts of  Northern  Uganda,  facing  low  access  to  education  and  health  services,  physical  insecurity,  political  instability, and geographical constraints to reach the area of commercial activities.  The  vocational  trainings  focus  on  skills  that  are  relevant  to  start  small  business.  The  youth  are  asked  to  gather into small groups and identify a common vocational skill of interest, a vocational training institute,  and apply for cash transfer up to USD 10,000. The cash is directed to a community bank account. These  funds are used to enroll in vocational training, buy training materials, and provide tools and start�up costs  to  start  trading  after  graduation.  Other  activities  offered  are  life  skills  (family/kin  support,  self�esteem,  depression & stress management, and self�reported health) and psychosocial counseling, and monitoring  services through the provision of additional payment assigned to groups to hire a monitoring advisor. The  advisor  is  expected  to  provide  guidance  on  monitoring  services  in  order  to  improve  the  capacity,  and  maintain empowerment to youth. The World Bank is currently supporting the evaluation of this program.  Preliminary results show a positive impact of the YOP program on Vocational Training and Business Inputs  in  the  beneficiaries  as  opposed  to  the  control  group.  Furthermore,  the  program  has  caused  a  positive  impact  in  the  participation  of  youth  in  the  number  of  group  memberships  (35%)  and  in  social  support  (43%). For gender disaggregated impacts, the impact of the YOP total profits increased in 52.3% for men  and 18.8% for women. Returns on investment were registered as 2.9% per month or 35% per year.  Sources: Bigirimana and Namara (2010) and Muzi et al. (2011)                                                                 148  Entrepreneurship training interventions targeted to adolescent girls and young women (ages 16�27) aim to  increase employment, income, and well�being as well as contribute to improving the incidence of victimization  and risky behaviors (e.g., sexually transmitted diseases and teenage pregnancy). The activities developed by  these interventions include training of technical sills, professional and non�cognitive skills, mentorship, and life  skills.  The  Apprenticeship  Training  Program  and  Entrepreneurial  Support  for  Vulnerable  Youth  in  Malawi  (Technical  and  Vocational  Skills  Training  (TVST)  for  Orphan  Vulnerable  and  Affected  Youth  (OVAY))  aims  at  providing  training  and  entrepreneurial  support  to  vulnerable  youth  (orphans  and  out�of�school)  in  order  to  enhance their employability and earning potential, and to reduce their high risk behavior that increases HIV  infection.  149  For more information on skills programs in Africa see, Johanson and Van Adams (2004), Garcia and Fares  (2008), and Rother (2007).  85  Several  challenges  remain  in  the  scaling  up  of  entrepreneurship  support  for  the  less  skilled,  ranging  from  the  ad  hoc  nature  of  most  of  these  programs  to  the  small  take�up  rates  of  the  reduced  business  support  structures  in  most  countries.  Entrepreneurship  education  is  likely  to  become  more  effective  if  it  becomes  integrated  into  the  school  curricula  at  different  schooling  levels.  Small  and  fragmented  efforts  are  likely  to  be  insufficient  to  build  a  stronger  entrepreneurial  culture.  In  many  countries,  the  business  support  infrastructure  is  usually  limited,  typically  including  small  business  development  centers  providing  counseling,  advisory  and  business  planning  services,  and  access  to  financial  and  technological  resources.  Program  take�up  in  low  income  settings  is  also  a  major challenge. Evidence from recent evaluations also shows that when programs offer an  attractive daily stipend that compensates for travel costs and any foregone income take�up  rates are higher.150  Especially  in  low  income  settings,  program  administration  is  most  successful  when  capacity building and collaboration across different players is strong. Having an involved  government, NGOs, and the private sector in the implementation of the program produces  better effects than administration arrangements based solely on a centralized government  administration  and  implementation.  To  succeed  programs  also  require  adequate  funding,  well�trained  and  properly  supported  staff,  and  an  operational  style  that  is  flexible,  adaptable,  and  responsive  to  the  needs  of  young  women  and  men  in  each  country.  One  good  example  of  this  is  the  Benin  Support  Project.  The  program  reached  20,000  beneficiaries  and  focused  on  the  informal  sector,  especially  on  women  entrepreneurs.  In  the  agricultural  sector,  training  components  aimed  at  increasing  the  competitiveness  of  small  producers  and  improving  their  purchasing  power.  For  craftsmen  and  their  apprentices,  training  components  focused  on  strengthening  productivity  of  micro� enterprises,  including  enhancing  capacity  for  the  adoption  of  improved  production                                                               150  Mass media coverage may be a very effective tool for creating widespread awareness of entrepreneurship  in  society  and  increasing  its  legitimacy.  Media  coverage  about  the  role  of  entrepreneurship  and  entrepreneurial  activity  in  general  may  also  stimulate  discussion  to  demystify  and  raise  awareness  of  the  entrepreneurial process. In some regions of the world, role models could also be used to inspire and motivate  other youth.  86  technology  to  better  respond  to  market  demand,  while  encouraging  a  transition  to  the  modern  sector.  About  40%  of  the  project  financing  (USD  2.1  million)  was  dedicated  to  capacity  building  for  the  institutions  involved  in  the  project.  The  project  also  featured  a  marketplace  for  training  proposals,  leading  to  a  more  competitive  selection  process.  In  addition, the analysis of specific training needs and skills mismatches in selected areas lead  to more targeted training curricula, hence better matching the demand and supply in the  labor  market.  Finally,  the  field  supervision  of  the  impact  of  the  program’s  different  subcomponents  helped  policymakers  select  the  right  program  components  and  adjust  in  real�time.  Countries differ widely in the access to microfinancing and seed capital, which are a core  component in the development of successful entrepreneurship among vulnerable youth.  Countries differ markedly in the wide range of government assistance, the choice between  loans  and  equity,  and  the  extent  to  which  public  policy  directly  minimizes  information  asymmetry  in  this  market.  Some  governments  engage  directly  in  SME  financing  programs  through  grants  and  subsidies,  while  others  play  an  indirect  role  preferring  financial  resources  to  be  allocated  through  the  market  mechanism.  Diverse  financing  measures  include  the  creation  of  small  business  banks,  loan  guarantee  schemes,  microloan  funds,  research  and  development  seed  capital  programs,  venture  capital  funds,  angel  investor  networks,  investment  tax  credits,  start�up  grants  for  unemployed  persons,  and  financing  information  programs.  In  most  countries,  the  trend  is  gradually  shifting  from  grants  and  subsidies  to  repayable  loans  and  equity  arrangements,  from  formal  venture  capital  to  informal angel investments, and reducing the cost of small business lending by simplifying  loan approval procedures, using online applications and credit scoring techniques, and pre� qualifying loan approval.  Entrepreneurship Education in Formal School System: A Preventive Activation Policy  Shaping a successful entrepreneurial culture is a deep and complex process, and the main  and most successful channels to drive it remain controversial. Changing an entrepreneurial  87  “spirit� of a country necessarily involves changing values, aspirations, and cultures. This is  inevitably a long�term and complex process. Developing countries are only now starting to  take  the  first  steps  with  specific  initiatives  to  create  positive  attitudes  towards  entrepreneurship  and  entrepreneurs.  Best  practice  countries  in  this  field  are  Australia,  Canada, and the United States. There entrepreneurship is promoted through a combination  of  approaches  including  the  promotion  of  role  models,  entrepreneurship  events,  competitions,  and  awards  together  with  an  explicit  target  of  promoting  entrepreneurship  through  education.  The  early  evidence  on  the  effectiveness  of  these  programs  is  positive,  although  this  is  not  always  the  case.  For  example,  a  recent  evaluation  of  the  Junior  Achievement  Young  Enterprise  student  mini�company  (SMC)  shows  that  the  self�assessed  entrepreneurial  skills  and  intentions  of  beneficiaries  are  close  to  non�beneficiaries.  However, these results can be perceived as the students having a more realistic perception  of themselves in becoming entrepreneurs.151  In OECD countries, enterprise and entrepreneurship education programs are increasingly  proliferating in the formal education system, while youth are still in schools, colleges, and  universities.  For  example,  in  the  United  States  in  2000,  more  than  1,500  colleges  and  universities  offered  some  form  of  entrepreneurship  training.  More  than  100  active  university�based  entrepreneurship  centers  were  established  and  more  than  270  endowed  positions in entrepreneurship were created. Moreover, we observe a clear move towards a  holistic  approach  focusing  on  introducing  entrepreneurial  curricula  at  several  educational  levels – starting from basic through to secondary and tertiary education.152 For example, the  German EXIST competition program promotes entrepreneurial environment in universities  through  skills  promotion  and  support  for  technology,  and  grants  to  startup  self�owned  business. The grant aims at encouraging university students to develop business plans and                                                               151  Oosterbeek et al. (2008). The program has been implemented in 40 European countries and more than 2  million students have benefited. It aims to teach secondary school and college students to put in practice the  theory on entrepreneurial skills acquired during in�class training.  152   In  2004,  the  European  Commission  proposed  introducing  entrepreneurship  into  the  national  curriculum  from primary school to the university. One of five key actions to foster entrepreneurial mindsets should be the  introduction of  entrepreneurship  into  the national (or  regional) curriculum  at  all  levels  of  formal  education,  either as a horizontal aspect or as a specific topic.  88  convert them into real products and services.153 The evaluation of the program showed that  program  participation  increased  competencies  and  entrepreneurial  intentions  among  the  students  participating  in  the  program.154  The  intervention  is  considered  an  effective  educational method to entrepreneurship training and is well accepted not only by students  but  also  by  trainers  and  managers  of  companies  involved  in  the  competition  as  jury  members.155  Developing  countries  are  also  increasingly  interested  in  promoting  entrepreneurship  in  the  graduate  curricula  and  some  are  adopting  innovative  projects  at  different  stages  of  formal  schooling.  The  development  of  business  plans  and  business  plans  competitions  among  university  graduates  has  become  a  popular  way  of  promoting  entrepreneurial  culture  among  OECD  countries.  One  important  aim  of  this  type  of  programs  is  the  promotion of entrepreneurship as a viable career path for educated youth. Learning about  business development, administration, and management as well as learning the necessary  skills, attributes, and behaviors creates positive attitudes towards entrepreneurship and will  likely  impact  the  decision  to  become  an  entrepreneur.  Although  in  many  developing  countries,  there  are  still  major  cultural  barriers  to  entrepreneurship,  especially  among  women,  countries  like  Colombia,  Tunisia,  and  some  Central  American  countries  are  investing in the promotion of business plans. Winners of business plan competitions usually  receive honors and some start�up credit to develop their own enterprises. The World Bank  is  currently  supporting  the  Government  of  Tunisia  in  the  first  rigorous  evaluation  of  this  type of program around the world (see Box 12).156                                                               153  See Federal Ministry of Economics and Technology of Germany (2011). Students receive a grant between  800  to  2,500  Euro  per  month  to  cover  living  expenses  for  a  year,  between  10,000  and  17,000  Euro  for  materials and equipment, funding for coaching of 5,000 Euro, and child benefits of 100 Euro if it applies.  154  See Auchter et al. (2010).  155  Ibid.  156  See Klinger and Schündeln (2007).  89  Box 12: Business Plan Competitions in Tunisia: Promoting Self�employment   Among Skilled Youth  Pressured with high unemployment among university graduates (reaching 22% in 2009), Tunisia reformed  the  education  system  so  that  graduate  students  could  graduate  with  a  business  plan  instead  of  a  more  academic  thesis.  The  program  aims  at  enhancing  graduates’  employability  and  entrepreneurial  skills  through  writing  a  business  plan  as  their  thesis  to  startup  an  enterprise  project.  The  business  plan could  then apply to a business plan competition denoted Concours de plans d’affaires entreprendre et gagner.  Winning  students  receive  monetary  prizes.  The  implementation  of  the  program  is  done  through  cross� sectoral  cooperation  between  different  institutions:  Ministry  of  Vocational  Education  and  Employment,  Ministry  of  Industry,  Ministry  of  Higher  Education,  and  the  self�employment  directorate  of  the  public  employment office (ANETI). The latter has general oversight.  All  students  in  the  final  year  of  a  licence  appliquéein  162  university  programs  across  Tunisia  can  participate. During the final academic semester, students receive training courses on entrepreneurial skills  through the public employment office, supervision from university professors, and external private sector  coaching from entrepreneurs or professionals from an industry relevant to the student’s business idea. At  the end of the academic year, a jury at the regional and national level formed by academics, employment  offices officials, and representatives of the private sector select 50 thesis among which 20 receive a grant  and some follow�up from local start�up offices. In the academic year 2009�2010, a total of 1,702 students  applied  (approximately  10%  of  the  total  students).  About  two  thirds  of  the  winners  were  women  with  projects  in  the  service  sector  such  as  elderly  care,  educational  activities  for  children,  fashion,  interior  design,  tourism,  and  recycling.  On  the  other  hand,  men  winners  presented  business  plans  in  computer,  technical,  or  production  areas  such  as  computer�based  architecture,  solar  energy,  construction,  and  computer networks.  The World Bank is supporting the intervention and the evaluation. Results show that students have very  high expectations for the program. Three fourths of the students thought it would help them find a job  and earn higher earnings. More than half of the applicants were women and more than two thirds of the  applicants  have  had  some  past  professional  experience,  some  of  which  was  related  to  the  field  of  the  project. Another appealing fact is that 74% of the students show high willingness to takes risks in the labor  market. After the business plan competition, students reveal new aspirations and goals for the future, as  well as a higher willingness to create their own enterprise: A young entrepreneur from Tunis explained his  success  during  the  training,  “Now  I  want  to  do  better.�  Preliminary  results  show  that  the  program  significantly fostered self�employment both among males and females.  Sources: Almeida et al. (2011), Brodmann et al. (2011) and World Bank (2010d).    In  many  regions,  entrepreneurship  programs  are  offered  by  private  and  non� governmental  agencies.  In  some  regions,  like  the  Middle  East  and  North  Africa,  some  entrepreneurship  programs  are  implemented  by  NGOs,  donors,  and  multilateral  agencies.  Most of them work independently but in a few cases they are implemented in collaboration  with  the  government.  One  interesting  example  is  the  Know  About  Business  Program,  90  implemented in Syria by Shabab and the Ministry of Education. The program has provided  entrepreneurial  education  and  training  to  thousands  of  young  people  since  2006.  It  is  targeted  to  youth  from  all  income  groups  and  provides  entrepreneurial  skills  to  startup  a  business  and  to  work  productively  in  SMEs.  The  program  offers  100  hours  of  training  in  secondary schools, universities, and vocational education institutes. Teachers are trained by  the local non�profit organization Shabab, which is trained by the ILO. The program has been  provided  to  men  and  women  in  both  urban  and  rural  areas.  Findings  from  a  recent  evaluation show that the program had a significant effect in the learning of participants. For  example, self�assessed knowledge about business is higher for participants. Proxies for the  participants’  impressions  about  the  role  of  small  business,  attitudes  towards  entrepreneurship,  and  perception  about  obstacles  while  starting  up  a  business  are  also  higher.157  SME Trainings and Microfranchising  A  promising  intervention  targeted  to  the  most  vulnerable  are  the  microfranchising  programs providing a more comprehensive support to entrepreneurs and small business.  The  main  purpose  of  microfranchising  is  to  replicate  a  successful  business  in  another  setting/region.  Due  to  this  replication,  there  is  usually  a  lower  risk  of  failure.  Microfranchising could be an interesting tool especially for those that are more risk averse.  The  down  side  is  that  it  usually  requires  greater  implementation  capacity  and  larger  investments.  Small  firms  taking  part  in  a  microfranchising  network  may  increase  their  productivity as a result of the economies of scale achieved through the joint purchases of  inputs,  the  investment  in  sector�specific  job  trainings,  or  marketing  strategies.  The  international  experience  shows  that  microfranchising  has  been  used  for  a  large  variety  of  products  and  services.  Some  examples  include  ice  cream  brands,  pharmaceutical  drugs,  solid waste collection, domestic service, phone services, and the provision of water.                                                               157  See Angel�Urdinola et al. (2010).  91  The main components for the microfranchising programs generally include business specific  trainings,  soft  skills  training,  microfinance,  and  mentoring.  The  specific  content  of  the  program depends on the constraints faced by the beneficiaries (e.g., rural settings, unskilled  individuals,  or  women).  Microfranchising  programs  tend  to  be  implemented  jointly  by  NGOs,  microfinance  institutions,  and  private  companies.  The  role  of  the  implementing  organization  might  be  to:  (i)  create  a  microfranchise  themselves;  (ii)  invest  in  an  existing  microenterprise  and  support  its  replication;  and  (iii)  build,  own,  operate,  and  transfer  to  promising microfranchisees.  Box 13: Vodacom Community Services in South Africa    A  microfranchising  program  that  has  contributed  to  rural  connectivity  and  local  business  development  through  the  use  of  cell  phones  is  Vodacom  in  South  Africa.  A  joint  venture  between  the  state�owned    Telkom  and  the  UK�based  private  company  Vodafone,  Vodacom  was  granted  a  license  to  build  and  operate a cellular network in 1993. Vodacom was required by the South African government to provide    affordable  phone  services  to  underserved  areas.  In  order  to  expand  the  services  to  these  areas,  the  company used microfranchising as a business model. By 2007, the entrepreneurial program had reached  over  1,800  owners  and  over  4,400  phone  shops  nationwide.  The  main  elements  of  this  program  are    described in the following figure.    Figure 7:Elements of Vodacom Community Services Program in South Africa  I. Selection of Franchises Representatives II. Training & Support   Selection of interested individuals in managing  � Technical and administrative support  for new  shops based on the following criteria: and existing franchisees.  � Be South African citizen of minimum 21 years    old. � Business training covering goal setting, profit  maximization, financial statement development,  � Convey business acumen and entrepreneurial  staff salaries and expenses, and human  spirit. resources management (jointly with training  � Sufficient funding to cover star�up costs. firms). � Propose feasible site. IV. Revenues III. Start�up Costs for Franchises � Phone shops offer phone service at  � Prospective owners  start a franchise to  government�mandated prices set  operate five cellular lines in preapproved  Program  below commercial rates. location  (cost: USD 3,450 to cover  Elements � Phone shop located centrally in a  equipment and transportation) typical township generates average  � Vodacom provided funding to cover start� revenues of approximately USD 1,190  up costs  at beginning of the program, but  per month for the owner and twice  after a while stopped providing credit. that for Vodacom. Sources: Jones et al. (2007).  92  V.  LOOKING FORWARD: BUILDING A KNOWLEDGE AND OPERATIONAL  AGENDA  This  paper  has  developed  a  simple  conceptual  framework  identifying  some  of  the  main  constraints  and  barriers  to  productive  work  and  selectively  reviewed  some  of  the  most  relevant  policy  instruments  (incentives  and  programs)  in  developing  countries  to  address  them.  The  review  has  highlighted  the  typology  of  incentives  and  programs  around  the  world,  reviewed  the  evidence  on  its  effectiveness,  and  identified  key  issues  in  terms  of  design and implementation (e.g., governance, financing, administration, M&E, and IT).This  section summarizes the main messages and discusses the main implications for the World  Bank’s work on social protection and labor.  5.1  Main Messages  The ongoing activation and graduation agendas call for more integrated social protection  and  labor  systems.  In  essence,  both  of  these  agendas  are  bringing  together  social  insurance,  social  assistance,  and  active  labor  market  programs.  Unfortunately,  in  most  middle  and  low  income  countries,  social  protection  systems  are  fragmented  with  little  articulation  between  functions  and  lack  a  coherent  framework  to  design  and  implement  active labor market programs. Good examples of strong articulation between welfare and  employment  systems  are  still  very  rare.  Exceptions  include  the  examples  reviewed  in  the  paper,  as  Chile  (through  Chile  Solidario)  or  Argentina  (through  different  activation  programs). Systems that promote the integration of social insurance, social assistance, and  active labor market programs will enhance not only their performance but also the overall  provision of social protection. Furthermore, operating costs are likely to be lower as more  integrated  programs  share  resources  and  tend  to  have  more  efficient  management,  administrative, and financing arrangements due to their larger scale.  The  large  variation  in  activation  and  graduation  policies  around  the  world  shows  that  there is a “no size fits all� solution to the activation and graduation agenda. The interplay  93  of  several  factors  should  be  considered  when  thinking  about  the  optimal  design  of  activation and graduation policies. These include the size of the informal sector, the nature  of the job loss, the size and complexity of the country’s social protection system, the design  and  implementation  arrangements  of  income  support  programs,  the  country’s  administrative capacity, the profile of the beneficiaries, and, not least, the political economy  context.  Last,  but  not  the  least,  there  is  a  critical  dependence  of  the  impacts  of  most  activation  interventions  on  broad  labor  market  conditions,  particularly  the  dynamism  of  labor demand.    In MICs, where the supply of employment services and programs is more developed and  the  administrative  capacity  to  monitor  incentives  is  higher,  the  most  successful  approaches  to  promote  employability  and  productivity  are  based  on  integrated  employment  services,  with  strong  results�based  management  system,  where  activation/graduation  measures  are aimed  at  both  the  unemployed  and  social  welfare  recipients and where offices can be held accountable for their performance.   Often  programs  are  also  targeted  to  informal  sector  workers  who  are  not  eligible  for  formal  insurance  and  who  do  not  benefit  from  social  assistance.  Challenges  remain  though. The coordination and inter�institutional dialogue across different ministries and  implementing agencies is probably among the most important one.   In LICs and fragile countries, the widespread labor informality and a more constrained  labor  demand  set  the  policy  and  labor  market  context.  In  addition,  in  LICs,  programs  tend to be more difficult to administer because many of the targeted population live in  rural areas or urban slums where the poorest are harder to reach, connect, and track.  Some  of  the  main  constraints  to  the  design  of  effective  programs  are  the  insufficient  means to identify the most vulnerable, disconnection from the banking system, seasonal  migration, and low levels of literacy and access to information. There, the most common  approach to promote higher employability and livelihoods is through more “active� and  integrated  social  programs,  focusing  on  productivity  enhancement  of  beneficiaries  through  asset�building  together  with  other  services  and  better  designed  incentives.  In  94  LICs and fragile countries, social protection programs tend to be ad hoc, duplicative, and  inconsistent  across  or  even  within  agencies.  Donor  coordination  is  also  a  common  challenge.  Successful  activation  policies  place  strong  emphasis  on  the  assessment  of  the  beneficiary’s main constraints to employability, through beneficiary profiling and program  customization.  Activation  and  graduation  policies  are  targeted  to  a  very  diverse  set  of  individuals, with different needs and constraints. The latter includes the lack of appropriate  skills (cognitive, non�cognitive, and technical), incomplete or no information (poor signaling  and lack of networking), working capital constraints, and mobility restrictions. The diversity  of needs of unemployed and poor workers requires a comprehensive service model in with  a  diverse  set  of  activation  measures  tailored  to  these  needs  (by  combining  training  with  work  experience  and  employment  services,  cognitive  with  non�cognitive  training,  training  with  personalized  counseling,  and  customized  job  search  assistance).  The  development  of  an  “individual  action  plan�  laying  out  the  activation  programs  and  services  promoting  individual  employability  is  now  current  practice  in  many  OECD  countries.  For  example,  in  Germany, the Netherlands, and the United Kingdom public employment offices adopt this  approach  to  an  early  identification  of  major  constraints.  Increasingly  programs  in  middle  income countries are following this trend.  Effective  activation  policies  need  to  pay  attention  to  incentive  compatibility.  A  fundamental  issue  when  trying  to  activate  the  dependents  of  public  transfers  is  the  incentives  built  in  their  design.  In  MICs,  with  developed  unemployment  insurance  and  complex  social  assistance  systems,  the  main  concerns  are  to  “activate�  beneficiaries  by  introducing  measures  that  would  prevent  inactivity  traps  and  to  minimize  the  risk  of  unintentionally increasing the attraction of the informal sector. In LICs, policymakers need  to  address  the  possible  dependency  effects  of  safety  net  benefits  and  the  challenges  of  recurrent costs under constrained budgets. Various activation policies have been conceived  and  implemented  to  mitigate  disincentive  effects  of  income  support  schemes.  The  most  common relate to: (i) program design features (duration and level of benefit payments); (ii)  95  co�responsibilities  (job  search  and  other  requirements  combined  with  monitoring  and  sanctions);  and  (iii)  financial  incentives.  The  impact  of  these  schemes  is  not  yet  well  assessed, and evidence is scarce, especially for non�OECD countries. For social safety nets  beneficiaries,  the  evidence  suggests  that  limited  benefit  duration  and  decreasing  level  of  benefits  are  not  effective  policies  if  not  accompanied  by  complementary  employability/graduation measures. The use of co�responsibilities is increasingly attractive  for  countries  where  the  administrative  capacity  and  supply  of  job  intermediation  and  training  services  exist.  In  countries  where  public  employment  services  are  not  available,  their role may be substituted with the use of social workers or social promoters.  The  success  and  sustainability  of  activation  programs  depends  deeply  on  their  implementation arrangements, including governance, financing, and administration. Even  though  it  is  hard  to  draw  overall  conclusions,  some  patterns  emerge  and  many  open  questions remain.   To  improve  the  governance  of  programs,  it  is  important  to  balance  roles  and  responsibilities  between  the  central  and  local  levels  In  order  to  give  local  service  providers the managerial flexibility to identify needs of the local labor markets. It is also  crucial  to  build  institutional  capacity.  For  instance,  strengthening  the  coordination  of  multiservice  programs  can  reduce  operational  costs.  In  many  LICs,  community  participation for accountability and transparency of programs has been determinant to  their success.   Greater support of performance�based contracts in activation programs represents also  an  important  recent  shift.  This  implies  a  move  away  from  financing  merely  program  inputs  (including  infrastructure  for  training  centers,  curriculum  development,  and  materials)  to  funding  the  outputs  (often  measured  by  the  number  of  beneficiaries  placed  in  a  job  after  the  completion  of  the  program).  At  the  national  level,  most  activation  programs  are  still  financed  exclusively  through  government  support  or  subsidies,  with  financing  in  LICs  relying  more  on  donors  and  NGO  support.  Looking  96  ahead, the sustainability of these systems will imply a more self�contributory approach  especially for the more skilled who can afford to pay.   Private  sector  involvement  in  the  design  of  activation  programs  may  be  increasingly  linked  to  program  success.  For  example,  demand�driven  training  programs  where  training content is linked to the workplace seem to be more effective, as the provided  skills are those with higher chances to match private sector employers’ labor demand. In  addition, encouraging a “market� for program provision has been generally associated  with greater cost effectiveness, lower pressure on public budgets, and a wider array of  services. Unfortunately, evidence is still very thin in this area. Furthermore, challenges  are also involved, including the design and enforcement of contract execution.   Improving monitoring and evaluation systems is critical for better planning and decision� making. A key factor behind good performance is having a results�based management  system where the local units can be held accountable for their performance. Programs  need to be adjusted and optimized continuously, and this can only be done if real�time  data  are  available  on  operations  and  performance.  However,  in  some  LICs  and  fragile  states,  where  baseline  data  are  not  available  and  data  are  still  reported  manually,  building a functioning M&E system is particularly challenging.  5.2  Implications for the World Bank’s Work on Social Protection and Labor  Understanding  Employability  Constraints:  Instruments  and  Analytical  Methods.  A  strong  assessment of the main constraints to higher employability and productivity is a necessary  condition to match individuals with the “right� set of interventions. Most countries do not  yet  have  good  analytical  tools  allowing  them  to  shortlist  the  most  important  constraints.  Looking ahead, the development of tools that facilitate this diagnostic is a promising area of  work. In particular, specific sets of instruments and analytical products could be developed,  including  a  stock�taking  on  the  most  successful  profiling  methodologies  in  high  income  countries,  a  statistical  toolkit  to  analyze  the  main  constraints  to  employability  across  different groups and based on alternative data sources, sample terms of reference (TORs)  97  for the competencies of the staff profiling beneficiaries, and providing individual counseling  services across different programs and settings.  Developing  monitoring  and  evaluation  (M&E)  systems  and  measuring  program  results,  especially  in  LICs.  It  is  crucial  to  improve  administrative  data  within  and  across  programs  and  to  strengthen  statistical  capacity  to  collect  M&E  data  for  social  protection  programs.  Even  though  literature  abounds  on  the  effectiveness  of  ALMPs,  evidence  on  the  cost� effectiveness  for  different  groups  in  the  population  is  limited.  Closing  this  knowledge  gap  should continue to be an important dimension of the Bank’s social protection agenda over  the  following  years,  specially  concentrating  on  fewer  but  more  ambitious  and  strategic  evaluations  in  MICs.158  In  addition,  this  continued  work  program  should  give  increasing  emphasis  to  evidence  on  program  effectiveness  in  low  income  settings  and  fragile  states.  For  example,  priority  should  be  given  to:  supporting  client  countries  in  setting  up  M&E  systems  and  data  collection,  and  focusing  on  impact  evaluations  aiming  to:  cover  undocumented  programs,  particularly  in  LICs  and  fragile  states,  disentangle  the  effect  of  individual  activation  policies  in  different  integrated  models,  identifying  the  design  and  implementation  features  that  lead  to  positive  impacts,  achieving  external  validity  and  program  sustainability,  collecting  data  on  costs  to  undertake  cost�effectiveness  analysis,  comparing  different  activation  policies  (employability  programs/support  services  and  incentives),  and  evaluating  long�term  development  impacts  of  activation/graduation  programs.  Supporting  the  evaluation  of  incentive  compatible  designs  of  passive  income  support  schemes. The review has shown that still little is known about the behavior of individuals in  their  specific  contexts  and  what  kind  of  incentives  lead  to  higher  job  search  efforts.  To  address  the  knowledge  gap  on  what  works  best  for  shortening  unemployment  spells  for  whom and how, more documented evidence is needed. This involves not only a stock�taking                                                               158   Many  of  the  most  relevant  knowledge  gaps  in  the  activation  agenda  pertain  to  issues  that  are  most  relevant and testable in some MICs. To the extent, that these evaluations will serve a public good purpose,  there  is  a  rational  for  selective  Bank  involvement  in  supporting  MICs  on  the  evaluation  of  relatively  more  complex innovations in activation programs.  98  effort of already existing incentive schemes as well as case studies of successful approaches  but also learning and testing environments that incorporates findings on how to incentivize  human behavior. Even though important, mere cost–benefit approaches cannot help design  incentive  compatible  income  support  programs  or  even  increase  incentives  of  a  given  program.  Likewise,  imitations  of  pre�existing  incentives  schemes  can  help  but  might  not  lead  to  the  same  effects  in  different  settings.  The  Bank’s  work  program  should  therefore  comprise:  stock�taking  of  incentive  arrangements  and  their  effects  with  a  strong  focus  on  non�OECD countries; case studies of commendable incentive schemes for selected countries  over all regions; and designing and conducting behavioral experiments for: learning how to  incentivize the unemployed, testing implementation arrangements of incentive schemes for  selected  target  groups,  testing  various  combinations  of  incentive  enhancing  measures  for  crucial  target  groups,  and  providing  input  for  simulation  programs  to  replicate  and  demonstrate the experiments conducted.  Developing a new work program on the role of the private sector in the design and service  delivery  of  employability  programs:  role  of  contracting,  auditing,  and  payment  systems.  The private sector involvement in the design and provision of programs has been in general  associated  with  greater  cost  effectiveness,  lower  pressure  on  public  budgets,  and  a  wider  array of services to an increasingly diverse clientele. In spite of the importance evidence of  this  relevance  is  still  thin.  Furthermore,  the  best  contracting,  auditing,  and  payment  arrangements remain poorly understood. For instance, public–private partnerships may be  present  in  a  very  diverse  set  of  arrangements  with  collaborations  ranging  from  fully  privatized  service  delivery  systems  (e.g.,  PES  in  Australia)  to  intermediate  models  where  public and private institutions collaborate on the same function (e.g., delivery of trainings)  but target different sets of the population. This new work program should focus on: testing  in  rigorous  ways  the  effectiveness  of  the  private  sector  in  the  provision  of  services,  in  developing a simple policy frame, laying out the most common public/private arrangements  (e.g., vouchers, full private provision, and public–private partnerships) and highlighting the  benefits and most common costs of each type; take stock on the evidence in the OECD and  99  some  of  the  early  experiences  especially  in  middle  income  LAC  and  ECA  countries;  and  develop an operational manual with a menu of alternative types of contracts for the private  providers  of  employment  programs,  giving  special  emphasis  to  performance�based  contracts.  Improving our knowledge base and supporting new operational approaches to foster firm  productivity  and  entrepreneurship.  This  is  especially  important  in  LICs,  where  the  labor  force  is  concentrated  in  micro  and  very  low  income  activities.  Furthermore,  around  many  regions of the developing world, there is also need to develop a stronger entrepreneurship  culture. Often youth are heavily dependent upon finding a salaried job as they can strongly  rely  on  informal  safety  nets.  This  work  program  is  complementary  with  the  informality  agenda  and  should  rely  on  a  strong  cross�sectoral  team  bringing  in  finance  and  private  sector  development  (FPD)  and  education  specialists.  Building  on  available  country  case  studies,  literature  reviews,  impact  evaluations,  this  new  Bank  social  protection  program  should  take  stock  of:  the  most  effective  policy  interventions,  including  access  to  finance/startup  financing;  the  administrative  and  regulatory  framework;  and  business  assistance  and  support  –  to  foster  productivity  among  the  micro  and  small  businesses  (jointly  with  the  FPD  sector);  and  develop  an  operational  manual  on  selected  innovative  entrepreneurship  interventions  trying  to  promote  entrepreneurship  through  change  in  social/cultural attitudes and in mainstreaming entrepreneurship through formal education  (jointly with the Education Sector).      100  Appendix 1: Social Assistance in Kazakhstan  In the aftermath of the financial crisis, the Government of Kazakhstan (GoK) set as one of its priorities  the formulation of public policies that would protect the poor effectively. However, simply increasing  the funding of the existing safety net was hindered by the strong belief that the existing program is  neither well targeted  nor  proactive  (i.e.,  it  does  not  promote  welfare  through  links to  activation or  human  capital  accumulation  instruments),  and  might  even  be  causing  welfare  dependency.  In  addition, a large segment of the informal workers were deemed as the most vulnerable, at the brink  of  becoming  claimants  of  the  social  safety  net.  Finding  ways  to  rope  them  into  the  formal  sector  became  a  priority.  As  a  result,  the  GoK  wanted  to  address  such  important  design  and  efficiency  questions before increasing funding of the safety net programs.  Under  the  Joint  Economic  Research  Program,  the  World  Bank  supported  the  Ministry  of  Labor  and  Social  Protection  of  Kazakhstan  through  fee  for  service  Analytic  and  Advisory  Activities  (AAA)  to  address  these  concerns.  A  comprehensive  analytical  framework  was  elaborated  along  several  dimensions: learning about the barriers to work among the poor and non�working beneficiaries of the  Kazakhstan Targeted Social Assistance (TSA); analyzing international experience with successful social  protection programs that target the poor and include activation and graduation policies; profiling the  informal sector, identifying the main obstacles to the  growth of formal employment in Kazakhstan;  and  analyzing  international  experience  with  policies  that  improve  incentives  for  moving  informal  workers to formal jobs.  To learn about the barriers to work among the poor and non�working welfare beneficiaries, the GoK  recently  conducted  a  household  survey  in  the  West�Kazakhstan  and  Kizil�Orda  regions,  collecting  information  on  TSA  beneficiaries  and  low  income  households  that  did  not  receive  the  benefits.  Among  others,  lack  of  jobs  and  underdeveloped  infrastructure  seem  to  be  core  constraints  for  the  most vulnerable. For example, 31.1% of beneficiaries’ households in West�Kazakhstan and 39.1% in  Kizil�Orda  stated  that  they  discontinued  work  due  to  enterprise  closure.  In  addition,  28%  in  West� Kazakhstan and  10.4%  in  Kizil�Orda  declared  that  no  available  kindergartens  constituted  barriers  to  work.  This  factor  was  two  times  more  common  among  TSA  beneficiaries’  than  non�beneficiaries’  households.  Similarly,  presence  of  disease  and  disability  of  household  members  also  prevents  beneficiaries  from  job  search  and  continuation  to  work.  In  addition,  more  than  a  third  of  the  households  receiving  assistance  agreed  that  there  are  severe  infrastructure  constraints  to  mobilize  for work.  Low  levels  of  education  also  constitute  an  important  barrier  to  work  among  TSA  beneficiaries’  household members. Most household members have general secondary, elementary professional, or  specialized secondary education. There is evidence that the inability to continue education is a result  of heavy household expenses (food, clothing, etc.) and the need to earn money for living. The lack of  professional  skills  creates  a  relatively  large  share  of  workers  in  “unskilled  jobs�.  Over  two  thirds  of  TSA beneficiaries’ household members do not have signed employment contracts, in contrast to only  50% of the non�beneficiaries.  Regarding  the  development  of  agricultural opportunities,  the  low  number  of TSA  beneficiaries  with  land ownership or rented was identified as a barrier. As a result, most of the agricultural crops are for  the household’s own consumption. In addition, few households own livestock. These factors naturally  limit the possibility for TSA beneficiaries to become self�employed at least in the agricultural sector.  Source: World Bank (2011d).    101  Appendix 2: Colombia Juntos: An Example of Improving the Articulation   of Social Assistance with Other Services  Country   Colombia  Program Type   Integrated poverty reduction program  Program Title   Social Protection Network to Overcome Extreme Poverty: Juntos  Agencies Involved   Government of Colombia; about 15 public agencies already participate in the Juntos  network and this number is expected to increase over time.  Year Started  Pilot stage implemented in 37 municipalities during 2007�2008  Program  The  government  designed  a  strategy  to  address  extreme  poverty  through  direct  Description   family support and preferential access from relevant social programs.  The  operational  strategy  is  to  incorporate  extreme  poor  households  into  social  services  and  help  them  to  improve  their  situation  by:  (i)  integrating  the  timely  delivery  of  relevant  social  services;  (ii)  providing  these  families  counseling  and  preferential  access  to  social  services  to  enable  them  to  meet  a  set  of  minimum  standards; and (iii) establishing a framework of co�responsibility with the family.  In  order  to  guide  the  work  with  the  family  and  the  inter�institutional  coordination,  there is a set of 45 minimum standards (goals) grouped into nine dimensions (health,  education,  identification,  legal  support,  access  to  the  financial  system,  family  dynamics, housing, nutrition, income and employment). These could be thought of as  the  minimum  conditions  that  ideally  a  family  living  in  extreme  poverty  should  accomplish  in  order  to  improve  their  situation  and  escape  poverty  traps,  and  build  the skills, physical and financial assets they need to grow out of poverty and develop  sustainable income�generation mechanisms.  The Juntos strategy calls for a particular focus of programs on the poorest of the poor  which will require programs to give these families preferential entry into the ranks of  their  beneficiaries  and  to  adapt  their  programs  to  this  new  population.  For  some  programs, this will likely mean very limited adjustments mostly in terms of a greater  focus  of  resources  for  particular  groups  (for  instance,  for  the  Subsidized  Health  Insurance  Regime).  For  other  programs,  however,  this  is  likely  to  require  more  substantive  adjustments,  both  in  terms  of  their  focus  and  in  terms  of  the  design  of  the intervention. Indeed, very often the existing supply of services is not adequate for  the target population and needs to be redesigned. For example, access to microcredit  services  can  be  problematic  for  some  of  the  extreme  poor  who  do  not  have  the  financial  literacy  to  use  those  services  even  when  the  quality  of  the  service  itself  is  good.  The  idea  behind  Juntos  is  to  rationalize  the  supply  of  public  institutions  by  adapting the service delivery to the target population.  Juntos  represents  the  effort  made  by  the  government  of  Colombia  to  graduate  extreme  poor  households  by  linking  them  to  a  range  of  services  –  but  not  directly  integrating services – via the updated national targeting system (SISBEN III) and the  national centralized registry of beneficiaries (RUAF).  Income and work dimension of Juntos:  As presented above, the situation of the extreme poor and the displaced population  102  is rather specific, and calls for interventions which are more focused and tailored, and  combine different services. Inthe area of labor markets, in particular, the level of skills  of  this  population  is  on  average  very  low,  as  is  their  productivity.  So,  while  the  government is strengthening the overall training system and promoting active labor  market policies for all, it is also important to address the specific needs of the poorest  and most vulnerable.  In  the  context  of  the  implementation  of  the  Juntos  strategy,  the  government  reviewed  in  detail  the  situation  of  the  poorest  and  the  services  adapted  to  their  specific needs. The CONPES 3616 presents some characteristics of the extreme poor  that  are  barriers  for  their  participation  in  labor  markets:  low  human  capital,  lack  of  access to capital, need for psychological support (especially the displaced) and need  for  assistance  in  launching  their  own  businesses.  The  diagnostic  highlighted  that  many existing programs do not reach the poorest or displaced, and that coordination  between  entities  remains  problematic.  To  respond  to  the  issue,  the  government  identified  the  need  for  an  integral  approach  that  would  provide  a  personalized  accompaniment  for  each  adult,  combining  a  series  of  interventions  including  education,  training,  psycho�social  support,  labor  intermediation  services,  access  to  assets,  technical  assistance  and  apprenticeship,  among  others.  It  developed  the  Income  Generation  Policy  for  the  Extreme  Poor  and  the  Displaced  (Politica  deGeneración  de  Ingresos  para  la  Población  en  Situación  de  Pobreza  Extrema  y/oDesplazarniento)  approved  in  the  CONPES  Document  number  3616.  The  main  purpose  of  the  policy  is  to  develop  and  increase  the  productive  potential  of  the  extreme  poor  and  displaced,  developing  their  skills,  and  creating  opportunities  for  asset  access  and  accumulation,  and  in  the  medium  and  long  term,  achieving  social  and economic stability. The policy builds on the framework of the Juntos strategy and  targets  young  adults  aged  18  and  older  belonging  to  households  in  the  poorest  1.5  million  households,  as  identified  by  Juntos  on  the  basis  of  the  SISBEN  information  system.  The  policy  seeks  to  provide  the  mechanisms  needed  to  overcome  barriers  for  generating sufficient and sustainable income to promote the economic independence  of  the  families.  The  actions  will  consist  of  improving,  integrating,  and  targeting  existing  instruments  properly.  The  current  framework  for  income�generation  needs  to  be  improved:  efforts  are  generally  isolated  and  uncoordinated,  often  without  recognizing the particular characteristics of the target population. Overall, the policy  focuses on increasing the productive potential of the population (i.e., improving their  supply of labor) rather than on enhancing demand for their existing skills (although a  few elements of the strategy are designed to encourage the recruitment of the target  groups).  Program  To improve the quality of life of households living in extreme poverty, to improve the  Objectives   delivery  of  social  services,  and  to  strengthen  the  institutional  capacity  of  local  governments.  Target Population   The  poorest  of  the  poor  (bottom  1.5  million  households in  the  SISBEN  database)  as  well as displaced people who are registered in the Information System for Displaced  Population  “RUPD�.  The  extreme  poor,  particularly  prevalent  in  rural  areas,  include  many  uneducated  youth  and  unskilled  self�employed  adults.  Over  a  third  of  them  work in agriculture and almost half are self�employed.  103  Selection of  The  strategy  uses  SISBEN  (the  national  proxy�means  targeting  system)  to  select  the  Beneficiaries  extreme poor and RUPD to identify the displaced people.  The updates of SISBEN III concern: (i) the formulation of the index with the new index  capturing  dimensions  of  vulnerability  with  different  indices  for  large  urban  centers,  smaller cities and rural areas; (ii) the administrative and operational processes, which  will  ensure  greater  quality  and  more  regular  and  agile  updating  by  municipalities;  and,  most  importantly,  (iii)  the  design  o  program�specific  selection  criteria.  Indeed,  each targeted government program will have to define its criteria for the selection of  beneficiaries and resulting cut�off point to be applied (alone or in combination with  other criteria).  But challenges remain. While the decision on the new system was taken in 2008, the  critical  action  for  this  reform  is  its  actual  implementation,  which  requires  the  coordination of central government agencies with all the country’s municipalities, and  the adaptation of their institutional processes. During 2009, the government set out  the responsibilities and processes in the Operational Manual, and has already piloted  the  new  mechanism.  Over  the  coming  months,  efforts  will  be  required  to  complete  the implementation of SISBEN III.  Coverage   The  government  implemented  pilots  in  37  municipalities  in  2008,  covering  about  142,000  families.  After  the  pilot  phase,  in  2009  the  government  started  the  full  implementation of the Juntos strategy to gradually to cover all municipalities and all  beneficiaries of Familias in Acción (the core government CCT program). Currently, the  distribution  of  the  target  population  of  Juntos  shows  an  overlap  with  Familias  en  Acción of only 37%. Another 37% of the extreme poor would be eligible for Familias  but are not enroled and the remaining 26% is ineligibles. This means that Familias will  need to ensure to include among its beneficiaries those identified by Juntos.  By  the  end  of  2010,  at  least  1,333,000  families  were  covered  by  the  family  accompaniment component in 1,028 municipalities.  The  program  aims  at  covering  about  1.5  million  extremely  poor  households  in  the  1,103 municipalities, 300,000 of which are victims of forced displacement.  Institutional  Like  Familias  en  Acción,  the  Juntos  strategy  is  so  far  housed  in  the  Office  of  the  Arrangements  President  for  Social  Action  (Acción  Social),  rather  than  in  a  core  sectoral  institution.  However, the Juntos strategy has been strongly anchored and institutionalized within  the broader government apparatus through a series of mechanisms. First, it uses core  information  systems  to  identify  its  beneficiaries  (SISBEN)  and  to  identify  needs  and  gaps in coverage (RUAF). Second, the strategy is different from typical programs, as it  is  based  on  the  actual  coordination  of  existing  programs  and  services  to  provide  preferential access to beneficiaries, including programs housed in of Acción Social like  the CCT Familias en Acción, those of the Colombian Institute for Family welfare (ICBF),  the Colombian Institute for Educational Loans and Technical Studies Abroad (ICETEX),  and  the  National  Service  for  Job  Training  (SENA).  This  coordination  is  led  by  the  Ministry  of  Social  Protection  and  the  National  Planning  Department.  Third,  the  strategy  is  also  organized  in  partnership  with  local  authorities  at  the  departmental  and municipal level, through formal agreements.  Institutional  The  government  developed  instruments  for  the  articulation  of  agencies  at  the  Tools to Deliver  national level and engaged into partnerships with 80% of all municipalities (890 out of  Graduation/Activ 1103).  The  weakest  municipalities,  in  fiscal  and  institutional  terms,  benefit  from  104  ation  greater contributions from the central government as well as capacity building. Monitoring and  Under the National System of Evaluation of Public Sector Performance (SNERGIA), the  Evaluation   National  Planning  Department  coordinates  with  other  agencies  the  regular  monitoring and evaluation of key programs through a series of process, institutional  and  impact  evaluations  and  the  broad  dissemination  of  findings  and  recommendations.  To  promote  an  effective  strategy,  the  government  undertook  an  evaluation  of  the  operational processes of the pilots and fine�tuned its operational manual prior to the  launch  of  the  strategy.  The  government  has  also  initiated  a  rigorous  impact  evaluation  to  assess  the  effectiveness  of  the  program  in  reaching  the  poorest  families,  providing  the  support  they  need  to  connect  to  services,  and  providing  preferential entry into core social protection programs.  Evaluation  While the baseline for this impact evaluation has been collected, the results of it are  Results   still pending.  Cost   USD  26.5  million  from  the  Colombian  government,  with  16%  of  the  budget  being  directed to local governments. A budgeting mechanism is in place according to which  the  government  disburses  resources  to  the  public  agencies  conditional  on  whether  services  are  provided  to  the  targeted  population  and  whether  services  need  to  be  redesigned.  Local governments are required to co�finance operational costs.  According  to  the  NDP,159  a  substantial  part  of  the  resources  needed  to  ensure  preferential access would be obtained by directing the planned expansion in coverage  of  social  services  to  Juntos  participants.  For  example,  additional  places  in  the  subsidized health insurance system were allocated to Juntos.  Implementation  A key element of the Juntos strategy is the collaboration and coordination between  Issues  the central agency running the strategy, national public agencies providing services in  the key dimensions of the strategy, local or departmental service providers, and, last  but  not  least,  municipal  governments.  Indeed,  the  strategy  requires  that  each  municipality commit some of its local resources to the program and provides support  for the coordination of programs to participate in the strategy.  The  central  service  providers  are  expected  to  specifically  set  aside  some  of  their  resources (number of spots) for Juntos beneficiaries in their annual budget proposals,  and to adapt their services  to the poorest groups (adapting the nature of a training  course,  for  instance,  to  reflect  the  lower  literacy  prevalence  amongst  the  Juntos  population).                                                                     159  National Development Plan 2006�2010.  105  Dimension  Goals  1. Children aged 0 to 7 have a civil registry, those aged 7 to 18 have an identity card,  Identification   and individuals over 18 have an official ID    2. Men aged 18 to 50 have their military documentation    3. Families in SISBEN has its information up to date in the system  Income and  Work  4. Adults over 60 have some income    5. At least one family member over the age of 15 has a paid job  6. Working�age individuals who need it have access to labor intermediation,    technical assistance, or job training services when available    7. Families have legal property, rental or occupation of the land or housing it uses.  Education and  Training  8. Children under the age of 5 receive integral medical attention  9. School�age children who have not finished elementary education are enrolled in  the formal system, and disabled persons under 22 are enrolled in an adapted    system.    10. Adults between 18 and 65 can read and write  11. After completion of elementary education, those who want enroll in secondary,    technical, technological, tertiary education, or job training.    12. Children under 15 do not work.  Health  13. Family members are affiliated with the national health system    14. Families receive services of health promotion    15. Teenagers and adults know family planning methods    16. Children under one have full vaccination    17. Pregnant women receive pre�natal controls and delivery assistance    18. Children under 10 participate in growth monitoring programs    19. Adults undergo cancer screening  20. Disabled individuals have access to rehabilitation services and help for    autonomy.  Nutrition  21. Families consume sufficient healthy food that is prepared in a health manner    22. Children under 5, pregnant and lactating women have adequate food intakes    23. Children under 6 months receive exclusive breastfeeding  Housing  24. Housing has sewage and water disposal systems    25. Families dispose of, or transform, garbage.    26. Housing has energy source    27. Housing has different areas for cooking, toilets, washing, and sleeping.    28. There are no more than three persons per room and children sleep separately    29. Housing does not have earth floor  106    30. Family members have furniture and instruments to sleep and eat.    31. Families have access to a means of communication.  32. Housing has adequate materials, which allow for a safe and healthy    environment.    33. Housing counts with lighting, natural ventilation, and privacy.  Family Dynamics  34. Families elaborate and follow their “family plan�.    35. Families have access to information and services to combat domestic violence.  36. Family members know the spaces and opportunities to benefit from programs in    its locality and participate in some of them.    37. Families with children under 6 know and apply good practice child rearing.    38. Families have safe spaces for dialogue and conflict resolution    39. Family members jointly provide care to the disabled.  Banking and  40. Families manage their savings through financial services, and use them as they  Savings  want.    41. Families know the characteristics of, and have access to, financial services.    42. Families are not victims of usury.  43. Families know their legal needs, the required processes, and their rights and  Access to Justice  duties    44. Families with legal needs receive the required assistance.    45. Displaced families are accompanied in the monitoring of its rights.    107  Appendix 3: Clientele of the Public Employment Services  Employment  services  are  at  the  heart  of  national  Alternative  Labor  Market  Programs  (ALMP)  strategies  in  most  advanced countries. The most successful Public Employment Services (PES) provide activities to the following target  groups:   � Services to employed persons: support occupational and job�to�job mobility.  � Services  to  the  unemployed:  (i)  early  identification  and  intervention;  (ii)  support  employability  and  lifelong  learning;  (iii) balance  extensive  support/self�help  strategy;  (iv)  career  planning/advice/guidance;  and  (v)  work  trials and supported entry for the long term unemployed.  � Services  to  inactive  persons:  (i)  early  identification  and  intervention;  (ii)  support  employability  and  lifelong  learning; (iii) career planning/advice/guidance; and (iv) work trials and supported entry.  � Services to employers: (i) anticipation of skills needs; (ii) support timely job�to�job transitions; (iii) promotion of  internal flexicurity; (iv) enable transitions following company restructuring; and (v) promotion of entry points for  the long term unemployed and inactive persons.  � Menu of employment services.  In more detail, the menu of employment services provided, as a rule, by the staff of PES but increasingly by private  providers as well, may include the following activities:  � Job placement services  � Job search assistance services  � Regular  meetings  with  personal  employment  advisor  (job  search  follow�up,  update  of  employment  plan,  identification of unemployed needs or special support within employment programs, etc.)  � Direct referral of jobseekers to vacancies  � Job search skills training programs  � Job application and interview preparation  � CV composition and submittal  � Job clubs  � Job and vacancy fairs  � Informational interviews  � Employer contact (intermediation) services  � Small business advisory meetings  � Sessions on current labor market information and regional jobs  � Job motivation seminars  � Career/job counseling (individual or group�based)  � Vocational counseling  � Legal counseling on PES services and rights as well as obligations for newly registered unemployed  � Social counseling (how to handle the family budget, etc.)  � Medical counseling  � Vocational  rehabilitation:  services  for  the  disabled  include  work  capacity  assessment  and  vocational  planning,  exploring employment options, evaluating aptitude and the promotion of job placement  � Setup of individual action plans  � Surveillance of independent job search  � In�depth skills assessments, assessments of abilities (aptitude testing) and occupational skills  � Referrals to ALMPS after a period of unsuccessful job search  � Labor redeployment services (programs for workers who have received redundancy note)  � Cooperation  with  all  relevant  stakeholders  –  the  social  partners,  social  benefit  organizations,  education  and  training providers, other public organizations, and private employment agencies.  ICT services for jobseekers:  � Viewing jobs and training places on the internet  � National call centre service: a jobseeker can find out about jobs, training, and unemployment security  � Job  and  training  place  notification:  this  service  provides  clients  with  information  on  jobs  and  training  options  which interest them by email  � CV net: posting of CVs on a freely accessible online service.  Source: Andersen et al. (2009).  108  Bibliography  Abdulai,  A.,  C.  Barrett,  and  J.  Hoddinott  (2005)  “Does  Food  Aid  Really  Have  Disincentive  Effects? New Evidence from Sub�Saharan Africa.� World Development 33 (10).  Acevedo, G. and P. Eskenazi (2003) “The Chilean Unemployment Insurance: A New Model of  Income Support for the Unemployed?� Association of Pension Funds, Santiago de Chile.  Adamchik,  V.  (1999)  “The  Effect  of  Unemployment  Benefits  on  the  Probability  of  Re� employment in Poland.� Oxford Bulletin of Economics and Statistics 61 (1).  Almeida,  R.  and  E.  Galasso  (2010)  "Jump�Starting  Self�Employment?  Evidence  among  Welfare Participants in Argentina." World Development 38 (5).  Almeida, R., J. Behrman, and D. Robalino (2011a) “The Right Skills for the Job? Rethinking  Effective  Training  Policies  for  Workers.�  Social  Protection,  Human  Development  Network,  World Bank, Washington, DC.  Almeida, R., M. Barouni, R. Grunn, P. Premand, and S. Broadman (2011b) “Entrepreneurship  Training  and  Self�Employment  among  University  Graduates:  Evidence  from  a  Randomized  Evaluation in Tunisia.� World Bank, Washington, DC.  Almeida, R., C. Ridao�Cano, A. Levent, and D. Mckenzie (2011c) “ISKUR Vocational Trainees:  Profile, Job�search Behavior and Expectations.� World Bank.   Almeida,  R.,  C.  Ridao�Cano,  A.  Levent,  and  D.  Mckenzie  (2011d)  “Design  and  Implementation  Note  for  the  Impact  Evaluation  of  ISKUR  Vocational  Training  Programs.�  World Bank.  Andersen, T., M.E. Hansen, J. Moltesen, L. Feiler, R. Götz, T. Wilthagen, I. Borghouts, and A.  Nunn  (2009)  “The  Role  of  the  Public  Employment  Services  Related  to  ‘Flexicurity’  in  the  European Labour Markets.� European Commission, Brussels.  Anderson,  P.M.,  and  B.D.  Meyer  (1993)  “Unemployment  Insurance  in  the  United  States:  Layoff Incentives and Cross Subsidies.� Journal of Labor Economics 11.  Angel�Urdinola,  D.,  A.  Semlali,  and  S.  Brodmann  (2010)  “Non�Public  Provision  of  Active  Labor  Market  Programs  in  Arab�  Mediterranean  Countries:  An  Inventory  of  Youth  Programs.� Social Protection Discussion Paper 1005, World Bank, Washington, DC.  Attanasio,  O.P.,  A.D.  Kugler,  and  C.  Meghir  (2011)  "Subsidizing  Vocational  Training  for  Disadvantaged  Youth  in  Developing  Countries:  Evidence  from  a  Randomized  Trial."  American Economic Journal: Applied Economics 3 (3).  109  Auchter, E., W. Krix, and H. Wittenzellner (2010) “Summative Evaluation of the Nationwide  German  “Start�Up�Game�  Competition  for  Entrepreneurship  Education�.  In  E.  Murff  (Ed.),  Changing the World through Meaningful Play. Eastern Washington University Press.  Banerji,  A.  and  D.  Robalino  (2009)  “Addressing  the  Employment  Effects  of  the  Financial  Crisis:  The  Role  of  Wage  Subsidies  and  Reduced  Work  Schedules.�  Employment  Policy  Primer Notes 14, World Bank, Washington, DC.  Banerji,  A.,  W.  Cunningham,  A.  Fiszbein,  E.  King,  H.  Patrinos,  D.  Robalino,  J.  Tan  (2010)  "Stepping Up Skills for More Jobs and Higher Productivity". World Bank, Washington, DC.  Bateman,  M.  (2011)  “Microfinance  as  a  Development  and  Poverty  Reduction  Policy:  Is  It  Everything  it’s  Cracked  Up  to  Be?  Background  Note.�  Overseas  Development  Institute.  In  Bauchet,  J.,  C.  Marshall,  L.  Starita,  J.  Thomas,  and  A.  Yalouris  (Eds),  Latest  Findings  from  Randomized  Evaluations  of  Microfinance.  Consultative  Group  to  Assist  the  Poor,  World  Bank.  Benus, J., Theodore S., S. Zhang, M. Chan, and B. Hansen. 2009. Growing America Through  Entrepreneurship: Final Evaluation of Project GATE. December.  Betcherman,  G.,  A.  Dar,  A.  Luinstra,  and  M.  Ogawa  (2000)  "Active  Labor  Market  Policies:  Policy  Issues  for  East  Asia."  Social  Protection  Discussion  Paper  0005,  World  Bank.  Washington, DC.  Betcherman,  G.,  K.  Olivas,  and  A.  Dar  (2004)  "Impacts  of  Active  Labor  Market  Programs:  New  Evidence  from  Evaluations  with  Particular  Attention  to  Developing  and  Transition  Countries." Social Protection Discussion Paper 0402, World Bank, Washington, DC.  Betcherman,  G.,  M.  Godfrey,  S.  Puerto,  F.  Rother,  and  A.  Stavreska  (2007)  “A  Review  of  Interventions  to  Support  Young  Workers:  Findings  of  the  Youth  Employment  Inventory.�  Social Protection Discussion Paper 0715, World Bank, Washington, DC.  Betcherman, G. (2010) “The Impact of ALMPs: What Have we Learned from Evaluations?�  PowerPoint presentation, World Bank.  Bigirimana, P. and S. Namara (2010) “Aide Memoire: Second Northern Uganda Social Action  Fund,  Government  of  Uganda/World  Bank  Joint  Implementation  Support  Mission  September 27�October 14.� Kampala, Uganda.  Blundell,  R.,  M.  Costa  Dias,  C.  Meghir,  and  J.  Van  Reenen  (2004)  "Evaluating  the  Employment  Impact  of  a  Mandatory  Job  Search  Program".  Journal  of  the  European  Economic Association 2 (4).  Blundell,  R.  and  Hilary  W.  Hoynes  (2004.)"Has  'In�Work'  Benefit  Reform  Helped  the  Labor  Market?," NBER Chapters, in: Seeking a Premier Economy: The Economic Effects of British  Economic Reforms, 1980�2000, pages 411�460 National Bureau of Economic Research, Inc.  110  Boeri, T. and V. Steiner (1996) “Wait Unemployment in Economies in Transition: The Case of  Poland.� Konjukturpolitik 3 (2).  Boone,  J.  ,  Fredriksson  P.,  Holmlund,  B.  and  J.  van  Ours,  2007.  "Optimal  Unemployment  Insurance with Monitoring and Sanctions," Economic Journal, Royal Economic Society, vol.  117(518), pages 399�421, 03.  Bredgaard,  T.  and  F.  Larsen  (2008)  “Redesigning  the  Governance  of  Employment  Policies:  Decentralized  Centralization  in  Municipal  Jobcentres.�  Centre  for  Labour  Market  Research  at Aalborg University (CARMA), Denmark.  Brodmann, S., R. Grun, and P. Premand (2011)  "Can Unemployed Youth Create their Own  Jobs?  The  Tunisia  Business  Plan  Thesis  Competition".  MNA  Knowledge  and  Learning...Fast  Brief 18, World Bank.  Bruhn,  M.  and  B.  Zia  (2011)  “Business  and  Financial  Literacy  for  Young  Entrepreneurs:  Evidence from Bosnia�Herzegovina.� Mimeo. World Bank.  Calmfors,  L.  and  B.  Holmlund  (2000)  “Unemployment  and  Economic  Growth:  A  Partial  Survey.�Swedish Economic Policy Review 7.  Card, D. and P.B. Levine (2000) “Extended Benefits and the Duration of UI Spells: Evidence  from the New Jersey Extended Benefit Program.� Journal of Public Economics 78.  Carneiro, P. and E. Galasso (2007) “Medium Term Effects of the program Chile Solidario: a  Preliminary Assessment.� Presentation to MIDEPLAN on October 2007.  Carneiro, P., E. Galasso, and R. Ginja (2010) "The Impact of Providing Psycho�Social Support  to  Indigent  Families  and  Increasing  their  Access  to  Social  Services:  Evaluating  Chile  Solidario." Evaluation report.  Cave, G., H. Bos, F. Doolittle, and C. Toussaint (1993) “Jobstart: A Final Report on a Program  for School Dropouts.� Manpower Demonstration Research Corporation.  Cazes, S. and S. Scarpetta. (1998) “Labour Market Transitions and Unemployment Duration:  Evidence from Bulgarian and Polish Microdata.� Economics of Transition 6 (1).  Cho,  Y.,  D.  Margolis,  D.  Newhouse,  and  D.  Robalino  (2011)  “Labor  Markets  in  Middle  and  Low  Income  Countries:  Challenges  and  Implications  for  the  Social  Protection  Strategy.�  Mimeo. World Bank.  Consultative  Group  to  Assist  the  Poor  –  CGAP  (2009)  Creating  Pathways  for  the  Poorest:  Early  Lessons  on  Implementing  the  Graduation  Model.  In:  http://www.cgap.org/gm/document�1.9.41162/BR_Creating_Pathways_Poorest.pdf  111  Crawford, M. and M.P. Mogollon (2010) "Literature Review: Labor Competency Certification  For  Private  Sector  Employees".  Latin  America  and  Caribbean  Education  Working  Paper  Series 17, World Bank, Washington, DC.  Cunningham,  W.,  M.L.  Sanchez�Puerta,  and  A.  Wuermli  (2010)  "Active  Labor  Market  Programs for Youth: A Framework to Guide Youth Employment Interventions". Employment  Policy Premier 16, World Bank, Washington, DC.  Dar, A. and Z. Tzannatos (1999) “Active Labor Market Programs: A review of the Evidence  from  Evaluations.�  Social  Protection  Department,  Human  Development  Network,  World  Bank.  De Mel, S., D. McKenzie, and C. Woodruf (2011) “Business Training and Female Enterprise  Start�up and Growth in Sri Lanka�. World Bank, Washington, DC.  Duell,  N.,  S.  Singh,  and  P.  Tergeist  (2009)  “Activation  Policies  in  Norway.�  OECD  Social,  Employment and Migration Working Papers 78.  Earle,  J.  and  C.  Pauna  (1998)  “Long�term  Unemployment,  Social  Assistance  and  Labour  Market Policies in Romania�. Empirical Economics 23.  Entra21  (2009)  “Final  Report  on  the  entra21  Program  Phase  I  2001�2007.�  International  Youth Foundation.  Fahr,  R.  and  U.  Sunde  (2009)  “Did  the  Hartz  Reforms  Speed�Up  the  Matching  Process?  A  Macro�Evaluation Using Empirical Matching Functions.� German Economic Review 10 (3).  Fares,  J.  and  O.S.  Puerto  (2009)  “Towards  Comprehensive  Training�.  Social  Protection  Discussion Paper 0924, World Bank, Washington, DC.  Federal Ministry of Economics and Technology of Germany (2011) “EXIST – University�Based  Business Start�Ups.� In: http://www.exist.de/englische_version/index.php  Finn  D.  (2011)  Subcontracting  in  Public  Employment  Services:Review  of  research  findings  and  literature  on  recent  trends  and  business  models,  The  European  Commission  Mutual  Learning Programme for Public Employment Services, GHK Limited / Budapest Institute, DG  Employment, Social Affairs and Inclusion, Brussels.   Fiszbein, A. and N. Schady (2009) “Conditional Cash Transfers: Reducing Present and Future  Poverty.� World Bank, Washington, DC.  Frederiksson,  P.  and  B.  Holmlund  (2006)  “Optimal  Unemployment  Insurance  Design:  Time  Limits, Monitoring, or Workfare? International Tax and Public Finance 13.  Galasso,  E.  (2007)  “With  Their  Effort  and  One  Opportunity: Alleviating Extreme  Poverty  in  Chile�. Development Research Group, World Bank, Washington, DC.  112  Galasso,  E.  (2011)  “Alleviating  Extreme  Poverty  in  Chile:  The  Short  Term  Effects  of  Chile  Solidario.� Estudios de Economia 38 (1).  Galasso,  E.,  M.  Ravallion,  and  A.  Salvia  (2004)  “Assisting  the  Transition  from  Workfare  to  Work:  A  Randomized  Experiment�.  Industrial  and  Labor  Relations  Review  58  (1),  Cornell  University: Ithaca.  Galasso,  E.,  M.  Ravallion,  T.  Lazo,  and  E.  Philipp  (2005)  “What  Can  Ex�Participants  Reveal  about a Program’s Impact?� The Journal of Human Resources 40 (1).  Garcia, M. and J. Fares (2008) “Youth in Africa’s Labor Market.� World Bank, Washington,  DC.  Government of Chile, Ministry of Education (2009) “La Modalidad Flexible de Nivelación de  Estudios:  Una  Aproximación  a  sus  Principales  Características  y  Resultados  2003�2009.�  In:  Ministerio  de  Educación  �  Chilecalifica:  http://200.68.0.250/usuarios/adultos/File/2011/CaracterizaciOndelaModalidadFlexible200 9.pdf  Gertler, P., S. Martinez and M. Rubio�Codina (2006) Investing Cash Transfers to Raise Long� Term Living Standards, World Bank Policy Research Working Paper 3994.   Ham, J., J. Svejnar, and K. Terrell (1998) “Unemployment and the Social Safety Net during  Transitions to a Market Economy: Evidence from the Czech and Slovak Republics.� American  Economic Review 88 (5).  Hashemi,  S.  and  R.  Rosenberg  (2006)  “Graduating  the  Poorest  into  Microfinance:  Linking  Safety Nets and Financial Services�. CGAP Focus Note 34.  Heckman,  J.J.  and  P.A.  LaFontaine  (2006)  “Bias�Corrected  Estimates  of  GED  Returns�.  Journal of Labor Economics 24 (3). University of Chicago Press: Chicago.  Immervoll, H. and Mark Pearson, 2009. "A Good Time for Making Work Pay? Taking Stock of  In�Work  Benefits  and  Related  Measures  across  the  OECD,"  OECD  Social,  Employment  and  Migration Working Papers 81, OECD Publishing.  Hjort, M. (2009) “Presentation at Impact Evaluation Workshop.� Bonn.  Independent  Evaluation  Group  (IEG)  (2011)  “Social  Safety  Nets:  An  Evaluation  of  World  Bank Support, 2000–2010.� World Bank, Washington, DC.  International Labour Organization (ILO) (2010) “Effects of Non�Contributory Social Transfers  in Developing Countries: A Compendium.� Geneva.  Ibarraran, P. and D. Rosas Shady (2008) “Evaluating the Impact of Job Training Programs in  Latin America: Evidence from IDB Funded Operations.� Inter�American Development Bank,  Washington, DC.  113  Jacobi,  L.  and  J.  Kluve  (2007)  “Before  and  After  the  Hartz  Reforms:  The  Performance  of  Active Labour Market Policy in Germany.� Journal for Labour Market Research 40 (1).  Johanson,  R.  and  A.  Van  Adams  (2004)  “Skills Development  in  Sub  Saharan  Africa.�  World  Bank, Washington, DC.  Jones, D.C. and M. Kotzeva (1998) “Work Incentives and Other Effects of the Transition to  Social  Assistance  in  the  Transition  Economies:  Evidence  from  Bulgaria.�  In  T.  Boeri  (ed.),  Lessons from Labour Market Policies in the Transition Countries, OECD Proceedings, Paris.  Jones, L., J. Van Kirk, and B. Wood (2007) “Vodacom Community Services: Rural Telephone  Access for South Africa�. In: J. Fairbourne, S. Gibson, and G. Dyer, Microfranchising: Creating  Wealth at the Bottom of the Pyramid. Edward Elgar Publishing, Great Britain.  Karlan, D. and M. Valdivia (2011) “Teaching Entrepreneurship: Impact of Business Training  on Microfinance Institutions and Clients.� Review of Economics and Statistics, forthcoming.  Klinger,  B.  and  M.  Schündeln  (2007)  “Can  Entrepreneurial  Activity  Be  Taught?  Quasi� Experimental  Evidence  from  Central  America�.  Center  for  International  Development  at  Harvard University Working Papers 153.  Kluve, J. (2006) “The Effectiveness of European Active Labor Market Policy.� IZA Discussion  Paper 2018, Bonn.  Kluve,  J.  (2010)  “European  Experience  with  Graduation  of  Social  Assistance  Recipients:  A  Case Study of Activation Policies in Germany, Denmark, and Norway.� Social Protection and  Labor Unit, World Bank, Berlin.  Kluve,  J.,  F.  Rother,  and  M.L.  Sánchez�Puerta  (2010)  “Training  Programs  for  the  Unemployed,  Low  Income  and  Low  Skilled  Workers�.  In:  Skills  Development  Strategies  to  Improve  Employability  and  Productivity:  Taking  Stock  and  Looking  Ahead.  World  Bank,  Washington, DC.  Koning,  J.  de,  M.  Kotzeva,  S.  Tzvetkov  (2007)  “Mid�term  Evaluation  of  the  Bulgarian  Programme  ‘From  Social  Assistance  to  Employment’.�  In:  Koning,  J.  de,  (Eds)  Employment  and  Training  Policies  in  Central  and  Eastern  Europe:  A  Transitional  Labour  Market  Perspective, Dutch University Press, Amsterdam.  Korea International Labour Foundation (2010) “Labor Situation in Korea 2010.�  Krueger,  A.B.  and  B.D.  Meyer  (2002)  “Labor  supply  Effects  Of  Social  Insurance.�  In:  Auerbach, A. J., Feldstein, M. (Eds.), Handbook of Public Economics 4.  Kuddo,  A.  (2009)  “Employment  Services  and  Active  Labor  Market  Programs  in  Eastern  European  and  Central  Asian  Countries�.  Social  Protection  Discussion  Paper  0918,  World  Bank, Washington, DC.  114  Kuddo, A. (2010) “Labor Market Monitoring in Eastern Europe and Central Asia Countries:  Recent Trends (Round Three)�. Mimeo. World Bank, Washington, DC.  Kuddo,  A.  (2011)  “Public  Employment  Services,  and  Provision  of  Employment  Services:  International Best Practices�. Policy Note, Washington, DC.  Kuddo,  A.,  K.  Otoo,  A.  Prosarac,  D.  Robalino,  F.  Rother,  and  M.  Weber  (2011)  “Improving  Workers  Protection  while  Creating  (good)  Jobs:  Towards  Smarter  Labor  Regulations  and  Social Insurance Systems.� Mimeo. World Bank.  Kwiatkowski, E. (1998) “Unemployment Benefits and Labor Market Developments in Poland  in Transition.� University of Lodz, Department of Economics.  Lederman, D., J. Messina, and J. Rigolini (2011) “Unleashing LAC’s Entrepreneurial Potential:  Concept Note for the FY13 LCR Flagship Report.� World Bank, Latin America and Caribbean  Region, Washington, DC.  Leppik, L. (2006) "In�Work Benefits: Literature Review." Background Paper prepared for the  EU8 Social Inclusion Study.  Levin, V. (2011) “Work Disincentive Effects of Targeted Social Assistance Programs: The Case  of  Armenia’s  Family  Benefit�  (PowerPoint  presentation).  World  Bank,  Europe  and  Central  Asia Impact Evaluation Day, Washington, DC.  Levy,  S.  (2008)  “Good  Intentions,  Bad  Outcomes:  Social  Policy,  Informality,  and  Economic  Growth in Mexico.� Brookings Institution Press.  Macours,  K.,  P.  Premand,  and  R.  Vakis  (Forthcoming)  "Transfers,  Diversification  and  Households' Risk Strategies."  Margolis, D., D. Robalino, Y. Cho, T. Gindling, M. Honorati, V. Macias Essedin, M. Milkowska,  and D. Newhouse (2011) "Supporting Self�Employment and Entrepreneurship: Creating and  Improving  Alternatives  to  Wage  Employment  �  Concept  Note."  World  Bank,  Human  Development Network, Social Protection and Labor, Washington, DC.  Martin,  J.  (2000)  “What  Works  among  Labor  Market  Policies:  Evidence  from  OECD  Countries’ Experiences.� OECD Economic Studies 30, Paris.  Martin, J.P. and D. Grubb (2001) “What Works and for Whom: A Review of OECD Countries’  Experiences  with  Active  Labour  Market  Policies."  Working  Paper  14,  Institute  for  Labour  Market Policy Evaluation, Uppsala.  Mattero,  M.  (2010).  “Second  Chance  Education:  A  Conceptual  Framework  and  Review  of  Programs.� Human Development Network, World Bank.  115  Meager,  N.  (2009)  “The  Role  of  Training  and  Skills  Development  in  Active  Labour  Market  Policies.�  International  Journal  of  Training  and  Development  13  (1).  Blackwell  Publishing  Ltd: Oxford.  Meyer, B.D. (1990) “Unemployment Insurance and Unemployment Spells.� Econométrica 58  (4).  Meyer, B. D. (1995). “Lessons from the U.S. Unemployment Insurance Experiments.� Journal  of Economic Literature 33, March: 91�131).  Micklewright,  J.  and  G.  Nagy  (1998)  “The  Implications  of  Exhausting  Unemployment  Entitlement  in  Hungary.�  Budapest  Working  Paper  on  the  Labour  Market  No.  1998/2.  Budapest University of Economics.  Muzi,  S.,  R.  Almeida,  J.  Arbelaez,  and  M.  Lundberg  (2011)  “Summary  Notes  on  Impact  Evaluations in the Active Labor Market/Youth Employment Programs Cluster Supported by  SIEF.� World Bank, Human Development Network, Social Protection and Labor, Washington,  DC.  New  America  Foundation  (2011)  “Savings  Linked  Conditional  Cash  Transfers:  Lessons,  Challenges and Directions�. Report from a Global Colloquium, New York.  Oosterbeek,  H.,  M.  Praag,  and  A.  IJsselstein  (2008)  “The  Impact  of  Entrepreneurship  Education  on  Entrepreneurship  Competencies  and  Intentions:  An  Evaluation  of  the  Junior  Achievement Student Mini�Company Program.� IZA Discussion Paper 3641, Bonn.  Perry, G., W. Maloney, O. Arias, P. Fajnzylber, A. Mason, J. Saavedra (2007) “Informality: Exit  and Exclusion.� World Bank, Washington, DC.  Puhani, P.A. (1996) “Poland on the Dole: Unemployment Benefits, Training and Long�Term  Unemployment  during  the  Transition.�  Discussion  Paper  96�30,  Zentrum  for  Europaische  Wirtschaftsforschung, Mannheim, Germany.  Quan, J.J., R. Dattero, and S.D. Galup (2007) “Information Technology Wages and the Value  of  Certifications:  A  Human  Capital  Perspective�.  Communications  of  the  Association  for  Information Systems 19 (6).  Regional Hunger and Vulnerability Programme (2010) “Frontiers of Social Protection.� Brief  Number 5, In: http://www.wahenga.net/  Reyes,  G.,  J.  C.  Van  Ours,  and  M.  Vodopivec  (2011)  “Incentive  Effects  of  Unemployment  Insurance Savings Accounts: Evidence from Chile.�, Labour Economics.  Ribe,  H.,  D.  Robalino,  and  I.  Walker  (2010)  “Protection  for  All  in  Latin  America  and  Caribbean  from  Right  to  Reality.�  World  Bank,  Latin  America  and  Caribbean  Region,  Washington, DC.  116  Robalino,  D.,  E.  Zylberstajn,  H.  Zylberstajn,  and  L.E.  Afonso  (2009)  "Ex  ante  Methods  to  Assess the Impact of Social Insurance Policies on Labor Supply with an Application to Brazil."  Policy Research Working Paper Series 5027, World Bank.  Robalino, D., Walker, I. and L. Rawlings (2011) “Building Social Protection and Labor Systems  � Concepts and Operational Implications�Mimeo. World Bank.  Rodrigues�Planas,  N.  and  J.  Benus  (2006)  “Evaluating  Active  Labor  Market  Programs  in  Romania�. IZA Discussion Papers Series 2464, Bonn.  Rother,  F.  (2007)  “Interventions  to  Support  Young  Workers  in  Sub  Saharan  Africa.�  World  Bank, Washington, DC.  Rudolph H. and R. Konle�Seidl (2005) “Profiling for Better Services.� Report on the European  Profiling Seminar, Nuremberg, January 12�14, 2005.  Santiago  Consultores  (2009)  “Minuta  Ejecutiva:  Evaluación  en  Profundidad  Chilecalifica�.  Ministerio de Educación, Ministerio del Trabajo y Previsión Social.  Schneider, H. (2008) “The Labour Market Reform in German and Its Impact on Employment  Services�.  In:  Paying  for  Success:  How  to  Make  Public  Contracting  Work.  Policy  Exchange,  London.  Schöer,  V.  and  N.  Rankin  (2011)  “Youth  Employment,  Recruitment  and  a  Youth�targeted  Wage Subsidy: Findings from a South African Firm Level Survey.� World Bank, South Africa.  Subbarao,  K.,  C.  Del  Ninno,  C.  Andrews,  and  C.  Rodríguez�Alas  (2010)  “The  Design  and  Implementation  of  Public  Works  Programs:  A  Toolkit  for  Practitioners�.  Social  Protection,  Human Development Network, World Bank.  Svarer,  M.  (2007)  "The  Effect  of  Sanctions  on  the  Job  Finding  Rate:  Evidence  from  Denmark." IZA Discussion Papers 3015, Bonn.  Tergeist,  P.  and  D.A.  Grubb  (2006)  “Activation  Strategies  and  the  Performance  of  Employment Services in Germany, the Netherlands and the United Kingdom�. OECD Social,  Employment and Migration Working Paper, No. 42, OECD Publishing, Paris, France.  Tesliuc,  C.,  S.  Martinez,  P.  Acevedo,  C.  Asenjo,  and  S.  Vivo  (2010)  “Nota  Conceptual  Evaluación  de  Impacto  Programa  Juventud  y  Empleo.�  Banco  Mundial,  República  Dominicana.  Todd,  P.E.  (2010)  “Effectiveness  of  Interventions  Aimed  at  Improving  Women’s  Employability and Quality of Work: A Critical Review of Impact Evaluation Studies.� World  Bank.  Van  Adams,  A.  (2008)  “Skills  Development  in  the  Informal  Sector  of  Sub�Saharan  Africa.�  World Bank. Draft.  117  Vodopivec, M. (1995) “Unemployment Insurance and Duration of Unemployment: Evidence  from Slovenia.� Policy Research Working Paper Series 1552, World Bank, Washington, DC.  Vodopivec,  M.  (2004)  “Income  Support  for  the  Unemployed:  Issues  and  Options.�  World  Bank, Regional and Sectoral Studies, Washington, DC.  Vodopivec,  M.,  A.  Wörgötter,  and  D.  Raju.  (2003)  “Unemployment  Benefit  Systems  in  Central  and  Eastern  Europe:  A  Review  of  the  1990s."  Social  Protection  Discussion  Paper  0310, World Bank, Washington, DC.  Wodon, Q. and M. Minowa (2009) “Training for the Urban Unemployed: A Reevaluation of  Mexico's Training Program Probecat.� Munich Personal RePEc Archive.  World Bank (2007) “Implementation Completion and Results Report for Argentina Jefes de  Hogar Program.� World Bank, Latin America and the Caribbean Region, Social Protection.  World Bank (2009) “World Bank Inventory.�  World  Bank  (2010a)  “Implementation  Completion  and  Results  Report  for  Ethiopia  Productive  Safety  Nets  APL  II  Project.�  Africa  Region,  Human  Development  Department,  Social Protection Unit, Washington, DC.  World Bank (2010b) “Project Appraisal Document for Ghana Social Opportunities Project.�  Africa Region, Social Protection.  World Bank (2010c) “Project Appraisal Document for Nicaragua Social Protection Project.�  Latin  America  and  the  Caribbean  Region,  Human  Development  Department,  Central  America Country Management Unit.  World  Bank  (2010d)  “Education  2  Work  Transition:  piloting  the  'Thesis  Competition'  and  Disseminating  Evaluation  Results  �  PHASE  II.�  Middle  East  and  North  Africa  region,  Social  and Human Development Group, Washington, DC.  World  Bank  (2010e)  “Designing  and  Implementing  a  Rural  Safety  Net  in  a  Low  Income  Setting: Lessons Learned from Ethiopia’s Productive Safety Net Program 2005–2009.�  World  Bank  (2011a)  “Project  Appraisal  Document  for  Grenada  Safety  Net  Advancement  Project.� Latin America and the Caribbean Region, Social Protection.  World  Bank  (2011b)  “Project  Appraisal  Document  for  Romania  Social  Assistance  System  Modernization Project.� Europe and Central Asia Region, Social Protection.  World  Bank  (2011c)  “Program  Document  for  Morocco  First  Skills  and  Employment  Development  Policy  Loan.�  Middle  East  and  North  Africa  Region,  Human  Development  Department, Maghreb Country Management Unit.  118  World  Bank  (2011d)  “World  Bank  Joint  Economic  Research  Program  in  Kazakhstan.�  In:  http://www.worldbank.org.kz/WBSITE/EXTERNAL/COUNTRIES/ECAEXT/KAZAKHSTANEXTN/ 0,,contentMDK:21137598~menuPK:406572~pagePK:141137~piPK:141127~theSitePK:36186 9,00.html  World Bank (2011e) “Labor Skills Programmatic AAA, Strengthening Skills and Employability  in  Peru�,  Latin  America  and  the  Caribbean  Region,  Human  Development  Sector  Management Unit.   World Bank Operations (2011) “Jordan Social Insurance Programmatic Economic and Sector  Work (PESW) Phase II.� In preparation.  World  Health  Organization  and  World  Bank  (2011)  “World  Report  on  Disability.�  Switzerland.  Yaschine,  I.  and  L.  Davila  (2008)  “Why,  When  and  How  Should  Beneficiaries  Leave  a  CCT  Programme?�  In:  Hailu,  D.,  and  F.  Veras  Soares  (Eds.)  Cash  Transfers  Lessons  from  Africa  and Latin America. Poverty in Focus 15, International Poverty Centre, Brasilia.  Yemtsov,  R.,  H.  Alderman,  H.  Zaman,  and  E.  Galasso  (2011)  “Productive  Role  of  Social  Protection: Social Protection Strategy Background Paper.� Mimeo. World Bank.    119  Background Papers for the World Bank 2012–2022 Social Protection and Labor Strategy No. Title 1210 Climate-Responsive Social Protection by Anne T. Kuriakose, Rasmus Heltberg, William Wiseman, Cecilia Costella, Rachel Cipryk and Sabine Cornelius, March 2012 1209 Social Protection in Low Income Countries and Fragile Situations: Challenges and Future Directions by Colin Andrews, Maitreyi Das, John Elder, Mirey Ovadiya and Giuseppe Zampaglione, March 2012 1208 The World Bank in Pensions: A Background Paper for the Social Protection Strategy by Mark Dorfman and Robert Palacios, March 2012 1207 Labor Markets in Middle and Low Income Countries: Trends and Implications for Social Protection and Labor Policies by Yoonyoung Cho, David Margolis, David Newhouse and David Robalino, March 2012 1206 Rules, Roles and Controls: Governance in Social Protection with an Application to Social Assistance by Lucy Bassett, Sara Giannozzi, Lucian Pop and Dena Ringold, March 2012 1205 Crisis Response in Social Protection by Federica Marzo and Hideki Mori, March 2012 1204 Improving Access to Jobs and Earnings Opportunities: The Role of Activation and Graduation Policies In Developing Countries by Rita Almeida, Juliana Arbelaez, Maddalena Honorati, Arvo Kuddo, Tanja Lohmann, Mirey Ovadiya, Lucian Pop, Maria Laura Sanchez Puerta and Michael Weber, March 2012 1203 Productive Role of Safety Nets by Harold Alderman and Ruslan Yemtsov, March 2012 1202 Building Social Protection and Labor Systems: Concepts and Operational Implications by David A. Robalino, Laura Rawlings and Ian Walker, March 2012 Abstract Throughout the developing world there is a growing demand for advice on the design of policies to facilitate access of the most vulnerable individuals to jobs, while reducing their dependency from public income support schemes. Even though these policies are common to both the activation and graduation agendas, a separation is needed as the graduation of beneficiaries out of poverty is a much more ambitious agenda. This paper proposes a simple policy framework highlighting the most common barriers for productive employment. It also reviews the topic of incentive compatibility of income support schemes and employment support programs that are used to address them. The paper finds that, especially in middle income countries, activation and active labor market programs play an important role connecting individuals to jobs and improving earnings opportunities. In low income countries, these programs are far from being a panacea to graduate beneficiaries out of poverty. Furthermore, only scant evidence is available on the pathways to graduation and significant knowledge gaps remain. More cross-disciplinary research is needed to strengthen the evidence base and develop recommendations for different contexts and capacity levels. About this series... Social Protection & Labor Discussion Papers are published to communicate the results of The World Bank’s work to the development community with the least possible delay. The typescript manuscript of this paper therefore has not been prepared in accordance with the procedures appropriate to formally edited texts. The findings, interpretations, and conclusions expressed herein are those of the author(s), and do not necessarily reflect the views of the International Bank for Reconstruction and Development / The World Bank and its affiliated organizations, or those of the Executive Directors of The World Bank or the governments they represent. The World Bank does not guarantee the accuracy of the data included in this work. The author(s) attest(s) that the paper represents original work. It fully references and describes all relevant prior work on the same subject. For more information, please contact the Social Protection Advisory Service, The World Bank, 1818 H Street, N.W., Room G7-803, Washington, DC 20433 USA. Telephone: (202) 458-5267, Fax: (202) 614-0471, E-mail: socialprotection@worldbank.org or visit us on-line at www.worldbank.org/sp. Printed on recycled paper