WPS8036 Policy Research Working Paper 8036 They Got Mad Skills The Effects of Training on Youth Employability and Resilience to the Ebola Shock Nina Rosas Maria Cecilia Acevedo Samantha Zaldivar Social Protection and Labor Global Practice Group April 2017 Policy Research Working Paper 8036 Abstract This paper discusses a randomized control trial to measure effects on cognitive and noncognitive skills were positive and the short-term impacts of a skills intervention among urban heterogeneous. Youth with greater initial ability experienced youth in Sierra Leone at the onset of the Ebola crisis. The more positive labor market and entrepreneurship investment intervention provided (i) technical skills training, plus impacts. Youth with less initial ability upgraded skills more on-the-job training; (ii) business skills training; and (iii) a extensively, although they channeled benefits into more mix of (i) and (ii). All groups received stipends and literacy consumption. These findings emphasize the role of basic and numeracy training. The findings support evidence that safety nets and show that noncognitive tests may improve combining cash injections and skills training can stimulate the targeting of skills interventions in fragile contexts. The employment and entrepreneurship. The program boosted results also confirm the age-malleability of noncognitive household consumption and investments in housing and ability and suggest that, in low-ability contexts, the sensitive assets, thereby building resilience to the Ebola shock. The years for skill investments may reach into early adulthood. This paper is a product of the Social Protection and Labor Global Practice Group. It is part of a larger effort by the World Bank to provide open access to its research and make a contribution to development policy discussions around the world. Policy Research Working Papers are also posted on the Web at http://econ.worldbank.org. The authors may be contacted at nrosas@worldbank.org. The Policy Research Working Paper Series disseminates the findings of work in progress to encourage the exchange of ideas about development issues. An objective of the series is to get the findings out quickly, even if the presentations are less than fully polished. The papers carry the names of the authors and should be cited accordingly. The findings, interpretations, and conclusions expressed in this paper are entirely those of the authors. They do not necessarily represent the views of the International Bank for Reconstruction and Development/World Bank and its affiliated organizations, or those of the Executive Directors of the World Bank or the governments they represent. Produced by the Research Support Team They Got Mad Skills: The Effects of Training on Youth Employability and  Resilience to the Ebola Shock  Nina Rosas,* Maria Cecilia Acevedo,† and Samantha Zaldivar‡  Keywords:  Social  protection,  skills,  capital,  impact  evaluation,  youth,  employment,  Sierra  Leone,  gender,  Ebola  JEL Codes: E21, I38, J13, J16, J24, J46, L26, O15, O20  * Senior Economist, World Bank. E‐mail: nrosas@worldbank.org. †  Senior Economist, Inter‐American Development Bank. E‐mail: mariaace@iadb.org. ‡  Social Protection Specialist, World Bank. E‐mail. szaldivar@worldbank.org. We thank Statistics Sierra Leone, which conducted the data collection and ensured data quality. Special thanks go to  the  staff  of  HELP‐SL,  the  National  Youth  Commission,  and  the  Ministry  of  Finance  and  Economic  Development’s  Integrated  Project  Administration  Unit  for  their  efforts  and  collaboration,  which  have  made  this  impact  evaluation  possible. We are grateful to Shwetlena Sabarwal for her invaluable contributions to the evaluation design and analysis,  Andrea  Martin  for  supporting  the  communications  campaign,  public  lottery  process,  and  electronic  data  collection,  and  Mariana  Pinzon‐Caicedo  for excellent research assistance.  Markus  Goldstein,  David McKenzie, Patrick Premand,  Shubha Chakravarty, and Thomas Bossuroy (World Bank) provided comments that improved the quality of the study.  We are also grateful to Suleiman Namara and John Van Dyck, the Task Team Leaders of the Youth Employment Support  Project,  for  their  support  throughout  this  task.  We  also  appreciate  the  support  of  the  U.S.  Agency  for  International  Development, which provided funding through the Women’s Leadership in Small and Medium Enterprises Program.  1 Introduction  Youth  employment  is  a  central  concern  of  governments  and  researchers  across  the  developing  and  developed  world.  The  latest  global  estimates  indicate  that  youth  are  at  substantially  higher  risk  of  unemployment,  underemployment,  and  engagement  in  low‐earning  jobs,  and  many  youth  cannot  afford  not  to  work,  leaving  nearly  two‐thirds  of  youth  globally  trapped  in  working  poverty  (ILO  2015;  United  Nations  2015).  In  some  contexts,  such  as  Sub‐Saharan  Africa,  youth  employment  challenges  are  exacerbated by persistently high fertility rates, which translate into a young, rapidly growing population in  need of jobs (Canning, Raja, and Yazbeck 2015).  Among  the  working‐age  population  in  many  low‐income  countries,  micro‐  and  small  enterprises,  often  referred  to  as  household  enterprises,  are  the  second  most  important  source  of  income  after  agricultural  work. In Sub‐Saharan Africa, for example, 22 percent of all jobs are accounted for by household enterprises  (Filmer and Fox 2014). In such contexts, efforts to create and expand household enterprises are critical to  addressing  youth  employment  challenges.  This  is  particularly  true  in  Sub‐Saharan  Africa,  where  the  wage  sector is relatively small and not expected to grow sufficiently to provide the jobs needed to accommodate  this demographic youth bulge for a long time, even under optimistic scenarios (Fox and Sohnesen 2012).  Yet,  household  enterprises  face  constraints  in  starting  up  and  growing.  Capital  and  skills  constraints  are  among  those  most  prominently  discussed  in  the  literature  (Blattman,  Fiala,  and  Martinez  2014;  Brixiová,  Ncube,  and  Bicaba  2014).  Some  of  these  constraints  are  likely  to  be  more  pronounced  if  the  enterprises  are led by young people (Blattman, Fiala, and Martinez 2014). Fostering entrepreneurship and developing  existing household enterprises may thus be a critical pathway to the generation of employment and earning  opportunities  among  youth.  However,  the  evidence  on  the  most  effective  interventions  in  the  effort  to  relieve  the  constraints  and  foster  the  creation  and  expansion  of  household  enterprises  is  still  relatively  limited  (McKenzie  and  Woodruff  2014).  A  recent  review  of  evidence  on  employment  programs  finds  that  skills  and  microfinance  interventions  have  demonstrated  relatively  little  cost‐effective  results  (Blattman  and  Ralston  2015).  It  also  suggests  that  the  lack  of  capital  and  skills  may  be  acting  as  multiple  binding  constraints. The most promising strategy may therefore be to relax the constraints simultaneously through  capital‐centric skills interventions, but evidence of the effectiveness of such interventions is still nascent.  Recent literature on entrepreneurship has emphasized the identification of the traits of entrepreneurs with  high growth potential and ways to spur this growth to generate large numbers of jobs. A key question the  research  has  tried  to  tackle  revolves  around  the  profile  of  small‐scale  entrepreneurs  and  whether  they  possess  the  same  entrepreneurial  spirit  as  entrepreneurs  operating  on  a  larger  scale.  The  evidence  indicates  that  most  of  these  entrepreneurs  and  wage  workers  have  more  in  common,  including  noncognitive  ability,  than  the  owners  of  large  firms  (de  Mel,  McKenzie,  and  Woodruff  2010).1  But  less  attention  has  been  focused  on  how  to  influence  entrepreneurial  traits  and,  ultimately,  increase  income  among  lower‐ability  necessity  entrepreneurs,  that  is,  individuals  in  developing  countries  who  start  small  enterprises out of necessity, for whom the plausible alternative is often salaried work (Calderón, Iacovone,  and  Juarez  2016;  de  Mel,  McKenzie,  and  Woodruff  2010).  This  is  highly  policy  relevant  in  low‐income  countries, such as Sierra Leone, where a substantial proportion of entrepreneurs are self‐employed, have  no employees, and are without viable alternatives, especially because there are limited wage jobs.                                                               1   Noncognitive  ability  is  also  referred  to  in  the  literature  as  personality  traits  or  socioemotional  skills.  To  distinguish  from cognitive abilities, the terms noncognitive ability or noncognitive skills are used throughout the paper.  2    A  focus  on  the  link  between  noncognitive  skills  and  labor  market  outcomes  may  be  particularly  useful  in  fostering  household  enterprise  development  and  addressing  youth  employment  challenges  in  fragile  settings.  This  is  so  for  three  reasons.  First,  a  large  share  of  youth  in  fragile  contexts  missed  out  on  early  childhood  interventions  and  failed  to  complete  the  formative  years  of  education,  which  cannot  easily  be  offset  because  the  early  years  are  critical  in  shaping  cognitive  and  noncognitive  abilities  (Heckman  2008;  Heckman and Masterov 2007). Nonetheless, noncognitive skills have been shown to be more malleable at  later  ages  than  cognitive  skills,  and  enhancing  the  former  may  therefore  help  reduce  deficits  suffered  earlier in life, including by increasing cognitive ability through cross‐fertilization (Kautz et al. 2014).  Second,  criminality  among  youth,  an  important  concern  in  fragile  settings,  may  be  reduced  by  enhancing  noncognitive ability, which is a strong predictor of violent and risky behaviors (Heckman, Stixrud, and Urzua  2006).2  However,  the  collection  of  direct  measures  of  impacts  on  these  traits  is  still  relatively  rare  in  evaluations even of programs explicitly aiming to influence noncognitive skills (Sánchez Puerta, Valerio, and  Gutiérrez Bernal 2016).  Third,  the  evidence  on  whether  interventions  that  increase  noncognitive  abilities  can  affect  employment  outcomes is still limited (Blattman and Ralston 2015). Given that the vast majority of youth in these contexts  are  engaged  in  low‐productivity  activities,  increasing  noncognitive  abilities  could  potentially  lead  to  large  economic  gains  to  the  extent  that  boosting  these  abilities  improves  productivity  (Filmer  and  Fox  2014).  Although  most  evidence  on  such  links  points  to  an  association  rather  than  a  causal  relationship,  it  is  emerging  that  noncognitive  skills  are  not  only  valued  in  the  labor  market,  but  are  better  than  the  intelligence quotient as a predictor of educational attainment and labor market success.3  Household  enterprises,  especially  those  operating  at  subsistence,  may  be  more  exposed  to  aggregate  shocks  than  bigger  and  more  well  established  businesses.  External  shocks  can  negatively  affect  entrepreneurial profitability if managerial ability is low (Mano et al. 2012). The vulnerability of enterprises  to  shocks  is  an  acute  problem  in  fragile  contexts,  where  subsistence  businesses  make  up  the  majority  of  entrepreneurial  activity  (Schoar  2010).  However,  research  on  shocks  in  low‐income  settings  has  mainly  focused  on  the  effects  of  negative  events  on  consumption,  expenditure,  and  agricultural  income‐ generating  activities;  there  is  little  evidence  on  the  impact  of  shocks  on  nonfarm  household  enterprises  (Hallegatte  et  al.  2016).  Skills  training  associated  with  a  small  cash  injection  can  enhance  the  short‐  and  long‐term  ability  of  households  to  respond  to  shocks  through  at  least  three  channels:  (i)  avoiding  coping  strategies  that  reduce  consumption  in  the  face  of  income  and  asset  losses,  (ii)  allowing  participants  to  diversify revenue, and (iii) building human capital relevant for business operations (Grimm, Knorringa, and  Lay 2012; Hallegatte et al.  2017). Enabling physical and human capital investments and avoiding resource  depletion  may  raise  value  added,  which  helps  businesses  adjust  to  shocks  and  graduate  from  subsistence  (Bruton, Ahlstrom, and Si 2015; Grimm, Knorringa, and Lay 2012).  Using evidence from a randomized control trial of a skills intervention targeting youth in Sierra Leone, this  paper  seeks  to  contribute  to  the  literature  on  youth  employment  opportunities  through  household  enterprises  in  three  ways.  First,  it  seeks  to  contribute  to  a  growing  body  of  evidence  aimed  at  identifying  skills interventions that can be effective in improving household enterprise development and employment  and to examine how gender may mediate the impact of these programs on labor market outcomes. Second,                                                               2  See Blattman and Ralston (2015) for a review of the literature; Blattman and Annan (2015) for evidence on Liberia.  3  See Kautz et al. (2014) for a review of this evidence; Díaz, Arias, and Tudela (2012) for evidence on Peru.  3    it seeks to contribute to the understanding of the process of skills formation, how skills link with household  enterprise  development,  and  the  implications  in  targeting  skills  programs  in  low‐income  and  fragile  contexts.  Third,  it  seeks  to  contribute  to  the  understanding  of  the  ways  such  interventions  help  build  resilience to shocks.  Overall, the evaluation findings add to the recent evidence that combining skills training and cash injections,  even small ones, can be effective in stimulating employment and entrepreneurship. The program increased  overall  employment  (up  by  3.1  percentage  points  from  12.6  in  the  control  group),  profits  in  the  worst  profitability  month  (25  percent),  and  the  likelihood  of  first‐time  entrepreneurship  (up  by  4.1  percentage  points from 15.8 in the control group). There are limited significant differences in impacts by gender, in line  with  most  studies  of  this  type  (McKenzie  2017).  The  program  also  built  household  resilience  to  a  large  aggregate  shock  (Ebola),  thereby  boosting  consumption  by  more  than  50  percent  and  promoting  investments in better housing conditions and in assets.  Based  on  the  evaluation  results,  shaping  noncognitive  skills  shows  promise  for  youth  in  fragile  states,  but  there  is  important  heterogeneity  of  effects.  Skills  enhancements  among  higher‐ability  individuals  were  associated  with  positive  labor  market  impacts,  while  lower‐ability,  poorer  individuals  experienced  larger  gains  in  skills  formation,  but  consumed  more  rather  than  making  productive  investments.  A  similar  expansion  in  cognitive  ability  was  found  across  groups,  all  of  which  benefited  from  basic  literacy  and  numeracy  training,  indicating  that  providing  foundational  skills  may  act  as  a  second‐chance  parenting  opportunity. This, combined with the heterogeneity of effects on skills, is indicative that, in economies with  a generalized low level of skill formation, the sensitive period for investments in cognitive skill development  may  extend  into  early  adulthood.  The  results  emphasize  the  notion  that  skills  interventions  are  not  substitutes  for  adequate  safety  nets  and  points  to  important,  dynamic  policy  trade‐offs  related  to  productivity gains and poverty reduction. The findings also confirm the literature on the age‐malleability of  noncognitive abilities and the synergies across various skill components.  2 The Evaluation Context and the Intervention  Youth employability and income‐generating potential are key to household well‐being in Sierra Leone, but  a  substantial  share  of  the  country’s  youth,  especially  in  urban  areas,  are  not  employed.  More  than  two  Sierra  Leoneans  in  five  (41.3  percent)  are  youth,  defined  in  Sierra  Leone  as  people  ages  15–35  years.   According  to  the  country’s  most  recent  labor  force  survey,  more  than  half  of  youth  are  in  the  labor  force  (55.7 percent), but 26.9 percent are not in education, employment, or training.4 This problem is more acute  in  urban  areas,  where  the  latter  share  is  32.3  percent,  while  the  youth  employment  rate  is  37.7  percent  (compared  with  58.8  percent  in  rural  areas).  Urban  youth  with  some  secondary  education  exhibit  one  of  the  lowest  employment  rates  in  the  country  (27.2  percent).  Among  urban  youth  with  some  secondary  education who are employed, more than half are self‐employed (54.8 percent).  Skills  are often mentioned  as one  of the  key constraints on youth in accessing labor market opportunities  and  reaching  their  productive  potential  in  Sierra  Leone.  Almost  half  of  youth  cannot  read  or  write  (46.5  percent), and the illiteracy rate is higher among young women than among young men (57.4 percent versus  32.9  percent).  There  is  a  large  jump  in  earnings  among  people  with  some  primary  education  relative  to  those  with  no  schooling,  and  the  jump  at  the  highest  levels  of  education  is  similar  (Margolis  et  al.  2016).                                                               4  Unless otherwise noted, the national labor data presented in this section are taken from Margolis et al. (2016).  4    However,  in  the  middle  of  the  education  spectrum,  the  returns  to  education  do  not  vary  much,  and  the  overall  returns  are  low.  Low  returns  to  education  typically  signal  that  the  constraint  is  in  labor  demand  rather  than  labor  supply  (Hausmann,  Klinger,  and  Wagner  2008).  However,  given  the  low  literacy  rates,  it  is likely that the low returns also reflect poor skills formation because of (i) the low quality of or inadequate  learning content or (ii) the failure to teach the desired skills, such as noncognitive skills. Urban youth who  have completed primary  or started secondary school  appear to face  the largest  deficit  in market‐relevant  skills because they have lower employment rates relative to youth who have never attended school or who  have incomplete primary educational attainment (23.8 percent versus 59.6 percent).5  Access  to  capital  is  essential  for  the  creation  and  expansion  of  household  enterprises,  a  key  source  of  employment  among  urban  youth.  However,  lack  of  access  to  capital  is  reportedly  among  the  most  important  constraints  to  benefiting  from  job  opportunities  and  starting  up  or  expanding  household  enterprises.  Close  to  half  (46.7  percent)  of  individuals  who  work  in  nonfarm  household  enterprises  are  engaged in enterprises that are unable to borrow money to fill routine needs or cope with a negative shock.  Among  the  unemployed,  this  is  the  main  constraint  to  obtaining  work  or  starting  a  business:  almost  60  percent of the unemployed report this to be the case.  The  Youth  Employment  Support  Project  (YESP),  financed  by  the  World  Bank  from  approval  in  2010  to  closing in 2015, was introduced to relieve key constraints to household enterprise development and access  to  labor  income  more  broadly  among  youth  in  Sierra  Leone.  In  the  absence  of  the  project,  the  likelihood  that  the  young  participants  would  have  been  provided  with  similar  benefits  is  slim:  only  1.8  percent  of  young  individuals  report  they  have  participated  in  employment  support  programs  provided  by  the  government, donors, or nongovernmental organizations.  The project’s skills development and employment support component was designed as a series of programs  targeted  at  youth  with  different  levels  of  educational  attainment  to  boost  short‐term  employment  opportunities  and  enhance  the  employability  and  incomes  of  youth.  It  involved  skill  development  interventions  that  sought  to  (i)  promote  the  creation  or  expansion  of  small  youth‐owned  household  enterprises in economically viable activities and (ii) improve the skills base and technical capacity of young  people to make youth more employable.  One  of these  programs was targeted on urban youth  ages 15–35 who possessed at  least some secondary  education and who had a business or were interested in pursuing business or employment opportunities.6  This  program  was  implemented  by  Hands  Empowering  the  Less  Privileged–Sierra  Leone  (HELP‐SL),  a  local  nongovernmental  organization,  in  Sierra  Leone’s  five  major  urban  centers  (Bo,  Freetown,  Kenema,  Koidu  City, and Makeni). The interventions envisioned during program design included classroom‐based training,  on‐the‐job  training,  and  facilitation  of  access  to  microfinance.  The  interventions  lasted  a  total  of  nine  months. The classroom‐based intervention, which lasted six months, included the following:7   Basic literacy and numeracy   Basic financial literacy skills, including bookkeeping                                                               5   An  alternative  argument  is  that  these  youth  can  more  easily  afford  to  remain  unemployed  and  are  waiting  to  find  more well paid jobs. However, this is unlikely given the low share of workers in wage employment.  6   The  intervention  design  limited  program  participation  to  those  with  at  least  some  secondary  school;  however,  in  practice, the application only required participants to provide evidence of primary school completion.  7   The  program  was  implemented  in  two  rounds:  the  first  covered  1,200  participants  in  2012  and  was  intended  as  a  pilot to smooth out operational issues; the second round, which included the impact evaluation, had a target of 2,400.  5     Training  in  a  trade  of  each  participant’s  choice,  for  example,  welding,  catering,  auto  mechanics,  solar  engineering,  catering  and  hotel  management,  electricity,  electrical  installation,  tailoring  and  design,  and building and construction   Entrepreneurship  and  business  development  training  with  modules  on  (1)  steps  in  business  implementation,  (2)  marketing  and  market  research,  (3)  accounting  and  cost  calculation,  (4)  business  registration and legal issues, (5) financing the business, and (6) creating a business plan.  According to  the design, the participants were to be provided with  opportunities to participate directly in  the  labor  market  following  the  classroom‐based  intervention.  Technical  trainees  were  entitled  to  receive  on‐the‐job training consisting of placement for three months as apprentices with local master apprentices  in  small  or  large  businesses  related  to  their  trades  of  choice,  such  as  in  a  mining  company  or  in  a  small  automobile  mechanic  shop.  Similarly,  following  their  classroom  training,  those  receiving  business  skills  training were to be provided with facilitation to access microfinance. This included support in developing a  business  plan,  establishing  business  groups  or  cooperatives,  obtaining  microfinance  loans  from  the  HELP‐ SL  finance  unit,  and  follow‐up  support  in  creating  and  maintaining  a  business  once  the  loan  had  been  received.  Participants  were  informed  that  the  access  to  microfinance  was  not  guaranteed  and  was  contingent  upon  the  quality  of  the  business  proposal  they  submitted.  However,  they  were  informed  that  they would receive technical support during the microfinance application process.  Based  on  these  intervention  elements,  three  intervention  packages  were  designed,  as  follows:  (i)  a  technical skills package consisting of technical training in a trade and on‐the‐job training, plus basic financial  literacy;  (ii)  a  business  skills  package  consisting  of  entrepreneurship  and  business  development  training,  plus  access  to  the  microfinance  facilitation  experience;  and  (iii)  a  package  combining  (i)  and  (ii).  Basic  literacy  and  numeracy  training  was  provided  to  participants  whom  trainers  had  identified  as  lacking  in  reading and numeracy skills, irrespective of the package.  HELP‐SL  selected  13  technical  and  vocational  education  centers  or  vocational  training  centers  (VTCs)  to  deliver  the  technical  skills  training,  while  HELP‐SL  delivered  the  business  skills  training  because  the  VTCs  had no experience in delivering this training content. HELP‐SL also provided training materials to the VTCs.  All  training  sessions  were  conducted  at  the  VTCs,  and  the  same  curriculum  was  used  in  all  VTCs  to  harmonize  the  content.  Prior  to  program  implementation,  a  rapid  market  assessment  was  conducted  in  each  of  the  program  districts  to  identify  the  market  needs  in  technical  skills  and  match  these  with  the  courses offered in the VTCs.  The training was delivered at no cost to participants, and the trainees in all three groups were given a daily  stipend  of  Le  2,500  (equivalent  to  U$0.60)  during  the  course  of  the  training  to  cover  food  and  transportation  expenses,  conditional  on  regular  attendance  at  the  training  sessions.  Assuming  perfect  attendance, this would translate into approximately Le 360,000 (U$80) over the nine‐month training period  and  Le  200,000  (U$44)  over  the  six‐month  classroom  training  period,  respectively,  for  the  technical  and  business  skills  training  sessions.8  The  intervention’s  influence  in  relieving  capital  constraints  was  reduced  to the cash stipend because the Ebola crisis disrupted the microfinance facilitation element (see below).                                                               8   Each  week,  the  participants  in  the  technical  skills  training  sessions  were  expected  to  attend  courses  for  five  days,  while  the  participants  in  the  business  skills  training  sessions  were  expected  to  attend  for  three  days.  Perfect  6    Daily attendance among trainees was tracked and recorded by the instructors at the program VTCs using a  monitoring form designed for all types of training. This was closely monitored by HELP‐SL data entry clerks  and  supervised  by  youth  development  officers  of  the  National  Youth  Commission.  To  encourage  training  completion, follow‐up phone calls were made to trainees who attended irregularly.  The  YESP  faced  a  complicated  and  unexpected  implementation  challenge  between  March  2014  and  June  2015, when more than 14,000 cases of Ebola virus disease were reported in Sierra Leone, and the disease  took  the  lives  of  more  than  3,900  people  (WHO  2015).  Four  YESP  beneficiaries  died  during  program  implementation.  The  Ebola  crisis  exerted  an  influence  on  the  program  through  at  least  two  channels:  (i) labor  supply  and  demand  and  (ii)  productivity,  although,  because  of  the  randomized  design,  these  are  not  expected  to  have  introduced  any  bias  into  the  evaluation.  First,  Ebola  had  an  impact  on  employment  rates (Glennerster et al. 2015). Urban areas were  particularly affected. In Freetown, the  recorded decline  in employment reached 9 percentage points at the height of the outbreak in November 2014. Youth were  among  those  hardest  hit  (Fu  et  al.  2015;  Glennerster  et  al.  2015).  Relative  to  the  previous  year,  self‐ employed  individuals  in  nonfarm  household  enterprises  also  reported  a  54  percent  drop  in  revenues  around  the  time  the  endline  survey  for  this  evaluation  was  collected  (Glennerster  et  al.  2015).  Evidence  suggests  these  employment  declines  resulted  primarily  from  a  reduction  in  labor  supply  among  people  engaged in household enterprises. The Ebola crisis also weakened labor demand, evidenced by the declines  in  wage  employment.  Labor  productivity  was  likewise  affected  because  the  government  imposed  movement  restrictions  and  market  closures  and  prohibited  large  gatherings,  which  limited  the  access  of  workers to their workplaces, clients, and markets.  During  the  implementation  of  the  YESP,  the  economy  suffered  another  negative  shock  aggravated  by  the  Ebola crisis: falling prices for iron ore, the country’s main international export (World Bank and SSL 2016).  This  price  decline  affected  the  economy  and  the  labor  market  by  directly  reducing  employment  in  mines,  cutting revenues among suppliers, and decreasing government income at a time when it was most needed  to help recover from the Ebola virus disease emergency.  The Ebola crisis and the iron ore price shock influenced program implementation and thus had a potential  impact  on  the  program’s  effectiveness.  Because  of  worsening  economic  conditions,  the  effect  of  the  program  on  employment  and  entrepreneurship  may  have  been  muted.  Additionally,  the  benefits  of  practical  training  in  situ  were  hindered  because  the  restrictions  imposed  to  reduce  the  spread  of  the  disease  led  to the closure  of some  of the businesses where program participants  had been placed for on‐ the‐job  training.  The  Ebola  outbreak  also  affected  implementation  by  disrupting  the  microfinance  facilitation aspect of the intervention. Because of the Ebola crisis, the default rate for prior borrowers rose  dramatically, which strained HELP‐SL’s resources and led the organization to be more cautious in approving  microfinance  loans.  In  practice,  few  of  the  beneficiaries  who  were  entitled  to  receive  microfinance  facilitation actually received loans (20 percent). The stipend provided during the program thus became the  primary cash component of the intervention.                                                               attendance would thus represent a monthly stipend of 36 percent and 22 percent of the median earnings at baseline  for  people  in  technical  skills  training  and  business  skills  training,  respectively.  The  average  exchange  rate  of  the  U.S.  dollar to the Leone during implementation (December 2013–December 2014) is used here throughout.  7    3 Program Eligibility, Experimental Design, and Data  Eligibility  to  participate  in  the  program  was  based  on  age,  location,  educational  attainment,  interest  in  pursuing  entrepreneurial  activities,  and  the  submission  of  a  short  business  plan  that  had  to  pass  a  basic  quality screening. HELP‐SL and its partners conducted an intensive communication campaign to encourage  all youth to apply who were ages 15–35, had some secondary education, were engaged in or interested in  undertaking an entrepreneurial activity, and resided in one of the five urban areas where the program was  implemented. Prospective applicants were required to present their birth and school certificates in person  during registration at the nearest VTC. Participation and eligibility were determined based on the program  budget and the impact evaluation design, as follows (appendix A, figure A1):  Step 1: All applicants (5,250 in total) were invited to a two‐day introductory seminar organized by HELP‐SL,  with the support of the World Bank. At the seminar, applicants were given brief training on how to prepare  a business proposal, together with the template for the business proposal, and were required to submit a  short  proposal  on  this  basis.  Applicants  were  also  informed  that  the  final  selection  of  beneficiaries  would  be  determined  by  the  quality  of  their  proposals  and  that  those  applicants  passing  the  minimum  quality  threshold  would  be  assigned  to  one  of  the  training  packages  (or  to  a  control  group  receiving  no  benefit)  according to the results of a public lottery.  Step  2:  Business  proposals  produced  by  participants  were  subjected  to  a  quality  screening  gauged  by  criteria established by the HELP‐SL finance unit. The criteria aimed to ensure that the business ideas in the  proposals  were  clear,  the  business  location  was  well  defined,  customers  were  clearly  identified,  and  the  inputs  required  were  defined.  A  total  of  3,854  of  the  5,250  applicants  who  submitted  proposals  were  shortlisted. More than half of those shortlisted (50.7 percent) were women.  Step 3:  The  3,854  shortlisted  youth  were  invited  to  take  part  in  a  public  lottery  carried  out  by  Statistics  Sierra  Leone  at  the  VTCs  where  the  applications  were  submitted;  of  these,  3,319  attended  and  were  randomly  assigned  to  four  groups  (49.5  percent  were  women).  The  evaluation  design  relied  on  a  random  assignment based on oversubscription. A maximum of 2,400 spaces were allotted for training. The sample  was stratified by gender to achieve the target of a minimum of 40 percent of participation among women  and  facilitate  gender‐disaggregated  analysis.  The  random  assignment  resulted  in  2,376  youth  assigned  to  one of three treatment groups, while the remaining 943 were assigned to the control group, as follows:9   Treatment A: this group received the technical skills package (791 participants)   Treatment B: this group received the business skills package (791 participants)   Treatment C: this group received package A, plus package B (794 participants)   Control: no treatment (943 remaining eligible participants)  Treatment  A  participants  received  technical  classroom  training  five  half‐days  a  week  between  December  2013 and May 2014. Treatment B participants attended the business skills training sessions three half‐days  a week from April to September 2014. During the months in which the technical and business skills training  overlapped,  treatment  C  participants  attended  three  full  days  per  week;  during  the  remainder  of  the  program they experienced the same training intensity as treatment A participants (appendix A, figure A2).                                                               9   The  initial  design  envisioned  randomly  assigning  800  individuals  to  each  treatment  group  and  1,200  to  the  control  group. However, fewer youth than expected applied, and therefore the numbers assigned to the control group were  reduced; 800 were indeed assigned to the treatment groups, but a few participants did not take up the training.  8    Following completion of the technical training, treatment A and C individuals received a certificate and then  graduated from the program after conclusion  of the  on‐the‐job training sessions. Participants  in groups B  and  C  were  invited  to  form  business  clubs  composed  of  members  of  their  own  choosing  from  the  pool  of  program beneficiaries. The aim of the business clubs was to raise repayment rates, although group liability  was  not  enforced  because  individuals  who  may  have  participated  in  a  club  could  establish  their  own  businesses  and  obtain  secure  microloans  individually.  After  the  business  club  participants  in  treatment  groups B and C had completed their training, HELP‐SL was to assist them through microfinance facilitation.  However, the Ebola crisis disrupted the implementation of this initiative, thereby limiting the intervention’s  relief of capital constraints to the cash stipend provided to participants in all three treatment groups.  Competing hypotheses posited by local and international policy makers about what interventions might be  effective in relieving constraints to youth employment informed the design of the three packages, although  the lack of a labor force survey since before the civil war limited knowledge about the current labor market  dynamics. The first hypothesis was that youth lacked the job‐specific technical skills that were necessary if  they were to be absorbed in the labor market, preferably in wage work. The second was that youth lacked  the  combination  of  entrepreneurial  skills  and  capital  that  would  enable  them  to  engage  in  a  business  on  their own, for example, by  creating and  expanding a  household  enterprise.  The  third was that capital was  the  binding  constraint,  and  the  impact  of  a  capital  infusion  should  therefore  be  tested  alone  against  the  impact of training; however, testing this hypothesis was infeasible from a political economy and operational  perspective.  The impact evaluation baseline data collection was carried out between August 26 and November 14, 2013,  during  program  enrollment  and  covered  the  3,319  shortlisted  individuals  who  participated  in  the  lottery  process.  The  randomization  yielded  balance  between  the  treatment  and  control  groups  (appendix  B).  Of  the 23 variables tested, only three main differences were found between each of the treatment groups and  the control group.10 The endline survey was conducted in June 2015, less than a year after the end of the  interventions (six months after the end of the business skills training and nine months after the end of the  technical  skills  training).  The  evaluation  therefore  provides  evidence  of  the  program’s  impacts  in  the  relatively  short  term.  Of  the  3,319  people  who  took  part  in  the  lottery  and  in  the  baseline  survey,  2,782  were  interviewed  at  endline—50.1  percent  of  whom  were  women—and  thus  have  been  included  in  the  analysis (see section 4a on attrition).  The evaluation instruments were translated into Krio, the language most widely spoken in the major urban  areas  of  Sierra  Leone.  The  baseline  survey  was  administered  to  each  participant  at  the  VTCs  where  the  applications  had  been  submitted,  while  endline  data  were  collected  at  the  homes  of  beneficiaries.  The  endline survey relied on computer‐based personal interviews, while the baseline survey was paper based.  Because of the randomized design, these differences should not have introduced any bias in the results.                                                               10  The baseline report examines the baseline status of the participants in the treatment groups and the control group.  9    4 Empirical Strategy and Threats to Validity  The  analysis  relies  on  the  intent‐to‐treat  (ITT)  estimate  through  an  analysis  of  covariance  regression,  as  follows:11  , ∗ ∗ ∗ , , ,    (1)  where  ,  are the outcomes of interest for an individual   in center   at follow‐up  .   is the outcome  for  individual    at  baseline;    captures  time‐invariant  center  effects;  and  ,   is  the  error  term.  The  estimated  coefficient    captures  the  effect  of  the  random  assignment,  that  is,  the  offer  to  participate  in  the  program  or  the  lack  of  such  an  offer.  The  equation  includes  fixed  individual  characteristics,  , ,  captured  at  baseline  to  increase  the  precision  of  the  estimates.  An  analysis  of  covariance  regression  specification  was  used  because  it  is  more  efficient  than  the  postestimator  or  the  difference‐in‐difference  estimator; in particular, it improves power, especially in cases where baseline and follow‐up outcomes have  low  autocorrelation,  which  is  the  case  with  a  number  of  the  outcomes  of  interest  in  this  study  (McKenzie  2012).  Beyond  the  overall  treatment  effect,  the  study  sought  to  test  differential  impacts  by  gender.  For  ease  in  the  interpretation  of  the  results,  equation  (1)  was  reestimated  for  two  subsamples  (women  and  men),  instead  of  multiple  interaction  terms.  To  test  the  relative  effectiveness  of  the  various  treatments,  the  following specification was used, and an equality of treatment hypothesis was then tested:  , ∗ 1 ∗ 2 ∗ 3 ∗ ∗ , , .  (2)  The ITT coefficients compare the outcomes among individuals who were originally assigned to receive the  treatments with the  outcomes among the individuals who were assigned to the  control group, regardless  of whether the individuals actually took part in the program. These estimates are therefore conservative if  the  impacts  observed  are  positive;  they  are  therefore  a  lower  bound  of  the  effect  of  the  program  among  those who attended training sessions and participated in program activities. Thus, if the program increased  employability and achieved other desired outcomes, the effect would be larger among those who actually  participated in the program than among those reported in this paper.  a. Attrition  At  endline,  Statistics  Sierra  Leone  was  able  to  track  2,782  of  the  3,319  individuals  surveyed  at  baseline,  putting  the  overall  survey  attrition  rate  at  16  percent  (Appendix  C).12  Over  80  percent  of  individuals  were  successfully interviewed at both baseline and endline. To check for bias resulting from attrition, Appendix  C  presents  t‐tests  of  differences  in  means  between  individuals  who  left  the  sample  (attritors)  and  individuals who stayed (nonattritors). Most of the differences between attritors and nonattritors arise from  variables with zero or a low number of observations among attritors or nonattritors and thus constitute a  small share of the sample.                                                               11   Conditional  regressions  do  not  control  for  outcomes  at  baseline  for  two  main  reasons:  (a)  the  loss  in  sample  size  beyond  the  loss  from  conditioning  based  on  employment  or  on  engagement  in  a  household  enterprise,  particularly  because of a labor market weakened by Ebola, and (b) key measurement changes to the endline survey after the first  national labor force survey was conducted in 2014. Regressions using consumption and business practices as outcome  variables do not control for outcomes at baseline because the relevant data were not collected at baseline.  12  McKenzie and Woodruff (2014) examine survey attrition rates in studies on business training. They find a range of  between 5.3 percent and 28.0 percent; the rate in about half the studies is higher than the rate in this evaluation.  10    To  ensure  that  the  evaluation  captures  the  impact  of  the  program  rather  than  the  impact  of  the  characteristics  that  differ  across  the  groups  resulting  from  attrition,  the  balance  tests  were  reestimated  across the treatment groups and the control group without the attritors (Appendix C, table C3). The groups  remain  similar,  on  average.  There  were  no  differential  patterns  among  the  nonattritors  in  the  treatment  and  control  groups  or  among  the  key  variables  tested,  and  the  only  variable  with  a  statistically  significant  difference in means also differed at baseline (self‐reported ability to read or write a simple text).  Although  no  worrying  trends  were  observed,  a  set  of  standard  individual  characteristics  are  included  as  control  variables  in  all  the  econometric  estimations.  As  an  additional  robustness  check,  an  inverse  probability weighting approach was used to conduct attrition corrections (Wooldridge 2000). This was done  by  estimating  a  probit  model  to  predict  the  probability  of  staying  in  the  panel  and  to  calculate  inverse  probability  weights,  which  are  used  to  reweight  the  sample,  giving  more  weight  to  individuals  with  the  highest chance of attrition. More details on the methodology and results, following Adoho et al. (2014), are  presented  in  Appendix  C,  along  with  the  main  unadjusted  ITT  results  for  comparison.  The  results  show  a  high  degree  of  similarity  between  the  original  (unadjusted)  and  the  adjusted  estimates.  Across  all  outcomes, the point estimates and standard errors vary only slightly and do not change the overall results.  b. Compliance and take‐up  There  are  potential  compliance  and  take‐up  issues  at  two  stages  of  the  program:  (i)  participation  in  the  random assignment (selection) by shortlisted applicants and (ii) compliance with the random assignment,  or program take‐up for those assigned to one of the treatment groups. Take‐up of the random assignment  was  86  percent  (a  total  of  3,854  applicants  were  shortlisted  to  participate  in  the  random  assignment  by  public lottery, but only 3,319 actually attended). This discrepancy may have been partly caused by the 3.5  month  lag  between  application  and  selection.  The  take‐up  at  this  stage  did  not  affect  the  internal  validity  of the study because the random assignment was carried out only among those who attended the lottery.  However,  there  are  external  validity  considerations.  For  example,  if  those  who  did  not  attend  the  lottery  had better networks and were therefore able to find alternative training or work opportunities, the impacts  would be underestimated. Take‐up was also high for a program of this type. Survey and administrative data indicate that around 10.0  percent  of  those  assigned  to  one  of  the  treatment  groups  did  not  take  up  the  training,  and,  at  most,  6.1  percent of the control individuals participated in the training sessions. To ensure robustness, estimates of  the  local  average  treatment  effect  were  also  produced  to  examine  the  impact  of  the  treatment  on  the  treated:  those  individuals  whose  treatment  status  was  influenced  by  the  random  assignment,  that  is,  the  compliers (Angrist and Imbens 1995; Angrist, Imbens, and Rubin 1996). The original assignment is used as  an  instrumental  variable  for  treatment,  where  treatment  is  defined  as  a  binary  variable  that  takes  on  a  value of 1 if the individual attended at least 75 percent of the training and 0 otherwise. As expected based  on  the  low  levels  of  noncompliance  with  the  random  assignment,  the  results  are  similar  to  the  ITT  estimates. Given this outcome and the large amount of data already presented, only the ITT estimates are  presented here.  Various  program  design  features  may  explain  the  high  overall  take‐up,  the  low  drop‐out  rates,  and  the  differential take‐up across treatment groups among youth who were part of the random assignment. First,  the program required applicants to prepare a short business proposal, which may have acted as a signal of  commitment  to  the  program  (Blattman,  Fiala,  and  Martinez  2014).  Second,  individuals  assigned  to  the  treatment who attended less frequently were contacted by phone by HELP‐SL to encourage participation.  11    Third, implementation progress reports indicated that youth assigned to treatment group B, which received  business  skills  training  only,  were  more  likely  to  drop  out  and  exhibited  lower  attendance  relative  to  individuals assigned to the treatment arms providing technical skills training. Anecdotal evidence indicates  this could be explained by (i) the perception that technical training was more tangible and therefore more  marketable,  as  participants  expressed  their  main  motivation  in  joining  the  training  sessions  was  to  obtain  technical skills training; (ii)  an  unintended consequence  of the design if the three‐month lag  between  the  start  of  the  technical  skills  training  and  the  business  skills  training  led  some  individuals  assigned  to  treatment group B to seek alternative training or economic activities; and (iii) the focus of beneficiaries on  the size of the stipend because treatment B was shorter in duration than the other arms.  Analysis shows that gender is not a predictor of attendance. In estimating the probability of high attendance  (measured  as  taking  part  in  75  percent  or  more  of  the  days  of  training),  after  controlling  for age,  marital  status, number of children, and city of residence, the coefficient of gender is not statistically different from  zero.  This  means  that,  under  similar  conditions,  men  and  women  are  equally  likely  to  attend  the  training.  Estimations by gender suggest that, while marital status is not a strong predictor of women’s attendance,  married men are significantly less likely to attend.  c. Spillovers  Ideally,  the  randomization  in  this  study  should  have  been  conducted  across  the  VTC  centers  rather  than  among individuals to avoid the effects of information sharing among people at the same centers. However,  because  the  number  of  centers  was  small  (13),  a  randomization  by  center  was  not  appropriate.  Instead,  randomization  was  conducted  at  the  individual  level,  and  measures  were  put  in  place  by  HELP‐SL  to  minimize  the  likelihood  that  people  assigned  to  different  treatments  would  meet  at  their  centers.  To  accomplish  this,  separate  class  sessions  were  held  at  different  times  of  day.  There  was  no  concern  about  spillovers from other intervention elements (such as access to on‐the‐job training) because these elements  were offered strictly to those assigned to treatments A, B, and C and were not transferable. There was also  minimal  or  no  concern  about  general  equilibrium  effects  given  that  the  number  of  beneficiaries  was  only  slightly above 0.5 percent of the total economically active population of the country and only 1.2 percent  of the urban youth in the labor force in the five districts where the program was implemented.13  5 Results  This section provides an overview of the impact of participation in the intervention as reflected in a variety  of outcomes. Impact is defined as the difference in the change in outcomes observed among the treatment  group(s)  between  the  baseline  and  endline  surveys  and  the  corresponding  change  in  the  control  group  after controlling for the value of the outcome at baseline. All estimates are ITT coefficients, which compare  the outcomes among individuals who were originally assigned to receive the treatments with the outcomes  among  the  individuals  who  were  assigned  to  the  control  group,  regardless  of  whether  the  individuals  actually took part in program activities.  The  analysis  examines  the  effects  of  the  program  through  the  lens  of  ultimate  and  proximate  outcomes  (appendix A, figure A3). The former are understood as the main outcomes of interest, and the latter as the  channels  through  which  the  program  is  expected  to  influence  the  ultimate  outcomes.  Unconditional                                                               13  The available data do not permit disaggregated estimates on urban youth in the labor force in the program cities to  assess  the  potential  for  local  spillovers.  However,  these  estimates  are  considered  reasonable  given  the  near  perfect  overlap among urban areas in these five districts and the cities where the program was located.  12    estimates  (the  full  sample)  were  derived  for  most  outcomes;  however,  for  a  limited  number  of  variables  for  which  unconditional  results  are  difficult  to  interpret,  the  results  are  conditional  on  employment  or  owning  a  business,  with  the  caveat  that  these  results  are  not  necessarily  of  a  causal  nature.14  All  impacts  reported are statistically significant at the 10 percent level or lower unless otherwise indicated.  a. Ultimate outcomes  Employment  The  program  increased  employability,  measured  by  whether  individuals  were  currently  deriving  positive  work  incomes.  Treated  individuals  were  3.1  percentage  points  more  likely  to  be  employed,  a  substantial  impact  considering  only  about  12.6  percent  of  the  control  group  was  employed  at  endline.  The  positive  impact on overall employment was larger among young men, who were now 4.4 percentage points more  likely  to  be  employed,  compared  with  1.8  percent  among  young  women  (appendix  A,  table  A1,  panel  I).  However, the equality of these effects by gender cannot be rejected. The greater impacts observed among  men are consistent with the fact that, at baseline, more women had been self‐employed in the 12 months  previous  to  the  survey  (19.2  percent  versus  12.6  percent  among  men)  and  that  self‐employment  was  the  main source of employment among Sierra Leonean youth and was therefore expected to be most affected  by the program. The impacts hold across treatment groups; only treatment groups B and C show significant  impacts, but the equality of impacts across groups cannot be rejected (appendix A, table A1, panel II).  The  program  also  changed  the  sources  of  labor  income  among  youth.  The  share  of  men  engaged  in  self‐ employment  more  than  doubled,  from  1.6  percent  to  4.0  percent.  This  change  was  accompanied  by  a  change in men’s aspirations: the gap between the proportion of men and women who would choose a job  in  nonfarm  self‐employment  narrowed  from  12.7  percentage  points  to  10.2  percentage  points.15  This  suggests the program helped disrupt gender norms around this type of work by changing men’s perceptions  of its desirability, an important change, especially given the limited labor absorption potential of the wage  sector.  There  was  no  significant  change  among  women  or  overall;  however,  the  equality  of  effects  across  gender cannot be rejected.  Not  only  did  the  program  expand  employment  opportunities,  but  it  also  improved  the  quality  of  the  jobs  among those working as measured by earnings. Labor earnings among paid workers rose by 32.1 percent.16  The impacts among women were larger than and significantly different from the impacts among men. The  earnings  among  women  grew  an  outstanding  63.9  percent,  while  there  were  no  impacts  among  men.  Because of the small sample of individuals in wage work, it was not possible to measure whether this was  a  result  of  increased  wages  among  those  people  who  were  already  in  wage  work  prior  to  the  program,  a  shift into more wage work, a change in the type of businesses being run (see below), or some combination  of  these.  All  treatments  had  similar  effects  on  labor  earnings;  only  treatment  groups  A  and  C  showed  significant impacts, but the equality of impacts across groups cannot be rejected.                                                               14   The  concern  with  using  conditional  analysis  (earnings,  hours  worked,  type  of  business,  business  location,  recordkeeping)  is  that  there  may  be  differential  selection  effects  by  treatment  group  because  of,  for  example,  differences  in  occupational  choice,  which  may  introduce  bias  into  the  randomized  design.  Balance  tests  on  observables using the conditional sample find no such differences (available upon request).  15   The  other  possible  responses  were  agricultural  self‐employment  and  wage  work.  In  the  control  group,  almost  30  percent of women but only 17 percent of men would have chosen nonfarm self‐employment as their preferred job.  16  Unconditional estimates of earnings show no change as a result of the project. Balance tests on observables using  the conditional sample find no such differences.  13    Entrepreneurship  The program had modest success in promoting entrepreneurship among youth (appendix A, table A2). The  likelihood  that  participants  became  first‐time  entrepreneurs,  that  is,  operated  their  own  businesses,  including family businesses, for the first time, increased by 4.1 percentage points relative to nonparticipants  (15.8 percent). The impacts were larger and statistically significant only among men, although the equality  of  effects  by  gender  cannot  be  rejected.  These  findings  are  consistent  with  the  self‐employment  results  and  the  fact  that  men  in  Sierra  Leone  engage  less  in  nonfarm  self‐employment  as  a  primary  job  than  women, allowing men more margin for entry into this area.  The  program  had  a  positive  and  significant  impact  on  volatility,  as  proxied  by  the  lowest  monthly  profits  derived  by  household  enterprises  in  the  previous  12  months.  Treatment  increased  profits  in  the  worst  month  by  24.7  percent;  indeed,  several  studies  have  emphasized  that  training  programs  may  have  the  strongest  influence  on  profits  during  bad  months,  thereby  reducing  profit  volatility  (McKenzie  and  Woodruff  2014).  However,  this  result  appears  to  be  explained  by  a  greater  understanding  of  enterprise  finances among participants because the program also raised the likelihood that financial records would be  kept, and the improved recordkeeping seems to have influenced how profits were measured (see below).  Following  the  approach  used  by  de  Mel,  McKenzie,  and  Woodruff  (2014),  financial  recordkeeping  was  included as a control in the treatment regression; this showed that financial recordkeeping was positively  associated  with  profits  and,  once  this  control  is  included,  the  impact  observed  on  profits  loses  its  significance.  The  program  also  shifted  the  types  of  businesses  in  which  youth  are  engaged,  resulting  in  a  distribution  that  resembles  more  closely  that  of  the  general  population.  According  to  the  latest  nationally  representative  labor  force  survey,  most  household  entrepreneurs  in  Sierra  Leone  are  traders  or  shopkeepers  (84.0  percent),  compared  with  75.4  percent  of  the  youth  in  the  control  group.  The  program  increased  the  probability  of  involvement  in  trading  or  shopkeeping  businesses  by  7.9  percentage  points,  which means that 83.2 percent of the household enterprises owned by youth were of this type (appendix  A, table A2, column 5). However, this outcome is driven purely by women because no change among men  was observed, and the effect is significantly different by gender. This aligns with the high concentration of  women in self‐employment in the program’s absence, and the effect was thus expected to be seen in the  profile  of  existing  businesses.  However,  because  it  relies  on  conditional  estimates,  this  result  should  be  interpreted with caution; similar effects are not found in the unconditional estimates, possibly because of  the large proportion of households not engaged in any household enterprise.17  An  examination  of  the  impacts  across  treatment  groups  suggests  that  the  entrepreneurship  results  are  driven  by  treatment  group  B,  which  is  consistent  with  the  business  skills  content  of  this  intervention  package. The impacts by treatment are significantly larger among group B than among group C in terms of  the likelihood of first‐time entrepreneurship and raising profits during bad months. This result suggests that  the  business  skills  training  package  was  more  effective  than  the  full  package  at  promoting  entrepreneurship.                                                               17  Based on balance tests, the conditional results show no evidence of differential selection bias. Thus, the restricted  sample is balanced on observables across treatment groups.  14    Resilience to aggregate shocks  While  the  YESP  was  originally  conceived  as  a  series  of  youth‐targeted  social  protection  interventions  in  response to the food, fuel, and financial crisis, the skills training was not designed as a safety net, but rather  as an instrument to enhance youth employability. However, the Ebola outbreak amplified the importance  of  the  program’s  role  in  building  household  resilience  to  shocks.  The  evaluation  therefore  measured  the  program impacts on household consumption and investments (appendix A, table A3).18  Large positive effects on household welfare as measured by consumption were observed (appendix A, table  A3,  panel  I,  columns  1–4).  These  effects  were  significantly  larger  among  households  in  which  the  beneficiaries were women. Overall monthly consumption per capita grew by 52.5 percent, compared with  about  SLL  300,000  in  the  control  group  (about  US$70  at  prevailing  exchange  rates).  This  is  driven  by  remarkably  large  effects  in  all  three  components  of  consumption  measured:  food  items  (46.4  percent),  nonfood items (51.6 percent), and lumpier bimonthly household expenditures (47.1 percent). Households  in  which  the  beneficiaries  were  women  experienced  much  higher  increases  in  overall  per  capita  consumption,  in  the  range  of  60–70  percent,  while  male  participants  also  registered  positive,  albeit  narrower results, in the range of 20–35 percent.  The  program  also  provided  a  small  boost  to  household  investments  in  assets  and  living  conditions.  The  presence  of  a  program  participant  in  a  household  raised  the  number  of  assets  owned  to  4.4,  compared  with  4.2  in  the  control  group,  which,  although  a  small  difference,  was  remarkable  given  the  prevailing  economic  conditions.19  It  also  increased  the  likelihood  of  improved  sanitation  facilities  by  3.1  percentage  points,  which  is  nonnegligible  given  that  only  20.3  percent  of  households  in  the  control  group  had  such  facilities. However, no impacts were found on other measures such as access to piped water or residence  in a house with a concrete roof.  b. Potential channels of impact  In  light  of  the  program’s  goal  of  reducing  the  constraints  on  skills  and  capital  to  spur  employment  and  entrepreneurship,  the  observed  impacts  on  employment  and  entrepreneurship  were  expected  to  flow  through  two  main  channels:  skills  and  capital.  The  impacts  on  skills  were  captured  through  measures  of  cognitive  skills,  measures  of  noncognitive  skills,  and  measures  of  business  practices.  The  causal  chain  between  employment  or  entrepreneurship  and  skills  development  can  evidently  also  run  in  the  opposite  direction  if,  for  example,  the  intervention  allowed  participants  to  benefit  from  work  experience  that  enhanced  their  noncognitive  ability.  However,  the  analysis  suggests  this  is  not  likely  to  be  the  case  given  that  the  evaluation  examines  the  impacts  in  the  relative  short  term,  and  the  analysis  of  heterogeneity  by  skill  suggests  that  participants  with  higher  initial  ability  benefited  more  from  employment,  but  less  from  the skills  training (see below). Impacts  on capital are measured  by business spending, business loans, and  capital stock.                                                               18   All  consumption  results are robust  to estimations  in  levels rather  than  logarithms  as  well  as  to  other  specification  changes.  Differences  across  groups  are  not  reported  because  the  treatment  arms  were  not  designed  with  consumption in mind.  19   Household  assets  include  sofa;  electric,  gas,  or  kerosene  stove;  radio;  cassette  recorder;  freezer  or  refrigerator;  generator; and electric or charcoal iron. The variable is measured as the total number of assets reported by individuals.  15    Cognitive skills  Overall,  the  program  enhanced  cognitive  skills  as  measured  through  verbal  working  memory.20  Verbal  working  memory—measured  through  the  forward  digit  span  recall  test—was  positively  affected  by  the  program.21 The proportion of participants who could recall six or more digits rose by 6.3 percentage points  (appendix A, table A4, column 1). This result is robust to controls for the status of the variables at baseline  and accounts for the fact that more than half the participants (84.5 percent) could already recall six or more  digits at baseline. This suggests that the program may have influenced creativity among youth because the  digit  span  test  has  been  found  to  be  positively  associated  with  the  likelihood  of  innovating  (de  Mel,  McKenzie,  and  Woodruff  2009).  The  gender  disparity  of  19.6  percentage  points  in  verbal  memory  among  the  treatment  groups  at  baseline  fell  to  13.8  percentage  points  as  a  result  of  the  program;  however,  the  equality of the impacts by gender cannot be rejected.  Cognitive skills have been relatively stable in other interventions, raising  the  question  of  whether  the  observed  results  may  have  been  influenced  by  an  effort  effect,  for  example,  if  treated  individuals  exert  more effort in answering survey questions on cognitive ability at endline to show their gratitude for being  selected  as  beneficiaries.  While  this  possibility  cannot  be  entirely  refuted,  the  impacts  on  cognitive  skills  observed  match  expectations  given  that  participants  facing  difficulties  in  reading,  writing,  and  analyzing  figures in all groups received training in basic literacy and numeracy. The fact that the equality of impacts  across  groups  cannot  be  rejected  also  points  to  the  relevance  of  building  foundational  skills,  including  through basic literacy and numeracy, among youth who may have failed to acquire these skills because of  low‐quality  education  systems  (Filmer  and  Fox  2014).  In  addition,  the  program  was  designed  as  a  long‐ term, full‐time intervention with a duration similar to a full academic year, as opposed to most skills training  programs  designed  as  high‐intensity  short‐term  courses  (McKenzie  and  Woodruff  2014).  In  a  context  of  generally low skills, this treatment intensity could have plausibly affected cognitive skills.  Noncognitive skills  There has been great interest in noncognitive skills in the recent literature on human capital development  and  entrepreneurship,  particularly  the  notion  that  entrepreneurial  ability  should  take  into  account  other  attributes  beyond  cognitive  capacities.  Following  de  Mel,  McKenzie,  and  Woodruff  (2010),  who  draw  on  the  field  of  psychology  to  measure  entrepreneurial  traits,  the  evaluation  therefore  captured  four  main  aspects of noncognitive skills: (i) impulse control, measured by planning, the speed of decision making, and  savings behavior; (ii) polychronicity or the ability to juggle multiple activities; (iii) internal locus of control,  which measures an individual’s willingness to take risks and their beliefs in their ability to influence events  or  outcomes;  and  (iv)  general  tolerance  to  risk  taking  in  general  and  in  financial  decisions.  All  indicators  were measured using a five‐point scale in which 5 is the best and 1 the worst.22                                                               20  Self‐reported literacy also increased as a result of the program. However, these results are not presented because  of an imbalance in this variable at baseline (appendix B).  21   The  test  consists  of  showing  a  card  with  three  digits  and,  10  seconds  later,  asking  the  respondent  to  repeat  the  number. This is repeated with sequentially higher numbers of digits until the respondent can no longer correctly recall.  22   To  measure  noncognitive  skills,  participants  were  asked  three  questions  per  category  (impulse  control,  locus  of  control,  and  polychronicity).  Following  Roseth,  Valerio,  and  Gutiérrez  (2016),  a  simple  average  per  category  was  estimated after scoring each question on a five‐point scale where 5 was the most desirable and 1 the least desirable  answer.  16    The  program  expanded  impulse  control  among  participating  youth  by  2.8  percent  from  3.5  in  the  control  group  (appendix  A,  table  A4,  column  2),  which  is  of  interest  given  that  recent  evidence  suggests  higher  impulse  control  is  associated  with  a  higher  likelihood  that  a  firm  will  exhibit  growth  potential  (de  Mel,  McKenzie, and Woodruff 2010). The program also increased the ability of participants to multitask from 2.1  points  to  2.2  points,  equivalent  to  an  increase  of  5.7  percent,  a  positive  result  given  recent  evidence  that  entrepreneurs  have  the  ability  to  juggle  many  tasks  simultaneously  (Lazear  2005).  It  likewise  raised  the  internal locus of control (appendix A, table A4, column 3), another trait associated with entrepreneurship,  by 2.9 percent from 3.2.23 The program has no effect on measures of overall risk taking (appendix A, table  A4, column 5).  The  program  effects  on  noncognitive  skills  showed  variation  in  magnitudes  and  significance  between  women and men, but the equality of effects cannot be rejected for any of the measures used. Similarly, the  analysis  by  treatment  group  suggested  that  the  equality  of  the  positive  impacts  observed  on  impulse  control,  multitasking,  and  the  internal  locus  of  control  cannot  be  rejected  across  groups.  This  finding  suggests that, in generalized low‐skill environments, simple participation in an intensive skills intervention  can  induce  important  positive  changes  in  noncognitive  ability  among  participants.  Unlike  the  literature,  there  is  no  evidence  suggesting  that  on‐the‐job  training  had  an  additional  effect  on  the  development  of  noncognitive  skills  (the  equality  of  impacts  across  groups  cannot  be  rejected).  However,  the  Ebola  crisis  caused  substantial  disruptions  in  the  implementation  of  the  on‐the‐job  training  element,  and  this  should  therefore be reexamined in future interventions.  Business practices  Another  skill  area  relevant  to  entrepreneurship  is  good  business  practices,  which  include  appropriate  recordkeeping,  marketing  initiatives,  inventory  monitoring,  setting  financial  targets  or  goals,  and  quality  control  systems  (McKenzie  and  Woodruff  2015).  However,  while  most  of  these  practices  are  standard  in  medium and large enterprises, their implementation is less widespread among small and microenterprises,  particularly in developing countries. Given that few household enterprises are likely to apply most of these  practices, only the most basic of these, recordkeeping, was measured during the evaluation.  The program had a positive, significant impact on the share of youth who kept financial records, which rose  by 4.0 percentage points, up from 9.7 in the control group (appendix A, table A5). This result is found only  among  men,  but  the  equality  of  effects  by  gender  cannot  be  rejected.  The  share  of  participants  keeping  formal  records  separately  for  business  activities  and  the  household  increased  by  3.0  percentage  points,  from  8.3  in  the  control  group.  The  share  of  participants  keeping  financial  records  increased  in  all  three  groups.  Changes  in  keeping  separate  financial  records  for  the  business  and  for  the  household  are  found  only among group B participants, which indicates that the business skills training was effective in enhancing  business practices. However, the equality of impacts across groups could not be rejected.  Capital  The  program  did  not  expand  access  to  loans  or  boost  business  spending,  but  it  did  raise  the  amounts  borrowed to start businesses among participants who own businesses (appendix A, table A5, panel I). This  finding  suggests  the  program  was  partially  successful  in  relieving  start‐up  capital  constraints.  This  is  an  important result because evidence suggests that most informal activities face substantial financial barriers                                                               23  However, there is only limited evidence on how these abilities differ across larger‐scale entrepreneurs and the self‐ employed who do not rely on hired workers (de Mel, McKenzie, and Woodruff 2010).  17    and,  at  low  levels  of  capital,  marginal  returns  to  capital  are  high  and  could  exceed  70  percent  a  month  (Grimm,  Knorringa,  and  Lay  2012).  However,  because  this  result  relies  on  conditional  estimates,  it  should  be interpreted with caution; similar effects are not found in the unconditional estimates, possibly because  of the large proportion of households not engaged in household enterprises.24  The  increase  in  the  amount  borrowed  could  be  linked  to  the  shift  in  the  distribution  across  the  types  of  businesses  run  by  participants.  The  rise  in  start‐up  loan  amounts  among  participants  with  businesses  is  consistent with the large surge observed in the amount these participants reported needing to start their  current  businesses.  There  are  several  plausible  explanations  for  the  increase  in  the  amount  of  start‐up  capital required. One hypothesis is that the program induced a change in the information youth had at their  disposal; for example, if they had gained more knowledge about the business environment or if the training  exposed  them  to  new  business  ideas,  this  could  change  the  optimal  investment  level.  The  latter  is  consistent with the shift in types of businesses as a result of the program (see above).  An alternative explanation is that the skills or capital acquired through training affected youth expectations  about how much capital they could access. If the types of businesses they conceived were constrained by  the capital they expected to be able to access and the skills they possessed, then relaxing these constraints  through the program could have allowed them to consider more ambitious investments. This hypothesis is  supported  by  the  fact  that  the  program  exerted  an  impact  both  on  the  amounts  youth  report  needing  to  start businesses and on skills. This result could have also occurred if the program improved business plans  and, thus, the participants’ expectations of their ability to borrow.  The  program  drove  up  the  capital  stock  of  businesses,  which  could  lead  to  higher  future  productivity  and  growth  (appendix  A,  table  A5,  column  3).25  Meanwhile,  monthly  business  expenses  did  not  increase.  This  indicates  that,  instead  of  incurring  additional  recurrent  expenses,  youth  chose  to  invest  at  least  a  portion  of  the  cash  injection  in  capital  stock  (column  3).26  This  investment  choice  is  consistent  with  theoretical  models  of  financial  market  failures  that  restrict  both  savings  and  access  to  credit,  constraints  that  are  prevalent  among  these  youth  and  more  broadly  in  the  Sierra  Leonean  context  (Blattman  et  al.  2014;  Fafchamps  et  al.  2014;  Margolis  et  al.  2016).  It  also  supports  the  above  hypothesis  that  the  program  led  some young participants to pursue higher‐productivity businesses.  The  program  was  designed  to  reduce  capital  constraints  among  entrepreneurs  through  microfinance  facilitation.  However,  the  Ebola  crisis  disrupted  the  microfinance  facilitation  aspects  of  the  program;  the  capital  infusion  provided  directly  by  the  program  thus  consisted  primarily  of  the  monthly  stipend  tied  to  attendance. The effects  on  the optimal borrowing and capital stock  therefore likely reflected  the liquidity  effect  of  the  stipend,  combined  with  any  indirect  effect  through  training.  There  was  an  increase  in  the  amount of capital needed to start a business among groups A and C, but not group B. This may suggest that  participants  receiving  the  technical  skills  training  may  be  willing  to  use  their  new  skills  to  start  businesses                                                               24  Conditional estimates were used given that only participants with businesses were asked to report their borrowing  for business purposes. Based on balance tests, the conditional results show no evidence of differential selection bias:  the restricted sample is balanced on observables across treatment groups.  25  A long‐standing premise of economic theory holds that capital accumulation and technological change account for  much of the change in productivity and growth. The Solow‐Swan model explains exogenous economic growth through  capital  accumulation,  labor,  and  productivity  (Solow  1956;  Swan  1956).  Romer  (1990)  later  extended  the  model  to  endogenous economic growth theory.  26   Capital  stock  is  measured  as  the  estimated  value  at  sale  of  the  current  stock  of  tools,  equipment,  and  machines  used in the business.  18    and were now better able to recognize the number and cost of the tools and inputs they needed. However,  group comparisons show that group C was the only group experiencing a significantly larger impact in any  of the capital outcomes relative to the other treatment groups.  c. Relative effectiveness of various intervention elements  Treatment group comparison  Many studies of training programs face difficulty in determining which training elements are most effective  in  promoting  employment  and  entrepreneurship  because  various  types  of  content  are  mixed  together  in  most experiments (McKenzie and Woodruff 2014). This study aims to inform this discussion by examining  the  relative  effectiveness  of  providing  youth  with  the  following:  (i)  occupation‐specific  skills  through  technical training, plus on‐the‐job training (treatment A); (ii) business skills training and facilitation of access  to  finance  (treatment  B);  and  (iii)  a  package  combining  the  two  (treatment  C).  However,  given  that  Ebola  effectively nullified the capital intervention among groups B and C by rendering the microfinance element  infeasible,  the  comparison  involves  a  technical  skills  package  with  on‐the‐job‐training,  a  business  skills  package, and a combination of both.  The  expectation  based  on  the  program  design  was  that  larger  effects  would  be  found  in  treatment  group  C, which combined all aspects of the intervention, but this is not borne out by the data. There is no evidence  that the various training elements are additive: the econometric results undermine the hypothesis that the  impacts  of  receiving  treatment  C  are  either  greater  than  or  equal  to  the  combined  impacts  of  receiving  treatments A and B; nor are the vast majority of the impacts statistically distinguishable across the groups  (appendix  A,  table  A7).  There  is  thus  insufficient  evidence  to  conclude  that  any  one  package  is  more  effective at increasing the employability of youth and promoting youth‐owned household enterprises.  The  absence  of  statistically  significant  differences  across  the  groups  may  partly  reflect  the  evaluation  timeline  and  the consequences of  the Ebola crisis. The endline survey was collected  less than a year after  the  end  of  the  intervention,  thus  covering  a  short  span  postintervention.  As  a  result,  the  market  may  not  have  yet  recognized  the  newly  acquired  skills  and  abilities,  limiting  comparisons  across  the  groups.  This  drawback was intensified by the fact that program participants graduated from the training to join a labor  market  severely  affected  by  the  Ebola  crisis.  The  ability  of  the  participants  to  secure  employment  was  undoubtedly  affected  by  the  generally  poor  economic  climate,  as  evidenced  by  the  steep  decline  in  the  urban  employment  rate  from  75  percent  to  67  percent,  an  8  percentage  point  increase  in  the  number  of  household  enterprises  out  of  operation  (a  measure  of  business  survival),  and  a  contraction  in  business  revenues by 40 percent (Fu et al. 2015). However, the lack of differences also provides suggestive evidence  that foundational skills, particularly basic literacy and numeracy, and  participation in  an intensive training  intervention alone have the potential to enhance skills among youth in generalized low‐skill contexts.  Cash versus skills  There  is  some  debate  as  to  whether  skills  or  capital  are  more  important  at  inducing  changes.  The  study  design did not allow for a robust comparison between these two elements, making it difficult to disentangle  the  respective  effects.  In  addition,  although  the  program  was  designed  to  reduce  capital  constraints  to  entrepreneurship  through  microfinance  facilitation,  the  Ebola  crisis  disrupted  this  aspect.  The  program’s  influence  in  relieving  capital  constraints  was  thus  reduced  to  a  cash  infusion  in  the  form  of  the  stipend  provided to all groups. Nonetheless, the data allow some reasonable speculation that neither skills nor cash  alone (at least in the amount provided) would have been sufficient to achieve the range of impacts found.  19    The data support the argument that skills alone could not have achieved the quality and magnitude of the  impacts found.27 First, the amount of the stipend was nonnegligible. Although the daily stipend was roughly  equivalent to the typical cost of food and transport, the average monthly stipend received by participants  also  corresponded  to  49.1  percent  and  28.4  percent  of  the  median  earnings  at  baseline  among  the  participants  receiving  technical  skills  and  business  skills  training,  respectively,  assuming  perfect  attendance.28 Second, excluding the stipend, increases in capital stock could have been derived only from  borrowing  or  from  the  reinvestment  of  profits,  that  is,  the  combined  increase  in  these  two  should  be  commensurate with the increase in the capital stock.29 However, the increase in profits and in the amounts  borrowed did not fully account for the large increase in capital stock and consumption, suggesting that the  stipend played a role. The total combined expansion in capital, expenditures, and consumption during the  12 months prior to the survey represented almost six times the sum of the amount borrowed and the total  profits generated during the same period.  Nonetheless,  the stipend was not likely sufficient to spur  the changes  observed  in skills  and employment.  First, the  program raised  the likelihood  of employment, a result that is unlikely  to have been found  in  the  presence of a cash treatment only, given the relatively small size of the stipend. This probably arose because  of  the  access  to  new  job  networks  or  the  reduced  information  asymmetries  in  companies  in  which  the  participants  were  apprenticed  (the  latter  only  for  groups  A  and  C).  A  piece  of  suggestive  evidence  is  that  the quality of the training centers matters for the impacts, which would not have been expected if only the  liquidity  effect  mattered  because  all  participants  were  eligible  to  receive  the  same  amount  of  stipend.  Second,  the  stipend  cannot  fully  account  for  the  rise  in  capital  observed  because  the  stipend  only  represents  half  (48  percent)  of  the  required  start‐up  capital  at  baseline  and  72  percent  of  the  increase  in  capital  stock.  Finally,  the  returns  to  skills  in  terms  of  consumption  and  earnings  are  high  for  these  youth.  This  suggests  that,  although  the  employment  gains  were  greater  among  those  participants  with  higher  initial skill endowments, the change in skills induced by the program could potentially have led to medium‐  and long‐term effects in future earnings and consumption.30  d. Heterogeneity of effects by initial noncognitive skills  Recent  studies  have  tried  to  identify  which  individuals  and  businesses  benefit  the  most  from  skills  development  programs,  but  few  studies  have  had  enough  power  to  answer  this  question  (McKenzie  and  Woodruff  2014).  Evidence  with  enough  statistical  power  has  focused  on  how  the  cognitive  ability  of  the  owner  affects  outcomes  and  suggests  that  impacts  tend  to  be  stronger  among  less  well  educated                                                               27   One  way  to  disentangle  the  effect  of  training  versus  cash  on  profits  is  to  reestimate  the  impact  after  controlling  directly  for  capital  stock.  However,  the  underlying assumption  is  that  the production  function mapping capital  stock  to profits is unchanged, which is unlikely to hold in the presence of a large aggregate shock (such as the Ebola crisis)  between survey rounds.  28  The stipend represented 26 percent and 15 percent of monthly per capita household consumption, respectively.  29  It may also be derived from savings, held primarily in osusus (45 percent of youth), which are informal savings groups  similar to tontines or rotating savings and credit associations elsewhere, whereby, for example, 10 people put Le 5,000  in a pot; then one of the 10 takes the resulting Le 50,000 for his or her own use, promising to put in Le 5,000 at the  next group meeting to continue the process. Data on amounts saved were not collected, but there is no reason savings  would be positively impacted through channels other than profits or the stipend, especially during the Ebola crisis.  30   Regression  analysis  shows  that  cognitive  and  noncognitive  ability  (impulse  control,  locus  of  control,  and  multitasking)  are  strong  predictors  of  consumption  and  earnings  among  paid  workers,  even  if  all  standard  controls  are  included.  A  1  point  increase  in  noncognitive  scores  is  associated  with  40  percent  to  80  percent  rises  in  consumption and earnings.  20    participants (de Mel, McKenzie, and Woodruff 2014; Sonobe, Suzuki, and Otsuka 2011). However, concerns  have  been  raised  about  the  ability  of  low‐skill  participants  to  implement  what  they  have  been  taught  (McKenzie  and  Woodruff  2014).  Given  that  noncognitive  skills  are  known  to  be  strong  determinants  of  entrepreneurial  ability  and  that  the  program  had  impacts  on  these  outcomes,  an  analysis  of  the  heterogeneity of effects by this dimension is important.  In  terms  of  skills  formation,  the  program  had  a  greater  impact  on  both  cognitive  and  noncognitive  skills  among those participants with lower initial skills by nearly all measures of noncognitive skills (appendix A,  table  A6,  columns  6–9).  However,  these  skill  gains  translated  into  labor  market  impacts  differently  depending  on the initial noncognitive ability, possibly  because  of differences in the ability of  beneficiaries  to  mitigate  shocks.  Among  those  participants  with  higher  noncognitive  skills  (that  is,  impulse  control)  at  baseline,  the  program  had  larger  effects  on  employment,  earnings,  and  the  accumulation  of  capital  stock  (appendix  A,  table  A6,  columns  1–5).  The  direction  of  the  interaction  is  similar  to  the  interaction  of  employment  and  self‐employment,  although  the  coefficient  is  not  significantly  different  from  zero.  Meanwhile, those participants with lower initial ability experienced larger impacts on consumption.  At  first  glance,  this  result  appears  to  confirm  the  second  hypothesis  above  that  more  highly  skilled  individuals  were  better  able  to  utilize  the  skills  acquired  through  the  program  for  productive  ends  in  the  short term. However, because of the Ebola crisis, the story is likely to be more complex. Although, because  baseline  data  on  wealth  were  not  collected,  the  study  has  not  been  able  to  test  whether  initially  poorer  individuals  achieved  larger  impacts,  statistical  analyses  suggest  that  noncognitive  ability  is  strongly  associated with wealth: on average, youth  in  households with a lower  proxy means test score  have  lower  noncognitive ability. A 1 point reduction in the proxy means test score is associated with a 4.1 percent, 6.7  percent,  and  9.1  percent  decrease  in  impulse  control,  locus  of  control,  and  multitasking  scores,  respectively.  The  differential  impact  by  initial  skill  may  therefore  reflect  differences  in  wealth.  Individuals  with less ability—who are also the  poorest—may  have been  less able to withstand the Ebola  shock  in  the  short  term  and,  as  a  result,  utilize  the  modest  capital  acquired  through  the  program  to  smooth  their  consumption rather than making productive investments.  There  is  also  suggestive  evidence  that,  in  the  longer  term,  those  participants  with  initially  low  skills  may  have  benefited  more  once  they  had  an  opportunity  to  apply  their  newly  acquired  skills.  The  data  confirm  that  there  was  a  strong  positive  link  between  noncognitive  skills  among  urban  Sierra  Leonean  youth  and  their consumption, earnings, and average profits. Together with the finding that the program had a larger  effect in terms of noncognitive skills among those participants who had less initial ability, this may indicate  that  there  is  a  time  lag  between  when  skills  are  acquired  and  returns  materialize  among  those  who  start  out  with  low  ability.  Additional  follow‐up  surveys  are  needed  to  confirm  this  is  the  case,  which  would  support  previous  evidence  showing  that  targeting  productive  interventions  on  the  poorest  may  increase  the returns (Macours, Premand, and Vakis 2013).  21    6 Cost‐effectiveness  Analysis  of  cost‐effectiveness  indicates  that  the  skills  intervention  compared  favorably  with  other  interventions  aimed  at  increasing  employability  in  countries  at  similar  income,  despite  the  relatively  low  amount  of  capital  provided.31  The  program  boosted  overall  employment  by  3.1  percentage  points,  which  is substantial given that the employment rate at endline among the control group was unusually low (only  12.6 percent) because of the Ebola crisis. The cost per job created was slightly less than US$17,000, while  similar  job  creation  programs  in  developing  countries  have  generated  new  jobs  at  a  cost  ranging  from  US$8,500 to US$80,000, and many others have failed to find any statistically significant impacts (McKenzie  2015).32 The estimate was similar for the cost of creating one new household enterprise, which was slightly  more than US$19,000.  Comparisons  across  other  measures,  including  capital,  profits,  skills,  and  consumption,  are  more  difficult  to find among similar programs. Less than a year after it had  ended, the  program had generated  US$4.90  in profits and US$2.20 in capital stock for each US$100.00 of stipend; no comparator estimates were found,  making  it  difficult  to  assess  the  cost‐effectiveness  of  this  outcome.  Additionally,  the  program  generated  US$3.90  in  monthly  consumption  per  capita  for  each  US$100.00  spent  on  total  program  costs,  including  stipends and program administration (US$1.00 for each US$25.30 spent). Thus, it compares favorably with  other recently evaluated livelihood programs in Sierra Leone that generated US$1.00 of yearly household  food  consumption  for  every  US$55.60  spent.33  Assuming  the  impacts  are  maintained,  the  cost  of  the  program  would  be  recovered  after  25  months.  Similar  programs  in  developing  countries  would  require  more than 36 months to recoup the training costs (Adoho et al. 2014; Hirshleifer et al. 2016).34  The  cost‐effectiveness  estimates  presented  above  should  be  considered  lower‐bound  estimates  for  two  reasons.  First,  the  program  had  a  wide  range  of  positive  impacts,  including  on  employment,  entrepreneurship  and  capital,  cognitive  and  noncognitive  skills,  consumption,  and  investments  in  household  assets  and  living  conditions.  However,  estimating  the  cost‐effectiveness  of  interventions  designed to impact multiple outcomes is a challenge because analyses estimate the cost of achieving a unit  increase  in  a  single  outcome  at  a  time  (Dhaliwal  et  al.  2013).  Second,  cost‐effectiveness  estimates  do  not  take  into  account  potential  spillovers  within  households,  such  as  shifts  in  labor  allocation  because  of  the  program.  For  instance,  additional  jobs  may  have  been  created  by  crowding  in  the  labor  supply  of  other  household  members  because  of  liquidity  effects  and  by  expanding  the  ability  of  households  to  take  risks;  there  is  evidence  of  such  spillovers  in  related  youth  employment  programs  in  Sierra  Leone  (Rosas  and  Sabarwal 2016). The evaluation was not able to capture these aspects because of budget constraints; this  may be an area for future research measuring the impacts on jobs and cost‐effectiveness in these types of  interventions.  Finally,  the  shorter  duration  of  treatment  B  translated  into  a  lower  cost  per  participant  in  this group (about  US$400) than in  treatments A and  C (US$600),  which implies greater cost‐effectiveness  in the former across most outcomes because impacts did not differ significantly across groups.                                                               31   The  total  average  stipend  was  Le  310,000  (equivalent  to  U$73),  compared  with  grants  of  U$120  in  Ghana  (Fafchamps  et  al.  2014),  U$382  in  Uganda  (Blattman,  Fiala,  and  Martinez  2014),  and  U$130  in  Sri  Lanka  (de  Mel,  McKenzie, and Woodruff 2014).  32   The  total  project  cost  was  Le  5.7  billion  (equivalent  to  about  US$1.3  million),  and  regression  results  indicate  the  intervention in Sierra Leone created 75 jobs in the short term among the 2,400 project participants. McKenzie (2015)  studies seven programs with objectives similar to HELP‐SL’s intervention; four of them failed to create any jobs.  33  Estimations based on the impacts and costs reported by Rosas and Sabarwal (2016).  34  Unlike this paper, the papers cited calculate cost‐effectiveness in terms of monthly household income.  22    7 Conclusions  Overall, the findings of this evaluation add to the growing body of evidence indicating that combining skills  training  and  cash  injections,  even  small  ones,  can  be  effective  in  stimulating  employment  and  entrepreneurship.  The program increased the overall levels  of  employment by  3.1 percentage points, the  worst  profits  by  25  percent,  and  the  likelihood  of  first‐time  entrepreneurship  by  4.1  percentage  points.  Although the prevailing circumstances because of the Ebola crisis reshaped the evaluation design, making  it  impossible  for  the  evaluation  to  cleanly  disentangle  the  training  elements  from  the  effect  of  a  larger  capital injection, there is suggestive evidence that both cash (through the stipend) and skills played a role  in the impacts. With a few exceptions, most impacts were statistically similar across treatment groups and  across genders.   The  results also suggest that shaping noncognitive skills shows promise in creating jobs and in the human  capital accumulation of youth in fragile states, but more evidence is needed. Improvements in the skills of  higher‐ability  individuals  were  associated  with  positive  labor  market  impacts,  while  lower‐ability  individuals,  who  tended  to  be  poorer,  experienced  larger  gains  in  skills  formation,  but  consumed  more  rather  than  making  productive  investments.  This  emphasizes  that  these  programs  are  not  substitutes  for  adequate safety nets to protect the poorest from shocks to prevent the depletion of productive resources.  Combined  with  evidence  of  high  returns  to  noncognitive  skills  among  Sierra  Leonean  youth,  this  also  suggests that the program could eventually lead to improved labor market outcomes among the poorest.  However,  more  evidence  of  such  interventions  in  low‐income  contexts  is  needed  to  test,  particularly,  the  following:  (i) whether  the  impacts  on  employment  and  entrepreneurship  are  sustained  in  the  long  term  and  materialize  among  poor,  low‐ability  individuals  and  (ii)  the  extent  to  which  less  skilled  individuals  are  able to benefit from this type of intervention in the absence of an aggregate shock such as Ebola.  Lower‐ability youth tend to come from poorer households, and targeting these interventions on low‐ability  youth may therefore be poverty reducing in these contexts. This points to the potential of using measures  of ability, such as simple noncognitive tests, for targeting in employability programs among urban youth in  fragile  contexts.  This  may  be  an  area  for  future  testing  and  evaluation.  However,  the  results  also  indicate  that the impacts on employment may require time to materialize among the poor and the less well skilled.  Interventions  designed  to  seek  quick  wins  in  boosting  employment  may  thus  need  to  target  more  highly  skilled individuals. Meanwhile, interventions aimed at the poor with lower skills may benefit from providing  a  basic  transfer,  in  addition  to  capital  intended  for  productive  purposes  to  prevent  consumption  needs  from limiting the productive impacts of a program. A concurrent effort may also be required to attract the  poorest, who might otherwise self‐select out of programs (Macours, Premand, and Vakis 2013).  The  fact  that  similar  expansions  in  cognitive  ability  were  found  across  all  groups  suggests  that  providing  foundational  skills,  such  as  basic  literacy  and  numeracy,  may  be  a  sort  of  second‐chance  parenting  opportunity,  helping  to  fill  gaps  in  early  parental  investments,  missed  schooling,  or  low‐quality  education  systems (Filmer and Fox 2014).35 Combined with the results on the heterogeneity of effects on skills, this is  also  indicative  that,  in  societies  with  a  generalized  low  level  of  skill  formation  through  adolescence  and  adulthood such as Sierra Leone, a unique phenomenon may emerge: the sensitive period for cognitive skill  development that are ripe for investment may effectively cover a longer period, including early adulthood.  The  period  during  which  dynamic  complementarity  may  offset  static  complementarity  may  thus  extend                                                               35   The  term  parenting  is  used  in  the  general  sense  of  Heckman  and  Corbin  (2016),  that  is,  it  encompasses  care  by  extended family, schooling, and other environmental influences.  23    beyond  the  early  years  (Heckman  and  Corbin  2016).  This  has  important  policy  implications  because  the  long‐run  productivity  trade‐offs  between  investing  in  less  highly  skilled  versus  more  highly  skilled  youth  may  be  steep.  However,  more  evidence  of  the  long‐term  effects  of  such  interventions  in  low‐income  contexts is needed, including on heterogeneity. The impacts observed on noncognitive skills also agree with  the  findings  in  the  literature  that  point  to  both  the  age‐malleability  of  these  types  of  abilities  and  the  synergies across various components of the skills (Heckman and Corbin 2016).  Positive  impacts  were  observed  among  men  and  women  despite  the  fact  that  the  design  of  the  program  was fairly gender neutral and was characterized by no explicit gender features beyond the 40 percent quota  for  women’s  participation.  There  is  suggestive  evidence  of  differences  by  gender,  but,  in  most  cases,  the  equality  of  effects  by  gender  cannot  be  rejected.  For  instance,  there  were  positive  impacts  on  earnings  among women (conditional estimates), an effect that may derive from greater productivity per hour given  that  improvements  in  cognitive  and  noncognitive  skills  were  observed  even  though  the  number  of  hours  worked did not change. The likelihood that men would be self‐employed was increased, and this effect did  not  arise  at  the  expense  of  wage  work.  Beyond  reducing  key  capital  and  skills  constraints  to  enterprise  development that tend to affect women disproportionately, the program also induced positive changes in  young men’s perceptions related to occupational segregation. This is promising for fragile contexts, where  the trade‐offs between complex designs with highly gender‐specific parameters and operational feasibility  tend  to  be  substantial.  However,  the  context  should  be  taken  into  account  in  the  extent  to  which  interventions are tailored to gender. In the case of Sierra Leone, strong impacts on women may have been  more  forthcoming  despite  the  gender‐neutral  design  because  of  women’s  generally  greater  labor  force  participation  and  concentration  in  self‐employment.  At  the  same  time,  marginal  improvements  might  enhance  the  impacts  among  women  by,  for  example:  (i)  encouraging  low‐ability  women  who  may  self‐ select  out  at  the  application  stage,  (ii)  supporting  entry  into  trades  dominated  by  men,  and  (iii)  providing  childcare arrangements during training, the lack of which appeared anecdotally to disrupt training activities.  Finally,  these  results  are  not  independent  of  design  features  and  implementation  factors,  which  likely  influenced  the  interactions of beneficiaries with the  program. First, anecdotal  evidence indicates  that the  stipend  played  a  substantial  role  in  attracting  and  retaining  participants,  although  the  short  business  proposal may have also acted as a signal of commitment to the program. Second, there is a need to match  youth’s  perceptions  of  marketable  skills  with  market  realities,  which  requires  ex  ante  market  analysis.  Anecdotal evidence also suggests that youth training choices are influenced by the size of the cash grants  the  program  provides  through  the  stipend.  These  choices  are  important  because  present  bias  may  lead  young  beneficiaries,  especially  those  with  limited  alternative  income  sources,  to  compromise  long‐run  gains to relieve short‐term, but more salient constraints. Also, the results suggest that the quality of training  centers matters, indicating that prior screening and capacity building may enhance impacts. More research  on  how  these  program  attributes  affect  impacts  is  encouraged.  Despite  implementation  challenges,  the  program was cost‐effective overall in achieving a range of positive benefits among the targeted households,  including  building  household  resilience  to  a  large  aggregate  shock,  the  Ebola  crisis.  However,  more  effort  is needed to enhance cost‐effectiveness, possibly by focusing on the basics.        24    8 References  Adoho,  Franck  M.,  Shubha  Chakravarty,  Dala  T.  Korkoyah,  Jr.,  Mattias  Lundberg,  and  Afia  Tasneem.  2014.  “The  Impact  of  an  Adolescent  Girls  Employment  Program:  The  EPAG  Project  in  Liberia.”  Policy  Research  Working Paper 6832, World Bank, Washington, DC.    Angrist, Joshua D., and Guido W. Imbens. 1995. “Identification and Estimation of Local Average Treatment  Effects.” NBER Technical Working Paper 0118, National Bureau of Economic Research, Cambridge, MA.    Angrist,  Joshua  D.,  Guido  W.  Imbens,  and  Donald  B.  Rubin.  1996.  “Identification  of  Causal  Effects  Using  Instrumental Variables.” Journal of the American Statistical Association 91 (434): 444–55.    Blattman, Christopher, and Jeannie Annan. 2015. “Can Employment Reduce Lawlessness and Rebellion? A  Field  Experiment  with  High‐Risk  Men  in  a  Fragile  State.”  NBER  Working  Paper  21289,  National  Bureau  of  Economic Research, Cambridge, MA.    Blattman,  Christopher,  Nathan  Vincent  Fiala,  and  Sebastian  Martinez.  2014.  “Generating  Skilled  Self‐ Employment  in  Developing  Countries:  Experimental  Evidence  from  Uganda.”  Quarterly  Journal  of  Economics 129 (2): 697–752.    Blattman, Christopher, Eric P. Green, Julian C. Jamison, and Jeannie Annan. 2014. “The Returns to Cash and  Microenterprise Support among the Ultra‐Poor: A Field Experiment.” Working paper, Columbia University,  New York.    Blattman,  Christopher,  and  Laura  Ralston.  2015.  “Generating  Employment  in  Poor  and  Fragile  States:  Evidence from Labor Market and Entrepreneurship Programs.” Working paper (June), Columbia University,  New York.    Brixiová, Zuzana, Mthuli Ncube, and Zorobabel Bicaba. 2014. “Skills and Youth Entrepreneurship in Africa:  Analysis with Evidence from Swaziland.” IZA Discussion Paper 8192 (May), Institute for the Study of Labor,  Bonn, Germany.    Bruton,  Garry  D.,  David  Ahlstrom,  and  Steven  Si.  2015.  “Entrepreneurship,  Poverty,  and  Asia:  Moving  beyond Subsistence Entrepreneurship.” Asia Pacific Journal of Management 32 (1): 1–22.    Calderón,  Gabriela,  Leonardo  Iacovone,  and  Laura  Juarez.  2016.  “Opportunity  versus  Necessity:  Understanding  the  Heterogeneity  of  Female  Micro‐entrepreneurs.”  Policy  Research  Working  Paper  7636,  World Bank, Washington, DC.    Canning, David, Sangeeta Raja, and Abdo S. Yazbeck, eds. 2015. Africa’s Demographic Transition: Dividend  or Disaster? Africa Development Forum Series. Washington, DC: Agence Française de Développement and  World Bank.    de  Mel,  Suresh,  David  J.  McKenzie,  and  Christopher  Woodruff.  2009.  “Innovative  Firms  or  Innovative  Owners?  Determinants  of  Innovation  in  Micro,  Small,  and  Medium  Enterprises.”  Policy  Research  Working  Paper 4934, World Bank, Washington, DC.    25    ———. 2010. “Who Are the Microenterprise Owners? Evidence from Sri Lanka on Tokman versus De Soto.”  In  International  Differences  in  Entrepreneurship,  edited  by  Josh  Lerner  and  Antoinette  Schoar,  63–87.  Chicago: University of Chicago Press.    ———.  2014.  “Business  Training  and  Female  Enterprise  Start‐Up,  Growth,  and  Dynamics:  Experimental  Evidence from Sri Lanka.” Journal of Development Economics 106: 199–210.    Dhaliwal,  Iqbal,  Esther  Duflo,  Rachel  Glennerster,  and  Caitlin  Tulloch.  2013.  “Comparative  Cost‐ Effectiveness Analysis to Inform Policy in Developing Countries: A General Framework with Applications for  Education.”  In  Education  Policy  in  Developing  Countries,  edited  by  Paul  Glewwe,  285–338.  Chicago:  University of Chicago Press.    Díaz, Juan José, Omar Arias, and David Vera Tudela. 2012. “Does Perseverance Pay as Much as Being Smart?  The Returns to Cognitive and Non‐cognitive Skills in Urban Peru.” Working paper, World Bank, Washington,  DC.    Fafchamps,  Marcel,  David  J.  McKenzie,  Simon  Quinn,  and  Christopher  Woodruff.  2014.  “Microenterprise  Growth  and  the  Flypaper  Effect:  Evidence  from  a  Randomized  Experiment  in  Ghana.”  Journal  of  Development Economics 106: 211–26.    Filmer, Deon, and Louise Fox. 2014.Youth Employment in Sub‐Saharan Africa. With Karen Brooks, Aparajita  Goyal,  Taye  Mengistae,  Patrick  Premand,  Dena  Ringold,  Siddharth  Sharma,  and  Sergiy  Zorya.  Report  ACS8133  (January  27).  Africa  Development  Forum  Series.  Washington,  DC:  Agence  Française  de  Développement and World Bank.    Fox,  Louise,  and  Thomas  Pave  Sohnesen.  2012.  “Household  Enterprises  in  Sub‐Saharan  Africa:  Why  They  Matter for Growth, Jobs, and Livelihoods.” Policy Research Working Paper 6184, World Bank, Washington,  DC.    Fu,  Ning,  Rachel  Glennerster,  Kristen  Himelein,  Nina  Rosas,  and  Tavneet  Suri.  2015.  “The  Socio‐Economic  Impacts  of  Ebola  in  Sierra  Leone:  Results  from  a  High  Frequency  Cell  Phone  Survey,  Round  1,  January  12,  2015.” World Bank, Washington, DC.    Glennerster,  Rachel,  Kristen  Himelein,  Nina  Rosas,  Tavneet  Suri,  Ning  Fu,  Abubakarr  Turay,  and  Samuel  Turay.  2015.  “The  Socio‐Economic  Impacts  of  Ebola  in  Sierra  Leone:  Results  from  a  High  Frequency  Cell  Phone Survey, Round 2, April 15, 2015.” World Bank, Washington, DC.    Grimm,  Michael,  Peter  Knorringa,  and  Jann  Lay.  2012.  “Constrained  Gazelles:  High  Potentials  in  West  Africa’s Informal Economy.” World Development 40 (7): 1352–68.    Hallegatte,  Stéphane,  Mook  Bangalore,  Laura  Bonzanigo,  Marianne  Fay,  Tomaro  Kane,  Ulf  Narloch,  Julie  Rozenberg,  David  Treguer,  and  Adrien  Vogt‐Schilb.  2016.  Shock Waves: Managing the Impacts of Climate  Change on Poverty. Climate Change and Development Series. Washington, DC: World Bank.    Hallegatte,  Stéphane,  Adrien  Vogt‐Schilb,  Mook  Bangalore,  and  Julie  Rozenberg.  2017.  Unbreakable:  Building the Resilience of the Poor in the Face of Natural Disasters. Climate Change and Development Series.  Washington, DC: World Bank.    26    Hausmann,  Ricardo,  Bailey  Klinger,  and  Rodrigo  Wagner.  2008.  “Doing  Growth  Diagnostics  in  Practice:  A  ‘Mindbook.’“  CID  Working  Paper  177  (September),  Center  for  International  Development,  Harvard  University, Cambridge, MA.    Heckman, James J. 2008. “Schools, Skills, and Synapses.” Economic Inquiry 46 (3): 289–324.    Heckman,  James  J.,  and  Chase  O.  Corbin.  2016.  “Capabilities  and  Skills.”  Journal of Human Development  and Capabilities 17 (3): 342–59.    Heckman,  James  J.,  and  Dimitriy  V.  Masterov.  2007.  “The  Productivity  Argument  for  Investing  in  Young  Children.” Review of Agricultural Economics 29 (3): 446–93.    Heckman  James  J.,  Jora  Stixrud,  and  Sergio  S.  Urzua.  2006.  “The  Effects  of  Cognitive  and  Noncognitive  Abilities on Labor Market Outcomes and Social Behavior.” Journal of Labor Economics 24 (3): 411–82.    Hirshleifer,  Sarojini,  David  McKenzie,  Rita  Almeida,  and  Cristobal  Ridao‐Cano.  2016.  “The  Impact  of  Vocational Training for the Unemployed: Experimental Evidence from Turkey.” Economic Journal 126 (597):  2115–46.    ILO  (International  Labour  Organization).  2015.  “Global  Employment  Trends  for  Youth  2015:  Scaling  Up  Investments in Decent Jobs for Youth.” October, International Labor Organization, Geneva.    Kautz, Tim, James J. Heckman, Ron Diris, Bas ter Weel, and Lex Borghans. 2014. “Fostering and Measuring  Skills:  Improving  Cognitive  and  Non‐Cognitive  Skills  to  Promote  Lifetime  Success.”  Centre  for  Educational  Research and Innovation, Directorate for Education and Skills, Organisation for Economic Co‐operation and  Development, Paris.    Lazear, Edward P. 2005. “Entrepreneurship.” Journal of Labor Economics 23 (4): 649–80.    Macours, Karen, Patrick Premand, and Renos Vakis. 2013. “Demand versus Returns? Pro‐Poor Targeting of  Business  Grants  and  Vocational  Skills  Training.”  Policy  Research  Working  Paper  6389,  World  Bank,  Washington, DC.    Mano,  Yukichi,  Alhassan  Iddrisu,  Yutaka  Yoshino,  and  Tetsushi  Sonobe.  2012.  “How  Can  Micro  and  Small  Enterprises in Sub‐Saharan Africa Become More Productive? The Impacts of Experimental Basic Managerial  Training.” World Development 40 (3): 458–68.    Margolis,  David,  Nina  Rosas,  Abubakarr  Turay,  and  Samuel  Turay.  2016.  “Findings  from  the  2014  Labor  Force Survey in Sierra Leone.” World Bank Study, World Bank, Washington, DC.    McKenzie, David J. 2012. “Beyond Baseline and Follow‐up: The Case for More T in Experiments.” Journal of  Development Economics 99 (2): 210–21.    ———.  2015.  “Identifying  and  Spurring  High‐Growth  Entrepreneurship:  Experimental  Evidence  from  a  Business Plan Competition.” Policy Research Working Paper 7391, World Bank, Washington, DC.    ———.  2017.  “How  Effective  Are  Active  Labor  Market  Policies  in  Developing  Countries?  A  Critical  Review  of Recent Evidence.” Policy Research Working Paper 8011, World Bank, Washington, DC.  27      McKenzie,  David  J.,  and  Christopher  Woodruff.  2014.  “What  Are  We  Learning  from  Business  Training  and  Entrepreneurship  Evaluations  around  the  Developing  World?”  World Bank Research Observer  29  (1):  48– 82.    ———. 2015. “Business Practices in Small Firms in Developing Countries.” Policy Research Working Paper  7405, World Bank, Washington, DC.     Romer, Paul M. 1990. “Endogenous Technological Change.” Journal of Political Economy 98 (5): 71–102.    Rosas,  Nina,  and  Shwetlena  Sabarwal.  2016.  “Can  You  Work  It?  Evidence  on  the  Productive  Potential  of  Public  Works  from  a  Youth  Employment  Program  in  Sierra  Leone.”  Policy  Research  Working  Paper  7580,  World Bank, Washington, DC.    Roseth,  Viviana  V.,  Alexandria  Valerio,  and  Marcela  Gutiérrez.  2016.  Education, Skills, and Labor Market  Outcomes: Results from Large‐Scale Adult Skills Surveys in Urban Areas in 12 Countries.  Washington,  DC:  World Bank.    Sánchez  Puerta,  Maria  Laura,  Alexandria  Valerio,  and  Marcela  Gutiérrez  Bernal.  2016.  Taking  Stock  of  Programs  to  Develop  Socioemotional  Skills:  A  Systematic  Review  of  Program  Evidence.  Directions  in  Development: Human Development Series. Washington, DC: World Bank.    Schoar,  Antoinette.  2010.  “The  Divide  between  Subsistence  and  Transformational  Entrepreneurship.”  Innovation Policy and the Economy 10 (1): 57–81.    Solow, Robert M. 1956. “A Contribution to the Theory of Economic Growth.” Quarterly Journal of Economics  70 (1): 65–94.    Sonobe, Tetsushi, Aya Suzuki, and Keijiro Otsuka. 2011. Kaizen for Managerial Skills Improvement in Small  and  Medium  Enterprises:  An  Impact  Evaluation  Study.  Vol.  4  of  Light  Manufacturing  in  Africa:  Targeted  Policies to Enhance Private Investment and Create Jobs. Washington, DC: World Bank.    Swan, Trevor W. 1956. “Economic Growth and Capital Accumulation.” Economic Record 32 (2): 334–61.    United Nations. 2015. “The Millennium Development Goals Report 2015.” United Nations, New York.    WHO (World Health Organization). 2015. “Ebola Situation Report.” July 1, WHO, Geneva.    Wooldridge,  Jeffrey  M.  2000.  “Inverse  Probability  Weighted  M‐Estimators  for  Sample  Selection,  Attrition,  and Stratification.” Working paper, Department of Economics, Michigan State University, East Lansing, MI.    World  Bank  and  SSL  (Statistics  Sierra  Leone).  2016.  “Macro  Poverty  Outlook.”  October,  World  Bank,  Washington, DC. http://pubdocs.worldbank.org/en/547681477329272589/mpo‐am16‐sle.pdf.        28    Appendix A: Figures and Tables    Figure A1. Participant Selection and Randomization Process  Youth [15‐35] with some  secondary education,  attending 2‐day info‐ session on business  proposals (5,250) Submission of business  proposals & selection based  on quality criteria All eligible  business  proposals   (3,854) Random assignment  through public lottery, with  gender stratification 3,319  individuals  selected for IE Random assignment  through public lottery Group A:  Group B:  Group C: Control Group: Technical  Business  Full  No   skills training  training + MF  package  treatment  + OJT (791) facilitation (791) (794) (943) Figure A2. Program and Impact Evaluation Implementation Timeline  2013 2014 2015 Au g ‐ No v D ec Jan   Feb Mar Ap r May Ju n Ju l Au g S ep Oc t ‐ D ec Ju n G r o u p  A Technical skills training On ‐the‐job  training Ba sel ine   s urvey Endl i ne    s urvey G r o u p  B Business skills training Microfinance facilitation Technical skills training On‐the‐job  training G r o u p  C Business skills training Microfinance facilitation C o n t r o l  No treatment   29    Figure A3. Program Impact Flow  30    Table A1. Impact on Employment Outcomes     (1)  (2)  (3)  (4)  (5)  (6)  (7)  Conditional on     Overall sample  employment  Log  Log  Log hours  Wage  Self‐ monthly     Employed  Unemployed  monthly  worked  work  employment  earnings ‐  earnings  per day  all                          Panel I. Impact of the overall treatment                    Treatment ITT  0.0311**  0.0138  0.0131  0.0117  0.00550  0.321**  0.0118     (0.0144)  (0.0117)  (0.00922)  (0.0210)  (0.232)  (0.145)  (0.0639)  Control mean  0.126  0.081  0.045  0.660  97344.860  341,684  7.79  N  2,565  2,584  2,584  2,584  2,700  822  363                          Treatment ITT on women  0.0181  0.0124  0.000230  0.0256  ‐0.229  0.639**  0.131     (0.0193)  (0.0125)  (0.0159)  (0.0293)  (0.304)  (0.278)  (0.108)  Control mean  0.118  0.046  0.072  0.692  69259.008  302,758  7.23  N  1,277  1,289  1,289  1,289  1,329  295  154                          Treatment ITT on men  0.0439**  0.0179  0.0233**  ‐0.00880  0.257  0.113  ‐0.0716     (0.0215)  (0.0200)  (0.00912)  (0.0300)  (0.352)  (0.167)  (0.0775)  Control mean  0.134  0.117  0.016  0.628  125648.432  366,985  8.33  N  1,288  1,295  1,295  1,295  1,371  527  209                          p‐value effects on men vs. women  0.366  0.811  0.204  0.408  0.292  0.091  0.102                          Panel II. Impact of each treatment group                    A. Technical skills package  0.0283  0.00446  0.0197  0.0478*  ‐0.187  0.405**  0.0644     (0.0183)  (0.0147)  (0.0121)  (0.0261)  (0.285)  (0.172)  (0.0782)  B. Business skills package  0.0322*  0.0138  0.0139  0.0144  0.0855  0.261  0.0501     (0.0189)  (0.0154)  (0.0121)  (0.0266)  (0.296)  (0.180)  (0.0736)  C. Full package  0.0328*  0.0231  0.00576  ‐0.0272  0.123  0.304*  ‐0.0681     (0.0187)  (0.0154)  (0.0116)  (0.0267)  (0.293)  (0.176)  (0.0811)  Control mean  0.126  0.081  0.045  0.660  97344.860  341,684  7.79  N  2,565  2,584  2,584  2,584  2,700  822  363                          p‐value A=B=C  0.970  0.532  0.555  0.026  0.530  0.678  0.171  p‐value A=B  0.846  0.571  0.663  0.227  0.370  0.401  0.850  p‐value A=C  0.822  0.262  0.282   0.007  0.304  0.542  0.086  p‐value B=C  0.977  0.589  0.527  0.138  0.904  0.812  0.122                          Note:                       Robust standard errors in parentheses, *** p<0.01, ** p<0.05, * p<0.1              All variables have a seven‐day recall period, except for monthly earnings variables, which have a 12‐month recall period.  Variables conditional on employment consider those working. Regression 6 limits the analysis to those with non‐zero earnings.  All specifications control for labor market determinants at the baseline, including  educational attainment, marital status, and age,  and encompass center fixed effects. If available, baseline outcome values are included. Row 1 of panel 1 and all rows of panel II  also control for the gender of the participant.        31    Table A2. Impact on Entrepreneurship Outcomes     (1)  (2)  (3)  (4)  (5)  (6)  Conditional on  Overall sample     entrepreneurship  Log of  Log of  Business  Log of last  Business  First time  profit in  profit in  has a     month's  type: trader,  entrepreneur  best  worst  temporary  profit  shopkeeper  month  month  location                       Panel I. Impact of the overall treatment                 Treatment ITT  0.0410**  0.113  0.243  0.247*  0.0786**  0.0288     (0.0168)  (0.139)  (0.149)  (0.129)  (0.0352)  (0.0259)  Control mean  0.158  15,914  29,869  5,591  0.754  0.084  N  2,702  2,702  2,702  2,702  754  754                       Treatment ITT on women  0.0212  ‐0.126  0.146  0.203  0.111***  0.0274     (0.0268)  (0.227)  (0.233)  (0.205)  (0.0410)  (0.0332)  Control mean  0.262  22,538  31,252  6,697  0.785  0.083  N  1,331  1,331  1,331  1,331  495  495                       Treatment ITT on men  0.0513**  0.284*  0.285  0.255  ‐0.0511  0.0509     (0.0207)  (0.165)  (0.186)  (0.158)  (0.0697)  (0.0447)  Control mean  0.121  9,238  28,475  4,477  0.678  0.085  N  1,371  1,371  1,371  1,371  259  259                       p‐value effects on men vs. women  0.369  0.140  0.638  0.840  0.037  0.661                       Panel II. Impact of each treatment group                 A. Technical skills package  0.0269  0.0848  0.305  0.279*  0.0395  0.0483     (0.0211)  (0.176)  (0.194)  (0.167)  (0.0446)  (0.0339)  B. Business skills package  0.0696***  0.257  0.439**  0.486***  0.102**  0.0253     (0.0221)  (0.185)  (0.201)  (0.177)  (0.0427)  (0.0314)  C. Full package  0.0276  0.00221  ‐0.00949  ‐0.0182  0.0911**  0.0138     (0.0212)  (0.171)  (0.182)  (0.155)  (0.0440)  (0.0310)  Control mean  0.158  15,914  29,869  5,591  0.754  0.084  N  2,702  2,702  2,702  2,702  754  754                       p‐value A=B=C  0.118  0.411  0.081  0.019  0.351  0.587  p‐value A=B  0.068  0.380  0.538  0.286  0.164  0.500  p‐value A=C  0.975  0.656  0.123  0.088  0.270  0.304  p‐value B=C  0.074  0.187  0.033  0.006  0.798  0.710                       Note:                    Robust standard errors in parentheses, *** p<0.01, ** p<0.05, * p<0.1           First‐time entrepreneur takes the value of 1 if the participants businesses represent the first the participants have had in their  lives.  Variables conditional on entrepreneurship consider those who currently have a business or who had one in the past.  All specifications control for entrepreneurship determinants at the baseline, including marital status, educational attainment,  and age, and encompass center fixed effects. Baseline outcome variables are also included in regressions 1 to 4 and 6. Row 1 of  panel 1 and all rows of panel II also control for the gender of the participant.        32    Table A3. Impact on Consumption and Household Conditions     (1)  (2)  (3)  (4)  (5)  (6)  (7)  (8)  Log  Log food  Log nonfood  Log other  Total no.  Improved  Concrete  Piped     consump‐ consump‐ consumption  household's  of assets  toilet  roof  water  tion pc  tion pc  pc  expenses pc                             Panel I. Impact of the overall treatment                       Treatment ITT  0.525***  0.464***  0.516***  0.471***  0.279***  0.0313*  0.0123  0.0217     (0.0633)  (0.0627)  (0.0641)  (0.0852)  (0.0881)  (0.0167)  (0.00975)  (0.0149)  Control mean  296,905  103,610  193,295  205,982  4.160  0.203  0.054  0.149  N  2,660  2,660  2,660  2,660  2,702  2,702  2,702  2,702                             Treatment ITT on women  0.733***  0.702***  0.696***  0.663***  0.205  0.0276  0.0146  0.0412**     (0.0985)  (0.0964)  (0.100)  (0.119)  (0.125)  (0.0229)  (0.0128)  (0.0198)  Control mean  287,849  103,906  183,943  158,496  4.049  0.185  0.046  0.126  N  1,323  1,323  1,323  1,323  1,331  1,331  1,331  1,331                             Treatment ITT on men  0.284***  0.192***  0.306***  0.250**  0.336***  0.0354  0.00929  0.00186     (0.0738)  (0.0738)  (0.0763)  (0.120)  (0.125)  (0.0244)  (0.0147)  (0.0222)  Control mean  306,153  103,309  202,844  254,468  4.271  0.222  0.062  0.173  N  1,337  1,337  1,337  1,337  1,371  1,371  1,371  1,371                             p‐value effects on men vs.  0.000  0.000  0.002  0.014  0.452  0.813  0.783  0.181  women                             Panel II. Impact of each treatment group                    A. Technical skills package  0.646***  0.578***  0.632***  0.611***  0.292***  0.0440**  0.00238  0.0375**     (0.0791)  (0.0761)  (0.0804)  (0.105)  (0.110)  (0.0214)  (0.0120)  (0.0191)  B. Business skills package  0.410***  0.362***  0.398***  0.362***  0.349***  0.0260  0.0192  0.0217     (0.0797)  (0.0800)  (0.0808)  (0.106)  (0.112)  (0.0213)  (0.0130)  (0.0192)  C. Full package  0.513***  0.445***  0.511***  0.433***  0.197*  0.0237  0.0156  0.00584     (0.0767)  (0.0749)  (0.0783)  (0.106)  (0.110)  (0.0211)  (0.0126)  (0.0186)  Control mean  296,905  103,610  193,295  205,982  4.160  0.203  0.054  0.149  N  2,660  2,660  2,660  2,660  2,702  2,702  2,702  2,702                             p‐value A=B=C  0.015  0.020  0.019  0.059  0.418  0.625  0.411  0.297  p‐value A=B  0.004  0.006  0.005  0.022  0.630  0.434  0.215  0.446  p‐value A=C  0.095  0.073  0.137  0.100  0.406  0.373  0.319  0.119  p‐value B=C  0.201  0.292  0.172  0.518  0.193  0.919  0.800  0.431                             Note:                          Robust standard errors in parentheses, *** p<0.01, ** p<0.05, * p<0.1                 Food consumption and nonfood consumption have a one‐month recall period. Nonfood items include public transport, schooling,  communication (telephone), electricity, fuel or other sources of energy, and expenses in cigarettes and alcohol.   Household expenses include supplies, improvements, clothing, health care, rent for land and dwelling, money given to nonhousehold  members, and weddings and funerals. This variable has a two‐month recall period.  Household assets include sofa; electric, gas, or kerosene stove; radio; cassette recorder; freezer or refrigerator; generator; and electric  or charcoal iron. The variable is measured as the total number of assets the individual reported.  Improved toilet is a binary variable that takes a value of 1 if the dwelling toilet corresponds to a flushing toilet in a piped sewer system  or a septic tank; it is zero otherwise.  Concrete roof or walls is a binary variable that takes a value of 1 if the dwelling has a concrete roof or walls; it is zero otherwise.  Piped water is a binary variable that takes a value of 1 if the source of drinking water is piped water and zero otherwise (including public  tap and protected dug well).  All specifications control for socioeconomic conditions at the baseline, including marital status, educational attainment, and age, and  encompass center fixed effects. If available, baseline outcome values are included. Row 1 of panel 1 and all rows of panel II also control  for the gender of the participant.      33    Table A4. Impact on Proximate Outcomes: Cognitive and Noncognitive Skills     (1)  (2)  (3)  (4)  (5)           Verbal  Impulse  Greater locus  Multitasking  Prepared to     memory 6  control  of control  ability  take risks  digits                    Panel I. Impact of the overall treatment              Treatment ITT  0.0630***  0.0882***  0.0932***  0.121***  0.00958     (0.0203)  (0.0255)  (0.0335)  (0.0311)  (0.0703)  Control mean  0.651  3.53  3.24  2.13  2.35  N  2,440  2,699  2,699  2,699  2,692                    Treatment ITT on women  0.0937***  0.117***  0.0784  0.157***  0.0983     (0.0316)  (0.0363)  (0.0482)  (0.0463)  (0.0983)  Control mean  0.554  3.52  3.22  2.20  2.25  N  1,167  1,328  1,328  1,328  1,326                    Treatment ITT on men  0.0363  0.0477  0.0942**  0.0779*  ‐0.0726     (0.0263)  (0.0356)  (0.0465)  (0.0414)  (0.101)  Control mean  0.749  3.54  3.27  2.05  2.45  N  1,273  1,371  1,371  1,371  1,366                    p‐value effects on men vs. women  0.158  0.169  0.812  0.199  0.220                    Panel II. Impact of each treatment group              A. Technical skills package  0.0730***  0.113***  0.139***  0.0825**  0.0787     (0.0251)  (0.0322)  (0.0415)  (0.0396)  (0.0876)  B. Business skills package  0.0319  0.0663**  0.0833**  0.149***  0.0220     (0.0254)  (0.0329)  (0.0415)  (0.0400)  (0.0901)  C. Full package  0.0828***  0.0846***  0.0562  0.132***  ‐0.0729     (0.0247)  (0.0314)  (0.0419)  (0.0391)  (0.0871)  Control mean  0.651  3.53  3.24  2.13  2.35  N  2,440  2,699  2,699  2,699  2,692                                p‐value A=B=C  0.110  0.397  0.144  0.269  0.243  p‐value A=B  0.112  0.179  0.188  0.120  0.544  p‐value A=C  0.701  0.398  0.054  0.241  0.096  p‐value B=C  0.046  0.588  0.527  0.689  0.306                    Note:                 Robust standard errors in parentheses, *** p<0.01, ** p<0.05, * p<0.1        Verbal memory is a binary variable that takes a value of 1 if the respondent answers a digit span test of 6 digits  correctly and zero otherwise.  Impulse control, locus of control, multitasking ability, and preparedness to take risks are categorical variables taking  values from 1 to 5. In regressions 2‐4, a greater value represents a larger stock of the skill, and, in regression 5, greater  values represent a greater willingness to take risks.  All specifications control for socioeconomic conditions at the baseline, including marital status, educational attainment,  and age, and encompass center fixed effects. If available, baseline outcome values are included. Row 1 of panel 1 and  all rows of panel II also control for the gender of the participant.        34    Table A5. Impact on Proximate Outcomes: Business Practices, Spending, and Capital     (1)  (2)  (3)  (4)  (5)  (6)  (7)  (8)  Business capital ‐  Business practices, spending, and capital  conditional on     entrepreneurship  Loan for  Log of  Log of  Log of  Keeps  business  amount  Keeps  Log of  monthly  Took any  amount  separate  inputs  borrow‐    financial  capital  business  business  needed to  financial  and  ed to  records  stock  expen‐ loan  start  records  equip‐ start  ses  business  ment  business                             Panel I. Impact of the overall treatment                       Treatment ITT  0.0304**  0.0401***  0.235*  0.172  0.00588  ‐0.00640  0.732***  0.734**     (0.0129)  (0.0139)  (0.137)  (0.253)  (0.0106)  (0.0104)  (0.217)  (0.333)  Control mean  0.083  0.097  58,730  127,926  0.055  0.057  828,633  515,294  N  2,702  2,702  2,702  2,702  2,702  2,702  378  174                             Treatment ITT on women  0.0250  0.0312  0.200  0.0326  ‐0.00240  ‐0.0293  0.752***  0.554     (0.0211)  (0.0224)  (0.207)  (0.358)  (0.0176)  (0.0184)  (0.279)  (0.413)  Control mean  0.141  0.164  54,090  131,137  0.097  0.113  643,627  496,667  N  1,331  1,331  1,331  1,331  1,331  1,331  275  127                             Treatment ITT on men  0.0325**  0.0447***  0.298*  0.252  0.0107  0.0150  ‐0.0860  ‐0.0959     (0.0154)  (0.0168)  (0.177)  (0.360)  (0.0120)  (0.0103)  (0.324)  (0.410)  Control mean  0.059  0.070  63,406  124,690  0.036  0.026  1,419,231  560,000  N  1,371  1,371  1,371  1,371  1,371  1,371  103  47                             p‐value effects on men vs.  0.771  0.629  0.717  0.663  0.535  0.034  0.032  0.179  women                             Panel II. Impact of each treatment group                       A. Technical skills package  0.0257  0.0335*  0.132  0.270  ‐0.00185  ‐0.00546  0.517*  0.588     (0.0163)  (0.0177)  (0.175)  (0.316)  (0.0130)  (0.0130)  (0.272)  (0.386)  B. Business skills package  0.0394**  0.0521***  0.431**  ‐0.0660  0.0147  ‐0.00638  0.436  0.415     (0.0173)  (0.0185)  (0.190)  (0.317)  (0.0139)  (0.0132)  (0.272)  (0.407)  C. Full package  0.0263   0.0352*  0.149  0.305  0.00510  ‐0.00736  1.156***  1.095**     (0.0168)  (0.0180)  (0.171)  (0.318)  (0.0135)  (0.0129)  (0.278)  (0.422)  Control mean  0.083  0.097  58,730  127,926  0.055  0.057  828,633  515,294  N  2,702  2,702  2,702  2,702  2,702  2,702  378  174                             p‐value A=B=C  0.714  0.599  0.273  0.464  0.509  0.990  0.027  0.253  p‐value A=B  0.462  0.355  0.144  0.309  0.246  0.945  0.782  0.663  p‐value A=C  0.975  0.930  0.930  0.917  0.615  0.887  0.031  0.202  p‐value B=C  0.488  0.404  0.164  0.263  0.510  0.943  0.014  0.114                             Note:                          Robust standard errors in parentheses, *** p<0.01, ** p<0.05, * p<0.1              Dependent variables in columns 1, 2, 5, and 6 are binary variables.                 Variables conditional on entrepreneurship consider those who currently have a business or had one in the past and who needed  and borrowed amounts above zero.  All unconditional specifications control for age, marital status, educational attainment, center fixed effects, and baseline  outcome values, except for regressions 1, 2, and 4, which do not control for baseline values. Conditional specifications control for  baseline outcome values. Row 1 of panel 1 and all rows of panel II also control for the gender of the participant.  35    Table A6. Heterogeneity with Respect to Baseline Noncognitive Skills        (1)  (2)  (3)  (4)  (5)  (6)  (7)  (8)  (9)  Control  Log  mean (SE)  Self‐ Log  Log of  Verbal  Greater  consump‐ Impulse  Multitask‐ of  Employed  employm monthly  capital  memory 6  locus of  Treatment  tion per  control  ing ability  interacting  ent  earnings  stock  digits  control  interaction with:  variable  capita                                   Panel I. Whole  sample                                Impulse control  3.53  0.0490***  0.0127  0.502*  ‐1.870***  0.448**  ‐0.115***  ‐0.517***  ‐0.469***  ‐0.288***     (0.019)  (0.0189)  (0.0133)  (0.288)  (0.0750)  (0.177)  (0.0228)  (0.0321)  (0.0403)  (0.0383)  Locus of control  3.24  ‐0.00355  ‐0.0170  0.0370  ‐1.542***  0.114  ‐0.0656***  ‐0.440***  ‐0.371***  ‐0.256***     (0.026)  (0.0171)  (0.0107)  (0.259)  (0.0802)  (0.165)  (0.0213)  (0.0316)  (0.0382)  (0.0376)  Multitasking  2.13  ‐0.00320  ‐0.0115  0.212  ‐1.184***  ‐0.0369  ‐0.00655  ‐0.315***  ‐0.300***  ‐0.295***     (0.025)  (0.0176)  (0.0112)  (0.261)  (0.0816)  (0.153)  (0.0218)  (0.0319)  (0.0385)  (0.0352)                                   Panel II. Women                                Impulse control  3.52  0.0625**  0.0129  0.631*  ‐2.170***  0.566**  ‐0.105***  ‐0.541***  ‐0.548***  ‐0.293***     (0.026)  (0.0261)  (0.0221)  (0.370)  (0.0996)  (0.244)  (0.0339)  (0.0454)  (0.0558)  (0.0533)  Locus of control  3.22  0.0208  ‐0.0220  0.0158  ‐1.730***  0.0672  ‐0.0782**  ‐0.455***  ‐0.453***  ‐0.250***     (0.037)  (0.0215)  (0.0164)  (0.334)  (0.114)  (0.232)  (0.0312)  (0.0433)  (0.0518)  (0.0542)  Multitasking  2.20  0.0173  ‐0.0190  0.561*  ‐1.265***  ‐0.125  ‐0.0141  ‐0.370***  ‐0.283***  ‐0.241***     (0.037)  (0.0230)  (0.0175)  (0.338)  (0.127)  (0.226)  (0.0322)  (0.0457)  (0.0563)  (0.0511)                                   Panel III. Men                                Impulse control  3.54  0.0218  0.0118  0.0524  ‐1.301***  0.384  ‐0.141***  ‐0.450***  ‐0.359***  ‐0.230***     (0.028)  (0.0281)  (0.0129)  (0.455)  (0.109)  (0.269)  (0.0314)  (0.0472)  (0.0589)  (0.0578)  Locus of control  3.27  ‐0.0358  ‐0.00726  ‐0.263  ‐1.121***  0.162  ‐0.0556*  ‐0.384***  ‐0.252***  ‐0.223***     (0.037)  (0.0276)  (0.0124)  (0.409)  (0.107)  (0.231)  (0.0301)  (0.0476)  (0.0576)  (0.0529)  Multitasking  2.05  ‐0.0370  ‐0.00290  ‐0.352  ‐0.913***  0.0621  ‐0.00179  ‐0.198***  ‐0.271***  ‐0.319***     (0.034)  (0.0274)  (0.0130)  (0.409)  (0.0956)  (0.207)  (0.0299)  (0.0448)  (0.0538)  (0.0480)                                   Panel IV. p‐value interaction                          effect on men vs. women     Treatment*Impulse control  0.283  0.965  0.319  0.000  0.613  0.438  0.162  0.018  0.421  Treatment*Locus of control  0.102  0.471  0.594  0.000  0.769  0.598  0.264  0.009  0.723  Treatment*Multitasking  0.125  0.457  0.083  0.025  0.537  0.776  0.007  0.876  0.261                                   Note:                                Robust standard errors in parentheses, *** p<0.01, ** p<0.05, *  p<0.1                       Dependent variables are all unconditional.                          Dependent variables in regressions 1 and 2 have a seven‐day recall period; regressions 3 and 5 have a 12‐month recall period; and regression 4, a one‐ month recall period.  Verbal memory is a binary variable that takes a value of 1 if a respondent answers with a digit span test of 6 digits correctly; it is zero  otherwise.     Impulse control, locus of control, and multitasking ability are categorical variables taking values from 1 to 5. A greater value represents a larger stock of  the skill.  All specifications control for age, marital status, educational attainment, and center fixed effects. Equations 1 to 5 also control for baseline outcome  values if available.        36    Table A7. Treatment Group Impact Comparison        Regression coefficient  t‐test        A  B  C  A=B=C  A=B  A=C  B=C  A+B=C  A+B≥C  A+B≤C  Employment                                    Employed  0.028  0.032  0.033  0.970  0.846  0.822  0.977  0.318  0.841  0.159     Wage work  0.004  0.014  0.023  0.532  0.571  0.262  0.589  0.832  0.584  0.416     Self‐employment  0.020  0.014  0.006  0.555  0.663  0.282  0.527  0.116  0.942  0.058     Unemployed  0.048  0.014  ‐0.027  0.026  0.227  0.007  0.138  0.020  0.990  0.010     Log monthly earnings ‐ all  ‐0.187  0.085  0.123  0.530  0.370  0.304  0.904  0.595  0.703  0.297     Log monthly earnings  0.405  0.261  0.304  0.678  0.401  0.542  0.812  0.144  0.928  0.072     Log hours worked per day  0.064  0.050  ‐0.068  0.171  0.850  0.086  0.122  0.083  0.959  0.041  Entrepreneurship                                   First‐time entrepreneur  0.027  0.070  0.028  0.118  0.068  0.975  0.074  0.030  0.985  0.015     Log of last month's profit  0.085  0.257  0.002  0.411  0.380  0.656  0.187  0.198  0.901  0.099     Log of profit in best month  0.305  0.439  ‐0.009  0.081  0.538  0.123  0.033  0.009  0.996  0.004     Log of profit in worst month  0.279  0.486  ‐0.018  0.019  0.286  0.088  0.006  0.002  0.999  0.001     Business type: trader, shopkeeper  0.040  0.102  0.091  0.351  0.164  0.270  0.798  0.419  0.791  0.209     Business has a temporary location  0.048  0.025  0.014  0.587  0.500  0.304  0.710  0.191  0.905  0.095  Consumption and household conditions                                   Log consumption per capita  0.646  0.410  0.513  0.015  0.004  0.095  0.201  0.000  1.000  0.000     Log food consumption per capita  0.578  0.362  0.445  0.020  0.006  0.073  0.292  0.000  1.000  0.000     Log nonfood consumption per capita  0.632  0.398  0.511  0.019  0.005  0.137  0.172  0.000  1.000  0.000     Log other household expenses pc  0.611  0.362  0.433  0.059  0.022  0.100  0.518  0.000  1.000  0.000     Total no. of assets  0.292  0.349  0.197  0.418  0.630  0.406  0.193  0.006  0.997  0.003     Improved toilet  0.044  0.026  0.024  0.625  0.434  0.373  0.919  0.138  0.931  0.069     Concrete roof  0.002  0.019  0.016  0.411  0.215  0.319  0.800  0.749  0.626  0.374     Piped water  0.037  0.022  0.006  0.297  0.446  0.119  0.431  0.056  0.972  0.028  Cognitive and noncognitive skills                                    Verbal memory 6 digits  0.073  0.032  0.083  0.110  0.112  0.701  0.046  0.537  0.731  0.269     Can read or write a single paragraph  0.037  0.023  0.020  0.359  0.266  0.185  0.831  0.030  0.985  0.015     Impulse control  0.113  0.066  0.085  0.397  0.179  0.398  0.588  0.044  0.978  0.022     Greater locus of control  0.139  0.083  0.056  0.144  0.188  0.054  0.527  0.005  0.997  0.003     Multitasking ability  0.083  0.149  0.132  0.269  0.120  0.241  0.689  0.087  0.956  0.044     Prepared to take risks  0.079  0.022  ‐0.073  0.243  0.544  0.096  0.306  0.175  0.913  0.087  Business practices, spending, and capital                                   Keeps separate financial records  0.101  0.059  0.093  0.672  0.407  0.882  0.498  0.355  0.823  0.177     Keeps financial records  0.128  0.086  0.119  0.686  0.416  0.872  0.520  0.195  0.902  0.098     Log of capital stock  0.132  0.431  0.149  0.273  0.144  0.930  0.164  0.123  0.939  0.061     Log of monthly business expenses  0.270  ‐0.066  0.305  0.464  0.309  0.917  0.263  0.826  0.587  0.413     Took any business loan  ‐0.002  0.015  0.005  0.509  0.246  0.615  0.510  0.690  0.655  0.345     Loan for business inputs and equipment  ‐0.005  ‐0.006  ‐0.007  0.990  0.945  0.887  0.943  0.812  0.594  0.406     Log of amount needed to start business  0.517  0.436  1.156  0.027  0.782  0.031  0.014  0.609  0.696  0.304  Log of amount borrowed to start     0.588  0.415  1.095  0.253  0.663  0.202  0.114  0.870  0.565  0.435  business      37    Appendix B: Baseline Balance Tests and Means      Treatment A   Treatment B  Treatment C  Control      P‐Values      N   Mean  N  Mean  N  Mean  N  Mean     T1: C  T2: C  T3: C  Freetown  791  65.36%  791  64.85%  794  65.37%  943  64.58%     0.74  0.91  0.73  Impact evaluation participant  791  11.38%  790  12.91%  794  12.85%  942  12.85%     0.35  0.97  1.00  is head of HH  Head of HH is a woman  791  34.39%  791  35.02%  794  31.11%  942  33.97%     0.86  0.65  0.21  Number of people in the HH  791  4.70  791  4.77  794  4.81  942  4.79     0.31  0.79  0.87  Age   791  23.28  791  23.55  794  23.72  942  23.47     0.34  0.68  0.19  Male   790  50.13%  790  50.25%  793  50.44%  940  50.21%     0.97  0.99  0.92  Has attended school  787  98.22%  788  98.10%  792  98.36%  934  97.22%     0.17  0.23  0.11  Has been sick in the past four  790  34.94%  789  31.18%  793  30.77%  931  32.33%     0.25  0.61  0.49  weeks  Can read or write a simple text  790  93.04%  790  94.94%  791  96.33%  939  92.55%     0.69  0.04  0.00  Digitspan recall test (correct  791  6.36  791  6.38  794  6.47  930  6.46     0.15  0.29  0.91  answers)  Impulse controla  791  3.48  791  3.51  793  3.53  933  3.50     0.60  0.88  0.32  Locus of controla  791  3.29  791  3.25  792  3.28  933  3.31     0.51  0.07  0.36  Multitaskera  791  2.13  791  2.13  793  2.09  933  2.13     0.93  0.92  0.33  Risk attitudesa  791  2.39  791  2.48  792  2.62  933  2.58     0.02  0.23  0.62  Worked for pay in the past  791  29.08%  791  31.48%  794  34.26%  933  29.80%     0.74  0.45  0.05  year  Paid employee  230  11.74%  248  12.90%  272  8.09%  277  12.27%     0.85  0.83  0.11  Never self‐employed  790  78.61%  790  77.09%  792  73.48%  933  76.74%     0.35  0.86  0.12  Wholesale and retail trade  166  46.99%  177  48.02%  207  47.34%  210  44.29%     0.60  0.46  0.53  First business  166  86.75%  180  83.89%  209  87.08%  217  82.03%     0.21  0.63  0.15  Founder of the business  168  88.10%  176  84.66%  205  87.80%  210  90.00%     0.56  0.11  0.48  Years of operation  94  2.78  88  3.04  106  3.29  131  2.91     0.76  0.79  0.41  Profits made in last month  88  129,544  84  249,557  103  151,491  127  141,009     0.67  0.09  0.72  Profits made in best month  89  197,042  88  406,917  102  230,223  128  300,179     0.20  0.41  0.35  Profits made in worst month  88  129,544  84  249,557  103  151,491  127  141,009     0.67  0.09  0.72  Note: HH = household.  a. Measured on a scale from 1 (least desirable answer) to 5 (most desirable answer).  38    Appendix C: Detailed Attrition Analysis  At  endline,  Statistics  Sierra  Leone  was  able  to  track  2,782  of  the  3,319  individuals  who  were  surveyed  at  baseline.  This  suggests  that  the  overall  attrition  rate  was  16  percent  (table  C1).  Because  information  on  entrepreneurship, one of the main outcomes the program sought, is available for all 2,782 individuals, they  are  all  included  in  the  nonattritor  sample.  More  than  80  percent  of  the  individuals  were  thus  successfully  interviewed  at  both  baseline  and  endline.  To  check  for  bias  in  attrition,  the  data  are  examined  for  compositional  differences  between  attritors  and  nonattritors,  and  then  robustness  checks  of  the  main  results are conducted taking into account the predictors of attrition.  Table C1. Overall and Treatment Group Attrition Rate  A. Tech.  B. Business   C. Full  Control  TOTAL     skills + OJT  skills  Package  Baseline survey  791  791  794  943  3,319  Endline survey  669  663  673  777  2,782  Attrition  122  128  121  166  537  Attrition rate  15%  16%  15%  18%  16%    Table  C2  presents  the  results  of  a  set  of  t‐tests  of  differences  in  means  between  the  individuals  who  left  the  sample  (attritors)  and  the  individuals  who  stayed  (nonattritors).  The  variables  chosen  for  this  analysis  are  those  that  may  have  had  an  impact  on  labor  market  outcomes:  educational  attainment,  self‐ employment status, age, and marital status.  Table C2. P‐Values of the Differences in Means, Attritors vs. Nonattritors  Treatment  Treatment  Treatment  Entire     Control   A  B  C  sample  Age  0.03  0.19  0.84  0.37  0.04  Gender  0.31  0.27  0.17  0.69  0.63  Primary or less  0.96  0.31  0.33  0.63  0.62  JSS  0.22  0.49  0.19  0.60  0.50  SSS  0.15  0.53  0.31  0.06  0.11  Technical and vocational education and  0.69  0.37  0.16  0.04  0.01  training, teaching, nursing  University  0.63  0.36  0.00  0.64  0.56  Postgraduate or Higher     0.32  0.54  0.90  0.67  Married (monogamous)  0.83  0.57  0.80  0.30  0.61  Married (polygamous)  0.16  0.32     0.32  0.05  Informal/loose union  0.03  0.32  0.09  0.31  0.15  Separated  0.00  0.77  0.05  0.21  0.66  Divorced  0.03  0.57  0.82  0.47  0.70  Widowed  0.08  0.03  0.03  0.01  0.00  Never married  0.07  0.33  0.68  0.83  0.94  Self‐employed  0.03  0.64  0.84  0.45  0.13    Regarding  marriage  status,  the  only  categories  with  a  low  p‐value  (indicating  statistically  significant  differences  between  attritors  and  nonattritors)  are  those  that  have  zeros  in  one  of  the  categories  (either  attritors or nonattritors) and therefore constitute a small fraction of the sample: widows and polygamous  39    marriages.  Those  who  stay  are  also  older  than  those  who  leave,  but  the  difference  is  less  than  a  year  (around 4.5 months).  Regarding education categories, there is a statistically significant difference in means between those who  stayed  in  the  sample  and  those  who  leave  (attritors).  In  particular,  the  attritors  are  more  well  educated  than those who stay (have degrees through technical and vocational education and training); however, this  likely  arises  because  of  the  small  sizes  in  specific  educational  subgroups.  First,  the  share  of  beneficiaries  with technical and vocational education and training is small (less than 4.0 percent), as is the share of those  with university education (1.3 percent). Second, because the labor outcomes are expected to be the largest  among beneficiaries with the highest educational attainment, if those who are more well educated left the  program and if any bias was introduced in the study’s estimations, this bias would yield an underestimation  of the effect of the program.  To ensure that the evaluation captured the program’s impact rather than the impact of the characteristics  that  differ  across  the  groups  because  of  attrition,  the  balance  tests  were  reestimated  between  the  treatment and control groups without the attritors (table C3). The groups remain similar, on average. There  were no differential patterns among the nonattritors in the treatment and control groups, and, among the  key  variables  tested,  the  only  variable  with  a  difference  in  mean  that  was  statistically  significant  also  differed at baseline (can read or write a simple text).  Table C3. Baseline Balance after Attrition  Indicator   Treatment A   Treatment B  Treatment C  Control   P‐Values       N   Mean  N  Mean  N  Mean  N  Mean  T1: C  T2: C  T3: C  Freetown  669  61.58%  663  62.14%  673  61.37%  777  61.52%  0.98  0.81  0.95  Impact evaluation participant is  669  11.81%  662  13.44%  673  12.63%  777  13.26%  0.41  0.92  0.72  head of HH  Head of HH is a woman  669  34.23%  663  36.65%  673  31.35%  777  32.95%  0.61  0.14  0.52  Number of people in the HH  669  4.71  663  4.74  673  4.89  777  4.79  0.48  0.67  0.32  Age  669  23.40  663  23.62  673  23.71  777  23.52  0.57  0.64  0.37  Man  668  50.90%  662  49.40%  672  49.40%  776  50.52%  0.88  0.67  0.67  Has attended school  666  98.05%  660  98.03%  671  98.21%  772  97.15%  0.27  0.28  0.19  Has been sick in the past four  668  35.63%  661  31.77%  672  31.25%  769  33.94%  0.50  0.38  0.28  weeks  Can read or write a simple text  669  92.83%  662  94.86%  670  96.27%  774  92.38%  0.75  0.06  0.00  Digitspan recall test (correct  answers)  669  6.33  663  6.39  673  6.40  768  6.46  0.11  0.39  0.52  a Impulse control   669  3.48  663  3.53  672  3.52  771  3.50  0.55  0.41  0.58  Locus of controla  669  3.30  663  3.26  672  3.30  771  3.33  0.50  0.10  0.47  Multitaskera  669  2.13  663  2.12  672  2.11  771  2.13  0.99  0.76  0.62  Risk attitudesa  669  2.44  663  2.52  671  2.64  771  2.59  0.10  0.45  0.55  Worked for pay in the past year  669  30.34%  663  32.88%  673  34.92%  771  31.26%  0.71  0.51  0.14  Paid employee  203  9.85%  217  13.82%  235  8.09%  240  12.08%  0.46  0.58  0.15  Never self‐employed  669  76.83%  662  75.83%  672  73.07%  771  74.97%  0.41  0.71  0.41  Wholesale and retail trade  152  47.37%  157  47.77%  179  46.37%  187  45.99%  0.80  0.74  0.94  First business  152  86.18%  160  83.75%  180  86.11%  193  81.35%  0.23  0.56  0.21  Founder of the business  154  88.96%  156  85.90%  179  88.83%  186  89.25%  0.93  0.35  0.90  Years of operation  87  2.77  79  3.10  93  3.05  119  2.88  0.82  0.67  0.71  Profits made in last month  81  126,542  75  239,037  90  161,394  115  138,678  0.67  0.15  0.48  Profits made in best month  82  196,057  78  406,842  89  239,445  116  277,722  0.32  0.37  0.63  Profits made in worst month  81  126,542  75  239,037  90  161,394  115  138,678  0.67  0.15  0.48  Note: HH = household.  a. Measured on a scale from 1 (least desirable answer) to 5 (most desirable answer).    40    Even  though  no  worrying  trends  were  observed  in  the  data,  these  characteristics  are  controlled  for  in  all  the  econometric  estimations.  Including  these  controls  ensures  that  the  effects  of  the  program  are  estimated  net  of  the  impacts  of  age,  educational  attainment,  or  marriage  status  on  the  labor  market.  Similarly,  to  predict  the  correlates  of  survey  attrition,  an  ordinary  least  squares  equation  of  the  determinants  of  participation  in  the  surveys  at  both  baseline  and  endline  is  estimated  (table  C4).  Assignment to any treatment arm (A, B, or C) increases the probability of participation in the survey at both  baseline  and  endline  by  5  percentage  points,  and  the  estimate  is  significant  at  the  1  percent  level.  This  is  not  surprising  given  that  18  percent  of  the  control  group  Table C4. Attrition Prediction  attrited  (see  table  C1).  The  following  variables  were  found  to  be  positively  correlated  with  staying  in  the  sample:  age,  Variable  Nonattritor  involvement  in  a  polygamous  marriage  or  informal  union,     Coeff.  Std. Err.  never having been married, and access to a mobile phone.1  Treatment  0.0519***  (0.0114)  Individuals in Koidu City and Makeni are more likely to stay  Has children under 12  0.0247**  (0.0123)  in  the  sample,  and  this  may  be  explained  by  the  quality  of  Age  0.0226***  (0.00104) the  training  centers  in  these  cities.  Besides  being  assigned  Beneficiary is head  ‐0.0453***  (0.0172)  Mobile phone  0.188***  (0.0267)  to  the  control  group,  the  other  determinant  of  leaving  the  Married (polygamous)  0.171***  (0.0491)  sample is status as the household head.  Informal/Loose union  0.0797**  (0.0360)  As  a  robustness  check,  an  inverse  probability  weighting  Separated  0.0108  (0.0653)  approach  is  used  (Wooldridge  2000).  This  is  accomplished  Divorced  0.0389  (0.0619)  by estimating a probit version of the equation to predict the  Widowed  0.133***  (0.0256)  probability  of  staying  in  the  panel  and  calculating  inverse  Never‐married  0.182***  (0.0157)  probability weights, which are used to reweight the sample  Freetown  0.00719  (0.0122)  and  reestimate  the  ordinary  least  squares  models  of  the  Kenema  ‐0.00759  (0.0205)  main  dependent  variables.  Specifically,  the  probability  that  Koidu City  0.0511**  (0.0237)  an  individual  stays  in  the  sample  is  predicted  through  a  Makeni  0.0740***  (0.0193)  probit  function,  and,  later,  the  objective  function  is  weighted  by  1/predicted  probability.  This  method  gives  more  weight  to  the  individuals  with  the  highest  chance of attrition, giving them more influence on the estimate of the impact relative to individuals with a  low probability of attrition.  The results, following Adoho et al. (2014), are presented in table C5, next to the main unadjusted ITT results  for  comparison.  The  results  show  a  high  degree  of  similarity  between  the  original  (unadjusted)  and  the  adjusted  estimates.  Across  all  outcomes,  the  point  estimates  and  standard  errors  vary  only  slightly.  Adjusting  for  attrition  does  not  change  the  sign  or  significance  of  any  of  the  coefficients,  showing  robustness of results.                                                                     1  Including gender in the analysis does not lead to significant changes in table C4 because the variable has no significant  effect on the prediction of nonattrition and high attendance.  41    Table C5. Estimated Outcome Variables Adjusted for Survey Attrition  Weighted ITT estimates  ITT estimates unadjusted  Variable  adjusted for attrition  for attrition  N  Coeff.  Std. Err.  Coeff.  Std. Err.  Employment                    Employed  0.0286**  (0.0145)  0.0311**  (0.0144)  2,565     Wage work  0.0146  (0.0117)  0.0138  (0.0117)  2,584     Self‐employment  0.0109  (0.00924)  0.0131  (0.00922)  2,584     Unemployed  0.0126  (0.0212)  0.0117  (0.0210)  2,584     Log monthly earnings ‐ all  ‐0.0247  (0.234)  0.00550  (0.232)  2,700     Log monthly earnings  0.322**   (0.146)  0.321**   (0.145)  822     Log hours worked per day  0.0244  (0.0621)  0.0118  (0.0639)  363  Entrepreneurship                    First‐time entrepreneur  0.0379**  (0.0169)  0.0410**  (0.0168)  2,702     Log of last month's profit  0.0920  (0.142)  0.113  (0.139)  2,702     Log of profit in best month  0.220  (0.150)  0.243  (0.149)  2,702     Log of profit in worst month  0.224*  (0.130)  0.247*  (0.129)  2,702     Business type: trader, shopkeeper  0.0790**  (0.0360)  0.0786**  (0.0352)  754     Business has a temporary location  0.0231  (0.0263)  0.0288  (0.0259)  754  Consumption and household conditions                    Log consumption per capita  0.509***  (0.0633)  0.525***  (0.0633)  2,660     Log food consumption per capita  0.451***  (0.0631)  0.464***  (0.0627)  2,660     Log nonfood consumption per capita  0.502***  (0.0642)  0.516***  (0.0641)  2,660     Log other household’s expenses pc  0.427***  (0.0832)  0.471***  (0.0852)  2,660     Total No. of assets  0.283***  (0.0888)  0.279***  (0.0881)  2,702     Improved toilet  0.0318*  (0.0168)  0.0313*  (0.0167)  2,702     Concrete roof  0.0118   (0.00991)   0.0123   (0.00975)   2,702     Piped water  0.0229  (0.0152)  0.0217  (0.0149)  2,702  Cognitive and socio‐emotional skills                     Verbal memory 6 digits  0.0632***  (0.0205)  0.0630***  (0.0203)  2,440     Impulse control  0.0847***  (0.0257)  0.0882***  (0.0255)  2,699     Greater locus of control  0.0971***  (0.0338)  0.0932***  (0.0335)  2,699     Multitasking ability  0.122***  (0.0314)  0.121***  (0.0311)  2,699     Prepared to take risks  0.0225  (0.0710)  0.00958  (0.0703)  2,692  Business practices, spending and capital                    Keeps separate financial records  0.0926**  (0.0413)  0.0304**  (0.0129)  2,702     Keeps financial records  0.116***  (0.0423)  0.0401***  (0.0139)  2,702     Log of capital stock  0.256*  (0.137)  0.235*  (0.137)  2,702     Log of monthly business expenses  0.230  (0.255)  0.172  (0.253)  2,702     Took any business loan  0.00915  (0.0107)  0.00588  (0.0106)  2,702     Loan for business inputs and equipment  ‐0.00579  (0.0105)  ‐0.00640  (0.0104)  2,702     Log of amount needed to start business  0.632***  (0.217)  0.732***  (0.217)  378  Log of amount borrowed to start     0.707**  (0.349)  0.734**  (0.333)  174  business     Notes:                 Robust standard errors in parentheses, *** p<0.01, ** p<0.05, *              p<0.1  All specifications also include baseline outcome values when available, other control variables (that is age,     marital status and educational attainment), and controlling for center fixed effects.    42