WPS8500 Policy Research Working Paper 8500 Background Paper to the 2018 World Development Report The Evidence Is In How Should Youth Employment Programs in Low-Income Countries Be Designed? Louise Fox Upaasna Kaul Development Economics Development Research Group June 2018 Policy Research Working Paper 8500 Abstract Youth in many low-income countries are entering the perspective, evidence from rigorous evaluations of youth labor force in unprecedented numbers, yet many struggle employment interventions provides new insight into which to secure rewarding livelihoods. This paper outlines the kinds of interventions are more likely to help youth succeed economic development challenges that constrain youth’s in certain contexts. The evidence reviewed here casts serious transition into employment, and it parses the evidence on doubt on the efficacy and value of training interventions which programs and policies appear to speed that transition. to help youth enter formal wage employment. The case It concludes that it may be time for a fundamental reas- is stronger for interventions that speed the transition to sessment of approaches for addressing youth employment self-employment in farming or non-farm household enter- and the youth transition in low-income countries. Employ- prises. Support for development of transferable character ment opportunities in low-income countries reflect the pace skills and social integration among youth through positive of economic and structural transformation. In designing youth development programs should be tested further for strategies, policies, and programs to meet the entry-in- employment and earnings impacts, perhaps along with cash to-employment challenge for youth, the starting point transfers to youth or access to finance. In reviewing the evi- is to diagnose the economy and current/future employ- dence on the cost-effectiveness and sustainability of youth ment opportunities. Combined with the analysis of youth employment impacts, the paper also notes the need for better employment problems from a structural transformation measures of displacement and general equilibrium effects. This paper—prepared as a background paper to the World Bank’s World Development Report 2015: LEARNING to Realize Education’s Promise—is a product of the Development Research Group, Development Economics. It is part of a larger effort by the World Bank to provide open access to its research and make a contribution to development policy discussions around the world. Policy Research Working Papers are also posted on the Web at http://www.worldbank.org/research. The authors may be contacted at fox.louise@outlook.com. The Policy Research Working Paper Series disseminates the findings of work in progress to encourage the exchange of ideas about development issues. An objective of the series is to get the findings out quickly, even if the presentations are less than fully polished. The papers carry the names of the authors and should be cited accordingly. The findings, interpretations, and conclusions expressed in this paper are entirely those of the authors. They do not necessarily represent the views of the International Bank for Reconstruction and Development/World Bank and its affiliated organizations, or those of the Executive Directors of the World Bank or the governments they represent. Produced by the Research Support Team The Evidence Is In: How Should Youth Employment Programs in Low-Income Countries Be Designed? Louise Fox1 and Upaasna Kaul  KEYWORDS: Youth; labor; employment; sub‐Saharan Africa; structural transformation; informality; household  enterprises; vocational training; skills.  JEL Classification: J21, J23, J48.  ACKNOWLEDGEMENTS  We thank Karen Austrian, Marianne Bertrand, Rachel Blum, Annette Brown, Bruno Crepon, Eric  Johnson, Kristin Lord, Mattias Lundberg, Fiona Macaulay, Mike McCabe, David McKenzie, Branka  Minic, Patrick Premand, Melanie Sany, Rachel Surkin, and participants in a seminar at USAID for  providing helpful comments on an earlier draft. The opinions and views expressed are those of the  author and not necessarily those of USAID or The World Bank.  .  1  Chief Economist, US Agency for International Development (USAID)  1 Introduction: The entry‐into‐employment challenge  Youth is universally a distinct human developmental stage, a time of transition marked by critical  decisions that affect the future of the individual and the broader society. A positive youth trajectory  concludes with the development of a mature adult who has a positive sense of self, has developed  agency and impulse control, and a set of core competencies and skills for engaging effectively with the  economy and society. A negative trajectory does not develop self‐esteem and agency, and concludes  with risky and or destructive behavior such as teen pregnancy, crime and violence, self‐destructive  health habits, and disengagement from society, all of which can lead to household poverty and lower  economic growth (World Bank, 2006). With so much at stake, it is clear why youth development is an  important economic development issue.   Youth constitute a high share of the population in low income countries, especially in Sub‐Saharan  Africa (SSA), where one‐third of the world’s projected youth population will live by 2050 (AfDB, 2015).  These individuals represent an enormous opportunity and resource, yet creating the circumstances to  realize that potential is a big challenge.   Economic and social development requires youth to be able to find opportunities commensurate with  their skills and abilities, allowing them to transition into stable livelihoods2. Although educational  attainment is rising, the quality of that education is often weak, as measured by cognitive skill  development (Cloutier et al., 2011). Nor is the educational experience in low‐income countries  designed to build the socio‐emotional and problem‐solving skills that help youth navigate a changing  economic landscape (Filmer and Fox, 2014).  Governments in lower‐income countries are increasingly looking for ways to improve youth  employability and earnings, but regularly fail to recognize that the youth employment problem is  simply a subset of the overall employment and earnings challenge in low‐income countries, which is, in  turn, a structural transformation challenge. In other words, employment opportunities in the economy  will improve only with economic transformation—the creation of new more productive economic  entities that use new technology, and increase productivity among existing firms and farms. When that  transformation occurs, youth normally secure a large share of the new opportunities it creates,  commensurate with their share in the labor force (Filmer and Fox, 2014). If structural transformation  does not progress, opportunities will be limited for all labor force participants – youth or adults. Thus,  the shortage of high‐earning employment opportunities in an economy is not a youth specific problem.  It is simply one of many economic constraints that must be reckoned with by all in the labor force (and  addressed by economic development policy).   For the most part, the youth‐specific challenge – the challenge youth face that older adults do not – is  entry into employment. This is the problem that youth‐specific programs need to address, and this is  the issue addressed in this paper. To do so, this paper argues that youth employment interventions  should first diagnose the actual constraints that youth face in accessing the specific segments of the  economy where employment opportunities are growing. Although increased educational enrollment  has generated greater aspirations and demand for wage employment from the youth population, if  most employment is still found in production of goods and services by household farms and firms with  limited outside labor, this paper argues that programs to help youth should target opportunities in this                                                               2 In developing countries, the definition of employment is  broader than  wage or  salaried positions with an employer. Many  individuals hold jobs that are better characterized as ‘activities that generate actual or imputed income, monetary or in‐kind,  formal or informal.’ Individuals often perform multiple activities or jobs, which in aggregate constitute a ‘mixed livelihood’.   2  segment of the economy. Strategies, intervention design, and the theory of change underlying a youth  employment intervention need to take this into account.   The paper argues that programs trying to help youth snag the few wage‐earning opportunities in a  situation of excess supply do not create economic growth or more employment opportunities, but  simply redistribute existing opportunities. Yet this is what most youth employment programs in  developing countries do. Most research on program impact covers this type of program. It is not  surprising that impact evaluations have found mixed results from these interventions, and where  results were positive, they come at a high cost. More importantly, recent research is finding that  successful youth placement in these jobs does indeed come at the expense of others (displacement).  Far better would be to support entrance into self‐employment. Evidence on interventions that can  help youth succeed in household production is at last beginning to appear. Simultaneously, countries  should try to address broader labor market challenges by growing wage employment opportunities in  existing firms, and as well as encourage new firm entrance.  The paper contributes to the emerging literature on youth employment interventions by looking at the  youth employment challenge through the lens of structural transformation to examine what youth  employment interventions can do to help youth transition successfully to a stable livelihood in low and  lower‐middle income countries. A second contribution is to review the most rigorous evidence from  impact evaluations of youth employment interventions, grouped into programs that tried to help  youth enter wage employment, programs that tried to create more wage employment, and programs  that tried to help youth enter self‐employment. Several previous literature reviews have reviewed the  impact evaluation evidence on employment programs, including Card, Kluve, and Weber (2015) and  Kluve et al. (2016). In both of these reviews, the majority of studies cited are from member countries  of the Organization for Economic Co‐operation and Development (OECD), and very few are from low‐  and lower‐middle‐income countries . As argued in section 2, the employment context in low‐ and  lower‐middle‐income countries is very different from the OECD one owing to the lack of structural  transformation. In addition, the scope of this review is broader than the scope of the above cited  reviews. The Card, Kluve and Weber (2015) review covers Active Labor Market Programs (ALMPs),  including post‐school training, job search assistance, and subsidized employment. David McKenzie’s  (2017) recent review also limits its coverage to this category of program while focusing on low‐ and  lower‐middle‐income countries. The Kluve et al., (2016) review is broader, as it covers self‐ employment assistance as well (called “entrepreneurship training”); this type of intervention made up  12 percent of the programs reviewed. By contrast, the review in this paper covers all of these types of  programs as well programs to support existing firms to increase employment.   The paper concludes that it may be time for a fundamental reassessment of youth employment  strategies, as well as the effectiveness of programs to help youth enter into employment in low‐ income and lower‐middle income countries. The case for pursuing especially job‐specific youth  employment interventions for wage employment is in serious doubt. Not only do the majority not  show lasting results, but there is emerging evidence of displacement – no net employment gain, but  possible harm to someone else. A stronger case can be made for interventions that expand  employment and firm entry. Likewise, in developing countries, there is a case for interventions to  speed the transition to self‐employment. In this category, cash seems to be a very cost‐effective  intervention as a boost to business entry, even if the effects may subsequently fade.   Other promising intervention areas include support for “soft” or non‐cognitive skills development and  social integration among youth. These seem to be the skills that employers are looking for, and finding  in short supply, although again the evidence from low and lower‐middle income countries is weaker in  terms of employers’ demands and program outcomes. Research in developed countries has found  3  them strongly linked to employment outcomes (Heckman and Kautz, 2013). These skills are often  called ‘transferable skills’ because, in contrast to technical and vocational training, these skills are not  industry or firm specific, so the firms usually will not pay for this type of training. The skills learned can  be applied in a variety of different settings, including in school, and in self‐employment and wage  employment. However, evaluations of most of these programs in developing countries have not  tracked employment outcomes. It may be helpful to experiment more with transferable skills  development initiatives, combined with cash transfers to youth or access to finance.  Finally, it may be  time to reconsider an approach to youth development that focuses only on employment outcomes. It  may be that it was this siloed approach led to expensive programs developing industry and job‐specific  technical and vocational skills, instead of the broader, foundational cognitive and noncognitive  transferable skills not currently developed in basic education systems that have pay‐offs in multiple  domains, including economic outcomes.  2 The youth employment problem in low‐income countries – a  framework  It is widely agreed that the transformation of an economy from a fundamentally agrarian, subsistence  mode to an urbanized, integrated, and enterprise‐dominated mode is the essence of economic  development, and the wellspring of continuous improvement in economic welfare (Herrendorf et al,  2013).  Historically, this involves a movement of production from the household sphere—on family  farms, in family businesses, commonly called the informal sector ‐ to enterprises (the formal sector).3  Household businesses—called household enterprises (HEs)—are distinct from modern enterprises as  they are not the growth‐oriented enterprises common in developed economies (Filmer and Fox, 2014).  Modern enterprises are characterized by newer technology, economies of scale, and effective  management of physical, financial, and human resources through specialized departments, all working  toward higher profits in a competitive environment.  Structural  transformation  is  seen  in  both  output  (productivity)  and  employment  space;  the  latter  is  known the  employment transformation. The structure of employment changes more slowly than the  structure of output, because the modern firms have to be created, and their creation requires more  capital and knowhow than household production. As a result, it  is common to find that the share of  agriculture in GDP has fallen to 30 percent or less in lower‐middle‐income countries, while 60 percent  or more of the labor force is still working on farms (Timmer and Akkus, 2008), with another 20 percent  in HEs. Only in upper‐middle‐income and high‐income countries does most of the labor force find work  outside the household sphere of production in  formal, modern enterprises or in the public sector, as  wage or salaried labor (Figure 1).  The rate at which output and employment transformation occurs is affected by several factors; one is  the speed of labor force growth.4 If the growth of employment in firms is much greater than the  growth of the labor force, then the employment transformation will move with the output  transformation, with a slight lag. If the labor force is still growing rapidly (owing to slowly declining  fertility, for example) then the employment transformation shown in Figure 1 will proceed more  slowly, and the share of the labor force in household production will stay high, despite rising income.                                                               3 This  employment  is  classified  as  own  account  workers  (self‐employed)  and  contributing  family  members  in  “status  in  employment” classifications such as those shown in Figure 1.  4  For definitions and further discussion of the role of structural transformation in development and employment creation, see  Fox and Thomas, (2016), and the references therein.  4  Only if the growth in wage jobs weighted by its share in the labor force exceeds growth of the labor  force will the share of employment in nonwage jobs fall rapidly.   Figure 1: Employment structure by income group  100% 2% 2% 2% 4% 19% 34% 75% Employers 67% Wage & Salaried 50% 53% 86% Workers Own‐Account 50% Workers Contributing Family 25% Workers 26% 26% 14% 9% 0% 5% 1% Low Income Lower‐Middle Upper‐Middle High Income Income Income Source: ILO Stat, 2016.  People looking for jobs and firms looking for employees interact in the labor market (Figure 2). The  intersection of the supply of labor and firm demand establishes the market wage in the standard or  classical model.5 Wages at any point adjust to equilibrate supply and demand—as shown in Figure 2,  where W1 is the equilibrium wage. In a growing, developed economy, most workers will find jobs,  allowing for some spatial frictions or temporary joblessness during the search process. Some workers  will potentially remain out of the labor force because the equilibrium wage rate is too low to induce  entry. As the economy grows, demand for labor shifts out. As the population grows, the labor supply  curve shifts out. A new equilibrium results.     Most people enter the labor market in earnest after leaving school. If the labor supply is growing faster  than labor demand, the equilibrium wage could fall. For example, where labor markets are  differentiated by education, an increase in educated labor could cause that supply curve to shift out  faster than the demand curve, causing wages for educated workers to fall. Figure 2 shows this effect as  W2.   Figure 2: A classical model of the labor market                                                                 5 Skill differentials could create a number of labor markets, with integration between them.   5  DEMAND Wage Rage SUPPLY W2 W1 SUPPLY* Q1 Q2 Employment (Quantity)     The classical model of the labor market illustrated in Figure 2 is an oversimplification, of course, even  for developed countries. Informational asymmetries between job candidates and firms, along with  other frictions, will to varying degrees reduce the market’s efficiency. It is difficult to reduce nominal  wages, so some unemployment may result if the supply is increasing faster than demand. To  compensate for the overwhelming power of employers in large firms relative to the individual  employee, governments may enact employment protection laws and a minimum wage, which may  reduce labor demand somewhat because wages cannot fall to a market clearing level. Economies with  effective labor market institutions can address these frictions by improving information and providing  social safety nets for those who are temporarily unemployed, reducing the potential for adverse  effects on labor market participants.     In low‐income countries, the classical model does not hold either, but for different reasons. Low and  lower middle=income countries are characterized by a perpetual shortage of shortage of firms relative  to the supply of labor – a structural transformation problem. This demand‐side problem cannot be  solved with temporary solutions or social insurance because it is structural; it is not an insurable risk.  Until the growth in new firms increases dramatically and the growth in the labor force declines  significantly, the labor market will not clear.     In this situation, the supply of labor is completely elastic—as far as firms are concerned. Firms can hire  as many workers as they want at the going wage rate, and the wage does not fall to zero (or near‐zero)  as expected in the model shown in Figure 2. The entry‐level wage is fixed, either by an actual minimum  wage set by government, or by the cost of living and transport in urban areas and traveling to and  from work. Workers will not accept wages below subsistence living costs. As a result, the labor market  looks more like the model in Figure 3, where a flat segment dominates the supply curve at the  prevailing wage. Amount of labor hired is set by the demand curve, Q1, even though people at Q2 are  also willing to work for this wage. Those not hired (Q2–Q1, group B) are either unemployed, waiting for  an increase in labor demand to give them a chance at a job, or they enter informal employment (the  household production sphere).     In reality in a low‐income country, most people do not even bother to look for wage jobs. They already  know there are more workers than jobs. Since employment in modern firms or the public sector often  requires more education than the average labor force participant in a low‐income country achieves,  6  they may see little reason to search for a wage job. If they have no work on the family farm or in the  household business, they stay home, doing chores or waiting for an opportunity.     Figure 3: A model of the developing country labor market  DEMAND Wage Rate SUPPLY * W*  SUPPLY A B C Q1 Q2 Q3 Employment (Quantityof Labor)     Figure 3 is especially important for understanding the youth employment challenge, as it illustrates the  market for entry‐level jobs almost perfectly. To an employer, new entrants to the labor market mostly  look alike (assuming that they all have the required minimum education). The employer is indifferent  between those workers in the rectangle bordered by Q1 (group A) and those in the trapezoid bordered  by Q1 and Q2 (group B), who were not at the front of the B queue so did not get hired. If, through some  kind of job matching intervention, those in group B move to the front of the line and get hired, some  of group A will not get hired. But total employment will not go up. The only way total employment  goes up is if firms start hiring more workers than before (through the expansion of production by  existing firms, or the creation of new firms), so that the demand curve shifts out. From this  perspective, the youth employment problem is really just a special case of the overall labor market  challenge—an oversupply of workers relative to the number of firms. The evidence from enterprise  and household surveys suggests that as wage employment increases, youth employment expands  proportionately (Filmer and Fox, 2014).  Suppose that an employer wants entry‐level workers to have some work experience. In this case the  employer would prefer not to hire youth who have recently left school. The employer wants to hire  entry‐level workers who have been out of school for a few years, and who have worked in temporary  jobs or in the family farm or business. Only after this pool is exhausted will the younger job seekers be  hired. So, to help the younger individuals get a job, the government finances an apprenticeship or  internship program, possibly combined with vocational training, so that youth entering the labor  market can compete effectively with those already looking for jobs, who have some work experience.  The effect of this intervention is to move the supply curve out to S*. Now the number of people  eligible for an entry‐level wage job has expanded to Q3 and includes groups A, B, and C. But the total  number of jobs has not expanded. The intervention simply moved some youth into group A, but  bounced some other youth or some slightly older adults still looking for an entry‐level job into groups  B and C. Without a shift in the demand curve, the intervention effect was only displacement. Younger  job seekers displaced older job seekers in line for jobs.  7  If the participants in the intervention were somehow marginalized or disadvantaged, perhaps the cost  of the intervention could be justified. But making this determination requires knowing who did not get  a job, and evaluating their circumstances as well. From a social welfare point of view, because we do  not know who lost out, this type of trade‐off is very difficult to evaluate, and generally discouraged.  Displacement effects are important in estimating the true impact and cost‐benefit of an employment  program, but are rarely considered.   But what if employers cannot find people to fill entry level jobs? In this case Figure 3 is also an  oversimplification. Even entry level labor markets can be segmented – by geography, for example, or  by type of pre‐employment education and training. In a rapidly growing, economy, in some segments  job creation is happening rapidly and wages are beginning to rise, there may be cost‐effective  interventions that reduce labor market frictions. These interventions might improve the flow of  information about available jobs and their entry‐level skill requirements, as well as help youth learn  transferable, “employability” skills. Programs to connect rural youths with urban jobs, for example, by  subsiding transportation costs and solving networking problems would also fall in this category.   Given the shortage of wage jobs in low‐income economies, the real challenge for employing youth is to  help them gain a foothold in the informal sector, either in farming or non‐farm household businesses.  The objective of such an intervention would be livelihood development, not firm growth. Since these  youth will have to find an economic opportunity and exploit it, interventions such as training,  apprenticeship, or access to finance might be justified. In this case displacement is rarely a concern, so  the key issues are the cost‐effectiveness of the intervention, and who should finance it.   In sum, the opportunities for youth are a function of the overall set of employment opportunities in a  country. Stakeholders need to be aware of this so that they do not misdiagnose the problems facing  youth as they try to find a stable and productive livelihood. Employment transformation takes time,  and it lags economic transformation. It is an economic growth and development problem. The labor  market model shown in Figure 3 suggests that failure to consider this point can lead to strategies  which are at best not cost‐effective and ignore the situation and prospects of most youth. In the next  section, a systematic review of recent impact evaluations of programs for youth employment in  developing countries is presented, using the lens of structural transformation.  3 Youth employment programs: Lessons from impact evaluations  3.1 Types of interventions and theories of change  As the earlier discussion of employment problems in low‐income countries illustrates, most constraints  youth face in the transition to work are closely related to the rate of economic transformation in each  country, and thus are shared by youth and adults. Some constraints, however, such as incomplete  information and limited noncognitive skills related to job readiness, are specific to youth. Adults who  are successful in the labor market have overcome these issues, often through a period of post‐school  search and exploration. Stakeholders (public or private) seeking to help youth overcome these  constraints have developed and implemented a variety of interventions; these can be categorized as  addressing supply side constraints or demand side ones (usually related to the business climate). A  third type of intervention, not discussed in this paper, includes reforms and changes to the  institutional environment.6                                                                6 Institutional  interventions  are  designed  to  improve  public  sector  capacity  or  better  regulate  key  markets  (financial,  labor,  land,  or  goods  and  services)  to  improve  employment  outcomes.  Rigorous  impact  evaluations  of  this  type  of  intervention are rare.  8   Supply‐side interventions are designed to improve the characteristics of actual and prospective  labor force participants in order to raise earnings (including helping them to enter the labor  force or exit unemployment). These interventions include skills training: in vocational and  technical skills, in business skills for self‐employment, and in noncognitive transferrable skills  (called life or employability skills). They may also include counseling and mentoring services for  either self‐ or wage‐employment, and transportation subsidies to help youth search for jobs.  Although not strictly a supply‐side intervention, matching services to reduce information  deficits and frictions by linking youth to job vacancies are usually put in this classification.   Business climate interventions are designed to improve factors outside the control of the labor  force participants that affect labor demand and productivity. In the case of wage employment,  interventions may benefit firms in order to affect their employment decisions—for example,  by raising the profitability of firms and helping them to expand (through management training,  mentoring, and incubation services); increasing access to finance; reducing firm taxation;  investing in infrastructure to support firm entry and growth; and providing employment  subsidies to encourage firms to hire youth.7 In the case of self‐employment, business climate  interventions may benefit actual or potential self‐employed business owners by affecting  choice of activity, earnings potential, and risk.   Different types of youth interventions will have different theories of change. For example:   Supply‐side interventions assume that the business climate is adequate and creating jobs, but  youth are not qualified enough for them. In the absence of the intervention, the jobs would go  unfilled, or the potential employer would wait until a qualified applicant appears. This means  that labor demand intersects labor supply at the upward sloping portion of the supply curve.     Business climate interventions assume that the supply of youth with the characteristics needed  to succeed in employment is adequate, but the business climate needs to improve to generate  more and better opportunities for youth. These interventions try to move out the demand  curve along the supply curve.  Most youth employment interventions are supply side ones, and of these, almost all involve some kind  of training.8 As discussed in Section 2, the assumptions behind supply‐side interventions for wage  employment are certainly open to question in low‐income countries.  Because multiple constraints can be involved, youth employment issues are often addressed by several  interventions. This complexity often makes program evaluation difficult, especially impact evaluation,  as it is not clear which component was most effective in alleviating which constraint, and what might  be the most cost‐effective way to move forward.   A critical challenge in experimental research on employment interventions is measuring displacement.  Most  studies  have not  even tried  to  do  so. Although  displacement  can  be  difficult  to  measure  in  an  impact  evaluation,  a  few  have  been  able  to  do  it.  A  Ugandan  study  measured  displacement  by  randomizing the firms which participated in the project and received vocational training graduates or  interns (Alfonsi et al., 2017). This study did find complete displacement. A study in France measured  displacement effects by varying the intensity of the treatment across areas (Crepon et al., 2012). While  the study did find that the employment program helped treated individuals within the treatment area  find a job “slightly faster” than those who were not in the study, when the authors compared areas  where most youth were allowed to participate (treated) with areas where few youth were allowed to                                                               7  Most firm‐level interventions aim to increase total employment, not youth employment, a point discussed below.  8  82 percent of the interventions listed in the ILO’s Youth Employment Program Inventory are training programs.  9  participate,  they  found  that  the  higher  the  share  of  youth  allowed  to  participate,  the  worse  the  outcomes were in the short term. In other words, the treatment effect of the program came directly at  the expense of the control group. The program had little or no impact on total unemployment in the  area, and no medium‐term effect at all—the treatment and control groups had similar outcomes in the  medium term.   Displacement can also happen with projects to help youth start HEs—the new HEs may outcompete  established HEs in the same sector and area. Again, most impact evaluations do not look for this effect.  An exception is Blattman et al.’s (2013) evaluation of the WINGS intervention in post‐conflict Uganda,  where adult women were helped to leave agriculture and start a retail trading business. They found  that less productive men traders lost business to the women who entered.  With these caveats in place, the remainder of this section examines the results of impact evaluation  research in developing countries on programs that are expected to improve employment outcomes.  Consistent with the essence of the youth problem, the analysis covers programs that target and  measure outcomes primarily relevant to youth: the generation of new employment opportunities. We  do not cover programs trying to increase earnings in existing employment (such as increased profits or  wages, for example), while recognizing that for youth trying develop a self‐employment livelihood,  earnings matter as well. In organizing the evidence, we focus primarily on low‐ and lower‐middle  income countries. In some case, where evidence is scarce, we include studies from upper middle  income countries such as Turkey, South Africa, and a few Latin American countries.  3.2 What do we know about interventions to increase wage employment among  youth?  3.2.1 Evaluation results: Supply‐side programs to increase wage employment  Training programs. The most common intervention to help youth enter wage employment sector is  training and it is also the most frequently evaluated intervention. Impact evaluations of training  programs show at best mixed results (Table 1). Training programs vary in length and focus, so it is hard  to know how much training is needed for what jobs and what participants. Programs tend to provide a  bundle of support and training aimed at improving youth employability for wage jobs. Most include  vocational skills training, often with an internship/apprenticeship component. Some include  noncognitive skills training. The heterogeneity of the programs, as well as the relatively infrequent use  of baseline and endline skills testing as an intermediate outcome makes it more difficult to draw  conclusions from the studies.  Key results from the literature are:    Few evaluated programs provided only vocational training. Of these, positive effects on  employment were found in India for a female‐only intervention. Training voucher programs,  once considered “best practice,” did not show positive effects in Kenya and Turkey.   Vocational training plus life skills and mentoring showed positive effects for young women in  Liberia and Nepal.   Comprehensive programs, which combine training (vocational, or vocational plus life skills)  with internships or other kinds of work experience showed positive effects in Colombia, the  Republic of Yemen, Kenya, and Nepal, but not in Dominican Republic or Peru. In the Republic  of Yemen, the participants were university graduates (and they received more limited pre‐ internship training), while in Kenya participants were secondary school graduates, and the  10  training was more extensive and mostly vocationally‐oriented. The Jóvenes model in Latin  America also combined training with internships for mostly good results.    Several programs showed good effects initially but had limited or no effects in the longer term  (Colombia, Dominican Republic, and Turkey).   The only program that checked for displacement, found it (Alfonsi et al, 2017).  Table 1: Supply‐side interventions to increase wage employment   Inputs  Key results  Life skills only interventions in Jordan and Kenya found no effects on employment or earnings.   TVT only interventions had no effects on earnings or employment in Kenya or Turkey. India  saw slightly positive effects for female employment and earnings, but most likely from  displacement. In Uganda a vocational training program resulted in increased employment and  earnings for youth, but with complete displacement.  Technical and  TVT and/or life skills together with work experience (internship/apprenticeship) and/or  vocational training  mentoring showed mixed results by region and gender.   (TVT), life skills, work  Positive: Colombia (Jóvenes), Kenya, Nepal, Peru (Projóvenes, 2016), and Yemen. Positive  experience, or  women‐only programs: Kenya (ICT training), Liberia (AGI).  combinations  No effect: Argentina, Dominican Republic, and Peru (2010).    In Nepal and Liberia, trainers were given financial incentives to place students. Overall, TVT  and work experience together seem to have the greatest effect on participation in the formal  sector. All studies ignore displacement effects.   A male‐only program in Malawi found that short training in field work plus 5 days of office  experience increased future employment in temp jobs.   The use of job fairs to match job seekers and employers in both Ethiopia and the Philippines  noted no significant employment or earning effects.   Recruitment services targeting young rural women in India for a new employment sector  (business process outsourcing) showed positive employment and earnings effects. The novelty  Employment matching  of the sector suggests that the recruitment effect may not be displacement (e.g. firms were  services and counseling  labor constrained).   In Jordan, a labor market matching service had no employment or earnings effects and was  highly cost‐ineffective. Cost per match (assessing ability and fit to job) averaged ~US$20K.   A subsidized apprenticeship program in Uganda found positive earnings effects, but no overall  effect on employment, as showed a full employment displacement.  Interventions testing bus subsidies for job seekers found no employment or income effects in  Ethiopia, but participants had a higher likelihood of permanent employment due to longer,  more intensive job searches. In Bangladesh, a subsidy to encourage urban migration during  Incentives for job  the lean season reported increased employment and earnings for beneficiaries.  search  While not intended as an incentive for job search, a wage subsidy program in South Africa  increased wage employment even though 98% of the firms did not use the wage subsidy. This  result suggests that subsidies encouraged beneficiaries to search longer, but the net effect is  probably only displacement.  Note: For details and references on the programs evaluated, see Appendix A.  The results on life skills training (a form of noncognitive skills training) are somewhat of a puzzle. There  is a sizable literature on the importance of noncognitive skills for employability and earnings (Bertrand  et al, 2013). Interviews with African employers show that their main complaint about youth is that  they lack “employability” skills, not technical skills (Filmer and Fox, 2014). Life skills are cheaper to  teach than technical skills, so teaching them should be a good, low‐cost intervention. Yet several  impact evaluations have shown that life skills programs, by themselves, did not increase employment  rates. One of these programs lasted only two weeks, a very short time. Perhaps these skills have to be  “learned while doing,” which may be why internships were shown to be effective in evaluations. It may  also explain the high returns to only two weeks of training and one week of work for a survey research  11  firm in Malawi. Experience as an administrative assistant or as an interviewer both led to a much  higher probability of subsequent employment. More research on this topic seems to be warranted.   The majority of programs evaluated used private training organizations. These programs also showed  the best results. A Kenya program used both public and private training institutes, but the number of  people placed in wage employment was so small (less than 5 percent of the whole sample) that the  study could not analyze which training provider was more effective.  Average employment effects for the comprehensive programs are pretty low (less than 10 percent on  average), but these programs are expensive (about US$1,000–2,000 per capita). Given the risk of  displacement, it seems fair to question whether this is the best use of public or donor funds. The more  elite the participants are (the university graduates in the Republic of Yemen, for instance), the more  regressive are the public expenditures financing these programs, especially in low‐income countries.   The evidence on training programs also suggests that employment effects are limited, mostly short‐ term. This leads to further questions on cost. For example, public TVT is 4–10 times as expensive on a  per capita basis as general secondary school. It showed no effects in Kenya, a country struggling to  provide access to general secondary education. The implication is that scarce public funds would be  better spent on expanding secondary education. Meanwhile, the evaluation of the Argentina Jóvenes  program, a privately‐run program using private training providers, found that 18 months after program  completion there was an estimated average monthly income gain of US$83, conditional on being  employed. After 33 months, this average gain fell to US$45. With the cost per participant surpassing  US$1,700, participants would be ill‐advised to borrow for this experience: the loan payoff period  would be very lengthy and the income stream likely to continue to decline over time. Interest alone on  the loan would equal about one‐third of the average gain after 33 months.   It is possible that incorporating a stronger emphasis on job “knowhow” into general education may  prove to be a cheaper way to achieve the same gains in employability for youth. It might also be  effective to help youth get work experience while in basic secondary school through internship and  apprenticeship opportunities. These approaches should be tested rigorously.   Matching services and counseling for wage jobs. Another barrier to wage employment in low‐ and  lower‐middle‐income countries is thought to be search costs. Search costs can be characterized as an  informational barrier; firms face a cost in assessing the quality or skills of an unknown job seeker, and  youth may not know how to find jobs on offer or what to expect. The assumption is that labor market  frictions are a key reason why firms are slow to hire new workers. If that is true, then interventions  that reduce search costs should result in sustained employment growth. One study in the United  States found that better matching of employees and employers through agglomeration raises  productivity and growth (Andersson et al. 2007); one would expect to find the same effect in low‐ income countries.  To test this idea, researchers organized job fairs in Ethiopia and the Philippines and randomly  distributed invitations to youth looking for jobs. These experiments showed no employment or  earnings effects. In the study of the French program mentioned previously, these services, combined  with counseling and mentoring of job seekers, created no new jobs, only displacement. Thus, even  though job matching services tend to cost less than training programs, they are not recommended.  Whatever employment‐reducing frictions exist around information and matching, they cannot be  reduced through job placement services.   The exception to the limitations of matching and job‐search programs comes from an apprenticeship  program in Ghana. The program offered a partial wage subsidy to firms accepting apprentices. Firms  earned higher revenues and profits without reducing other labor, suggesting low displacement.  12  Apprentices were more likely to be employed after the subsidy ended (McCasland and Hardy, 2016).  However, Ghana may be unique. Apprentices in Ghana typically finance a portion of their training, and  this self‐investment is used as a signal of the applicant’s quality or motivation as a job seeker. The  program, which targeted lower‐income youth, substituted a cognitive test plus the commitment of  time (showing up to several job‐matching sessions) for a fee as a signal of motivation. These  arrangements allowed low‐income youths to get an apprenticeship. Since firms that did not get  apprentices through this program did not hire other apprentices, while those that did kept theirs on, it  is possible that displacement was low, and lowering the search or screening costs encouraged firms to  hire apprentices they would not have considered otherwise, thus moving out demand.  Incentives for job search. Understandably, job seekers get discouraged (or run out of money to  finance the search). Two interventions suggest that it is possible to incentivize job seekers to search  harder: transportation subsidies and wage subsidies. In Ethiopia, the transportation subsidy  experiment showed no overall employment or earnings effect, but it did show a formal employment  effect (participants were more likely to get a formal job, which did not pay more but perhaps had  other benefits). In Bangladesh, the transportation subsidy encouraged rural workers to go to cities in  the off‐season in search of work and resulted in increased employment and earnings. In South Africa, a  wage subsidy scheme appeared to have the unintended effect of encouraging workers to apply and  firms to hire them, even though the firms did not take up the subsidy. In all of these cases, however, it  is highly likely that the effect was purely displacement. In Ethiopia, less educated job seekers  benefitted the most, suggesting that there may have been a small positive redistribution effect.   Summing up. Overall, the results on supply‐side interventions are not particularly encouraging. While  short term results for participants appear in some impact evaluations, these tend to disappear and  may be mostly or entirely at the expense of others. One reason may be that urban labor markets  (where most wage jobs are located) are actually pretty efficient at connecting job seekers and firms  looking to hire entry‐level employees.9 In other words, labor market symptoms such as the  unemployment of educated youth or presence of a large informal economy are caused by factors  outside the labor market. They are caused by the lack of firms and jobs, not by the characteristics of  the job seekers. While the Ghana apprenticeship experience and the Ethiopia transport experiment  suggest that low‐cost efforts to match disadvantaged workers with employers may deserve more  testing as an income redistribution measure, overall, the real need is to increase the supply of jobs on  offer – which requires continued transformation. There is no shortcut.  3.2.2 Does gender matter?  In some countries, women face strong barriers to employment and income earning opportunities.  These are not issues of structural transformation, but norms and traditions which limit economic  activities and behavior of women (World Bank, 2012). Should interventions tailor their approach to  these constraints? The idea that training efficacy may have a gender‐differenced effect is not  consistently supported by evidence. Studies suggest that in the short‐to‐medium‐term, there may be  some differences, with female beneficiaries responding more positively to training than male  counterparts.   With gains to employment disappearing in the follow up, it may be that training accelerates entry for  females, relative to males (in some cases), but not that it is necessarily preferred for women.  Additionally, accelerating entry through training programs may not be the most cost‐effective  approach for increasing women’s labor force participation. Studies that have directly tested for gender                                                               9 I am grateful to David McKenzie for first drawing my attention to this conclusion. He makes this point as well in his recent  survey of the evidence for training programs (McKenzie, 2017).  13  differences find mixed results ‐ either no statistically significant differences in outcomes by gender, or  stronger effects for male participants (McKenzie, 2017). Thus, while gender certainly has an impact on  skill development, occupational choice and access to capital, the assumption that young women need  vocational training to access employment may not hold. There may be cheaper and more effective  approaches.  3.2.3 Evaluation results: Demand‐side interventions for wage employment  All developing countries need strategies to increase investment in labor‐intensive enterprises in order  to grow wage employment. Over the medium term, growth in wage employment will require an  accelerated transformation process to take hold, in which more and more private firms become  established and create more and more jobs. An increasingly common type of development program,  which may have employment effects in the near term, is to build the profitability of businesses. In the  last few years, the number of completed impact evaluations on these programs has grown  dramatically, but figuring out what works remains difficult, for the following reasons.   Most countries now participate in multiple assessments of their “business climate” (by the  World Bank, World Economic Forum, and others). These assessments usually find deficiencies,  but they do not always agree on which ones are important. Another problem with these  assessments (from the perspective of this review) is that they rarely focus on which constraints  have the greatest effect on investment in labor‐intensive enterprises. Finally, many constraints  are not easily subjected to an impact evaluation (infrastructure construction is one example).    In most cases, even when interventions have been subject to an impact evaluation,  employment growth is often not among the outcomes evaluated.10    It is particularly difficult to sort out what would work for youth, because employment creation  outcomes are not segregated by entry level jobs vs. higher skill jobs.   Nonetheless, some evidence is available on successful interventions to increase demand for labor in  modern non‐agricultural firms.11 In a systematic review for 3ie, Piza et al., (2016) argue that impact  evaluation evidence shows that business support services for small and medium enterprises (SMEs)— training, management support, credit lines, innovation policies, and interventions that encourage firms  to coordinate to realize agglomeration externalities—do increase employment, where that outcome  has been measured. They also found that the number of impact evaluations is small and the  interventions too heterogeneous to tease out which ones are more effective.   The discussion of results that follows (summarized in Table 2) does not attempt to determine which  interventions to try, but simply catalogues where they have been found to be effective.12 The key  results are:   Reducing constraints to firm expansion does encourage firms to hire more workers.    Interventions targeted to larger firms seem more likely to have an employment effect.  Increasing access to finance for small and large firms to expand. The lack of affordable credit to  expand operations is the constraint most commonly cited by business operators. High interest rates                                                               10 See  the  Grimm  and  Paffhausen  (2015)  systematic  review  for  a  discussion  of  this  point.  Although  the  McKenzie  and  Woodruff (2013) review of business training interventions is a key systematic review, it did not cover employment outcomes  at all.  11  In  this  section,  a  large  share  of  the  evidence  comes  from  middle  income  countries.  The  applications  to  lower  income  countries are highlighted.  12 Similar to the supply‐side  interventions, a number of the  demand‐side programs included in the Piza et al., (2016) study  used multiple interventions, making it difficult to determine which one actually made a difference.   14  and high spreads between deposit and lending rates are characteristic of the underdeveloped financial  markets found in low‐income developing countries, so it is not surprising that many interventions seek  to offer entrepreneurs cheaper money for investment and working capital. It is difficult to use  experimental evaluations in this area, as banks do not want to offer loans to a random selection of  borrowers and see who defaults. Empirical evidence suggests, however, that increasing access to  finance, particularly for micro, small, and medium enterprises (which face bigger credit constraints)  and firms that rely more heavily on debt finance, does create more jobs. Intuitively, it makes sense  that access to cheap financing will allow firms to purchase more capital assets, and that converting  assets into increased production usually requires more labor.13   Table 2: Demand‐side interventions to increase wage employment   Inputs  Key results  Microcredit: Evaluations of six studies in Bosnia, Ethiopia, India, Mexico, Morocco, and Mongolia  showed positive effects for start ups, but no employment effects for existing firms. Small loans  (US$180–200) in Uganda also showed no employment effects.  Access to  Larger loans: Subsidized credit and credit guarantees had slightly positive employment effects in Brazil,  finance (credit,  Colombia, and in larger firms in India. Microenterprises in India saw no employment effect.   grants)  In Nigeria, a large cash grant (averaging US$50,000) was awarded to existing entrepreneurs for a  business plan competition, with positive effects on employment. Grants in Uganda, which were only  about US$200, experienced low uptake and had no effect on employment.  Quality business development consulting, particularly when targeted at developing management skills  Financial  and provided by consulting firms, showed positive employment effects in Argentina, Chile, India, and  literacy,  Mexico. Depending on the provider, BDS interventions can vary in cost‐effectiveness and many effects  business  may take several years to develop. Area of intervention matters: A BDS intervention in South Africa  development  found that training focused on marketing and sales produced employment effects, while training  services (BDS),  focused on operational practices and financial management increased efficiency and firm profits  and  without corresponding increases in employment or the wage bill.  managerial  skills  Firm type matters: A BDS training intervention in Ghana targeted to microenterprises found no  employment or earning effects.   Interventions to increase registration and business formalization show limited results. Simplifying  registration processes in Argentina and Brazil showed increases in formal employment, but net effects  on employment are unclear. Other Latin American countries similarly showed that formalization might  Formalization,  have an effect on new or entering firms, but existing firms showed no notable employment effects.  tax policy  Paying firms to formalize also showed no effects in Sri Lanka.  Tax simplification and discounts for microenterprises appeared to have positive employment effects in  Brazil and Mexico, although the quality of the evidence was weaker..  Electricity access (assessed in terms of quality and quantity) has a clear impact on firm productivity and  growth. A study in Ghana and a model India both showed positive employment and earnings effects  Electricity  from access to regular electricity. In Ghana, blackouts disproportionately affected employment in  smaller firms.  In South Africa, the introduction of a minimum wage created some changes in employment patterns,  reducing employment in agriculture and low‐paid domestic labor, but employment effects in other  Minimum  sectors were limited.   wage,  Wage subsidies showed no employment effects beyond the subsidy period in Jordan, South Africa, and  subsidies, and  Sri Lanka. In Mexico, wage subsidies during a recession increased worker retention and accelerated firm  public works  recovery, relative to control firms.   India's publics works program (MNREGA) has been successful in increasing employment and earnings  in rural areas, with only partial displacement. In Malawi, a similar program found no displacement.  Note: For details and references on programs evaluated, see Appendix A.  Credit programs that favor larger businesses tend to have better results, for several reasons. First,  larger businesses are much more likely to survive and be profitable (Page and Söderbom, 2012).                                                               13 See Ayyagari et al., (2016).  15  Second, given the costs of banking, small firms often do not have accounts or cannot get loans through  the formal banking system.14 Research in India used a phased‐in and phased‐out subsidized lending  program for formal firms to see if they were constrained by a lack of credit. Large firms did indeed  borrow more when credit was subsidized, and they expanded production and profits during that  period. Small firms did not show the same results. An expansion in production is not the same as an  expansion in employment, but the study also found that more labor‐intensive firms benefitted more  from the credit subsidy. Another program used excess demand and a discontinuity design to study the  effect of subsidized credit in Brazil and Colombia. Businesses that received the credit expanded their  operations and increased employment. These results suggest that credit constraints prevent formal  firms from expanding employment, in part because they need credit to pay wages.  Lending to small firms has had more mixed results. A program in Nigeria gave very large grants  (US$50,000) to half of the small, established businesses (on average five employees) that were semi‐ finalists in a business plan competition. The evaluation showed highly positive employment effects.  Not surprisingly, the cost per job was high (US$8,500–9,600), equal to approximately 60 months of  wages at the average rate.15 In contrast, a program in Uganda provided much smaller sums (closer to  the size of a microfinance loan) to owners of established small businesses that expressed a desire to  grow, and found no employment effects from either grants or loans. The Ugandan businesses were  much smaller than the Nigerian ones, as at least half had no employees. Meanwhile, evidence from  several studies of microfinance expansion shows no effects on employment in existing firms. Most of  the microfinance client businesses were also very small, closer in size to those in the Uganda  experiment. These results show the difficulty of expanding employment within small household and  microenterprises, which are usually not growth‐oriented.   While these studies provide the clearest possible evidence that the price of credit is a constraint to  expanding employment, scaling up grant programs or subsidized credit is probably not feasible in many  settings—for example, in Africa the costs would be much too high. These programs point to an  alternative, however, which is the potential for financial sector reforms to lower the cost of funds to  existing businesses. Reforms could entail changing regulatory regimes to encourage entry and  competition in the sector, for instance, or reducing the cost of business for banks by setting up credit  bureaus.  Management training and business development services (BDS). Management training is a popular  intervention in developing countries to help firms grow. Numerous studies have shown that the quality  of management and business practices has a large effect on sales, profits, productivity, and survival. It  may also have an effect on employment, although this dimension is often neglected in impact  evaluations. Programs offered included:   Business skills training for potential or existing entrepreneurs (with or intending to have  employees), covering topics such as bookkeeping, business planning, pricing, and legal  requirements.   Comprehensive interventions to improve management, including training but also  mentorships or other specialized support (BDS). Financing is sometimes added.                                                               14 Owing to  regulatory requirements and other issues,  retail banking has high  fixed costs,  making  it uneconomical to  serve  customers  with  small  accounts  or  servicing  small  loans.  While  mobile  banking  and  microfinance  innovations  and  the  introduction of credit bureaus have improved access for lower‐income customers, larger businesses still have an easier time  getting credit. See Filmer and Fox (2014), Focus Note 3.  15 McKenzie (2015) notes that this is gross job creation. If the expanding firms put other firms out of business, then net job  creation would be less. On the other hand, if the expanding firms increased demand for products produced by other firms,  then the effect would be greater. He argues that it is unlikely that these spillover effects were large in either direction.   16  While pure training has demonstrated some positive business creation effects for HEs (see below), and  some effects on sales and profits when offered to existing firms, the effects on job creation seem to be  poor. Among eight programs for microenterprises or SMEs for which employment outcomes were  tracked, only one (in Mexico) showed positive employment effects (Grimm and Paffhausen 2015). The  rest showed no effects (five), or showed effects (two) but included other components such as  loan/credits or wage subsidies, so the effectiveness of the training program alone cannot be  established. In general, evaluations find that participants learn the material but have trouble applying  it (in other words, the projects show outputs but no outcome). The inevitable question is whether the  skills taught are actually needed by the owners of the mostly very small businesses that these  programs targeted. McKenzie and Woodruff (2015) conclude that even in small firms employing five  workers or less, better business practices lead to higher survival rates and faster sales growth, but they  did not measure employment growth. The lack of success in employment growth after business  training found by other researchers may indicate that while business practices could be improved,  other constraints are more important.   The combination of services called BDS (including specialized services such as mentoring, support for  supply chain development and market access, support for auditing and accounting) and specific plant  management support (as opposed to generic business training) has a good record. This result is  interesting, given that numerous studies argue that Africa suffers from a business management deficit,  which may be reducing wage employment creation (Filmer and Fox, 2014). Grimm and Paffhausen  (2015) reviewed six impact evaluations of BDS programs and found that all had positive employment  effects, but the quality of the studies was relatively weak owing to an inability to randomize  participants.   Confounding the results, however, is the fact that pure training programs, with a more generic  curriculum, tend to target micro and small firms, while BDS programs tend to target larger firms  because the services are quite expensive, perhaps even requiring a co‐payment by the firms involved.  For example, the services provided to Indian textile manufacturers evaluated in Bloom et al. (2013)  cost US$75,000 per firm (although they were highly effective; see below). The services evaluated by  Bruhn and Karlan (2016) in a BDS program in Mexico cost almost US$12,000 per firm (about US$3,000  per job created).16   One example of the importance of management for employment comes from a study by Blattman and  Dercon (2016) on hiring in manufacturing plants in Ethiopia. Economists often argue that large hiring  costs deter new employment. Blattman and Dercon discovered that over half of initial hires did not  complete the first week on the job. Either they did not even show up the first day, or they quit shortly  after starting. Many reported that they quit because they thought they could make better money (or  have a better work life) working for themselves. Only the less qualified employees stayed on the job, in  part because they had fewer options outside the plant. Blattman and Dercon did not test the  performance of those who stayed, but presumably it was adequate or the company would have fired  them. Yet why did the human resource managers not adjust their qualification requirements and  screen out the overqualified applicants? Do these inefficient hiring processes reduce employment  because they drive up the cost of hiring? The study does not evaluate these questions.17   An experimental study by Bloom et al. (2013) on providing business management support to a random  sample of targeted large textile firms in India is also an interesting case. The intervention provided free  comprehensive consulting services (similar to what would be provided in BDS projects), the purpose of  which was to encouraged firms to use established good practices in quality control, inventory control,                                                               16 See McKenzie (2017) for a discussion of the cost issue.   17 One component of BDS is help in human resource management, indicating the importance of this area for business success.  17  human resource management, and customer care. The study did not measure the employment impact  of the intervention, as it focused on productivity and profits. It did note that after three years, firms  that received the intervention were more likely to open up new plants. This result is another piece of  evidence suggesting that management skill deficiencies are hindering the creation of wage  employment. In a follow‐on study, Anderson‐MacDonald, Rajesh, and Zia (2014) found that only  certain parts of the business process improvements encouraged firms to add employees—those  targeted at marketing and sales. Others helped to increase profits but not employment. Anderson did  not study the longer‐term effect.   The issue of supporting large versus small firms for employment creation has received a lot of  attention and has particular implications for employment interventions in Africa, where the majority of  employment is in household, micro, and small firms. Studies have shown that such firms have a high  death rate and rarely expand, whereas large firms survive to provide long‐term employment. Indeed,  firm creation seems to be a quite different process in Africa than in other regions (Bloom et al., 2013).  Most large firms operating in Africa started out large; they did not grow from small or medium firms.  Among the large firms created by domestic entrepreneurs, most were created by people who were  previously brokers in foreign trade—an experience that helped them manage their input supply and  break into export markets. Generally speaking, it should not matter if a firm is large or small; what  should matter is the potential for it to grow. At present, however, a developing‐country environment  with uneven economic institutions seems to obstruct growth in small firms by being very risky for  them, leading some to suggest that encouraging and supporting larger firms is a better strategy. The  danger is that large firms may also be politically powerful and able to use mechanisms of government  to impede the entry of other competitors.   Regulatory reform and other public sector interventions. Regulation (of employment and in other  areas), especially as measured by the World Bank Ease of Doing Business Index, is often held up as a  key obstacle to firm creation and expansion. There is some evidence that when regulations are  simplified—the tax regime; business registration, licensing, and construction regulations; and  employment protection legislation—more wage jobs are created. But most evaluations do not focus  on employment per se. One famous study in India comparing provinces showed that a high level of  employment protection legislation slowed growth in employment (Besley and Burgess, 2004). A  follow‐up study found that this result was driven largely by uncertainties in dispute resolution (Ahsan  and Pages, 2007). This research, alongside results from Latin America on the employment effects of tax  simplification, suggests that in some cases efforts to simplify procedures and increase the  transparency of regulation are helpful as an employment policy. Initiatives that simply help firms  comply with existing registration requirements have not shown an employment effect, because they  have not changed the business environment at all (de Mel et al., 2013).   While a long debate continues on whether a minimum wage policy deters employment—especially  youth employment—little empirical research has explored this question in Africa, where the  implications for youth employment would be useful to understand. Bhorat et al., (2013) studied how  rolling out minimum wages in six sectors in the Republic of South Africa affected youth employment. In  five sectors they found no employment effects, but in agriculture they found that employment fell,  perhaps because it is easier to substitute capital for labor in agriculture than in the other sectors  studied, such as security or retail. The study also found significant levels of non‐compliance with the  minimum wage policy in half of the sectors, which may be why the effect was so muted.   Direct public financing for wage payments to private sector firms or public works employment has  shown mixed effects. In Mexico, wage subsidies helped firms keep workers. In Turkey, analysis of the  effect of a reduction in payroll taxes (a wage subsidy) on formal job creation suggested that most of  18  the resulting job creation that was observed came from firms making informal jobs formal. Although  the increase in formal jobs boosted tax revenues, there was little net job creation. Similarly, in  Colombia, a reduction in payroll taxes for the lowest‐paid workers (those earning up to 10 times the  minimum wage) increased the formalization of jobs, and it increased the probability that workers  would have a formal job, especially in small firms (Kugler et al., 2017). The authors did not look for an  effect on total employment. In Sri Lanka and Jordan, wage subsidies were completely ineffective.  When the subsidy stopped, the employees were let go. Although general employment subsidies may  deserve more attention in low‐income countries (perhaps as part of a time‐limited incentive package  for large firms), youth‐targeted wage subsidies do not, as the risk of displacement is very high.   Workfare (public works employment, usually in rural areas) has not been evaluated very often because  the effects seem obvious: people have jobs for a few months. There could be displacement here as  well, however. Two studies checked for this effect. In India, a small amount of displacement was  found, while in Malawi no displacement was found (Goldberg, 2016). Some have hypothesized that  public employment is a good way to teach youth “employability” skills, but this notion has not yet  been tested in an impact evaluation.   Summing up. If the main constraints to an expansion of wage employment are on the demand  (business climate) side, employment projects could try to release these constraints, but in many  countries it is difficult to know which constraints are binding and how to release them. Problems such  as regulation, management skill deficits, missing infrastructure services, and thin financial markets are  easy to identify but harder to address effectively (and evaluate the results) in a project setting. The  results from BDS projects are promising, but these projects tend to be complex and expensive. An  added consideration is that evaluations of BDS projects have not identified the minimum conditions  for such an investment to pay off. In situations of conflict, weak governance, or macroeconomic  instability—all of which may also result from resource dependence—the demand‐side interventions  discussed here may struggle to be successful.   3.3 What do we know about programs to help youth enter self‐employment?  Helping youth find a sustainable livelihood in the household sector—a livelihood which at the  minimum earns enough income to keep youth out of poverty—may be the key employment challenge  in Africa, especially among low‐income countries. The household sector includes both household farms  and firms (mostly self‐employment), and over the next decade at least, it is likely to provide the  majority of new employment in Africa. Analysis of data from Sub‐Saharan Africa indicates that youth  work in this sector almost as soon as they leave school, but it takes some time for them to be  independent of their family (Filmer and Fox, 2014).   Limited evidence suggests that many youth enter the household enterprise sector through  apprenticeships (Filmer and Fox, 2014), especially youth with lower levels of education. Most  apprenticeships are informal, consisting of private arrangements between the owner of an established  business and the apprentice, without any government supervision and without certification (Filmer  and Fox, 2014). A small survey of 350 informal enterprises in Dar es Salaam found that more than half  of the operators had apprentices, on average about two per firm (Nell and Shapiro, 1999). Informal apprenticeships suffer from two issues. First, once apprentices have mastered their trade,  they still need capital to start their business. If their family cannot help, they may end up working at  apprenticeship wages for longer. Second, strong gender segregation prevails within the HE/informal  business sector, with males working in carpentry, metal working, construction, mechanics, and so on  while females concentrate in sewing/tailoring and hair dressing. Apprenticeships perpetuate this  segregation to the detriment of women, who earn less in female‐dominated fields, especially sewing  19  (Campos et al. 2012). In Ghana, half of women who apprenticed in tailoring never worked in the  sector, but instead made a living as traders (where no apprenticeship is offered; Filmer and Fox 2014).   Interventions to help youth enter this sector (summarized in Table 3) try to overcome these  constraints, often trying to affect both the skills of youth participants (supply side) and the business  environment in which they work. The key results are:   Training programs to help youth enter this sector are very heterogeneous, so it is difficult to  draw conclusions.   Even if training works, the surprising result is that cash may work just as well. Cash or credit  programs combined with very limited business training also have shown success.   By far the simplest approach is to alleviate the startup capital constraint through grant or loan finance.  Both have proved effective. An evaluation of six microfinance programs rolled out in areas where  microfinance was previously unavailable showed that while they had no effect on the earnings of  existing business, they did help people start business (not just youth, however; see Banerjee, Karlan,  and Zinman, 2015). The effect tends to be short term, however. An impact evaluation in Kenya showed  that cash grants of US$200 helped young women in Nairobi start businesses, increasing employment  and earnings. But the control group in the experiment caught up with the grant recipients in terms of  employment and earnings after about 18 months, either through self‐employment or wage  employment. This result suggests that youth do eventually solve the startup capital problem (or, in an  urban area, find wage employment paying equally well).     Table 3: Interventions for starting household enterprises and increasing self‐employment  Inputs  Key results  In Kenya, TVT only was tested with the use of vouchers for public and private trainers. There  was no effect on earnings or employment.   In India vocational training targeted to young women had only a slightly positive effect on  Technical and  employment.   vocational training  In Nepal, private trainers offering a tailored mix of vocational and business skills increased self‐ (TVT) plus work  employment hours.  experience   In Malawi, vocational training plus apprenticeships provided self‐reported increases in skills and  self‐confidence, but no labor market outcomes in the short run.   In post‐conflict Uganda (NUSAF program), finance and TVT together had a positive employment  and earnings effect (startup), which was stronger for male participants.   A business skills course for university youth in their last semester in Tunisia showed slightly  positive effects, though no net increase in employment. The study found training shifted youth  into more self‐employment, reducing wage employment in the treatment group.  In Uganda, a life skills and mentorship intervention for youth in secondary school had a positive  earnings effect and increased the likelihood that participants were engaged in self‐employment  (EDUCATE!).  In Nicaragua, a study adding 1‐day business skills training with finance in a household  conditional cash transfer program found generally positive employment effects through  Business skills plus life  household enterprise startups. Similarly the WINGS program in Northern Uganda found a cash  skills and mentorship  grant and business skills training for young women increased employment and earnings, even  in a post‐conflict area.  When combined with life skills training and mentorship, business skills had positive effects on  earnings and employment of young women in Liberia (EPAG) and Uganda (ELA). However  replication of the Uganda (ELA) program in Tanzania found no employment effects.  A microfranchising intervention—providing business models, startup capital, and connections to  local supply‐chains—in Kenya was ineffective at raising employment or earnings in the medium  term but did speed entry into self‐employment.  20  Cash grants of about US$200 speeded up self‐employment in Kenya (young females), and grants  ($300) plus limited training had positive results in Ethiopia.   Finance  Evaluations of microcredit in six countries (Bosnia, Ethiopia, India, Mexico, Morocco, and  Mongolia) showed positive effects on start‐ups.  Note: For details and references on programs evaluated, see Appendix A.  Training is also a popular intervention to speed entry into this employment segment and often is  combined with some work experience. As with wage employment, the TVT results are mixed. In Nepal,  private training contractors helped participants enter self‐employment, and they also helped  participants already engaged in business work more hours or develop a better business. In post‐ conflict Uganda, groups of youth selected by their village were provided cash grants to get  apprenticeship‐type training and working capital to start their business. The Uganda program  succeeded in increasing both non‐farm employment and earnings relative to the control group,  perhaps because it included financing for the startup. In Kenya, vouchers that youth could use for  public and private trainers also showed no effect on earnings or self‐employment; in India providing  subsidies for young women to attend TVT had only a very slight positive effect on employment  (including self‐employment). In Malawi, a program which paid master‐craftspersons to train poor  youth showed no short‐term effect on employment; no medium‐term survey was conducted.   Results for business skills training are also mixed. De Mel, McKenzie, and Woodruff (2013), in a survey  of business training programs, found little or no effect of business training on earnings of existing HEs  and microenterprises.18 For startups, very simple business skills training may be effective, however,  especially when combined with some grant financing or savings support (through a savings group or  microfinance mechanism). Successful examples include WINGS in Northern Uganda, a program in  Nicaragua that added one day of business plan training and a cash grant to an existing conditional cash  transfer program, and the AGI program in Liberia, which combined business skills with mentorship and  a cash grant put into a bank account opened on behalf of the participant. Upper‐class youth (such as  those enrolled in secondary school in Uganda or in university in Tunisia) do not seem to need financial  support along with business skills training; presumably they can get the startup capital from their  families. A microfranchising intervention in Nairobi provided business skills training, limited technical  training in operating the franchise (a cart selling food, for example), as well as startup capital in kind  (the cart, apron, and sign, for example), but it did no better than a cash grant in improving  employment and earnings for young women. In general, short, very basic business skills training seems  to be as effective as longer programs (in Nicaragua, the training was only one day, to explain how to  draw up a simple business plan). Notably, successful programs for young women tend to supplement  the business skills training with mentorship and/or life skills.  Qualitative and non‐experimental quantitative research has identified a number of other constraints in  the business environment faced by youth and others in starting or sustaining HEs (Filmer and Fox,  2014). These include access to work and sales space, such as protected access to areas of high foot  traffic; infrastructure, such as electricity, water, and waste disposal; protection from crime or  predatory behavior by police or other officials; and access to markets, including integration into  productive value chains. Experimental evidence on interventions to address these problems has not  yet surfaced, although evaluations of some market access programs are underway.   Finally, displacement can also occur with programs that help youth to enter self‐employment. While  the programs may result in more hours of work and higher earnings for the youth, they may result in                                                               18 McKenzie and Puerto (2017) found that business skills had an effect on profits for women HE owners, but only in a longer‐ term evaluation (after three years). This reason for the delayed effect was that trainees needed time to save money and/or  get more capital to implement business improvements.   21  fewer sales for people who are already self‐employed, if they are now less productive than the youth.  An impact evaluation showed that this is exactly what happened to some men in Northern Uganda  when the WINGS project supported women to enter the retail trading business (Blattman et al.,  2013)—but since the women had become more productive, the benefit to the village as a whole was  still very positive. Indeed, this result suggests that the women should have been doing this work  before, but various female‐specific constraints prevented them from entering the sector.  Despite the importance of agriculture, there is little scholarship on how to help youth establish  themselves as commercial farmers. A recent report by the Alliance for a Green Revolution in Africa  (AGRA) highlights the opportunities and challenges of a youth‐focused agricultural strategy, observing  that “the nexus between youth and agriculture has only partially and insufficiently been developed  and translated into public policies” (AGRA 2015, page 174). The report argues that countries need an  integrated youth agricultural strategy, which should help youth see agriculture as a business and  themselves as entrepreneurs, taking advantage of new technologies being developed for African  agriculture.   But evidence on successful programs of this kind is just now beginning to trickle in. The AGRA report  offers several examples of new approaches being rolled out in some countries but notes that none of  the programs was rigorously evaluated. The 3ie database of systematic reviews on interventions in  agriculture shows only one review covering a topic of potential interest for youth employment  strategies. It is on Farmer Field Schools, an innovative approach to developing and upgrading skills in  the sector (Waddington et al. 2014). In this case, while a few small field school pilots were successful,  all failed at scale‐up, which is not a very helpful result for the development practitioner (although  relevant for strategy development).   One rigorously evaluated program was in Liberia, where an NGO helped young ex‐combatants to  establish a commercial family farm (Blattman and Annan, 2016). The program was residential (which  raised its costs) and provided agricultural training, capital, inputs, as well as counselling in life skills  (self‐regulation). Participants, many of whom already engaged in agriculture part‐time, increased their  productive time on their farms, raised their earnings from crop sales, and reduced their participation in  illicit activities.  Another well‐evaluated intervention is the ultra‐poor graduation programs developed by BRAC. These  programs were designed to enable very poor women—initially in South Asia—to develop new  livelihoods to raise their incomes. Most women chose to start raising livestock and received an in‐kind  grant at the beginning of the project. Throughout the project, participants received mentoring in  practices to raise healthy and productive livestock, as well as advice and support from a project  facilitator. A review of several of these programs showed a high level of success (Banerjee et al., 2015).  They are now being piloted in other countries and settings; some pilots are being run by the public  sector instead of by BRAC employees and contractors.   Summing up. Although the household production sector is where most youth will find employment  opportunities, the impact evaluation literature does not yield a clear conclusion on what works,  perhaps because the sector is so heterogeneous. A young person needs technical skills to become a  self‐employed mechanical repair person, hairdresser, or carpenter, and the traditional way to acquire  these skills is through an apprenticeship. On the other hand, retail trading requires no apprenticeship  and, depending on the business smarts of the youth, may be as lucrative or even more lucrative than  the traditional trades. Skills are not enough in agriculture, where land and capital are required as well,  especially if the goal is to move beyond subsistence into commercial agriculture. Finance (savings and  credit) is the one cross‐cutting intervention that stands out as important in all sectors. Finally, some  important potential constraints (such as access to location) are relevant for the whole household  22  production sector, particularly for startups, but they have not been subjected to an experimental  evaluation.  3.4 Other research on youth employment interventions  Who should implement programs? Two systematic reviews have found that programs implemented by  public sector agencies show less success than those implemented by NGOs (Vivalt 2015; Kluve et al.,  2016). Yet NGOs often lack both the administrative capacity and financial resources to bring programs  to scale, so their small pilot programs, implemented with support from external researchers, often fail  to scale up. Public sector agencies tend to have both of these capabilities, but not the performance  focus or dedication to the target group found more often in NGOs. To bridge this gap, Nepal developed  a hybrid option, the Employment Fund (EF). The EF is a semi‐autonomous agency which contracts with  private training operators to provide training for youth who are underemployed or unemployed.  Contracts are performance based; if the participants do not get a job or start a business, the contractor  does not get full payment. The program has been successful at a very reasonable cost (Chakravarty et  al., 2016). More experimentation with this type of hybrid approach may be needed to bring successful  pilots to scale.  It goes almost without saying that all employment programs must address the gender dimension  explicitly. While there is much heterogeneity within gender categories, most countries have a set of  norms and expectations that affect, and usually constrain, women’s opportunities in employment.  These include norms and customs around acceptable behavior in public; laws, norms, and traditions  about what jobs women can do (or are “suitable” for women), which result in occupational  segregation; norms around housework and other forms of unpaid work; specific health needs; and  policies and practices that may infringe on women’s safety and security. Aspirations and the socio‐ emotional skills to act upon them are formed early in the life of females in Africa (Fox and Romero  2017; Guerra and Olenik 2013).  Many programs for youth are segregated by gender to provide special support to one group or the  other. Examples include programs for adolescent females featuring reproductive health and social  support as well as training or finance, or programs that inculcate socio‐emotional skills in males at risk  of becoming combatants. Part of the conundrum around the question of “what training is needed for  self or wage employment” may reflect these norm differences which create different needs. Many  programs assume that young females may not imagine that they can start a business, and thus need  life skills training and career counseling along with business skills. But usually this assumption is not  rigorously tested. Impact evaluations often record effects of different strengths for males and females,  but follow‐up research does not clarify why they differ. Microfinance, for example, was initially  designed for women, although now both males and females use this form of credit. Do different  microfinance products suit women more than men or vice versa?   The gender dimension of youth employment interventions clearly needs continuing experimental  research. The results from the Dominican Republic, alongside results from the ELA after‐school  program for girls in secondary school in Uganda, suggest that it might be possible to improve women’s  labor market outcomes through much lower cost interventions that effectively build the necessary  non‐cognitive skills. It may be that the acquisition of these skills is part of the effect of microfinance  group interventions as well, although this hypothesis has not been investigated using appropriate  measures of power and agency (motivations and behaviors).  Can research provide better information on the processes behind the impacts observed in youth  employment interventions? Practitioners express frustration with impact evaluation research because  often it does not focus on the dynamic underlying the impacts measured. In the earlier discussion on  23  training this issue came up often, for several reasons. First, participants may have been  heterogeneous, but the sample size was too small to see what part of the program worked for whom.  A large sample can quickly increase the expense of an impact evaluation, however. Second, the  quantitative techniques used in an impact evaluation are not designed to study processes (at the  program level or the individual level), as they focus on outcomes. A “multi‐arm” impact evaluation,  combining different project components in different patterns, can help but not solve this problem.  Research strategies can address this problem through mixed‐methods research, combining qualitative  research (interviewing participants about how they reacted to the program as it progressed, for  instance) with quantitative studies of outcomes. This type of analysis is not easy to do effectively  because it generally shows little beyond high levels of satisfaction from participants. One reason why  impact evaluation in training programs is popular is that participants are quite likely to claim that they  have benefited, even when no quantitative results are found to confirm that perception (see for  example Cho et al. 2012). This claim may represent participants’ positive feelings toward the trainers,  or unwillingness to recognize that the time they invested was not well spent. Qualitative techniques  have become more sophisticated over time, and computer software has been developed to improve  analysis. Thus, it can be used not just to measure participants’ perceptions of program effects, but  participants’ perceptions of their opportunities and constraints as the program proceeds and after the  program.   3.5 Much remains to be learned about how youth employment interventions  work, and why  In sum, a lot has been learned over the last 15 or so years from experimental evaluations on projects  to improve employment outcomes, including ones targeted at youth, about what works. One key  lesson from the evidence is that short‐term gains, especially from training, often dissipate several  years after a program is completed. Most research is not informative on whether there was any net  gain in employment in the economy (general equilibrium effect), or whether the short‐term effect  came to participants at a cost to non‐participants and was just a displacement effect. Given the large  supply of youth relative to the demand from firms, some displacement is likely until structural  transformation brings a lot more enterprises to the economy. From this point of view, more emphasis  on demand side diagnostics and strategies is surely warranted.   It is clear that much more needs to be learned about what support youth need to successfully enter  into employment. One reason that this task is particularly difficult is that youth are still developing a  number of skills and behaviors, including but not limited to those related to finding employment and  earning a living. The sometimes confusing results on training cited here may indicate how difficult it is  to separate the skills needed for other aspects of adulthood from skills needed to develop a successful  and sustainable livelihood strategy. While the benefits of better noncognitive skills in the workplace in  developed countries have been established for some years, research is only beginning to quantify their  benefits in lower income settings, and the consequences for employment outcomes and profits if they  are missing. Campos et al. (2017) found that teaching big 5 noncognitive skills applied to business  (including customer service and negotiation skills and persistence) had an effect on the profits of  household and micro‐businesses, while teaching basic business skills (such as bookkeeping) did not.  Avaryu et al. (2018) found that teaching these skills to garment workers in India raised output and  lowered  employee absence and turn‐over.  Indeed, it may be that simply focusing on the broader non‐cognitive skills that are transferable and  support positive outcomes across employment segments and economic and social outcomes would be  more cost‐effective (especially for women and girls). One way to test this assumption would be for  24  impact evaluations to measure longer‐term employment and earnings outcomes in programs not  specifically designed as employment interventions.   Mixed results on training may also reflect large heterogeneity in the quality of education and learning  outcomes of youth in low income countries. Mastery of basic cognitive skills is a prerequisite to  mastering business or vocational skills; this fact is often not recognized in program design. If  participants enter programs with different levels of these basic skills, the program outcomes are likely  to show substantial variation, making it difficult to isolate a program effect. It would be helpful if  programs could test baseline cognitive and non‐cognitive skills of participants, as well as these same  skills post training.  Project designers usually have some theory of change underlying their proposed intervention package,  and theories of change involve assumptions. Most projects do not spend resources collecting and  analyzing data which might confirm or refute these assumptions. For example, it would be useful to  have data in context on how employers hire. Do they perceive an excess of the candidates for entry‐ level jobs? Do they adjust their hiring criteria based on experience? Tracking how these variables  change over a project could illuminate more of the “whys” related to the success (or not) of specific  interventions for specific populations.  A J‐PAL review on youth development concluded that “there is surprisingly little rigorous evidence to  guide policy makers. This lack of evidence is especially noticeable in developing countries, where the  need for effective youth programming is the greatest” (Bertrand et al. 2013). More evidence has  surfaced in the years since those words were written, but they still ring true. What is particularly  missing is cost‐effectiveness analysis. Development practitioners working in low‐income settings need  to know the minimum cost of achieving a particular outcome for a particular group. They also need to  know when the outcome would happen anyway (so no intervention is needed) and when the cost is  infinite (in the context where they are working, the result will probably never be achieved).    4 Conclusion: The need for a long‐term transformation agenda, near‐ term interventions, and more research  To reach a critical mass of young people, fundamental shifts in our approach to skills‐building,  access to finance and entrepreneurship support are necessary. Development efforts must  strengthen social, education and economic systems, and promote inclusive growth that will provide  the most vulnerable and marginalized young people with opportunities to improve their lives.  Lindsay Wallace, Director of Learning and Strategy, The MasterCard Foundation19    Youth are frustrated with opportunities in low and lower‐middle income countries. Youth employment  interventions seek to improve these opportunities, mostly by changing the skills of  youth. But do they  actually do any good beyond redistributing existing opportunities? Evidence is fairly weak on this  point. In part it is weak because the broader, general equilibrium question related to displacement is  usually not addressed in an impact evaluation. Most impact evaluations simply look at who got a job,  not who did not get a job.   Overall, opportunities will improve only as economies transform. This needs to be the focus for low‐  and lower‐middle‐income countries. The agenda includes transformation of the rural economic space                                                                 19 http://www.mastercardfdn.org/invisible‐lives‐five‐takeaways‐from‐new‐research. 25  (where so many youth live), increased connectivity between rural and urban areas, and measures to  increase private investment in urban areas in labor‐intensive production of goods and services so that  more wage jobs will be on offer—and there will be more opportunities in the HE sector.   In lower‐income countries where the labor force is young and growing rapidly—and especially in  Africa—the employment transformation will continue to lag the transformation in the structure of  production, and this lag will also frustrate youth. In countries where effective economic  transformation policies are stymied by governance and political economy challenges, youth will be  even more restive.   Different interventions might help, but they need to be tested. For example, the results from the two  programs in Uganda (ELA and EDUCATE!) suggest that there may be cheap interventions that could be  introduced into secondary schools or as after‐school programs to bolster character skills and provide  more knowledge about labor market opportunities, thus speeding youth’s transition into the  household production sector. Overall, it is unclear where the deficits in character skills are greatest  (what types and for whom), how they interact with other youth development challenges, and what  role these skills play in improved employment outcomes in a situation where most youth will not have  a clear livelihood pathway such as a lifetime wage job in a firm or subsector. In other words, we need  to understand more about the actual needs of youth.   Outcomes tend to be measured very soon after development projects are completed. This timing may  yield misleading results—either an underestimation or an overestimation of benefits. Longer‐term  evaluations now coming in, especially from Latin America, are helpful. They have mostly indicated that  control groups tend to catch up, although some programs were found to deliver additional benefits to  treatment groups aside from the initial advantages. Those benefits include spillovers to family  members and the accumulation of increased wealth by treatment groups in the period that they are  ahead of their control‐group peers. In the case of HE owners, longer‐term evaluations have highlighted  the time it takes for program participants to act on the skills built in business training, and the  importance of additional constraints beyond skills. At the same time, it is important for future impact  evaluations to consider the issue of displacement, especially in evaluating programs to train workers  for wage jobs. It is no longer sufficient to just check and see if the program managed to insert  participants into a job.  Finally, other data are needed to help capture and understand how employment processes operate.  For example, data on what youth are actually doing and how they manage their transition are still not  widely available. One problem is that national survey data provide a poor picture of what the labor  force is actually doing. A large share of the labor force in low‐income countries undertakes a number  of activities over the year. Surveys are limited because they tend to focus on (1) activities over the last  seven days (in part because this is the recall period used to measure unemployment according to  international standards) or (2) the main activity only, not a second job (regardless of recall period). Yet  an important characteristic of youth, especially low‐income youth, is that they move between  activities during their search (Filmer and Fox, 2014; Fox and Pimhidzai, 2013). More survey research  may be needed on how to collect such data efficiently in low‐income settings; recall periods as long as  one year are certainly problematic but perhaps the quality of response could be improved with a  different type of questionnaire. New research on income sources over the year using diaries is one  example of this type of innovation. 26  References  Abebe, G., Caria, S., Fafchamps, M., Franklin, S., Quinn, S., & Shilpi, F. (2017). All the Fun of the (Job) Fair.  Matching Firms and Workers in a Field Experiment in Ethiopia. CSAE Working Paper, WPS/2017(6).  Retrieved from https://www.csae.ox.ac.uk/workingpapers/pdfs/csae‐wps‐2017‐06.pdf  Acevedo, P., Cruces, G., Gertler, P., & Martinez, S. (2017). Living Up to Expectations: How Job Training Made  Women Better Off and Men Worse Off. NBER Working Paper. Retrieved from  http://www.nber.org/papers/w23264  Adoho, F., Korkoyah Jr., D. T., Lundberg, M. K. A., & Tasneem, A. (2014). The Impact of an Adolescent Girls  Employment Program: The EPAG Project in Liberia. World Bank Policy Research Working Paper, (No.  6832). Retrieved from  https://openknowledge.worldbank.org/bitstream/handle/10986/17718/WPS6832.pdf?sequence=1&isA llowed=y  African Development Bank, (AFDB). (2015). African Ecological Futures 2015. Retrieved from  https://www.afdb.org/fileadmin/uploads/afdb/Documents/Generic‐ Documents/xwwf_african_futures_report_english‐lo‐rez.pdf  AGRA. (2015). Africa Agricultural Status Report. Nairobi, Kenya. Retrieved from https://agra.org/wp‐ content/uploads/2016/04/africa‐agriculture‐status‐report‐2015.pdf  Ahsan, Ahmad, & Pages, Carmen. (2007). Are all labor regulations equal?: Assessing the effects of job security,  labor dispute, and contract labor laws in India. Washington, DC: World Bank Publications.  Alfonsi, Livia, Bandiera, Oriana, Bassi, Vittorio, Burgess, Robin, Rasul, Imran, Sulaiman, Munshi, & Vitali, Anna.  (2017). Tackling Youth Unemployment: Evidence from a Labor Market Experiment in Uganda.  Working Paper. Retrieved from  http://www.homepages.ucl.ac.uk/~uctpimr/research/Training.pdf   Alvares de Azevedo, T., Davis, J., & Charles, M. (2013). Testing What Works in Youth Employment: Evaluating  Kenya’s Ninaweza Program (Summative Report No. Volume 1). Retrieved from  http://www.iyfnet.org/sites/default/files/library/GPYE_KenyaImpactEval_V1.pdf  Alzúa, M. L., Cruces, G., & Lopez, C. (2016). Long‐run effects of youth training programs: Experimental evidence  from Argentina. Economic Inquiry, 54(4), 1839–1859.  Anderson‐Macdonald, S., Rajesh, C., & Zia, B. (2014). The Impact of Marketing (versus Finance) Skills on Firm  Performance: Evidence from a Randomized Controlled Trial in South Africa. Presented at the STICERD  Economics Seminar. Retrieved from  http://www.haas.berkeley.edu/groups/marketing/seminars/Papers/Fall%202015/Stephen%20Anderson %20Macdonald_Paper.pdf  Andersson, F., Burgess, S., & Lane, J. I. (2007). Cities, matching and the productivity gains of agglomeration.  Journal of Urban Economics, 61(1), 112–128. https://doi.org/10.1016/j.jue.2006.06.005  Attanasio, O., Guarín, A., Medina, C., & Meghir, C. (2015). Long Term Impacts of Vouchers for Vocational  Training: Experimental Evidence for Colombia. NBER Working Paper. Retrieved from  http://www.nber.org/papers/w21390  Avaryu, Achyuta, Namrata Kala, and Anant Nyshadham. (2018) “The Skills to Pay the Bills: Returns to On‐the‐ Job Soft Skills Training.” Working Paper. National Bureau of Economic Research, February 2018.  https://doi.org/10.3386/w24313.  Ayyagari, M., Juarros, P., Soledad Martinez Peria, M., & Singh, S. (2016). Access to Finance and Job Growth:  Firm‐Level Evidence Across Developing Countries (World Bank Research and Policy Working Paper No.  7604). World Bank. Retrieved from http://documents.worldbank.org/curated/en/docsearch/document‐ type/620265  Bandiera, O., Burgess, R., Goldstein, M., Buehren, N., Gulesci, S., Rasul, I., & Sulaiman, M. (2015). Women’s  empowerment in action: evidence from a randomized control trial in Africa. Retrieved from  http://www.ucl.ac.uk/~uctpimr/research/ELA.pdf  27  Bandiera, O., & Natraj, A. (2013). Does Gender Inequality Hinder Development and Economic Growth?  Evidence and Policy Implications. World Bank Research Observer. Retrieved from  http://hdl.handle.net/10986/19490  Banerjee, A., & Duflo, E. (2014). Do Firms Want to Borrow More? Testing Credit Constraints Using a Directed  Lending Program. The Review of Economic Studies, 81(2), 572–607.  Banerjee, A., Duflo, E., Goldberg, N., Karlan, D., Osei, R., Parienté, W., … Udry, C. (2015). A multifaceted  program causes lasting progress for the very poor: Evidence from six countries. Science, 348(6236),  1260799. https://doi.org/10.1126/science.1260799  Banerjee, A., Karlan, D., & Zinman, J. (2015). Six Randomized Evaluations of Microcredit: Introduction and  Further Steps. AMERICAN ECONOMIC JOURNAL: APPLIED ECONOMICS, 7(1). Retrieved from  https://www.aeaweb.org/articles?id=10.1257/app.20140287  Beam, E. (2016). Do job fairs matter? Experimental evidence on the impact of job fair attendance. Journal of  Development Economics, 120, 32–40.  Berge, L. I. O., Bjorvatn, K., Juniwaty, K. S., & Tungodden, B. (2012). Business Training in Tanzania: From  Research‐driven Experiment to Local Implementation. Journal of African Economies, 21(5), 808–827.  https://doi.org/https://doi.org/10.1093/jae/ejs016  Bernhardt, A., Field, E., Pande, R., & Rigol, N. (2017). Household Matters: Revisiting the Returns to Capital  among Female Micro‐entrepreneurs . NBER Working Paper Series. Retrieved from  http://scholar.harvard.edu/files/rpande/files/gender_paper_4‐11‐2017.pdf  Bertrand, M., Crepon, B., Chuan, A., Haget, R., Mahoney, M., Murphy, D., Takavarasha, K. (2013). J‐PAL Youth  Initiative Review Paper. J‐PAL. Retrieved from  https://www.povertyactionlab.org/sites/default/files/documents/YouthReviewPaper_March_2013_0.p df  Besley, T., & Burgess, R. (2004). Can Labor Regulation Hinder Economic Performance? Evidence from India. The  Quarterly Journal of Economics, 119(1), 91–134. https://doi.org/10.1162/003355304772839533  Betcherman, G., Daysal, N. M., & Pagés, C. (2010). Do Employment Subsidies Work? Evidence from Regionally  Targeted Subsidies in Turkey. Journal of Labor Economics, 17(4). Retrieved from  http://www.sciencedirect.com/science/article/pii/S092753710900150X  Bhorat, H., Kanbur, R., & Mayet, N. (2013). The impact of sectoral minimum wage laws on employment, wages,  and hours of work in South Africa. IZA Journal of Labor & Development, 2(1). Retrieved from  https://link.springer.com/article/10.1186/2193‐9020‐2‐1  Blattman, C., & Dercon, S. (2016). Occupational Choice in Early Industrializing Societies: Experimental Evidence  on the Income and Health Effects of Industrial and Entrepreneurial Work. Retrieved from  https://ssrn.com/abstract=2843595  Blattman, C., Fiala, N., & Martinez, S. (2014). Generating skilled self‐employment in developing countries:  Experimental evidence from Uganda. Quarterly Journal of Economics. Retrieved from  http://papers.ssrn.com/sol3/Papers.cfm?abstract_id=2268552  Blattman, C., Green, E., Annan, J., & Jamison, J. (2013). Building Women’s Economic and Social Empowerment  through Enterprise: An Experimental Assessment of the Women’s Income Generating Support Program  in Uganda. Retrieved from https://www.openknowledge.worldbank.com/handle/10986/17862  Blattman, Christopher, & Annan, Jeannie. (2016). Can employment reduce lawlessness and rebellion? A field  experiment with high‐risk men in a fragile state. American Political Science Review, 110(1), 1–17.  Bloom, N., Eifert, B., Mahajan, A., McKenzie, D., & Roberts, J. (2013). Does Management Matter? Evidence from  India. The Quarterly Journal of Economics, 128(1), 1–51. https://doi.org/10.1093/qje/qjs044  Bridges, S., Fox, L., Gaggero, A., & Owens, T. (2016). Youth Unemployment and Earnings in Africa: Evidence  from Tanzanian Retrospective Data. Journal of African Economies. https://doi.org/10.1093/jae/ejw020  28  Brown, A., Rankin, K., Picon, M., & Cameron, D. (2015). The state of evidence on the impact of transferable skills  programming on youth in low and middle‐income countries (Scoping Paper No. 4). 3iE. Retrieved from  http://www.3ieimpact.org/media/filer_public/2015/09/01/sp4‐youth_and_transferable_skills.pdf  Brudevold‐Newman, A., Honorati, M., Jakiela, P., & Ozier, O. (2017). A Firm of One’s Own : Experimental  Evidence on Credit Constraints and Occupational Choice. World Bank Policy Research Working Paper,  (7977). Retrieved from https://openknowledge.worldbank.org/handle/10986/26144  Bruhn, M., & Karlan, D. (2016). The Impact of Consulting Services on Small and Medium Enterprises: Evidence  from a Randomized Trial in Mexico. World Bank Policy Research Working Paper, (WPS6508). Retrieved  from http://documents.worldbank.org/curated/en/516471468278741470/The‐impact‐of‐consulting‐ services‐on‐small‐and‐medium‐enterprises‐evidence‐from‐a‐randomized‐trial‐in‐Mexico  Bruhn, Miriam. (2016). Can Wage Subsidies Boost Employment in the Wake of an Economic Crisis? Evidence  from Mexico. World Bank Policy Research Paper, (7607). Retrieved from  https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2749433  Bryan, G., Chowdhury, S., & Mobarak, M. A. (2014). Underinvestment in a profitable technology: The case of  seasonal migration in Bangladesh. Econometrica, 82(5), 1671–1748.  Campos, Francisco; Goldstein, Markus; McGorman, Laura; Munoz Boudet, Ana Maria; Pimhidzai, Obert. (2015).  Breaking the Metal Ceiling : Female Entrepreneurs Who Succeed in Male‐Dominated Sectors. Policy  Research Working Paper;No. 7503. World Bank, Washington, DC. © World Bank.  https://openknowledge.worldbank.org/handle/10986/23469 License: CC BY 3.0 IGO.  Campos, Francisco Moraes Leitao; Frese, Michael Dr.; Goldstein, Markus P.; Iacovone, Leonardo; Johnson,  Hillary C.; Mckenzie, David J.; Mensmann, Mona. (2017) "Teaching personal initiative beats traditional  training in boosting small business in West Africa (English)". Science Journal. ‐‐ Vol. 357, no. 6357  (September 22, 2017). http://documents.worldbank.org/curated/en/194801511500825414/Teaching‐ personal‐initiative‐beats‐traditional‐training‐in‐boosting‐small‐business‐in‐West‐Africa  Card, D., Kluve, J., & Weber, A. (2015). What Works? A Meta Analysis of Recent Active Labor Market Program  Evaluations. NBER Working Paper Series, (21431). Retrieved from http://www.nber.org/papers/w21431  Chakravarty, S., Danchev, N. P., & Zenker, J. (2016). Do Training Programs Generate Skilled Self Employment?  Evidence From Nepal (Mimeo).  Chakravarty, S., Lundeberg, M., Danchev, N., P., & Zenker, J. (2015). The role of training programs for youth  employment in Nepal : impact evaluation report on the employment fund (No. World Bank Working  Paper). Retrieved from  http://documents.worldbank.org/curated/en/526881468113055526/pdf/ACS14600‐REVISED‐WP‐ PUBLIC‐Box393254B‐EF‐Impact‐Evaluation‐Report‐June2015‐07‐07‐2015‐1436278535111.pdf  Cho, Y., Kalomba, D., Mobarak, M., & Orozco, V. (2012). The Effects of Apprenticeship Training for Vulnerable  Youth in Malawi. World Bank Washington, DC. Retrieved from  http://www.iyflive.net/sites/default/files/Malawi_Vocational_Training_DRAFT.pdf  Cloutier, M.‐H., Reinstadtler, C., & Beltran, B. (2011). Making the Grade: Assessing Literacy and Numeracy in  African Countries (World Bank DIME Brief). Washington DC: World Bank. Retrieved from http://go.  worldbank. org/15Y7VXO7B0  Crépon, B., Duflo, E., Gurgand, M., Rathelot, R., & Zamora, P. (2012). Do labor market policies have  displacement effects? Evidence from a clustered randomized experiment. National Bureau of Economic  Research. Retrieved from http://www.nber.org/papers/w18597  de Mel, S., McKenzie, D., & Woodruff, C. (2012, February). One‐Time Transfers of Cash or Capital Have Long‐ Lasting Effects on Microenterprises in Sri Lanka. Science, 355(6071), 962–966.  de Mel, S., McKenzie, D., & Woodruff, C. (2013). The demand for, and consequences of, formalization among  informal firms in Sri Lanka. AMERICAN ECONOMIC JOURNAL: APPLIED ECONOMICS, 5(2), 122–150.  de Mel, S., McKenzie, D., & Woodruff, C. (2014). Business training and female enterprise start‐up, growth, and  dynamics: Experimental evidence from Sri Lanka. Journal of Development Economics, 106, 199–210.  29  de Mel, S., McKenzie, D., & Woodruff, C. (2016). Labor Drops: Experimental Evidence on the Return to  Additional Labor in Microenterprises (NBER Working Paper series No. WP23005). Retrieved from  http://www.nber.org/papers/w23005.pdf  de Mel, Suresh, McKenzie, David, & Woodruff, Christopher. (2011). What is the Cost of Formality?  Experimentally estimating the demand for formalization. Retrieved from  https://assets.publishing.service.gov.uk/media/57a08ac640f0b64974000780/EFO_PSD_Impact_WP2.pd f  Diaz, J. J., & Rosas‐Shady, D. (2016). Impact Evaluation of the Job Youth Training Program Projoven (IDB  Working Paper Series No. IDB‐WP‐693). Retrieved from  https://publications.iadb.org/bitstream/handle/11319/7615/Impact‐Evaluation‐of‐the‐Job‐Youth‐ Training‐Program‐Projoven.pdf?sequence=1&isAllowed=y  Duarte, M., & Restuccia, D. (2010). The role of the structural transformation in aggregate productivity.  Quarterly Journal of Economics, 125(1), 129–173.  Dutta, P., Ravallion, M., van de Walle, D., & Murgai, R. (2014). Right to work? : assessing India’s employment  guarantee scheme in Bihar. The World Bank. Retrieved from  http://documents.worldbank.org/curated/en/2014/02/19165417/right‐work‐assessing‐indias‐ employment‐guarantee‐scheme‐bihar  Espinoza Peña, H. (2010). Impact Evaluation of a Job‐Training Programme for Disadvantaged Youths: The Case  of Projoven (Doctoral Dissertation). Maastricht, Netherlands. Retrieved from  https://www.merit.unu.edu/training/theses/espinoza.pdf  Fiala, N. (2013). Stimulating microenterprise growth: results from a loans, grants and training experiment in  Uganda. Grants and Training Experiment in Uganda (December 4, 2013). Retrieved from  http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2358086  Fiala, N. (2014). Skills Training for Entrepreneurs in Developing Countries. DIW Berlin, German Institute for  Economic Research.  Filmer, D., & Fox, L. (2014). Youth Employment in Sub‐Saharan Africa. The World Bank. Retrieved from  http://elibrary.worldbank.org/doi/book/10.1596/978‐1‐4648‐0107‐5  Fox, L., & Pimhidzai, O. (2013). Different dreams, same bed: collecting, using, and interpreting employment  statistics in Sub‐Saharan Africa–the case of Uganda. World Bank Policy Research Working Paper, (6436).  Retrieved from http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2262172  Fox, Louise, & Romero, Carolina. (2017). In the Mind, the Household, or the Market? (World Bank Policy  Research Work Paper Series No. WP 8079). Washington, DC: World Bank.  Fox, Louise, and Alun Thomas. “Africa’s Got Work To Do: A Diagnostic of Youth Employment Challenges in Sub‐ Saharan Africa.” Journal of African Economies 25, no. suppl 1 (March 2016): i16–36.  https://doi.org/10.1093/jae/ejv026.  Franklin, S. (2016). Location, Search Costs and Youth Unemployment: Experimental Evidence from Transport  Subsidies in Addis Ababa. Spatial Economics Research Centre, LSE. Retrieved from  http://www.spatialeconomics.ac.uk/textonly/SERC/publications/download/sercdp0199.pdf  Godlonton, S. (2016). Employment Exposure: Employment and Wage Effects in Urban Malawi (Working Paper).  Williams College & IFPRI. Retrieved from  http://web.williams.edu/Economics/wp/GodlontonEmploymentExposureUrbanMalawi.pdf  Goldberg, J. (2016). Kwacha Gonna Do? Experimental Evidence about Labor Supply in Rural Malawi †. American  Economic Journal: Applied Economics, 8(1), 129–149. https://doi.org/10.1257/app.20130369  Grimm, M., & Paffhausen, A. L. (2015). Do interventions targeted at micro‐entrepreneurs and small and  medium‐sized firms create jobs? A systematic review of the evidence for low and middle income  countries. Labour Economics, 32, 67–85.  Groh, M., Krishnan, N., McKenzie, D., & Vishwanath, T. (2016). The impact of soft skills training on female youth  employment: evidence from a randomized experiment in Jordan. IZA Journal of Labor & Development,  5(9). Retrieved from https://link.springer.com/article/10.1186/s40175‐016‐0055‐9  30  Groh, M., McKenzie, D., Shammout, N., & Vishwanath, T. (2015). Testing the importance of search frictions and  matching through a randomized experiment in Jordan. IZA Journal of Labor & Development, 4(7).  Retrieved from https://izajole.springeropen.com/articles/10.1186/s40172‐015‐0022‐8  Groh, Matthew, Krishnan, Nandini, McKenzie, David, & Vishwanath, Tara. (2016). Do wage subsidies provide a  stepping‐stone to employment for recent collee graduates? Evidence from a randomized experiment in  Jordan. Review of Economics and Statistics, 98(3), 488–502.  Guerra, Nancy, G., Nancy, & Olenik, Christina. (2013). USAID state of the field holistic cross sectoral youth  development. Retrieved from  https://www.usaid.gov/sites/default/files/documents/1865/USAID%20state%20of%20the%20field%20h olistic%20cross%20sectoral%20youth%20development%20final%202_26.pdf  Hardy, M., & McCasland, J. (2017). Are Small Firms Labor Constrained? Experimental Evidence from Ghana  (Working Paper). Retrieved from https://pedl.cepr.org/content/are‐small‐firms‐labor‐constrained‐ experimental‐evidence‐ghana  Hardy, M., & McCasland, J. (2016). Lights off, lights on: The effects of electricity shortages on small firms  (Working Paper). Retrieved from  https://www.aeaweb.org/conference/2017/preliminary/paper/4Hsy6Zr8  Heckman, J., & Kautz, T. (2013). Fostering and Measuring Skills: Interventions That Improve Character and  Cognition. NBER Working Paper Series, (19656). Retrieved from http://www.nber.org/papers/w19656  Hicks, J. H., Kremer, C. M., Mbiti, I., & Miguel, E. (2016). Vocational Education in Kenya‐A Randomized  Evaluation. 3ie Impact Evaluation Report, 37. Retrieved from  http://www.3ieimpact.org/en/publications/3ie‐impact‐evaluation‐reports/3ie‐impact‐evaluations/3ie‐ impact‐evaluation‐report‐37/  Hirshleifer, S., McKenzie, D., Almeida, R., & Ridao‐Cano, C. (2015). The Impact of Vocational Training for the  Unemployed: Experimental Evidence from Turkey. The Economic Journal.  https://doi.org/10.1111/ecoj.12211  Honorati, M. (2015). The impact of private sector internship and training on urban youth in Kenya. Retrieved  from https://wdronline.worldbank.org/handle/10986/22661  Ibarraran, P., Kluve, J., Ripani, L., & Rosas, D. (2015). Experimental Evidence on the Long‐Term Impacts of a  Youth Training Program. IZA Discussion Paper No. 9136, No. 9136. Retrieved from  papers.ssrn.com/sol3/papers.cfm?abstract_id=2655085  IFC Development Impact Department. (2015, September). Estimating Employment Effects of powerlinks  Transmission limited project in India & Bhutan. World Bank Washington, DC.  ILO. (2014). ILO Global Employment Trends 2014: Risk of a jobless recovery? International Labor Organization.  Retrieved from http://ilo.org/wcmsp5/groups/public/‐‐‐dgreports/‐‐‐dcomm/‐‐‐ publ/documents/publication/wcms_233953.pdf  ILO. (2016). ILO STAT. Retrieved from http://www.ilo.org/ilostat/faces/wcnav_defaultSelection  Jensen, R. (2012). Do Labor Market Opportunities Affect Young Women’s Work and Family Decisions?  Experimental Evidence from India. The Quarterly Journal of Economics, 127(2), 753–792.  https://doi.org/10.1093/qje/qjs002  Karlan, D., Knight, R., & Udry, C. (2015). Consulting and capital experiments with microenterprise tailors in  Ghana. Journal of Economic Behavior and Organization, 118, 281–302.  Karlan, Dean, & Zinman, Johnathan. (2010). Microcredit in Theory and Practice: Using Randomized Credit  Scoring for Impact Evaluation. ScienceMag.org, Research Article. Retrieved from  http://karlan.yale.edu/sites/default/files/www.sciencemag.org_content_332_6035_1278.full_.pdf  Keefer, P., Sahnoun, H., Sy, A., Hussain, S., & Schiffbauer, M. (2015). Jobs or Privileges : Unleashing the  Employment Potential of the Middle East and North Africa. Washington, DC: World Bank. Retrieved from  https://openknowledge.worldbank.org/handle/10986/20591  31  Kluve, J., Puerto, S., Romero, J., Rother, F., Stoterau, J., Weidenkaff, F., & Witte, M. (2016). Do youth  Employment Programs improve Labor Market Outcomes? IZA, DP(10263).  Kugler, Adriana, Kugler, Maurice, & Herrerar Prada, Luis Omar. (2017). Do Payroll Tax Breaks Stimulate  Formality? Evidence from Colombia’s Reform. NBER Working Paper, (23308). Retrieved from  http://www.nber.org/papers/w23308  Kwauk, C., & Perlman Robinson, J. (2016). Educate! Riding the Reform Wave to Scale Up Youth  Entrepreneurship in Uganda (Case Study). Making Cents International. Retrieved from  http://www.youtheconomicopportunities.org/resource/5026/case‐study‐educate‐riding‐reform‐wave‐ scale‐youth‐entrepreneurship‐uganda‐july‐2016  La Porta, Rafael, & Shleifer, Andrei. (2014). Informality and Development. Journal of Economic Perspectives,  28(3). Retrieved from https://www.aeaweb.org/articles?id=10.1257/jep.28.3.109  Levinsohn, J., Rankin, N., Roberts, G., Schöer, V., & others. (2014). Wage subsidies and youth employment in  South Africa: Evidence from a randomised control trial. Stellenbosch Economic Working Papers 02/14.  Retrieved from http://siteresources.worldbank.org/INTDEVIMPEVAINI/Resources/3998199‐ 1286435433106/7460013‐1357765223620/Gareth_Roberts_Presentation.pdf  Lewis, Arthur. (1954). Economic Development with Unlimited Supplies of Labor. Manchester School of  Economic and Social Studies, 22, 139–91.  Lippman, L. H., Ryberg, R., Carney, R., & Moore, K. (2015). Workforce Connections: Key “Soft Skills” that foster  Youth workforce success: Toward a consensus across fields. Child Trends. Retrieved from  https://www.childtrends.org/wp‐content/uploads/2015/06/2015‐24WFCSoftSkills1.pdf  Macours, K., Premand, P., & Vakis, R. (2012). Transfers, diversification and household risk strategies :  experimental evidence with lessons for climate change adaptation (Policy Research Working Paper  Series No. 6053). The World Bank. Retrieved from https://ideas.repec.org/p/wbk/wbrwps/6053.html  Macours, K., Premand, P., & Vakis, R. (2013). Demand versus returns ? pro‐poor targeting of business grants  and vocational skills training (Policy Research Working Paper Series No. 6389). The World Bank.  Retrieved from https://ideas.repec.org/p/wbk/wbrwps/6389.html  Maitra, P., & Mani, S. (2016). Learning and Earning: Evidence from a Randomized Trial in India. Journal of Labor  Economics. Retrieved from https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2514745  Manpower Group. (2016). 2016 Talent Shortage Survey (Employer Global Talent Survey No. 2016). Manpower  Group. Retrieved from http://manpowergroup.com/talent‐shortage‐2016  Maurizio, R. (2014). Labour Formalization and Declining Inequality in Argentina and Brazil in 2000s: A Dynamic  Approach. ILO Research Paper, (9). Retrieved from https://ssrn.com/abstract=2530022  McKenzie, D. (2015). Identifying and Spurring High‐Growth Entrepreneurship. World Bank Policy Research  Working Paper, (WPS7391). Retrieved from  http://documents.worldbank.org/curated/en/210491468178154286/Identifying‐and‐spurring‐high‐ growth‐entrepreneurship‐experimental‐evidence‐from‐a‐business‐plan‐competition  McKenzie, D. (2017). How effective are active labor market policies in developing countries ? a critical review of  recent evidence. World Bank Research Observer, (Forthcoming). Retrieved from  http://documents.worldbank.org/curated/en/256001490191438119/How‐effective‐are‐active‐labor‐ market‐policies‐in‐developing‐countries‐a‐critical‐review‐of‐recent‐evidence  McKenzie, D., & Puerto, S. (2017). Growing Markets through Business Training for Female Entrepreneurs (Policy  Research Working Paper No. 7993). Retrieved from  http://documents.worldbank.org/curated/en/197441488550003248/pdf/WPS7993.pdf  McKenzie, D., & Woodruff, C. (2015). Business Practices in Small Firms in Developing Countries. World Bank  Policy Research Working Paper, (WPS7405). Retrieved from  http://www.carloalberto.org/assets/events/mckenzie‐3march2015.pdf  Montalvao, Joao, Frese, Michael, Goldstein, Markus, & Kilic, Talip. (n.d.). Soft Skills for Hard Constraints. World  Bank Policy Research Paper, (WP8095). Retrieved from  32  https://openknowledge.worldbank.org/bitstream/handle/10986/27295/WPS8095.pdf?sequence=2&isA llowed=y  Nell, M., & Shapiro, J. (1999). Traditional Apprenticeship Practice in Dar es Salaam: A Study (Consultancy Report  prepared for GTZ/VETA). Dar es Salaam.  Page, J., & Söderbom, M. (2012). Is small beautiful? Small enterprise, aid and employment in Africa. WIDER  Working Paper.  Piza, Caio, Craveo, Tulio Antonio, Taylor, Linnet, Gonzalez, Lauro, Musse, Isabel, Furtado, Isabela, … Abdelnour,  Samer. (2016). Business support for small and medium enterprises in low‐ and middle‐income countries:  a systematic review (Systematic review No. 25). Retrieved from  http://www.3ieimpact.org/media/filer_public/2016/07/29/sr25‐cida‐business‐support‐ review_gvw36pm.pdf  Premand, P., Brodman, S., Almeida, R., Grun, R., & Barouni, M. (2012). Entrepreneurship Training and Self‐ Employment Among University Graduates: Evidence from a Randomized Trial in Tunisia. World Bank  Policy Research Working Paper, (6285). Retrieved from https://ssrn.com/abstract=2184653  Timmer, C. P., & Akkus, S. (2008). The structural transformation as a pathway out of poverty: analytics, empirics  and politics. Center for Global Development, 150.  Tripney, J., Hombrados, J., Newman, M., Hovish, K., Brown, C., Steinka‐Fry, K., & Wilkey, E. (2013). Technical  and Vocational Education and Training (TVET) interventions to improve employability and employment  of young people in low‐and middle‐income countries: a systematic review. Retrieved from  http://eprints.ioe.ac.uk/17713/1/Tripney_et_al_2013_TVET_Interventions_for_Young_People_in_LMIC s.pdf  USAID. (2017). Systematic Review of Positive Youth Development in Low‐ and Middle‐Income Countries  (Systematic review for YouthPower Learning Initiative). Washington, DC. Retrieved from  http://www.youthpower.org/systematic‐review‐pyd‐lmics  Vivalt, E. (2015). How Much Can We Generalize from Impact Evaluations? Unpublished Manuscript, New York  University. Retrieved from http://evavivalt.com/wp‐content/uploads/2014/10/Vivalt‐JMP‐10.27.14.pdf  Waddington, H., Snilstveit, B., Hombrados, J. G., Vojtkova, M., Anderson, J., & White, H. (2014). Farmer field  schools for improving farming practices and farmer outcomes in low‐and middle‐income countries: a  systematic review. Campbell Systematic Reviews, 10(6). Retrieved from  http://campbellcollaboration.org/lib/project/203/  World Bank. (2006). World Development Report 2007: Development and the Next Generation. The World Bank.  Retrieved from http://elibrary.worldbank.org/doi/book/10.1596/978‐0‐8213‐6541‐0  World Bank. (2012). World Development Report 2012 : Gender Equality and Development. Retrieved from  https://openknowledge.worldbank.org/handle/10986/4391     33        Appendix A: References and Program Descriptions by Country/Region  Country/region  Authors  Employment  Intervention  Inputs  Outcomes  Argentina  Alzúa et al. (2016)  Wage  Life skills + vocational training +  Training and internship experience were used to help  Employment effects were not sustained, but earnings appeared  employment  internship  disadvantaged youth enter more stable employment.  to rise, as a result of more formal and persistent employment.  Bangladesh  Bryan et al. (2014)  Wage  Incentives for job search  Offered a bus ticket ($8) to incentivize rural‐to‐urban migration  Positive employment effects on those who migrated. Tickets  employment  during the lean season. Targeted households of the extreme  eased constraints to experimentation. Migrants had higher  poor, who otherwise experienced seasonal deprivation.  propensity to migrate the following year, without subsidy.  Bosnia, Ethiopia,  Banerjee et al.  Wage and self‐ Finance (loan)  6 evaluations of microcredit to HEs.  No employment effects in existing firms, but new self‐ India, Mexico,  (2015)  employment  employment starts.  Morocco,  Mongolia  Brazil, Argentina*  Maurizio (2014)  Wage  Business environment  Businesses registered under simplified scheme.  Net employment effects unclear, but both countries showed a  employment  net increase in formal employment (entry rates were above exit  rates).  Brazil, Mexico*  Grimm and  Wage  Business environment  Simplified tax system, offered a reduction to microenterprises.  Positive employment effects.  Paffhausen (2015)  employment  Chile, Argentina  Grimm and  Wage  BDS   Various management and support schemes for existing  Some positive employment effects but high‐cost programs.  Paffhausen (2015)  employment  businesses.  Colombia  Attanasio et al.  Wage  TVT + work experience  Long‐term review of Jóvenes classroom training programs by  Limited employment effect (from increase in formal  (2015)  employment  private providers, combined with internship (unpaid on‐the‐job‐ employment) and no sustained earnings effects.  training).  Colombia, Brazil*  Grimm and  Wage  Finance (loan)  Partial credit guarantees to SMEs (Colombia); public credit lines,  Positive employment effects in both countries.  Paffhausen (2015)  employment  some at subsidized rates (Brazil)  Dominican  Acevedo et al.  Wage  TVT + work experience  Full vocational and soft‐skills training and internship experience  Results differed for male and female participants (employment  Republic  (2017)  employment  compared to life skills training with an internship and a control  effects for men disappear). Women have sustained soft skills, but  group.  employment effects largely in formal sector (may be  displacement).  Dominican  Ibarraran  Wage  TVT + work experience  Youth skills training program, results measured 6 years after  No effect on average employment, 6 years later. Slightly positive  Republic.  et al. (2015)  employment  program ends.  effect on the “quality” of employment for men.   Ethiopia  Abebe et al. (2017)  Wage  Employment matching  Randomly invited job seekers and firms to job fair.  Despite strong attendance at the job fair, intervention had  employment  modest employment effect: 1 job for every 10 firms invited. May  be displacement effect.  Ethiopia  Blattman and  Self‐ Business skills + finance  Eligible workers randomly allocated to receive training and a cash  Business skills training and a cash grant resulted in higher  Dercon (2016)  employment  grant ($300) to start a business.  earnings relative to those who received factory or wage  employment.   Ethiopia  Franklin (2016)  Wage  Incentives for job search  Subsidized bus transport into Addis Ababa to support job‐search  No employment or earnings effect; quality of employment may  employment  for youth.  have improved with more formal and permanent jobs.  Ghana  McCasland & Hardy  Wage  Employment matching + work  Matching 6‐month apprenticeships; firms randomized.  Apprentices retained for full duration (6 months). Firms  (2016)  employment  experience  experienced higher revenues and profits. No reduction in other  employment. Suggests limited displacement.  34    Country/region  Authors  Employment  Intervention  Inputs  Outcomes  Ghana  Karlan et al. (2015)  Wage  BDS + finance  Management consulting and cash grant for small tailoring shops  No employment or earnings effect.  employment  (microenterprises).  Ghana*  Hardy and  Wage  Business environment  Impact of electricity blackouts on firm size, productivity, and  Blackouts adversely affect small firms, resulting in fewer hours  McCasland (2016)  employment  profits.  worked, smaller wage bills. Likely also to cause displacement  away from skilled workers to apprentices.  India  Banerjee and Duflo  Wage  Finance (loan)  Variation in access to targeted subsidized credit   Positive for large firms; no employment effect for  (2014)   employment  microenterprises.  India  Bloom et al. (2013)  Wage  BDS  Consulting firms provided management “best practices” to  Positive employment effect.  employment  randomly selected textile factories.  India  Dutta et al. (2014)  Wage  Public works  National public works program for rural poor (MGNREGA).  Partial displacement effect.  employment  India  Jensen (2012)  Wage  Employment matching  Recruiting services offered to young women in rural villages to  Positive effect on women's employment opportunities and  employment  encourage employment in business process outsourcing (new  likelihood of paid employment relative to control.   growth sector).  India  Maitra and Mani  Wage and self‐ TVT  Subsidized vocational education for young women.  Slightly positive effect on employment (wage and self‐ (2016)  employment  employment) and earnings. May be displacement.   India*  IFC Development  Wage  Business environment  Electricity access.  Simulation model showed positive effects.  Impact Department  employment  (2012)   Jordan  Groh et al. (2015)  Wage  Employment matching  Labor market matching service: participants tested to assess  No significant impact, high drop‐out, and cost per job was  employment  ability, technical, and soft skills, and matched to openings.  ~US$20K.  Jordan  Groh et al. (2016a)  Wage  Wage subsidies  Subsidies provided to firms to hire young female community  Firms did not retain employees after subsidy expired.  employment  college graduates.  Jordan  Groh et al. (2016b)  Wage  Life skills  45 hours of soft skills training randomly provided to a sample of  No employment impacts from soft‐skills (even after 2 years); no  employment  young (female) community college graduates.  complementarity with wage subsidies (tested in companion  experiment).  Kenya  Alvares de Azevedo  Wage  TVT + life skills + work experience  ICT training for young women in Nairobi slums.  Employment and earnings Increased, but likely to be  et al. (2013)  employment  displacement.   Kenya  Brudevold‐ Self‐ Business skills + finance  Microfranchise provided (women only) a business model, capital,  Short‐term increase in employment and earnings. Effects not  Newman et al.  employment  and supply chain linkages to start and run self‐employed  sustained after 2 years.  (2017)  businesses.  Kenya  Brudevold‐ Self‐ Finance (grant)  Transfer of only capital, without training.  Short‐term increase in earnings. Women shifted to self‐ Newman et al.  employment  employment. Effects not sustained after 2 years.  (2017)  Kenya  Hicks et al. (2016)  Wage and self‐ TVT  Training vouchers randomized to public vs. private training  No effects on earnings or employment.  employment  institutions.  Kenya  Honorati (2015)  Wage  Life skills  2 weeks of life skills training for young males only.  No effect.  employment  Kenya  Honorati (2015)  Wage  TVT + life skills + work experience  Youth life skills training, technical training, and a 3‐month  Females: Positive effect on earnings. Males: increase in current  employment  internship.  employment.  Latin America  Grimm and  Wage  Business environment  Incentivized formalization of firms with simpler and cheaper  No effect for existing firms.   35    Country/region  Authors  Employment  Intervention  Inputs  Outcomes  Paffhausen (2015)  employment  formalization process.  Latin America:  Tripney et al.  Wage  TVT + work experience  Review of Jóvenes classroom training and internship programs by  Slightly positive effect on formal employment in Peru and  Colombia, Peru,  (2013)  employment  private providers targeting disadvantaged youth.  Dominican Republic; positive effects for females but no male  Dominican  effect in Colombia.  Republic  Liberia  Adoho et al. (2014)  Self‐ Business skills + life skills   EPAG training program for adolescent girls.  EPAG program increased employment by 47% and earnings by  employment  80%.  Liberia  Blattman and  Self‐ TVT + finance  Provided agricultural training, capital inputs, and counselling for  Increased employment and profits in agriculture.  Annan (2016)  employment  ex‐fighters.  Malawi  Cho et al. (2012)  Self‐  TVT + work experience   On‐the‐job apprenticeship training to track differential outcomes  No employment effects. Women's decision‐making was more  employment  of program dropouts.  constrained. Training was more expensive and less effective for  women.  Malawi  Godlonton (2016)  Wage  Work experience  Randomly assigned (males only) to training and 5 days (short‐ Positive effect on employment and wage returns to experience.  employment  term) work experience, in surveys or office work.  However, treated individuals ended up in largely temporary jobs.  Malawi  Goldberg (2016)  Wage  Wage subsidies  1 day of subsidized wage work (per week) for 12 weeks offered in  Positive employment effects, even at low wages. This result  employment  a workfare‐type program during agricultural low season.   supports the conclusion that the labor supply is relatively elastic.  Mexico  Bruhn (2016)  Wage  Wage subsidies  Eligible firms provided subsidies to retain workers during a  Positive longer‐term effects and faster recovery, though likely as  employment  recession.  a result of the subsidies removing constraints on access to credit  during an economic recovery.  Mexico  Bruhn and Karlan  Wage  BDS   Consulting services provided to improve management capital.  No short‐term impact; 5‐year follow‐up showed 57% growth in  (2016)  employment  (Not targeted to youth).  labor and 72% increase in wage bills.  Nepal  Chakravarty et al.  Self‐ TVT + work experience  Employment Fund trained contractors to provide business and  Despite high baseline self‐employment, training had a positive  (2016)  employment  placement  technical skills.   and significant impact on employment outcomes and earnings /  savings.  Nepal  Chakravarty et al.  Wage and self‐ TVT + work experience  Private trainers offered mix of trainings; paid according to  Positive employment effects (non‐farm employment increased  (2015)  employment  placement (for wage employment).  15‐16 percentage points).   Nicaragua  Macours et al.  Self‐ Business skills + finance  Households in conditional cash transfer program provided with  Positive effect on HE business startup.  (2012 & 2013)  employment  (conditional cash transfer)  minimal business plan training; some got an extra grant.  Nigeria  McKenzie (2015)  Wage  Finance (grant)  Cash grants (~$50K) randomly allocated to semi‐finalists of a  Positive employment effects.  employment  national business plan competition for aspiring entrepreneurs.  Peru  Diaz and Rosas‐ Wage  TVT + internship  3 months of technical classroom training combined with a 3‐ 3‐year follow‐up found positive effects on employment and  Shady (2016)  employment  month internship.   earnings. Effect is stronger for formal employment.   Peru  Espinoza (2010)  Wage  TVT + internship  3 months of technical classroom training combined with a 3‐ No effect.  employment  month internship.   Peru, Pakistan  Grimm and  Wage  Business skills + finance  Business skills training added to existing microfinance program.   No employment effect.  Paffhausen (2015)  employment  Philippines  Beam (2016)  Wage  Employment matching  Impact of job fairs on employment outcomes. Also looked at  Attendance did not facilitate direct job matches, but it increased  employment  effect on migration of including international employers.  the likelihood of formal sector employment and increased job  search. No effect on migration.  Philippines  Karlan and Zinman  Self‐ Finance (loan)  Subsidized microfinance credit (short‐term loans) to household  Negative employment effects: reduction in number of business  (2010)  employment  businesses or those interested in starting household enterprises.  activities (by household) and employees. Positive effects on  36    Country/region  Authors  Employment  Intervention  Inputs  Outcomes  Used credit scoring to select households.  resilience and firm survival and access to informal credit.  South Africa  Anderson et al.  Wage  BDS ‐ marketing training  Firms received targeted business skills training on marketing  Positive employment effects from sales incentives.  (2014)  employment  approaches and aligning worker incentives.  South Africa  Anderson et al.  Wage  BDS ‐ finance training  Firms received targeted business skills training on best finance  No employment effects.   (2014)  employment  practices and how to raise firm efficiency.  South Africa  Bhorat et al. 2013  Wage  Business environment  Minimum wage.  Some decline in employment in low‐paid farm and domestic  employment  labor, and some sectors with fewer hours worked (less overtime),  but employment effects in other sectors were limited.  South Africa  Levinsohn et al.  Wage  Wage subsidies  National wage subsidy program; had very little take‐up, very few  Voucher group was more likely to be in wage employment, even  (2014)  employment  firms actually claimed the subsidy.   after voucher ended. Only 1.5% of firms redeemed vouchers.  Most likely to be entirely displacement (voucher does not induce  firms to hire labor).   Sri Lanka  de Mel et al. (2013)  Wage  Incentives for firm formalization  Informal firms were randomly offered varying degrees of  Even with very large financial incentives, less than 2% of treated  employment  incentives to formalize and register to test impacts on profits,  firms actually registered. Among those that registered, no  sales, and business practices.  impacts on employment or sales were noted.  Sri Lanka  de Mel et al. (2012)  Self‐ Finance (grant)  One‐time grant ($100 or $200) given to microenterprise owners.  Male‐owned microenterprises: higher survival and increased  employment  profits. Female‐owned microenterprises: no employment or  earnings effect, as grant was typically invested into household.  Sri Lanka  de Mel et al. (2014)  Self‐ Business skills + finance   Training and finance offered to existing (female) microenterprise  No employment effect.  employment  owners or those interested in starting an enterprise.  Sri Lanka  de Mel et al. (2016)  Wage  Incentives for job search (wage  Microenterprises were offered wage subsidies to induce firms to  No long‐term effects on employment, profit, or sales. Treatment  employment  subsidies)  hire additional labor.  and control differences disappeared after subsidy ended.  Tunisia  Premand et al.  Self‐ Business skills  Entrepreneurship training targeted to college students; focused  Slight positive effects on self‐employment. No change to overall  (2012)  employment  on business planning.  employment. Implies effect comes from shift from wage to self‐ employment.  Turkey  Betcherman et al.  Wage  Wage subsidies  Subsidized employment subsidies for registration of workers in  No net employment effects. Study does note an increase in  (2010)  employment  social security.  registration of jobs, but cost was high and effect was largely to  increase registration into social security, not to increase total  employment.   Turkey  Hirschleifer et al.  Wage  TVT  Large scale vocational training program for unemployed (youth  Effects are positive but close to zero. Slightly stronger with  (2015)  employment  not targeted).  private providers, but after 3 years, even those effects disappear.  Public training shows no impact.  Uganda  Bandiera et al.  Self‐ Business skills + life skills +  ELA after‐school program for adolescent females in rural towns  Positive employment and earnings effects.  (2015)  employment  mentorship  and peri‐urban areas offered support, mentoring, health advice,  and life skills plus minimal vocational training.  Uganda  Blattman et al.  Self‐ Business skills + finance  Cash grants (~$150) combined with skills training for adult  Large non‐farm employment effects; earnings effects as well  (2013)  employment  women working in agriculture in a post‐conflict setting (WINGS).  (however effects appear to be largely displacement).  Uganda  Blattman et al.  Self‐ TVT + finance  Grant competition for groups of youths looking to move into  Positive employment and earnings effects; higher for men.  (2014)  employment  skilled artisanal self‐employment groups. (NUSAF).  Uganda  Fiala (2013)   Wage  Business skills + finance (loan)  Microenterprise owners interested in expanding were randomly  No direct paid employment impacts; male owners increased  employment  allocated to 4 treatments; loans offered ($180–220).   employment within the family.  Uganda  Fiala (2013)   Wage  Business skills + finance (grant)  Microenterprise owners interested in expanding were randomly  No effect on employment.  37    Country/region  Authors  Employment  Intervention  Inputs  Outcomes  employment  allocated to 4 treatments; grant provided($200).  Uganda  Fiala (2013)   Wage  Finance (loan)  Microenterprise owners provided with loan financing ($180– Loan only had short‐term employment effects for male owners;  employment  200).  disappeared entirely in 9 months.  Uganda  Fiala (2013)   Wage  Finance (grant)  Microenterprise owners interested in expanding were randomly  No effect on employment.  employment  allocated to 4 treatments; grant provided ($200).  Uganda  Kwauk and Perlman  Self‐ Life skills + mentorship  EDUCATE! provided leadership and mentorship training, shifting  Increased probability of self‐employment and earnings relative to  Robinson (2016)  employment  toward a more skills‐based curriculum for Ugandan youth.   the control group.  Yemen, Rep.*  McKenzie et al.  Wage  TVT + internship  Firms offered a 50% wage subsidy to hire interns for 6 months.  Short‐term impacts showed positive employment effect, 2–3  (2016)  employment  Firms not randomized.  months after internship. Outbreak of conflict eliminated further  follow‐up. Some effect may be through displacement.   Note: * denotes studies categorized as less robust because they lacked a thorough experimental design or had insufficient follow up.       38        Appendix B: Literature Search Strategy   The primary objective of this review is to provide a synthesis of the best available evidence on youth employment interventions in low and lower‐middle  income countries. Several previous literature reviews have reviewed the impact evaluation evidence on employment programs, but a majority of these  studies cite evidence from OECD countries, which are very different from the employment context in low and lower‐middle income countries. In addition to  differences geographic scope, the literature reviewed in this paper covers a broader range of programs.  The research included in this review was identified through a search strategy which included recent evaluations and a number of foundational studies and  meta‐analyses of youth employment in order to produce a comprehensive review of the available knowledge on what we know works (and does not work)  to improve youth employment outcomes. This review does not contain a meta‐evaluation or any other quantitative presentation of the strength of the  results. We chose not to do this because the programs covered and the participants groups are too heterogeneous.  Studies selected are drawn from peer‐reviewed (published and forthcoming journals) and working papers utilizing randomized control trial or quasi‐ experimental research designs to evaluate the impacts of interventions. The following databases were searched from March 2017 – June 2017: Google  Scholar, JSTOR, NBER, and The World Bank Policy and Research Paper Series. Additional literature was sourced through grey literature searches, the Oxford  CSAE conference, and expert referrals from development practitioners and researchers at the World Bank and USAID.       39