Policy Research Working Paper                                      9133




     Toward Successful Development Policies
      Insights from Research in Development Economics

    Erhan Artuc, Robert Cull, Susmita Dasgupta, Roberto Fattal Jaef, Deon Filmer,
  Xavier Giné, Hanan Jacoby, Dean Jolliffe, Hiau Looi Kee, Leora Klapper, Aart Kraay,
     Norman Loayza, David McKenzie, Berk Özler, Vijayendra Rao, Bob Rijkers,
       Sergio Schmukler, Michael Toman, Adam Wagstaff, and Michael Woolcock




Development Economics Vice Presidency
Development Research Group
January 2020
Policy Research Working Paper 9133


  Abstract
 What major insights have emerged from development eco-                             response to this request, summarizing a selection of major
 nomics in the past decade, and how do they matter for the                          insights in development economics in the past decade. The
 World Bank? This challenging question was recently posed                           notes synthesize evidence from recent research on how pol-
 by World Bank Group President David Malpass to the staff                           icies should be designed, implemented, and evaluated, and
 of the Development Research Group. This paper assembles                            provide illustrations of what works and what does not in
 a set of 13 short, nontechnical briefing notes prepared in                         selected policy areas.




 This paper is a product of the Development Research Group, Development Economics Vice Presidency. It is part of a larger
 effort by the World Bank to provide open access to its research and make a contribution to development policy discussions
 around the world. Policy Research Working Papers are also posted on the Web at http://www.worldbank.org/prwp.




         The Policy Research Working Paper Series disseminates the findings of work in progress to encourage the exchange of ideas about development
         issues. An objective of the series is to get the findings out quickly, even if the presentations are less than fully polished. The papers carry the
         names of the authors and should be cited accordingly. The findings, interpretations, and conclusions expressed in this paper are entirely those
         of the authors. They do not necessarily represent the views of the International Bank for Reconstruction and Development/World Bank and
         its affiliated organizations, or those of the Executive Directors of the World Bank or the governments they represent.


                                                       Produced by the Research Support Team
                             Toward Successful Development Policies:   
                        Insights from Research in Development Economics 

    Erhan Artuc, Robert Cull, Susmita Dasgupta, Roberto Fattal Jaef, Deon Filmer, Xavier Giné, Hanan 
  Jacoby, Dean Jolliffe, Hiau Looi Kee, Leora Klapper, Aart Kraay, Norman Loayza, David McKenzie, Berk 
   Özler, Vijayendra Rao, Bob Rijkers, Sergio Schmukler, Michael Toman, Adam Wagstaff, and Michael 
                            Woolcock World Bank Development Research Group 




JEL codes:  
D0 (Microeconomics), E0 (Macroeconomics and Monetary Economics), F0 (International Economics), G0 
(Financial Economics), H0 (Public Economics), I0 (Health Education and Welfare), O0 (Economic 
Development, Technical Change and Growth), Q0 (Agriculture, Natural Resource, and Environmental 
Economics) 



______________________ 
1818 H Street NW, Washington DC 20433.  We are grateful to Simeon Djankov and Pinelopi Goldberg for helpful discussions.  
The views expressed here are the authors’, and do not necessarily reflect the official views of the World Bank, its Executive 
Directors, or the countries they represent. 
                                              Introduction 
                                               Aart Kraay 
                                                      
What major insights have emerged from development economics in the past decade, and how do they 
matter for the World Bank?  This challenging question was posed by recently‐appointed World Bank 
Group President David Malpass to the staff of the Development Research Group in September 2019.  
After much internal discussion, we settled on a list of 13 topics, prepared short non‐technical briefings 
on each of them and shared them with President Malpass.  This paper assembles these briefing notes 
into a single document for wider circulation and discussion. 
Development economics as practiced at the World Bank is a broad field, covering a dizzying array of 
topics from health and education to climate change, political economy, financial sector development, 
international trade, growth, and many more.  Over the past few decades, development economics as 
practiced in academia has flourished as well, expanding from a niche area to a mainstream topic, with 
papers on development regularly appearing in top journals, and with prominent development 
economists such as Angus Deaton, Abhijit Banerjee, Esther Duflo and Michael Kremer being honored 
with Nobel prizes.   
Any attempt to comprehensively summarize this rich body of research is unlikely to succeed, and we did 
not attempt to do so. Instead, we tried to selectively focus on major areas where recent research has 
yielded important new insights for the practice of development policy – with immediate implications for 
how the World Bank should design and evaluate its projects and how it should engage in policy dialogue 
with client governments around the world. Rather than confine ourselves to topical silos, we tried to 
illustrate these insights with examples from different areas of research and different policy domains 
wherever possible, in order to distill useful broader lessons for development policy. Finally, we tried to 
keep the notes nontechnical and jargon‐free in the hopes of reaching a wider audience than just the 
professional economists with whom we most often communicate in our writing. 
The first four notes illustrate insights from recent research on the general question of “how to design 
policies”. Many governments around the developing world have deployed cash transfer programs as a 
signature policy intervention, in which beneficiary households receive cash if they comply with 
conditions such as ensuring that their children attend school. Berk Özler’s note summarizes recent 
evidence on how the design features of such programs shape their success in improving outcomes in the 
short and medium run. In the next two notes, Deon Filmer and Adam Wagstaff take up two key policy 
design questions in health and education: the importance of focusing interventions on improving the 
quality – and not just the quantity – of services provided, and how health and education service 
providers should be paid in order to ensure the delivery of quality services. The fourth note in this 
category approaches the question of policy design from a more macroeconomic perspective. Roberto 
Fattal, Hiau Looi Kee, and Sergio Schmukler use examples from macro, finance, and international trade 
to illustrate how policies aimed at influencing aggregate outcomes such as growth and welfare need to 
be informed by microeconomic evidence on the mechanisms through which these policies operate. 
The next three notes synthesize insights from recent research on the practical question of “how to 
implement policies”.  Well‐designed and technically sound policies are of little use if they are not 
implemented well.  Norman Loayza and Michael Woolcock provide illustrations of how the absence of 
complementary polices and institutions, as well as the lack of capacity in government agencies tasked 
with transforming policy decisions into concrete actions, can stymie successful policy implementation 
and outcomes.  Often the ability and the will to implement policies are intertwined with politics.  
Vijayendra Rao and Michael Woolcock discuss the key roles of citizen accountability and the legitimacy 
of political decision‐making processes in determining which policies are selected and how they are 
implemented.  The third note in this section brings a sobering lesson.  Robert Cull and David McKenzie 

                                                    2 
 
note that often policies that show promising results when implemented as pilots at small scale turn out 
to be disappointing when implemented at scale.  They point to the need for continuous evaluation and 
openness to course corrections as projects are scaled up to avoid such disappointing outcomes. 
The next group of notes turns to the question of “how to evaluate policies.” One of the most striking 
trends in economics – and particularly in development economics – in the past decade or two has been 
the increase in the seriousness with which the profession has taken the identification of causal effects of 
policies on outcomes. As Xavier Giné and Hanan Jacoby write, this has most visibly come through the 
mainstreaming of randomized controlled trials as a tool to evaluate policy interventions. This has been 
accompanied by increasingly creative use of natural experiments to identify causal effects in 
circumstances where randomization is not possible or desirable, as well as by more carefully combining 
economic theory with empirical evidence to shed light on underlying mechanisms. The scope for 
insightful evaluation of policy outcomes has also broadened remarkably over the past decade as 
economists have been able to draw on nontraditional data sources, ranging from satellite imagery to cell 
phone records. Robert Cull, Dean Jolliffe, and Vijayendra Rao provide examples of how these new data 
types, combined with new tools such as machine learning and natural language processing algorithms, 
have shed new light on old questions. 
The last set of four notes covers an assortment of policy domains where recent research has provided 
new insights on the effects of policies.  Sergio Schmukler, Michael Toman, and Adam Wagstaff draw on 
examples as disparate as early childhood development, financial crises, and environmental degradation 
to illustrate the general principle that early policy interventions at large enough scale can be highly cost‐
effective.  They also discuss why, despite these high returns, opportunities for early intervention often 
are missed.  Susmita Dasgupta and Michael Toman describe the accumulating evidence that investments 
to improve resilience to climate change can have big payoffs in terms of development outcomes.  Leora 
Klapper discusses how the combination of policy and technological changes that have enabled 
widespread access to digital financial transactions have improved outcomes for users in a variety of 
ways.  Finally, Erhan Artuc and Bob Rijkers synthesize what we have learned from recent research on the 
size of the welfare gains from trade – and more importantly about how they are distributed across 
people, space, and sectors.                                     




                                                     3 
 
                                               Contents 
                                                        
How to design policies? 
1.  How Should We Design Cash Transfer Programs? 
2.  Policy Makers Need to Focus on the Quality and Not Just the Quantity of Services Delivered 
3.  How Service Providers Are Paid Matters as Much as How Much They Are Paid 
4.  To Design Good Policies, Macro Outcomes Need to Be Understood “From the Ground Up”  
How to implement policies? 
5.  Designing Good Policies Is One Thing, Implementing Them Is Another  
6.  Policy Makers and Aid Donors Need to Take the Politics of Development Seriously 
7.  Implementing Successful Small Interventions at a Large Scale Is Hard 
How to evaluate policies? 
8.  Basing Policy Decisions on Rigorous Causal Evidence 
9.  New Data for Development Policy 
Examples of policies that work 
10.  Returns to Early Interventions at Sufficient Scale Are High 
11.  Increasing Resilience to Climate Change Is Good Development Policy 
12.  Digital Financial Transactions Matter for Development 
13.  Trade, Poverty, and Inequality 
                                   




                                                   4 
 
                                                                      
                                             1. How Should We Design Cash Transfer Programs? 

                                                                Berk Özler 
                                                                      
How important is the condition in accounting for the impacts of conditional cash transfer (CCT) programs? 
Is  it  a  waste  of  time  and  resources  to  monitor  and  enforce  conditions,  when  simply  giving  out  the  cash 
with no strings attached would do an equally good – or perhaps an even better – job in reducing poverty 
in the longer‐run? The answer to this question is not straightforward, but over the past 15 years research 
has generated a fair amount of evidence that provides useful insights for policy makers. 
In the short run, CCTs produce better human capital outcomes than unconditional cash transfers (UCTs) 
CCTs outperform UCTs for intermediate participation indicators (e.g., school enrollment or visits to health 
centers) and, to a lesser extent, human capital outcomes (e.g., learning achievement or health indicators). 
For  example,  in  a  Colombian  CCT  program,  children  subject  to  the  conditionality  requirement  had  50% 
more preventive visits and had improved health compared with children excluded from the requirement.1 
Similarly, two experiments conducted by World Bank researchers in Burkina Faso and Malawi found that 
CCTs  had  significantly  higher  impacts  on  school  enrollment,  dropout,  and  test  scores  than  UCTs  –  even 
taking  the  additional  administrative  costs  of  CCTs  into  account.2  A  systematic  review  of  CCT  and  UCT 
programs  finds  that  the  effect  sizes  on  school  participation  increase  as  the  conditions  are  made  more 
explicit, monitored, and enforced.3 
However,  there  may  be  immediate  trade‐offs  between  CCTs  and  UCTs.  The  same  experiment  in  Malawi 
found that UCTs substantially outperformed CCTs in improving psychological well‐being and reducing teen 
pregnancy and child marriage rates. This empirical finding, also supported by theory, has implications for 
the  design  of  cash  transfer  programs:  CCT  programs  create  incentives  for  individuals  to  change  their 
behaviors by denying transfers to those who do not satisfy the conditions. However, at least some of these 
individuals  come  from  vulnerable  households  and  are  equally  in  need  of  income  support.  UCTs  to  such 
households  can  improve  important  outcomes,  even  though  they  are  not  as  successful  in  improving  the 
desired  outcomes  targeted  by  CCTs.  Hence,  while  CCT  programs  may  be  more  effective  than  UCTs  in 
obtaining the desired behavior change, they can also undermine the social protection dimension of cash 
transfer programs. Comparing the overall welfare effects requires estimates of how effective CCTs are at 
changing behavior, as well as judgments on the importance of the desired behavior change versus other 
important outcomes. 
In the longer run, the effects of UCTs dissipate  
                                                            
1
    Attanasio,  Orazio  P.,  Veruska  Oppedisano,  and  Marcos  Vera‐Hernández.  2015.  Should  Cash  Transfers  Be 
Conditional? Conditionality, Preventive Care, and Health Outcomes. American Economic Journal: Applied Economics, 
7(2): 35‐52. 
2
   Akresh, Richard, Damien de Walque, and Harounan Kazianga. 2013. Cash Transfers and Child Schooling: Evidence 
from a Randomized Evaluation of the Role of Conditionality. Policy Research Working Paper No. 6340. World Bank, 
Washington,  DC.;  Baird,  Sarah,  Craig  McIntosh,  and  Berk  Özler.  2011.  Cash  or  Condition?  Evidence  from  a  Cash 
Transfer  Experiment.  Quarterly  Journal  of  Economics  126  (4):  1709‐1753.  Baird,  Sarah,  Craig  McIntosh,  and  Berk 
Özler. 2019. When the Money Runs Out: Do Cash Transfers Have Sustained Effects on Human Capital Accumulation?” 
Journal of Development Economics, Vol. 140, Sep. 2019, pp. 169‐185.   
3
   Baird, Sarah, Francisco HG Ferreira, Berk Özler, and Michael Woolcock. 2013. Relative Effectiveness of Conditional 
and Unconditional Cash Transfers for Schooling Outcomes in Developing Countries: A Systematic Review. Campbell 
Systematic Reviews 9 (8). 

                                                                    5 
 
While  there  are  few  long‐term  studies  of  unconditional  cash  transfers,  the  available  evidence  suggests 
that  their  short‐term  effects  are  not  sustained.  Sometimes,  this  may  be  because  the  transfers  put 
beneficiaries  on  an  earlier/accelerated  growth  path  than  non‐beneficiaries,  with  the  two  groups 
converging over time.4 In other cases, unconditional cash transfers end up being palliative, meaning that 
they improve outcomes while the income support is in place, but fail to cause sufficient accumulation of 
human  (or  other  forms  of)  capital  to  alter  long‐term  outcomes.5  In  such  cases,  UCT  beneficiaries  end  up 
back at square one soon after the cessation of transfers.   
One exception to this finding might  be in lasting improvements in the  health and nutrition  of children in 
beneficiary households. Several recent studies have found that children who are exposed to unconditional 
cash transfers in utero and between the ages of 0 and 5 (the earlier the better) are substantially less likely 
to be stunted.6 
Longer‐term evaluations of CCT programs offer room for optimism.  A number of longer‐term evaluations 
of  CCT  programs  indicate  that  while  they  might  improve  school  attainment  among  adolescent 
beneficiaries, evidence of longer‐term gains in terms of learning, employment, and income are mixed as 
they become young adults.7 However, recent studies are finding evidence of promising longer‐term gains. 
Examples  include  a  forced  savings  treatment  attached  to  a  traditional  schooling  CCT  program  in  Bogotá 
increasing  tertiary  enrollment  and  graduation;  a  CCT  program  in  Malawi  and  a  secondary  school 
scholarship  program  in  Ghana  causing  large  gains  in  school  attainment  and  substantial  reductions  in 
fertility  among  vulnerable  female  beneficiaries;  Nicaragua’s  CCT  program  leading  to  substantial  gains  in 
learning among boys and reductions in fertility and increased economic activity among girls 10 years after 
they  were  exposed  to  the  program  as  early  adolescents;  and  a  school‐based  intervention  in  Kenya  that 
provided  school  uniforms  finding  significant  reductions  in  school  dropout,  pregnancy,  and  marriage 
among  girls in  the short‐ and  medium‐run; and school attainment, marriage, and  childbearing  by age 16 
in the longer‐run.8 
                                                            
4
   Blattman, Christopher, Nathan Fiala, and Sebastian Martinez. 2018. The Long‐Term Impacts of Grants on Poverty: 
9‐Year  Evidence  from  Uganda's  Youth  Opportunities  Program.  American  Economic  Review:  Insights,  forthcoming;‐ 
Haushofer,  Johannes  and  Jeremy  Shapiro.  2018.  The  Long‐Term  Impact  of  Unconditional  Cash  Transfers: 
Experimental Evidence From Kenya. Working Paper. 
5
   Baird, McIntosh, and Özler (2019), cited above. 
6
   ‐Agüero, Jorge, Michael Carter, and Ingrid Woolard. 2006. The Impact of Unconditional Cash Transfers on Nutrition: 
The  South  African  Child  Support  Grant.  SALDRU  Working  Paper  Series  No.  06/08.;  Barham,  Tania,  Karen  Macours, 
and John A Maluccio. 2013. Boys' Cognitive Skill Formation and Physical Growth: Long‐Term Experimental Evidence 
on Critical Ages for Early Childhood Interventions. American Economic Review 103 (3): 467‐471; Cahyadi, Nur, Rema 
Hanna,  Benjamin  A.  Olken,  Rizal  Adi  Prima,  Elan  Satriawan,  and  Ekki  Syamsulhakim.  2018.  Cumulative  Impacts  of 
Conditional  Cash  Transfer  Programs:  Experimental  Evidence  from  Indonesia.  NBER  Working  Paper  24670.  National 
Bureau of Economic Research.;‐ Baird, McIntosh, and Özler (2019), cited above.  
7
    Baez,  Javier  Eduardo  and  Adriana  Camacho.  2011.  Assessing  the  Long‐Term  Effects  of  Conditional  Cash  Transfers 
on Human Capital: Evidence from Colombia. IZA Discussion Paper No. 5751.; Behrman, Jere R, Susan W Parker, and 
Petra  E  Todd.  2011.  Do  Conditional  Cash  Transfers  for  Schooling  Generate  Lasting  Benefits?  Journal  of  Human 
Resources  46  (1):  93‐122;  Filmer,  Deon  and  Norbert  Schady.  2014.  The  Medium‐Term  Effects  of  Scholarships  in  a 
Low‐Income Country. Journal of Human Resources 49 (3): 663‐694; Araujo, M Caridad, Mariano Bosch, and Norbert 
Schady. 2016. Can Cash Transfers Help Households Escape an Inter‐Generational Poverty Trap? NBER Working Paper 
22670.  National  Bureau  of  Economic  Research;  Cahyadi  et  al.  (2018),  cited  above;Molina‐Millan,  Teresa,  Karen 
Macours, John A. Maluccio, and Luis Tejerina. 2018. Experimental Long‐term Effects of Early Childhood and School‐
age Exposure to a Conditional Cash Transfer Program. Working paper. 
8
  Barrera‐Osorio,  Felipe,  Leigh  L  Linden,  and  Juan  E  Saavedra.  2017.  Medium‐  and  Long‐Term  Educational 
Consequences  of  Alternative  Conditional  Cash  Transfer  Designs:  Experimental  Evidence  from  Colombia.  NBER 
Working Paper 23275. National Bureau of Economic Research; Baird, McIntosh, and Özler (2019), cited above;‐ Duflo, 

                                                               6 
 
How cash transfers are targeted and delivered are important program design elements  
Recent  studies  suggest  that  cash  transfers  can  cause  declines  in  life  satisfaction  and  reductions  in 
psychological  well‐being  among  non‐beneficiaries  who  live  in  the  same  communities  as  program 
beneficiaries.9 Cash transfers can cause prices of non‐tradable or perishable goods to increase in remote 
areas  with  weak  links  to  markets,  while  in‐kind  transfers  can  have  the  opposite  effect  of  reducing  food 
prices.10  A  recent  World  Bank  study  of  the  Philippine  CCT  shows  that  such  effects  can  have  real 
consequences:  price  increases  in  protein‐rich  perishable  food  items  caused  substantial  increases  in 
stunting  among  non‐beneficiary  children.11  Hence,  it  is  important  for  the  World  Bank  and  governments 
implementing large‐scale transfer programs to pay attention to spillover and general equilibrium effects. 
These findings have several implications for World Bank policies: 
             A  potentially  promising  way  of  resolving  the  tradeoff  between  CCT  and  UCT  programs  is  to  view 
              them as complements to each other rather than alternatives.  Policymakers could provide a basic 
              unconditional  cash  transfer  to,  say,  adolescent  females  or  poor  households,  topped  up  by 
              conditional  cash  transfers  for  human  capital  accumulation  and  desired  health  behaviors  – 
              providing  an  incentive  to  invest  in  education  and  health  while  still  guaranteeing  a  basic  level  of 
              protection to those who are unable or unwilling to comply with program conditions. 
             The promising evidence of the positive effect of UCTs on children’s height provides an additional 
              reason  to  consider  providing  basic  UCTs  to  adolescent  girls  and  young  women.  Indeed,  other 
              researchers  in  the  U.S.  context  have  suggested  that  targeting  transfers  towards  women  of 
              childbearing  age  would  be  beneficial,  to  maximize  benefits  to  children  in  utero.  This  form  of 
              targeting of young women would suffer from remarkably little ‘leakage’ in many countries in Sub‐
              Saharan  Africa,  where  the  median  ages  at  first  childbirth  are  below  20.  It  would  also  have  the 
              added benefit of reducing fertility rates. 
             The  increasing  popularity  of  “cash  plus”  programs,  which  involve  cash  transfers  being  delivered 
              with  complementary  services/interventions,  seems  justified.  For  example,  recent  evidence  from 
              multi‐faceted  anti‐poverty  programs  suggest  complementarities  between  various  program 
              components,  including  cash  transfers.12  A  program  in  Bangladesh  that  combined  a  behavior 
              change  communication  nutrition  intervention  with  cash  transfers  through  women’s  groups  that 



                                                            
Esther, Pascaline Dupas, and Michael Kremer. 2017. The Impact of Free Secondary Education: Experimental Evidence 
from  Ghana.  Unpublished  Manuscript.   https://web.stanford.edu/~pdupas/DDK_GhanaScholarships.pdf;   Barham, 
Tania, Karen Macours, and John Maluccio. 2019. Experimental Evidence from a Conditional Cash Transfer 
Program:  Schooling,  Learning,  Fertility,  and  Labor  Market  Outcomes  After  10  Years.  Working  Paper;   Duflo,  Esther, 
Pascaline Dupas, and Michael Kremer. 2015. Education, HIV, and Early Fertility: Experimental Evidence from Kenya. 
American Economic Review 105 (9): 2757‐97. 
9
  Baird,  Sarah,  Jacobus  De  Hoop,  and  Berk  Özler.  2013.  Income  Shocks  and  Adolescent  Mental  Health.  Journal  of 
Human Resources 48 (2): 370‐403; Haushofer, J., Reisinger, J., & Shapiro, J. (2019). Is Your Gain My Pain? Effects of 
Relative Income and Inequality on Psychological Well‐being. Working Paper. 
10
     Jesse  M  Cunha,  Giacomo  De  Giorgi,  and  Seema  Jayachandran,  2019,  The  Price  Effects  of  Cash  Versus  In‐Kind 
Transfers, The Review of Economic Studies 86 1): 240–81. 
11
    Filmer, Deon, Jed Friedman, Eeshani Kandpal, and Junko Onishi. 2018. Cash Transfers, Food Prices, and Nutrition 
Impacts on Nonbeneficiary Children. Working Paper. 
12
    Banerjee, Abhijit, Dean Karlan, Robert Darko Osei, Hannah Trachtman, and Christopher Udry. 2018. Unpacking a 
Multi‐Faceted Program to Build Sustainable Income for the Very Poor. NBER Working Paper 24271. 

                                                                 7 
 
              met regularly found beneficial impacts on several important domains for beneficiary women and 
              their children.13 
             Finally, more attention should be paid to the targeting of large cash transfer programs. Failing to 
              consider the local market price effects of CCT (or UCT) programs can overstate the net benefits of 
              targeted cash transfers. In areas where individual targeting of social programs covers most of the 
              households,  offering  the  program  on  a  universal  basis  would  avoid  such  negative  impacts  at 
              moderate, if any, additional cost.14 
               
                                                            




                                                            
13
   Ahmed,  Akhter,  John  Hoddinott,  and  Shalini  Roy.  2019.  Food  Transfers,  Cash  Transfers,  Behavior  Change 
Communication and Child Nutrition: Evidence from Bangladesh. Working Paper.;Roy, Shalini, Melissa Hidrobo, John 
Hoddinott,  and  Akhter  Ahmed.  2019.  Transfers,  Behavior  Change  Communication,  and  Intimate  Partner  Violence: 
Post‐Program Evidence from Rural Bangladesh. Review of Economics and Statistics, forthcoming. 
14
    Filmer et al. (2018), cited above. 

                                                               8 
 
     2. Policy Makers Need to Focus on the Quality and Not Just the Quantity of Services Delivered 

                                                               Deon Filmer and Adam Wagstaff 
                                                                              
Education  and  health  policymakers  often  focus  on  indicators  of  the  quantity  of  services  provided:   Are 
children  enrolled  in  school?  Are  women  delivering  their  babies  in  a  health  facility?  Are  newborn  babies 
receiving  postnatal  care?  This  assumes  that  children  in  school  will  automatically  learn,  and  that  health 
outcomes such as maternal and child mortality will automatically improve as service coverage increases.  
 
This assumption often is wrong. Even in countries on track to hit enrollment targets, children often have 
low levels of mastery of reading, writing and mathematics. Indonesia and Mexico, for example, had both 
almost  reached  the  universal  primary  completion  MDG  target  by  the  mid‐2000s,  but  at  the  time  68 
percent  of  Indonesian  youth  and  50  percent  of  Mexican  youth  lacked  even  minimally  adequate 
competence in mathematics.15 In health, evidence shows a similar tenuous link between service coverage 
and  outcomes.  For  example,  having  women  deliver  their  babies  in  a  health  facility  (an  MDG  and  SDG 
target) has been found not to lead to lower maternal or neonatal mortality rates.16  
 
In both education and health, poor quality of service delivery is the key reason why service coverage does 
not necessarily translate into better outcomes. We know this because research – much of it done at the 
World Bank – has zeroed in on the quality of service delivery.  
 
Early research focused on a very basic aspect of quality: are teachers and health workers actually teaching 
and delivering health services? Random unannounced visits to schools and health centers in six developing 
countries uncovered high absenteeism rates – 19% in the case of teachers and as much as 35% in the case 
of  health  workers.17  Averaging  across  seven  African  countries,  more  recent  research  found  that  23%  of 
teachers  were  absent  from  school,  and  44%  were  absent  from  the  classroom.18  Absenteeism  –  coupled 
with teachers spending time in class but not teaching – resulted in, on average, just 2¾ hours of teaching 
time per day instead of the scheduled 5½ hours.  
Later  research  looked  at  another  aspect  of  the  quality  of  education  and  health  services  –  provider 
knowledge. The study of seven African countries also tested primary school teachers’ knowledge of their 
subject  by  asking  them  to  grade  mock  student  tests  in  language  and  mathematics.  Teachers  did  well 
enough on spelling and simple grammar, with two‐thirds grading at least 80% of the questions correctly. 
But they did much worse in other areas, averaging 44% on vocabulary and comprehension, and just 25% 
on composition. In mathematics, the results also were worse the more complex the task. On average, 91% 

                                                            
15
    Filmer D, Hasan A, Pritchett L. A Millennium Learning Goal: Measuring Real Progress in Education: Center for 
Global Development, 2006. 
16
    Gabrysch S, Nesbitt RC, Schoeps A, Hurt L, Soremekun S, Edmond K, Manu A, Lohela TJ, Danso S, Tomlin K, 
Kirkwood B, and Campbell OMR. Does Facility Birth Reduce Maternal and Perinatal Mortality in Brong Ahafo, 
Ghana? A Secondary Analysis Using Data on 119,244 Pregnancies from Two Cluster‐Randomised Controlled Trials. 
The Lancet Global Health 2019; 7(8): e1074‐e87. 
17
    Chaudhury N, Hammer J, Kremer M, Muralidharan K, Rogers FH. Missing in Action: Teacher and Health Worker 
Absence in Developing Countries. Journal of Economic Perspectives 2006; 20(1): 91‐116. 
18
    Bold T, Filmer D, Martin G, Molina E, Stacy B, Rockmore C, Svensson J, and Wane W. Enrollment without 
Learning: Teacher Effort, Knowledge, and Skill in Primary Schools in Africa. Journal of Economic Perspectives 2017; 
31(4): 185‐204. 
 

                                                                             9 
 
of teachers could add double digits, but only 68% could multiply double digits. Less than one‐third could 
understand a Venn diagram, and only 11% could interpret data on a graph.  
Results of studies testing health provider knowledge are similarly sobering. The approach is similar to that 
used  with  teachers  –  health  providers  are  asked  to  “treat”  a  hypothetical  patient.    These  “vignette” 
exercises  have  been  done  for  a  variety  of  medical  conditions  including  child  pneumonia,  diabetes  and 
tuberculosis. A study of nine African countries painted a rather bleak picture. On the tuberculosis vignette, 
83% of health providers got the correct diagnosis, but only 54% prescribed the correct treatment. On the 
pneumonia vignette, 70% prescribed the correct treatment, but on the diabetes vignette, only 52% did.  
Having providers at their workplace and having them know their subject are necessary conditions for high‐
quality  service  delivery,  but  recent  research  shows  that  even  this  is  not  sufficient.  This  research  shows 
that there is often a gap – sometimes a large one – between what service providers know in terms of their 
mastery of their subject and how well they perform on the job.  
In  the  case  of  education,  teacher  performance  has  been  assessed  by  looking  at  teachers’  pedagogical 
knowledge (e.g., comprehension of factual text and formulating aims and learning outcomes), their ability 
to assess students (e.g., formulating questions to check understanding), and their success in applying their 
knowledge  in  the  classroom  (e.g.,  introducing  and  summarizing  the  topic  of  a  lesson).  On  these  criteria, 
primary  school  teachers  across  the  same  seven  African  countries  performed  poorly.  They  scored  on 
average  just  23%  on  an  exercise  gauging  their  ability  to  formulate  aims  and  learning  outcomes  and  just 
23%  on  an  exercise  gauging  their  ability  to  formulate  questions  to  check  students’  understanding.  And 
when observed in their class, only 41% of teachers introduced and summarized the topic of the lesson.  
In  health,  too,  there  have  been  studies  employing  the  direct  observation  approach  –  observing  real‐life 
interactions  between  patients  and  health  workers.  But  these  have  their  drawbacks.  Providers  may 
perform  differently  when  observed.  And  while  in  education  interactions  between  teacher  and  students 
are limited to just a few age groups and just a few subjects, a health provider in a clinic could be dealing 
with  any  number  of  medical  conditions.  An  alternative  approach  is  to  have  actors  pretend  to  be  a  real 
patient.  The  provider  consents  beforehand  to  participating  in  the  study,  knowing  that  at  some  stage 
during  the  study  period  an  actor  may  show  up  pretending  to  be  a  patient,  but  not  when.  To  get  around 
the fact actors can’t be subjected to invasive exams, in some studies the actor pretends to be the parent 
of a sick child who is at home, with, for example, diarrhea or symptoms of pneumonia.19 Providers mostly 
did better in the vignettes than they did when confronted with an actor, suggesting a “know‐do gap”: in 
the case of diarrhea, 74% got the right diagnosis in the vignette but only 3% did in the real‐life interaction 
with  the  actor;  3%  recommended  the  correct  treatment  in  the  vignette  but  none  recommended  the 
correct treatment in the real‐life interaction.  
What  to  do  to  improve  service  delivery  quality?  One  rather  sobering  finding  from  one  health  study20  is 
that while providers in better‐equipped facilities asked more questions and did more tests, they were not 
more likely to recommend the  correct  treatment.  Another health study21 found that  providers with dual 
public‐private practices performed better in their private practice than in their public practice, suggesting 
financial incentives may play a role – a theme explored in a separate note in this series.  
The  above  assumes  that  poor  service  quality  is  indeed  the  reason  why  getting  children  into  school  does 
not  automatically  ensure  learning  and  why  getting  patients  in  to  health  facilities  does  not  automatically 

                                                            
19
    Mohanan M, Vera‐Hernández M, Das V, Giardili S, Goldhaber‐Fiebert JD, Rabin TL, Raj SS, Schwartz JI, and Seth 
A. The Know‐Do Gap in Quality of Health Care for Childhood Diarrhea and Pneumonia in Rural India. JAMA 
Pediatrics 2015; 169(4): 349‐57. 
20
    Das J, Holla A, Das V, Mohanan M, Tabak D, and Chan B. In Urban and Rural India, A Standardized Patient Study 
Showed Low Levels of Provider Training and Huge Quality Gaps. Health Affairs 2012; 31(12): 2774‐84. 
21
    Das J, Holla A, Mohpal A, and Muralidharan K. Quality and Accountability in Health Care Delivery: Audit‐Study 
Evidence from Primary Care in India. American Economic Review 2016; 106(12): 3765‐99. 

                                                               10 
 
ensure better health. Studies support this hypothesis. One study22 found that going from having a teacher 
in  the  bottom  quality  decile  to  one  in  the  top  is  equivalent  to  a  full  additional  business‐as‐usual  year  of 
learning for students. Another study23 compared mortality in high‐income countries and mortality in low‐ 
and  middle‐income  countries  (LMICs),  and  concluded  that  of  the  8.6  million  excess  deaths  in  LMICs  that 
were amenable to medical care, the bulk (5.0 million) were due to receipt of poor‐quality care rather than 
non‐receipt of care.  
                                       




                                                            
22
    Bau N, and Das J. The Misallocation of Pay and Productivity in the Public Sector: Evidence from the Labor Market 
for Teachers. The World Bank, Policy Research Working Paper Series: 8050; 2017. 
23
    Kruk ME, Gage AD, Joseph NT, Danaei G, García‐Saisó S, and Salomon JA. Mortality Due to Low‐Quality Health 
Systems in the Universal Health Coverage Era: A Systematic Analysis of Amenable Deaths in 137 Countries. The 
Lancet 2018; 392 (10160): 2203‐12. 

                                                               11 
 
 
           3. How Service Providers Are Paid Matters as Much as How Much They Are Paid 

                                         Deon Filmer and Adam Wagstaff 
                                                             
Service providers, such as schoolteachers or health workers, must be paid. How they are paid shapes their 
incentives to provide high‐quality services as much – if not more than – how much they are paid. Service 
providers around the world typically are paid in one of three ways, each of which is problematic:24  
 
        According to the specific services they provide (fee‐for‐service). This approach is quite common 
         in health. This approach incentivizes the provision of services, and if the payer can observe quality, 
         it  may  also  encourage  the  provision  of  quality  services.  But  it  also  incentivizes  the  provision  of 
         unnecessary  services  in  environments  where  it  is  hard  for  the  payer  to  establish  whether  the 
         marginal service is necessary. Fee‐for‐service also encourages providers to “upcode” – to pretend 
         the service was more complex than it really was.  
          
        According  to  the  number  and  characteristics  of  the  people  they  serve  (capitation).  A  school 
         could  get  a  fixed  amount  per  enrolled  pupil.  A  primary  health  care  provider  could  get  a  fixed 
         amount per person on their list. These amounts could vary according to the demographics of the 
         population  served,  with  schools  getting  more  generous  capitation  payments  for  older  or  poorer 
         children  and  primary  health  care  providers  getting  more  generous  payments  for  seniors  and 
         women.  A  hospital  could  get  paid  a  specific  amount  for  each  patient  with  a  specific  diagnosis  or 
         for  each  patient  in  a  specific  diagnosis  group.   However,  capitation  encourages  providers  to  list 
         more people as being served, but disincentivizes delivering services to them – since providers get 
         the  capitation  payment  anyway.  It  also  discourages  providers  from  taking  on  hard‐to‐serve 
         groups, e.g. very old people or students with learning difficulties, and to skimp on quality. 
          
        According  to  their  own  characteristics  (budget‐and‐salary).  A  doctor  or  a  teacher  could  get  a 
         salary,  linked  perhaps  to  their  seniority;  a  hospital  could  get  a  budget  linked  perhaps  to  the 
         number  of  beds  it  has  or  the  number  of  operating  rooms;  a  school  could  get  a  budget  based  on 
         the number of classrooms it has. But salaries and budgets fail to reward effort, and often, as one 
         commentator25 puts it, “condone on‐the‐job leisure”. 

Unsurprisingly,  sticking  with  the  same  payment  method  and  simply  making  it  more  generous  is  not  the 
answer.  A  study  of  public‐sector  health  providers  in  India26  found  that  the  size  of  the  provider’s  salary 
made  no  difference  to  the  quality  of  their  performance.  This  is  consistent  with  an  experiment  in 
Indonesia27 where teachers’ salaries were doubled with no impact on student learning.  
                                                            
24
    Robinson JC. Theory and Practice in the Design of Physician Payment Incentives. Milbank Quarterly 2001; 79(2): 
149. 
25
    Das J, Holla A, Mohpal A, and Muralidharan K. Quality and Accountability in Health Care Delivery: Audit‐Study 
Evidence from Primary Care in India. American Economic Review 2016; 106(12): 3765‐99. 
26
    Das J, Holla A, Mohpal A, and Muralidharan K. Quality and Accountability in Health Care Delivery: Audit‐Study 
Evidence from Primary Care in India. American Economic Review 2016; 106(12): 3765‐99. 
27
    De Ree J, Muralidharan K, Pradhan M, and Rogers H. Double or Nothing? Experimental Evidence on an 
Unconditional Teacher Salary Increase in Indonesia. Quarterly Journal of Economics 2018; 133(2): 993‐1039. 

                                                           12 
 
Some  countries  have  decided  to  switch  between  these  three  approaches.  During  the  1990s  and  early 
2000s, countries in Europe and Central Asia (ECA) moved from paying hospitals through budgets to either 
fee‐for‐service or some form of method based on patient characteristics. As expected, in countries in the 
first camp, inpatient admissions increased, while in countries in the second camp, average length‐of‐stay 
(a measure of the volume of care) fell.28  
Reforms  along  these  lines  fail  to  address  the  key  point  that  all  three  payment  methods  have  their 
strengths and weaknesses.  Moving from one payment method  to another simply means  trading one set 
of strengths and weaknesses for another.  A more sophisticated approach has been to search for a blend 
of  one  or  more  of  the  payment  methods  in  the  hope  of  encouraging  providers  to  deliver  only  necessary 
quality services. In health, getting the right formula in blended schemes has proved a challenge – in both 
developed  and  developing  countries.  So  too  has  setting  up  the  necessary  additional  administrative 
machinery, making some ask whether the extra benefits are worth the extra cost.29  
In  China,  where  primary  health  providers  have  traditionally  been  paid  fee‐for‐service,  the  concern  has 
been  over‐provision  of  care,  especially  of  drugs  and  tests  which  were  priced  above  cost  in  the 
government‐set fee schedule.30 Recently  the  country has explored alternative payment methods. In one 
experiment,31  one  group  of  health  centers  was  left  being  paid  fee‐for‐service  while  the  other  group  was 
switched  to  a  mix  of  capitated  global  budget  and  performance‐related  payments  based  on  the 
appropriateness of drug prescribing and patient satisfaction. The blended approach led to less antibiotic 
use and lower patient out‐of‐pocket expenditures.  
An  increasingly  common  hybrid  approach  in  budget  and  salary  systems  is  to  add  a  pay‐for‐performance 
element  to  the  payment  system.  In  education,  schools  and  individual  teachers  might  receive  additional 
payments  linked  to  student  learning  outcomes.  In  health,  facilities  and  individual  health  workers  might 
receive additional payments linked to the delivery of specific services (e.g. antenatal visits, the delivery of 
babies  in  a  health  facility,  childhood  immunization)  or  to  the  quality  of  care  (e.g.,  a  specific  set  of 
interventions being delivered, and specific checks being done during the antenatal visits).  
Many of these are supported by the World Bank and many have been or are being rigorously evaluated. 
An  ongoing  Development  Research  Group  study  of  the  experiences  to  date  in  the  health  sector32  uses 
meta‐analysis  to  distill  results  across  these  evaluations.  Preliminary  results  point  to  substantial 
heterogeneity in impacts across countries and across indicators. Emerging findings suggest relatively large 
and  statistically  significant  effects  of  pay‐for‐performance  on  facility  deliveries  and  on  the  content  of 
antenatal  care  visits,  but  limited  or  negligible  effects  on  other  indicators,  including  the  likelihood  of  a 
woman having four or more antenatal care visits, the likelihood of  a baby receiving postnatal  care and a 
child being fully immunized. In education, too, the results to date are mixed. Some studies33,34 have found 
                                                            
28
    Moreno‐Serra R, and Wagstaff A. System‐Wide Impacts of Hospital Payment Reforms: Evidence from Central and  
EasternEurope and Central Asia. Journal of Health Economics 2010; 29(4): 585‐602. 
29
    Maynard A. The Powers and Pitfalls of Payment for Performance. Health Economics 2012; 21(1): 3‐12. 
30
    Wagstaff A, Lindelow M, Wang S, and Zhang S. Reforming China’s Rural Health System. Washington DC: World 
Bank; 2009. 
31
    Yip W, Powell‐Jackson T, Chen W, Hu M, Fe E, Hu M, Jian W, Lu M, Han W, and Hsiao WC. Capitation Combined 
With Pay‐for‐ Performance Improves Antibiotic Prescribing Practices in Rural China. Health Affairs 2014; 33(3): 
502‐10. 
32
    de Walque D, Friedman J, Neelsen S, and Wagstaff A. Supply‐ & Demand‐Side Financial Incentives in Maternal & 
Child   Health. A Systematic Review & (Mega) Meta‐Analysis. In progress 2019. 
33
    Cilliers J, Kasirye I, Leaver C, Serneels P, and Zeitlin A. Pay for Locally Monitored Performance? A Welfare Analysis 
for  
Teacher Attendance in Ugandan Primary Schools. Journal of Public Economics 2018; 167: 69‐90. 
34
    Muralidharan K, and Sundararaman V. Teacher Performance Pay: Experimental Evidence from India. Journal of 
Political  Economy 2011; 119(1): 39‐77. 

                                                               13 
 
positive  effects  of  pay‐for‐performance  schemes  on  teacher  behaviors  and  student  learning,  while 
others35,36 have found no effects.  
The  health  meta‐analysis  is  exploring  the  causes  of  the  heterogeneity  in  results,  which  may  be  due  to 
differences in the design of the pay‐for‐performance scheme (e.g., the generosity of the payments relative 
to cost) and its implementation. Evidence from the education sector is already pointing in this direction. 
A  recent  study37  found  a  pay‐for‐performance  scheme  in  Tanzania’s  schools  was  more  successful  if 
combined with additional spending on school inputs.  
In  summary,  all  payment  schemes  shape  service  provider  incentives,  and  all  three  basic  schemes  have 
advantages and disadvantages. Blending elements from one or more holds promise but getting the design 
and implementation of a blended provider payment scheme right is not straightforward.  
                                    




                                                            
35
    Fryer RG. Teacher Incentives and Student Achievement: Evidence from New York City Public Schools. Journal of 
Labor Economics 2013; 31(2): 373‐407. 
36
    Barrera‐Osorio F, and Raju D. Teacher Performance Pay: Experimental Evidence from Pakistan. Journal of Public 
Economics 2017; 148: 75‐91. 
37
    Mbiti I, Muralidharan K, Romero M, Schipper Y, Manda C, and Rajani R. Inputs, Incentives, and 
Complementarities in 
Education: Experimental Evidence from Tanzania. National Bureau of Economic Research, Inc, NBER Working 
Papers: 24876; 2018. 
 

                                                               14 
 
      4. To Design Good Policies, Macro Outcomes Need to Be Understood “From the Ground Up”  

                                                Roberto Fattal, Hiau Looi Kee, and Sergio Schmukler 
                                                                          
Traditionally, macroeconomic outcomes such as growth, economic fluctuations, and reactions to policies 
and shocks have been studied using aggregate data at the country level. A flurry of new research over the 
past decade has centered on using micro data at the product, firm, and sector level to shed new light on 
aggregate outcomes. 
 
Macro insights from firm dynamics   
 
One  approach  analyzes  the  macroeconomic  implications  of  firm‐level  dynamics  and  the  misallocation  of 
inputs  and  production  across  firms.38  By  studying  macroeconomic  performance  as  a  result  of  the 
interaction  of  individual  firms  and  the  surrounding  business  environment,  we  have  learned  how  policy 
distortions at the firm level affect firms’ behavior and lead to worse aggregate outcomes. 
 
One  example  is  the  allocation  of  credit.  Traditionally,  the  effect  of  financial  conditions  on  economic 
growth  was  studied  by  comparing  economic  performance  across  countries  with  different  credit  market 
institutions.  Developed  financial  markets  foster  prosperity  by  allocating  capital  efficiently  across  the 
various  production  possibilities  in  the  economy.  Even  if  the  cross‐country  comparison  could  uncover  a 
positive  relation  between  financial  development  and  growth,  it  would  be  silent  about  the  mechanism 
through which such a positive relation works.   
The  new  firm‐level  approach  to  the  question  proves  to  be  very  revealing.  Recent  research  shows  that 
financial markets benefit growth by directly providing credit to firms with good opportunities.39 Although 
the overall functioning of financial markets is important, the allocation of credit across firms matters for 
economy‐wide growth. Small firms as well as young that create novel products and technologies but that 
lack the financing to scale up tend to be harmed the most by misallocation of credit.  In countries where 
credit is expensive and hard to access, firms typically are small, leading to a misallocation of credit. Large 
firms that are relatively less productive end up producing a significant share of the output, while smaller 
more productive firms are unable to grow and to contribute as much as they could. Credit frictions tend 
to discourage firm entry and creative destruction, leading to poor economic performance.40 
A  policy  implication  is  that  just  developing  financial  markets  might  not  be  enough  to  generate  growth  –  
ensuring  that  credit  flows  to  the  firms  that  have  growth  potential  is  as  important.41  Beyond  financial 
markets,  public  policy  should  take  into  account  how  different  economic  agents  respond  differently  to 
policies.  The  regulation  of  entry,  for  instance,  should  consider  the  incentives  for  low‐scale 


                                                            
38 
    Hsieh,  C.T.,  Klenow,  P.,  2009,  “Misallocation  and  Manufacturing  TFP  in  China  and  India.”  Quarterly  Journal  of 
Economics, 4: 1403‐1448. 
39
     Buera,  F.,  Kaboski,  J.,  Shin,  Y.,  2011,  “Finance  and  Development:  A  Tale  of  Two  Sectors.”  American  Economic 
Review, 101(5): 1964‐2002. 
40
     Midrigan  V.,  Xu,  D.,  2014,  “Finance  and  Misallocation:  Evidence  from  Plant‐Level  Data,”  American  Economic 
Review, 104(2): 422‐58 
41
    Bruhn, M., McKenzie, D., 2014, “Entry Regulation and Formalization of Microenterprises in Developing Countries”, 
World Bank Research Observer, 29 (2): 186‐201, 2014. 
Didier,  T.,  Levine,  R.,  Llovet,  R.,  Schmukler,  S.,  2014,  “Capital  Market  Financing  and  Firm  Growth,”  Mimeo,  World 
Bank. 

                                                                        15 
 
entrepreneurship to become informal.42 Similarly, tax policy should anticipate distortions to firm growth 
that  happen  when  firms  of  different  sizes  face  differential  enforcement.43  These  are  examples  that 
illustrate  the  breadth  of  the  importance  of  understanding  the  aggregate  impact  of  policies  at  a  more 
disaggregated level. 
 
Micro evidence on the aggregate welfare effects of trade   
 
Micro‐level  evidence  yields  important  new  insights  on  aggregate  outcomes  in  the  field  of  international 
trade as well.  Influential recent research shows that the aggregate welfare gains from trade may not be 
as  big  as  previously  thought,  particularly  for  large  countries  with  a  smaller  share  of  trade  in  GDP.44 
However,  subsequent  research  based  on  micro  data  on  products,  firms,  and  industries  shows  that  there 
are  subtle  but  important  nuances  in  the  calculations  of  aggregate  welfare  gains  from  trade  that  could 
depend  on  sectoral  linkages  and  the  structure  of  the  tariffs.   If  the  products  of  one  sector  are  used  as 
inputs in other sectors, then the aggregate welfare gains from trade could be higher as expansion in one 
sector  indirectly  benefits  the  other  sectors  through  these  linkages.45    On  the  other  hand,  for  those 
countries where higher tariffs are imposed on imported products that respond less to tariff changes, the 
aggregate  welfare  gains  from  trade  could  be  less.46  This  could  be  because  firms  are  locked  into  fixed 
import patterns in global value chains and may not switch inputs in response to tariff changes in the short 
run.  All these nuances are missing when we only focus on aggregate statistics such as average tariff rates. 
 
The bottom‐up approach yields insights on how trade affects workers, firms, and localities differently. For 
example,  low‐cost  imports  from  China  increase  unemployment,  lower  labor  force  participation,  and 
reduce  wages  in  some  local  labor  markets  in  the  United  States,  contributing  to  one‐quarter  of  the 
contemporaneous  aggregate  decline  in  U.S.  manufacturing  employment,  even  though  the  aggregate 
welfare gains from trade with China are positive.47 
 
The firm‐level approach also reveals that there are significant downward biases in aggregate measures of 
domestic  value  added  embodied  in  exports.  This  is  because  aggregate  statistics  are  mainly  constructed 
based on data from large firms, which tend to use more imported material inputs and therefore produce 
less domestic value added. The new firm‐level approach aggregates firms’ domestic value added from the 
ground  up  based  on  customs  transaction  data  for  all  firms,  not  just  large  ones.  Based  on  this  firm‐level 



                                                            
42
    Bruhn, M., McKenzie, D., 2014, “Entry Regulation and Formalization of Microenterprises in Developing Countries”, 
World Bank Research Observer, 29(2): 186‐201, 2014. 
43
    Bachas, P., Fattal‐Jaef, R. N., Jensen, A., 2019, “Size‐Dependent Tax Enforcement and Compliance: Global Evidence 
and Aggregate Implications.” Journal of Development Economics, 140. 
44
     Arkolaskis,  C.,  Arnaud  C.,  Rodriguez‐Clare,  A.,  2012,  “New  Trade  Models,  Same  Old  Gains?”  American  Economic 
Review 102(1): 94‐130. 
45
    Caliendo, L., and Parro, F. 2015.  ”Estimates of the Trade and Welfare Effects of NAFTA.”  The Review of 
Economic Studies 82 (1), 1–44. 
46
    Kee, H.L., and Nicita, A. 2017.  "Gains from Trade and Heterogeneous Trade Elasticities: Assessing the Short 
Term Impact of Brexit on the United Kingdom's Export of Goods," World Bank Policy Research Working Paper8195. 
47
    Autor, D., Dorn, D., and Hanson, G. 2014, “The China Syndrome: Local Labor Market Effects of Import Competition 
in the United States.” American Economic Review. 

                                                               16 
 
evidence, new research shows that the domestic value added of China’s exports is higher than previously 
thought, and rising over time due to trade and FDI liberalization.48 
 
One  important  policy  implication  from  the  micro  approach  to  trade  is  to  have  targeted  redistribution 
policies in place when countries experience trade shocks, given that trade impacts are often very localized. 
For  example,  new  World  Bank  work  finds  that  globalization  increases  income  inequality  significantly 
across  locations  rather  than  across  industries.  Therefore,  labor  market  policies  focusing  on  industries, 
such  as  U.S.  “Trade  Adjustment  Assistance”,  can  be  less  effective  than  location‐based  or  active  labor 
market policies, such as Denmark’s “Flexicurity.”49 
 
The World Bank has already taken steps in the direction of helping policy makers design policy based on 
insights  from  this  ground‐up  approach.  It  has  been  doing  so  by  developing  statistical  tools  that  enable 
countries to track the heterogeneous effects of existing policies, such as the Exporter Dynamics Database 
and  the  Enterprise  Surveys.  Moreover,  it  has  increasingly  showcased  the  importance  of  a  firm‐level  and 
sectoral‐level approach to macroeconomic variables in its various analytical and research products, such 
as the latest World Development Report on global value chains. 
 
      
                                     




                                                            
48
     Kee,  H.,  Heiwai  T,  2016,  “Domestic  Value  Added  in  Exports:  Theory  and  Firm  Evidence  from  China.”  American 
Economic Review. 
49
    Artuc, E., Lee, E., and Bastos, P., 2019, “Trade, Jobs, and Worker Welfare,” Mimeo, World Bank. 

                                                               17 
 
                                                                                 
                         5. Designing Good Policies Is One Thing, Implementing Them Is Another 

                                                               Norman Loayza and Michael Woolcock 
                                                                                 
Forging and adopting technically sound policies is necessary for successful development, but it is not 
enough: any policy is only as good as its implementation. Policy implementation can fail for two broad 
reasons: (1) the absence of complementary measures needed to make the chosen policy effective; and 
(2) the inadequate capability of prevailing institutions and administrative systems.50  
 
The development community has long championed individual policies and programs as the solution to 
development problems: building schools and making schooling mandatory to improve education, 
lowering barriers to entry for enterprises to reduce informality, increasing the number of policemen to 
fight crime, pegging the exchange rate to lower inflation, and so on. But without a supporting 
institutional framework and capable public sector organizations to implement them, even technically 
sound policies and programs are likely to fail. This realization can explain the wide variety of outcomes 
of specific interventions and policies, as well as broad developmental approaches. It can also explain the 
frustrating performance of foreign aid in driving development outcomes – providing money to countries 
without competent institutions and accountable leaders may only result in waste and corruption.51 

The need for complementary policies and institutions 
 
Complementary policies can make reforms successful.52 Children do not learn if they are hungry, so 
educational and nutritional policies should go hand in hand.53 Parents do not vaccinate their children if 
they are struggling to survive, so immunization campaigns should target the poor and provide pecuniary 
benefits to families that participate.54 Farmers do not adopt new crops and technologies that are 
potentially more profitable but also riskier, so introducing new farming practices should be 
accompanied by improved insurance mechanisms and access to markets.55 This principle of 
complementarity also applies to macroeconomic policies. Trade openness cannot promote 

                                                            
50
    See Matt Andrews, Lant Pritchett, and Michael Woolcock (2017). Building State Capability: Evidence, Analysis, 
Action. New York: Oxford University Press. 
51
    See David Dollar and Lant Pritchett (1998). Assessing Aid: What Works, What Doesn’t, and Why. Washington, DC: 
World Bank). For a more recent work, see Dan Honig (2018). Navigation by Judgment: Why and When Top Down 
Administration of Foreign Aid Doesn’t Work. New York: Oxford University Press. 
52
    See Raphael Bergoeing, Norman Loayza, and Facundo Piguillem (2016). “The Whole is Greater than the Sum of 
Its Parts: Complementary Reforms to Address Microeconomic Distortions.” World Bank Economic Review 30 (2): 
268–305. 
53
    See Abhijit V. Banerjee and Esther Duflo (2007). “The Economic Lives of the Poor.” Journal of Economic 
Perspectives 
21 (1): 141–68. 
54
    See, for instance, Abhijit Banerjee, Esther Duflo, Rachel Glennerster, and Dhruva Kothari (2010). “Improving 
Immunisation Coverage in Rural India: Clustered Randomised Controlled Evaluation of Immunisation Campaigns 
with and without Incentives.” British Medical Journal 340 (May 17): c2220. 
55
    See, for example, Dean Karlan, Robert Osei, Isaac Osei‐Akoto, and Christopher Udry (2014). “Agricultural 
Decisions after Relaxing Credit and Risk Constraints.” Quarterly Journal of Economics 129 (2): 597–652. 

                                                                               18 
 
competitiveness if domestic industries are burdened with excessive regulations, so international 
openness should be accompanied by streamlining regulations and improving public infrastructure.56     
 
Beyond a mix of policies, complementary institutions are also needed for successful reforms.57 Consider, 
for instance, the “Washington Consensus,” which in the early 1990s encouraged a familiar combination 
of macroeconomic stabilization, trade openness, and market liberalization policies to promote economic 
growth and poverty alleviation.58 The Washington Consensus policies by themselves make sense and are 
potentially useful, but this potential can only be realized when the policies are accompanied by 
complementary institutions and organizations that make them synergistic and sustainable:59 a 
regulatory framework that promotes competition and market flexibility; an autonomous central bank 
that directs monetary policy to promote price and financial stability; and a government that manages 
resources responsibly to provide public services, social protection, and infrastructure. Failure to improve 
the institutional environment can lead to disappointing economic and social outcomes and even the 
reversal of well‐intended policy reforms. Arguably, this is what happened in Argentina over the last two 
decades, as the country searched for macroeconomic stability and growth without the ability to reform 
the institutions that controlled fiscal resources at the national and regional levels.60 From specific 
sectoral interventions to large macroeconomic reforms, a conducive institutional environment is critical 
to their success. 
 
The critical importance of strong implementation capacity 
 
No less important is the capacity of the public sector to implement policies and manage institutions. 
Inadequate public sector capacity undermines policy effectiveness. This gap is often evident in service‐
delivery sectors that require many people to interact over long periods of time and to exercise 
considerable discretion – and who are often under pressure not to do their job (such as tax collectors 
and law enforcement officers).61 For instance, to “produce” a young adult able to contribute to the 
modern economy takes at least 12 years of formal education, which equates to roughly 12,000 hours of 
classroom instruction. Yet many countries struggle to implement even the most rudimentary aspect of 
the education challenge: ensuring that their teachers actually show up for work, let alone deliver a 
thousand hours of classroom time each year. More broadly, most countries have enacted sound policies 
pertaining to the provision of universal primary education, but many of them lack robust institutional 


                                                            
56
    Roberto Chang, Linda Kaltani, and Norman Loayza (2009). “Openness Can Be Good for Growth: The Role of 
Policy Complementarities." Journal of Development Economics 90 (1): 33–49. 
57
    The scholarly work on the fundamental role of institutions is vast, boosted by the seminal paper of Daron 
Acemoglu, Simon Johnson, and James Robinson (2001). “The Colonial Origins of Comparative Development: An 
Empirical Investigation.” American Economic Review 91 (5): 1369–1401. 
58
    The “Washington Consensus,” as a set of policies, was first codified in John Williamson, ed. (1990). Latin 
American Adjustment: How Much Has It Happened? Washington, DC: Institute for International Economics. 
59
    This is one of the main conclusions of a self‐critical 2005 report by the World Bank: Economic Growth in the 
1990s: Learning from a Decade of Reform. Washington, DC: World Bank. See also Shahid Burki and Guillermo Perry 
(1998). Beyond the Washington Consensus: Institutions Matter. Washington DC: World Bank.  
60
    Federico Sturzenegger (2019). “Macri’s Macro: The Meandering Road to Stability and Growth.” Brookings Papers 
on Economic Activity, Fall, Conference draft. 
61
    Michael Woolcock (2017). “Enhancing the Quality of Public Service Delivery: Insights from Recent Research.” 
Research & Policy Research Brief No. 8, World Bank Group, Washington, DC. 

                                                               19 
 
support and implementation capability to carry out those policies.62 This results in enormous variation in 
performance: students in Vietnam perform as well as those in many OECD countries, while students in 
other middle‐income countries can attend school for a decade yet still struggle to read a newspaper 
headline or do double‐digit subtraction.  
 
Much the same can be said of anti‐corruption campaigns: countries can hire experts to write laws 
denouncing the use of public resources for private gain, but in practice such policies only work to the 
extent that front‐line staff, their managers, and the whole public sector hierarchy are bound by strong 
standards, norms, and controls and are provided with incentives that are effectively enforced. 
Experimental and other research has carefully documented the ways in which organizational norms and 
incentives shape employee performance. In India, the same doctor working in her private practice after 
hours is vastly more diligent than when working in the public sector;63 in Ghana, certain units within 
national ministries have created work environments enabling them to perform at considerably higher 
levels than others.64 
 
The World Bank is taking these concerns more seriously, even as it has struggled, over multiple decades, 
to become a true learning organization.65 The expansion of the Bank’s sectoral agenda (into wide‐
ranging areas such as governance, social development, gender equality, and climate change) and the 
global imperative to become more active in fragile states have generated a corresponding demand to 
deploy an array of implementation strategies. Meeting the Bank’s corporate objectives and, more 
importantly, helping our clients meet theirs, will entail not only adopting better policies but also giving 
more focused attention to building complementary support systems and organizations with strong 
implementation capacity.                                     




                                                            
62
    This is amply demonstrated in the World Bank’s 2018 World Development Report, Learning to Realize 
Education´s Promise. 
63
    Jishnu Das and Jeffrey Hammer (2005). “Which Doctor? Combining Vignettes and Item Response to Measure 
Clinical Competence.” Journal of Development Economics 78 (2): 348–83. 
64
    Erin McDonnell (2017). “Patchwork Leviathan: How Pockets of Bureaucratic Governance Flourish Within 
Institutionally Diverse Developing States.” American Sociological Review 82 (3, June): 476–510.  
65
    Independent Evaluation Group, World Bank (2014). “Learning and Results in World Bank Operations: How the 
Bank Learns.” Washington, DC: World Bank. 

                                                               20 
 
                                                         
        6. Policy Makers and Aid Donors Need to Take the Politics of Development Seriously 

                                    Vijayendra Rao and Michael Woolcock 
                                                         
Politics shape development outcomes. The World Bank, in recent World Development and Policy 
Research Reports66, encourages all development actors to focus on the political incentives of those in 
positions of power, which often conflict with providing public goods and upholding civic norms. 
Analytical approaches such as ‘Thinking and Working Politically’67 offer practical tools for assessing how 
different forms and sources of power influence institutional structures and shape whose voices, 
interests, priorities and aspirations prevail. 
 
Taking the politics of development seriously also means taking accountability mechanisms and the 
legitimacy of decision‐making processes seriously. Politics is not just something that transpires in the 
proverbial ‘corridors of power’ in courts, parliaments and board rooms, but in everyday social 
interactions. This helps to understand how local elites are simultaneously enabled and constrained in 
their leadership roles, how policy problems and their corresponding solutions are selected, and how 
success or failure is determined. 
 
Accountability: Citizens and Communities Matter 
 
There is an increasing realization that better development outcomes are delivered within institutional 
systems where citizens and communities matter. Accountability is not just “upward” (i.e., where 
bureaucrats are largely concerned about what their superiors think) but also “downward” (i.e., where 
elected officials and government agents are held accountable by citizens for the delivery of public 
services).68 Elections are one mechanism of accountability, but they are not enough because they are 
held infrequently and can be captured by elites. Elections need to be complemented by citizen bodies – 
institutions for collective and deliberative decision‐making where the voices of citizens can be heard and 
where they are able to monitor the performance of governments.  
 
This is particularly true for decisions made at the local level: in neighborhoods, villages and cities, where 
policy actions have a direct bearing on people’s lives. Building participatory institutions is complex and 
requires a different approach to development – one that is more long‐term, sensitive to unpredictable 
changes, and adaptable via systematic learning‐by‐doing. Building effective community and citizen‐
based cultures of governance can, over the long term, help societies more effectively address problems 
of public service delivery, poverty, inequality, risk, and the challenges of a changing climate in ways that 
are perceived as legitimate, thereby reflecting local priorities and aspirations.69  

                                                            
66
    See World Bank (2016) World Development Report 2017: Governance and the Law (Washington, DC: World 
Bank), and World Bank (2016) Making Politics Work for Development: A Policy Research Report (Washington, DC: 
World Bank). 
67
    Various documents associated with this approach are available at https://twpcommunity.org/ 
68
    Jonathan Fox (2015) ‘Social Accountability: What Does the Evidence Really Say?’ World Development 72(8): 346‐
361 
69
    See https://participedia.net/ for examples, descriptions and research summaries on such citizen‐based 
institutions from around the world.  

                                                       21 
 
 
An important example of this is participatory budgeting, where citizens jointly work with local  
officials to formulate budget priorities.70 Evidence from Brazil shows that with participatory  
budgeting decisions tend to be better matched with citizen preferences and result in allocations that are 
more pro‐poor.71  Another is the Gram Panchayat system in India, which covers two million villages 
across the country and combines regular elections for local elected officials with Gram Sabhas – citizen 
forums held four times a year, which are tasked with allocating resources for public goods and vetting 
lists of people eligible for public benefits.  A recent review of evidence shows that holding a Gram Sabha 
was correlated with lower corruption, that views expressed in them were broadly representative, and 
that it made citizen participation more equitable.72
 
Legitimacy of Decision‐Making Processes 
 
How difficult and contentious social outcomes (such as elections, judicial rulings, or even the extent of 
inequality) are reached has enormous bearing on their legitimacy and the extent to which they are 
accepted, especially by those who would have strongly preferred a different outcome.73 Political parties 
that lose close elections can accept this outcome if they believe that votes were cast and tallied 
impartially; citizens tolerate higher levels of inequality to the extent the wealthy are perceived as having 
gained their riches by diligence, innovation and prudence (not theft, deception or corruption). Process 
legitimacy issues are underappreciated by development agencies and economics generally – but their 
importance is steadily gaining traction. 
 
Process legitimacy matters for the World Bank, because how it promotes difficult change as part of a 
development strategy will play a large role in shaping its legitimacy and thus the willingness of citizens 
to embrace the accompanying uncertain social challenges. This matters in areas such as building the rule 
of law, modernizing the public sector, diversifying employment, improving regulation, and developing 
tax capacity. Securing and sustaining legitimacy is likely to be deeply context‐specific, varying 
considerably between and within countries. Even professional ‘best practices’ (fiscal rules, meritocratic 
hiring) and scientifically verified ‘solutions’ (immunizations, fertilizers) must earn local legitimacy and 
credibility before they will be embraced, at scale. Creating public spaces within which such practices and 
solutions can be identified, adapted to the local context, and/or be improved is a key way in which 
legitimacy is acquired. 
 
Finally, earning legitimacy requires methodologies suited to those who are most affected by a given 
intervention. People who are illiterate and/or innumerate, for example, are unlikely to convey their 
needs, experiences, concerns and aspirations regarding a particular development initiative using the 
                                                            
70
    This emerged in Porto Alegre in Brazil and has since been institutionalized in several different countries. See 
Gianpaolo Baiocchi, Marcelo Kunrath Silva, and Patrick Heller (2011) Bootstrapping Democracy: Transforming Local 
Governance and Civil Society in Brazil (Palo Alto, CA: Stanford University Press). 
71
    Sónia Gonçalves (2014) ‘The Effects of Participatory Budgeting on Municipal Expenditures and Infant Mortality in 
Brazil,” World Development 53(1): 94‐110. 
72
    Ramya Parthasarathy and Vijayendra Rao (2018) “Deliberative Democracy in India,” in Andre Bächtiger, John S. 
Dryzek, Jane Mansbridge, and Mark Warren (editors) Oxford Handbook of Deliberative Democracy (New York: 
Oxford University Press)  
73
    Vijayendra Rao (2019) “Process‐Policy and Outcome‐Policy: Rethinking How to Address Poverty and Inequality,” 
Daedalus 148(3): 181‐190 

                                                               22 
 
formal discourse, administrative categories and empirical metrics familiar to researchers and project 
managers. Securing legitimacy requires the analytical foundations of pro‐poor projects to make sense to 
those whose lives and livelihoods will be most affected by them. Such projects are most likely to emerge 
from analytical foundations that integrate formal statistical data with qualitative approaches grounded 
in the distinctive realities of local communities. In work in India with India’s $5 billion portfolio of 
women’s self‐help group projects, such an approach resulted in more gender‐equal participation, better 
project implementation, better access to credit and improved climate resilience.74  
 
                                     




                                                            
74
   See various papers, and other material in the website of the World Bank’s Social Observatory 
http://socialobservatory.worldbank.org/, and Yuen Yuen Ang (2019) Integrating Big Data and Thick Data to 
Transform Public Service Delivery (IBM Center for Business and Government). 

                                                               23 
 
 
                          7. Implementing Successful Small Interventions at a Large Scale Is Hard 

                                                               Robert Cull and David McKenzie 
                                                                               
The last decade has seen a large increase in the number of policy evaluations, with many pilot programs 
tested  rigorously  for  their  impacts.  This  is  a  boon  to  governments  looking  to  practice  evidence‐based 
policy  making.  However,  even  when  pilots  and  local  development  interventions  have  proven  very 
successful,  they  have  often  been  difficult  to  scale  up  in  a  cost‐effective  way  to  achieve  development 
impact  on  a  large  scale.  Conversely,  several  development  interventions  that  have  managed  to  achieve 
impressive  scales  at  relatively  low  costs  are  increasingly  under  scrutiny  for  their  lack  of  transformative 
impacts on the lives of the poor. This raises key questions about why promising programs are so hard to 
scale, and what can be done to enhance the impacts of large‐scale programs. 
 
Taking successful pilots to scale is challenging 
 
A  recent  meta‐analysis  of  more  than  600  research  papers  covering  20  different  types  of  development 
interventions  found  that  the  larger  the  study,  the  smaller  the  size  of  the  effect,  and  that  programs 
implemented  by  governments  tend  to  have  smaller  effect  sizes  than  academic  or  NGO‐implemented 
programs.75  Moreover,  several  recent  experiences  provide  stark  examples  of  successful  pilot  programs 
not having the intended impacts when taken to scale: 
 
      A  first  example  comes  from  efforts  to  reform  education  in  Kenyan  primary  schools  by  changing 
         the way teachers are hired.76 New teachers offered a fixed‐term contract by an international NGO 
         significantly  raised  test  scores.  However,  when  the  Kenyan  government  offered  identical 
         contracts, this produced zero impact. 
      A  second  example  is  seen  in  efforts  to  help  low‐income  agricultural  workers  in  rural  Bangladesh 
         to be less vulnerable to seasonal food insecurity during the agricultural lean season. Researchers 
         tested  the  impact  of  offering  small  grants  and  interest‐free  loans  to  enable  these  workers  to 
         temporarily  migrate  to  cities  in  search  of  work.77  This  was  incredibly  successful  in  increasing 
         internal migration flows, delivering higher income and consumption to program participants. The 
         evidence was so striking that Givewell, a charity evaluator, recommended this program as one of 
         the  best  values  for  money  approaches  of  helping  the  poor,  and  an  NGO  scaled  up  the  program 
         dramatically  to  reach  over  150,000  households  in  2017.  However,  evaluations  of  this  scaled‐up 
         program found it was unsuccessful in increasing migration rates, and the program was shut down. 




                                                            
75
    Vivalt, Eva (forthcoming). “How Much Can We Generalize from Impact Evaluations?”, Journal of the European 
Economics Association. 
76
    Bold, Tessa, with Mwangi Kimenyi, Germano Mwabu, Alice Ng'ang'a and Justin Sandefur. “Experimental Evidence 
on Scaling Up Education Reforms in Kenya”, Journal of  Public Economics, December 2018. 
77
    G. Bryan, S. Chowdhury and A. M. Mobarak, “Under‐investment in a Profitable Technology: The Case of Seasonal 
Migration in Bangladesh,” Econometrica¸ 82(5): 1671‐1748. September 2014. 

                                                                             24 
 
Why is scaling up programs so challenging? 
 
There are a variety of reasons why program impacts may become smaller as programs are taken to scale. 
These  can  include  programs  having  different  effects  on  different  types  of  people,  implementation  and 
political economy issues, and cost challenges. 
 
      Small‐scale  pilots  may  concentrate  efforts  on  those  who  benefit  most.  It  is  natural  for  those 
          planning a pilot to target the most promising households or locations first, where they think the 
          program will have most effect. Any program expansion is then likely to involve relaxing eligibility 
          criteria  to  include  those  who  may  not  have  such  large  benefits  from  the  program.  This  is  seen 
          clearly  in  a  study  of  electricity  conservation  programs  carried  out  in  the  United  States.78  The 
          power  company  began  this  program  by  targeting  locations  it  thought  would  benefit  most  from 
          the  program,  and  subsequent  expansion  to  new  areas  had  much  smaller  effects.  This  was  also 
          one of the reasons behind less impact in the Bangladesh migration example, since scaling up the 
          program meant relaxing eligibility requirements and offering loans to many households for whom 
          lack of credit may not have been the binding constraint. 
      Implementation  and  political  economy  issues  can  arise  as  programs  grow.    Small‐scale  pilots 
          are  often  closely  monitored  and  implemented  with  a  degree  of  oversight  that  becomes 
          challenging to carry out at large scales. This is particularly the case once the government becomes 
          involved  in  implementation,  where  a  combination  of  low  state  capacity,  poor  bureaucratic 
          management, and capture by vested interests can seriously degrade  the quality of the program 
          offered.  This  was  a  key  feature  for  the  lack  of  success  of  government  implementation  of  the 
          Kenyan school reform, as resistance from teacher unions helped prevent the new contracts from 
          working as intended. 
      General  equilibrium  effects  can  further  reduce  some  impacts.  Pilot  programs  to  train  a  small 
          number  of  workers  may  be  successful  in  helping  them  find  new  jobs,  but  when  large  numbers 
          are trained, they may end up competing with one another for a limited set of jobs and the impact 
          on employment could be much lower. 
      Cost issues can make scaling prohibitive. Programs that have large and promising effects when 
          delivered to small numbers of households or firms are often very intensive and expensive, making 
          them challenging to scale up from a fiscal standpoint. 

What can be done to enhance the impacts of programs at scale? 
 
It  is  not  simply  enough  to  see  which  programs  are  successful  in  reaching  large  numbers  of  people  in  a 
cost‐effective way. Microfinance is a good example of an institution that has managed to do this but has 
come  under  increasing  scrutiny  for  not  delivering  the  transformative  development  benefits  that  its 
proponents promised.79  Instead, efforts to scale up programs should: 
 

                                                            
78
     Allcott,  Hunt  “Site  Selection  Bias  in  Program  Evaluation”,  Quarterly  Journal  of  Economics  130  (3,  August  2015): 
1117‐1165. 
79
    Admittedly, a key part of the problem may have been overly optimistic expectations for microcredit among 
some proponents. Its failure to lift recipients out of poverty thus far does not imply that microcredit is not a useful 
financial tool for many poor households. See Cull, Robert, Asli Demirguc‐Kunt, and Jonathan Morduch. “The 
Microfinance Business Model: Enduring Subsidy and Modest Profit,” World Bank Economic Review, 32 (2): 221‐244. 
June 2018.  

                                                                25 
 
             Pay  more  attention  to  the  quality  of  the  bureaucracy  and  to  improving  management  within 
              government. The World Bank’s Bureaucracy Lab80 has been set up to facilitate this. 
             Experiment  with  using  technological  solutions  to  deliver  standardized  products  at  scale.    New 
              technologies may enable replicable and scalable ways of maintaining quality while reaching large 
              numbers  of  people.  For  example,  a  World  Bank  study  with  small  firms  in  Togo  found  personal 
              initiative  training  led  to  large  increases  in  business  profits.81  However,  delivering  this  in  person 
              was  expensive  and  relied  heavily  on  quality  trainers.  An  ongoing  study  in  Ecuador  is  testing  the 
              promise of online training to deliver standardized content to over 20,000 students.  
             Continue  to  evaluate  at  scale.  The  above  lessons  illustrate  the  importance  of  testing  whether 
              programs  work  as  intended  as  they  scale,  and  of  the  number  of  areas  where  further 
              experimentation and learning are needed. 
             Do  not  stop  trying  to  improve.  The  basic  microfinance  model  of  group  loans  to  women  with 
              immediate  and  regular  repayment  has  not  led  to  large  reductions  in  poverty  or  growth  in  small 
              businesses.  But  recent  research  has  suggested  that  modifications  to  this  basic  model,  such  as 
              introducing  more  flexibility  in  the  repayment  structure82,  can  greatly  enhance  the  effectiveness. 
              This highlights the need for continued innovation, even when a program has reached millions of 
              people.  
               
                                             




                                                            
80
   https://www.worldbank.org/en/research/dime/brief/Bureaucracy‐Lab.  
81
    Campos,  Francisco,  Michael  Frese,  Markus  Goldstein,  Leonardo  Iacovone,  Hillary  Johnson,  David  McKenzie,  and 
Mona Mensmann. “Teaching Personal Initiative Beats Traditional Training in Boosting Small Business in West Africa”, 
Science, vol. 357, issue 6357: pp. 1287‐90, 22 September 2017. 
82 
   Field, E., R. Pande, J. Papp, and N. Rigol (2013). Does the Classic Microfinance Model Discourage Entrepreneurship 
among the Poor? Experimental Evidence from India. American Economic Review 103(6): 2196–2226. 

                                                                26 
 
 
                                          8. Basing Policy Decisions on Rigorous Causal Evidence 

                                                               Xavier Giné and Hanan Jacoby 
                                                                              
To  inform  policy  decisions,  policymakers  need  evidence  that  answers  questions  about  causality  such  as 
“how  does  an  SME  credit  program  affect  business  growth?”  This  amounts  to  asking,  “how  would  SMEs 
that participated in the program have fared in the absence of such a program and how would SMEs that 
did  not  participate  have  fared  had  they  participated?”    Answering  such  questions  is  hard.    Simply 
comparing  the  same  firm’s  performance  before  and  after  participation  in  the  program  will  not  give  a 
reliable  estimate  of  the  program’s  impact,  since  other  factors  that  affect  outcomes  may  have  changed 
since the program was introduced.  Identifying the program’s impact is complicated further if the program 
is  voluntary,  and  firms  that  choose  to  participate  are  different  from  those  that  do  not.  Recovering  the 
average  impact  of  the  program  requires  a  comparison  of  firms  that  participated  in  the  program  to  an 
otherwise identical group of firms that did not participate.  
 
The  recent  Nobel  Prize  awarded  to  Abhijit  Banerjee,  Esther  Duflo  and  Michael  Kremer  cited  their 
pioneering work in adapting randomized controlled trials (or RCTs) to answer these types of development 
policy questions. The key idea behind an RCT is that the group that receives the program, and the status 
quo  or  “control”  group  are  chosen  by  random  lottery.   Since  these  groups  are  identical  on  average,  we 
can compare outcomes in both groups over time to credibly estimate the impact of the program.  
Perhaps  more  than  introducing  RCTs  in  development  economics,  however,  the  Nobel  committee 
recognized  the  efforts  of  these  three  prominent  scholars  in  building  a  consensus  that  policy  decisions 
must be informed by rigorous evidence.  In the words of Michael Kremer, “a new medication goes through 
the rigor of an RCT even when it only affects a few thousand people; so, it’s crazy that we spend billions of 
dollars  on  policies  and  programs  affecting  hundreds  of  millions  of  people  with  nothing  close  to  the  same 
level of evidence on effectiveness or lack thereof.” 
RCT evaluations of educational policies have shown that adding an extra teacher to a school may not have 
nearly as much impact on learning as matching instruction to the learning levels of children.83 RCTs have 
shown  that  a  school  deworming  program  greatly  increases  school  participation  and  improves  long‐term 
outcomes at  very low  cost.84 Together, these RCTs show that an  extra year of school attendance “costs” 
much less if policy makers focus on deworming kids instead of providing additional teachers.  
While  RCTs  can  establish  what  works  in  a  particular  setting,  they  often  cannot  say  much  about  why  it 
works or whether it could work elsewhere.  In response, a new generation of impact evaluations integrate 
their empirical design with theoretical or “structural” modeling, with three main benefits:  
      It  allows  researchers  to  quantitatively  assess  the  mechanisms  underlying  policy  impacts.  This 
          often  helps  to  understand  why  interventions  did  not  work  as  intended  or  why  their  effects 
          differed  across  certain  groups  of  beneficiaries.    For  example,  an  RCT  of  fertilizer  subsidies  in 



                                                            
83
    Duflo, E., P. Dupas, and M. Kremer, 2015. “School Governance, Teacher Incentives and Pupil‐Teacher Ratios: 
Experimental Evidence from Kenyan Primary Schools.” Journal of Public Economics 123: 92‐110. 
84
    Miguel, E. and M. Kremer, 2004. "Worms: Identifying Impacts on Education and Health in the Presence of 
Treatment Externalities," Econometrica 72 (1):159‐217; Baird, S., J.H. Hicks, M. Kremer and E. Miguel, 2016. 
“Worms at Work: Long‐Run Impacts of a Child Health investment.” Quarterly Journal of Economics 131 (4): 1637‐
1680. 

                                                                            27 
 
         Kenya85  considers  a  behavioral  economics  model  in  which  some  farmers  are  patient  and  others 
         procrastinate,  to  rationalize  low  investment  in  fertilizer  in  the  face  of  high  returns  to  its  use.   A 
         study  of  microfinance  in  Thailand86  uses  a  structural  model  of  entrepreneurship  to  explain  why 
         credit provision can have highly heterogenous impacts on subsequent investment.  A later RCT of 
         a microfinance program in India confirms precisely this pattern of response across beneficiaries.87 
          
        Structural modeling also enables researchers to predict the impact of hypothetical policies that 
         have  yet  to  be  implemented.    A  study88  of  Mexico’s  celebrated  PROGRESA  conditional  cash 
         transfer  program  uses  a  dynamic  decision‐making  model  to  show  that  an  alternative  subsidy 
         scheme  could  generate  greater  schooling  impact  at  similar  cost  to  the  existing  program.   In  the 
         Thailand  microfinance  study,  a  counterfactual  policy  of  providing  credit  explicitly  tied  to 
         investment  is  found  to  substantially  outperform  the  actual  policy  of  unconditional  credit 
         provision. 
                   
        Finally, a tight link to theory can allow researchers to go beyond cost‐benefit analysis and make 
         quantitative  welfare  statements,  identifying  winners  and  losers  from  a  policy  (or  a  range  of 
         alternative policies) and the magnitudes of these gains or losses.  In the Kenya study, the authors 
         use the structural model to show that small and time‐limited fertilizer subsidies can lead to higher 
         social welfare compared to heavy subsidies or no subsidies at all.  The Thai study shows that large‐
         scale  credit  provision  is  not  a  cost‐effective  policy  on  average;  although  some  households  value 
         the added liquidity substantially more than it costs to provide, many more value it very little. 

The  World  Bank,  as  well  as  many  governments  and  large  NGOs,  now  insist  on  evaluations  –  often  in  the 
form  of  RCTs  –  wherever  feasible.  Many  World  Bank  researchers  regularly  use  these  methods  and  a 
specialized  unit  named  DIME  was  set  up  to  facilitate  impact  evaluations  within  World  Bank  projects.  
However, not all development policies or programs can be evaluated with RCTs. For example, policies that 
affect the whole of the economy or an entire market, like a minimum wage regulation, are not amenable 
to RCTs. To identify causal effects of market‐level policies, researchers rely on non‐experimental methods 
such  as  difference‐in‐differences  –  e.g.,  comparing  employment  changes  in  border‐counties  across  lines 
of  U.S.  states  with  and  without  minimum  wage  hikes  –  and  regression‐discontinuity  –  e.g.,  comparing 
employment  rates  among  individuals  just  below  the  age  threshold  to  qualify  for  the  minimum  wage  in 
Denmark to those just above it.89  
In the developing country context, a difference‐in‐differences strategy was used to study the labor market 
consequences  of  a  massive  school  construction  program  in  Indonesia  by  comparing  cohorts  that  would 
                                                            
85
    Duflo, E., M. Kremer, and J. Robinson. 2011. "Nudging Farmers to Use Fertilizer: Theory and Experimental 
Evidence from Kenya." American Economic Review, 101 (6):2350‐90. 
86
    Kaboski, J., and R. Townsend, 2011. "A Structural Evaluation of a Large‐Scale Quasi‐Experimental Microfinance 
Initiative." Econometrica, 79: 1357‐1406. 
87
    Banerjee, A., E. Duflo, R. Glennerster, and C. Kinnan. 2015. "The Miracle of Microfinance? Evidence from a 
Randomized Evaluation." American Economic Journal: Applied Economics, 7 (1): 22‐53. 
88
    Todd, P., and K. Wolpin. 2006. "Assessing the Impact of a School Subsidy Program in Mexico: Using a Social 
Experiment to Validate a Dynamic Behavioral Model of Child Schooling and Fertility." American Economic Review, 
96 (5): 1384‐1417. 
89
    Card, D., and A. Krueger, 1994. "Minimum Wages and Employment: A Case Study of the Fast‐Food Industry in 
New Jersey and Pennsylvania," American Economic Review 84(4): 772‐793 and Kreiner, C., D. Reck, and P. Skov. 
Forthcoming. "Do Lower Minimum Wages for Young Workers Raise Their Employment? Evidence from a Danish 
Discontinuity" Review of Economics and Statistics. 

                                                             28 
 
have  had  access  to  the  new  schools  with  those  that  would  have  graduated  by  the  time  of  the  school 
construction.90   A  regression  discontinuity  design  was  used  to  estimate  the  impact  of  India’s  huge  road‐
building program targeted to smaller villages by comparing outcomes in villages just below the population 
cutoff to those just above it.91 
In  conclusion,  in  recent  decades  development  economists  have  honed  several  empirical  tools  that 
demonstrate both the feasibility and importance of providing rigorous analysis to support evidence‐based 
policy making.                                      




                                                            
90
    Duflo, E. 2001. "Schooling and Labor Market Consequences of School Construction in Indonesia: Evidence from 
an Unusual Policy Experiment." American Economic Review, 91 (4): 795‐813. 
91
    Asher, S., and P. Novosad. Forthcoming. “Rural Roads and Local Economic Development.” American Economic 
Review. 

                                                               29 
 
                                                           9. New Data for Development Policy 

                                                          Robert Cull, Dean Jolliffe, Vijayendra Rao 
                                                                                
Until  recently,  most  of  development  economics  research  relied  on  traditional  data  types  such  as 
household and firm surveys and national accounts. Governments (or agents authorized by governments) 
have typically been central to the data collection efforts and data typically have been collected for specific 
purposes,  often  to  foster  development.  For  example,  the  earliest  social  surveys  were  undertaken  in 
England  by  Charles  Booth  and  Seebohm  Rowntree  in  the  1890s  to  measure  poverty,  to  describe  the 
deplorable living conditions of the poor, and to bring about social policy reform. 
 
Traditional  data  methods  require  strong  statistical  capacity.  Trained  staff,  budgetary  autonomy  for 
agencies  that  collect  data,  adequate  installations,  connected  databases,  and  international  partnerships 
are  important  factors  in  shaping  successful  national  data  systems.92  These  resources  are  often  scarce  in 
low‐income  countries,93  leaving  them  least  equipped  to  collect  the  data  necessary  to  assess  and 
understand the scope and nature of development problems and make inroads to solving them. Enhancing 
the  statistical  capacity  of  client  countries  therefore  has,  and  will  continue  to  be,  a  point  of  emphasis  for 
the World Bank Group. 
 
Moving beyond traditional data 
 
At  the  same  time,  traditional  data  collection  methods  can  be  relatively  costly.94  Surveys  are  therefore 
performed  infrequently,95  and  they  lack  the  granularity  necessary  to  make  meaningful  inferences  about 
sub‐populations of interest. In contrast, so‐called “digital data” from mobile phones, satellites, and other 
sources  can  be  collected  cost‐effectively,  with  high  frequency,  and  at  fine  levels  of  granularity.   Digital 
data  therefore  may  offer  new  insights  for  understanding  and  resolving  some  development  challenges. 
Recent examples from empirical research include: 
 
      Measuring poverty, agricultural productivity, and malnutrition.  Influential recent work has used 
          satellite  imagery  of  nighttime  lighting  to  measure  poverty  by  using  it  as  a  proxy  for  wealth.96  In 
          Rwanda,  researchers  have  mapped  personal  data  from  mobile  networks  to  individual  phone 
          subscriber  wealth.  They  applied  their  model  to  predict  wealth  throughout  the  country,  showing 


                                                            
92
    World Bank. 2018.  Data for Development: An Evaluation of World Bank Support for Data and Statistical 
Capacity. Independent Evaluation Group, Washington, DC: World Bank. 
93
    Cameron, Grant J., Hai‐Anh H. Dang, Mustafa Dinc, James Foster, and Michael M. Lokshin. 2019. “Measuring the 
Statistical Capacity of Nations.” World Bank Policy Research Working Paper 8693.  
94
    Kilic, Talip, Umar Serajuddin, Hiroki Uematsu, and Nobuo Yoshida. 2017. “Costing Household Surveys for 
Monitoring Progress toward Ending Extreme Poverty and Boosting Shared Prosperity.” WPS7951. The World Bank. 
http://documents.worldbank.org/curated/en/260501485264312208/Costing‐household‐surveys‐for‐monitoring‐
progress‐toward‐ending‐extreme‐poverty‐and‐boosting‐shared‐prosperity. 
95
    Serajuddin, Umar, Hiroki Uematsu, Christina Wieser, Nobuo Yoshida, and Andrew L. Dabalen. 2015. “Data 
Deprivation : Another Deprivation to End.” WPS7252. The World Bank. 
http://documents.worldbank.org/curated/en/700611468172787967/Data‐deprivation‐another‐deprivation‐to‐end  
96
    Neal Jean et al. (2016), “Combining Satellite Imagery and Machine Learning to Predict Poverty,” Sciencel 353 
(6301): 790‐794.   

                                                                             30 
 
              that  the  predictions  match  well  with  those  from  costlier  traditional  surveys  of  the  population.97 
              Similar approaches have been used to produce granular maps of crop yields and malnutrition.98 
             Improved  targeting  of  public  health  interventions  and  natural  disaster  relief.   Understanding 
              who  is  most  affected  by  natural  disasters  and  predicting  relocation  patterns  is  key  to  effective 
              humanitarian relief operations, public health interventions, and long‐term reconstruction efforts. 
              Mobile  phone  data  have  been  used  to  reveal  who  is  most  affected  by  natural  disasters,99  where 
              people  relocate  in  response  to  a  disaster,100  and  the  implications  of  relocation  for  the  spread  of 
              disease.101 
             Natural  Language  Processing  methods:  text  as  data.   Traditional  qualitative  surveys  require  in‐
              depth  analysis  of  interviews  coupled  with  participant  observation  in  small  groups.   These  have 
              recently been supplemented with the analysis of narratives from much larger samples by applying 
              Natural Language Processing methods to existing texts. Such methods have been used to analyze 
              Wikipedia  pages  to  predict  levels  of  economic  development102,  and  to  study  discourse  within 
              village meetings in rural India.103 

Challenges in harnessing digital data for development 
 
Governments  have  been  at  the  center  of  traditional  data  collection  efforts.   In  contrast,  digital  data  is 
typically  collected  by  firms,  which  focus  on  its  commercial  value  rather  than  its  potential  social  value. 
Moreover, data are “non‐rival”, meaning that a person’s call data records, location history, internet usage 
and  medical  records  can  be  used  by  many  firms  (and  governments)  at  the  same  time  and  for  different 
purposes. Recent theoretical research shows that this may lead firms to respect data privacy less than is 
socially  desirable,  and  they  may  also  have  incentives  to  inefficiently  hoard  data.104   In  short,  when  firms 
own data, they may over‐use and under‐share it while not adequately respecting consumer privacy. Policy 
priorities for making digital data work for development include: 
 

                                                            
97
    Blumenstock, Joshua, Gabriel Cadamuro, Robert On. 2015. “Predicting Poverty and Wealth from Mobile Phone 
Metadata.” Science 350 (6264): 1073‐1076.. 
98
    Burke, Marshall and David A. Lobell. 2017. “Satellite‐Based Assessment of Yield Variation and Its Determinants in 
Smallholder African Systems.” Proceedings of the National Academy of Sciences (USA) 114(9): 2189‐2194. Osgood‐
Zimmerman, Aaron, et al. 2018. “Mapping Child Growth Failure in Africa Between 2000 And 2015.” Nature 555 
(41): 41‐47. 
99
    Blumenstock, Joshua, Nathan Eagle, and Marcel Fafchamps, 2016. “Airtime Transfers and Mobile 
Communications: Evidence in the Aftermath of Natural Disasters.” Journal of Development Economics 120: 157‐
181. 
100
     Lu, Xin, Linus Bengtsson, and Petter Holme, 2012. “Predictability of Population Displacement after the 2010 
Haiti Earthquake.” Proceedings of the National Academy of Sciences (USA) 109: 11576‐11581.  
101
     Wesolowski, Amy, et al., 2015. “Impact of Human Mobility on the Emergence of Dengue Epidemics in Pakistan.” 
Proceedings of the National Academy of Sciences (USA) 112: 11887‐11892.   
102
     Evan Sheehan et al. 2019. “Predicting Economic Development Using Geolocated Wikipedia Articles,” 
Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pp. 2698‐
2706. 
103
     Ramya Parthasarathy, Vijayendra Rao and Nethra Palaniswamy “Deliberative Democracy in an Unequal World: 
A Text‐As‐Data Analysis of South India’s Village Assemblies” American Political Science Review, 113 (3, August 
2019): 623‐640 
104
     Jones, Charles I. and Christopher Tonetti, 2019. “Nonrivalry and the Economics of Data.” Stanford University 
Graduate School of Business, mimeo. 

                                                                31 
 
             Data Governance: Privacy and Sharing.  Establishing data governance frameworks that safeguard 
              individual  data  and  privacy  while  expanding  the  development  benefits  of  that  data  to  many 
              stakeholders  is  challenging.  Frameworks  for  supervising  and  enforcing  new  laws  with  respect  to 
              data  that  are  designed  for  developed  economies  may  not  transfer  well  to  weaker  institutional 
              environments.   
             Ownership:  Democratizing  Data.   By  crowd‐sourcing  information  to  facilitate  more  responsive 
              governance,  and  by  giving  citizens  the  ability  to  conduct  their  own  surveys  and  analyze  the  data 
              over  large  numbers  of  people,  data  can  foster  voice,  government  accountability,  and 
              transparency. Examples of such projects are underway in both India and Indonesia.105   
             Measures  to  Avoid  Politicization  of  Data.   Personal  data  are  now  widely  available  and  can  be 
              manipulated to further the private interests of firms leading to fears of “surveillance capitalism.”  
              There  is  also  a  fear  that  governments  will  use  individuals’  digital  data  to  pursue  political 
              objectives,  centralize  power,  and  discourage  dissent.106    This  calls  for  data  governance 
              frameworks  to  safeguard  privacy,  and  give  citizens  more  control  over  the  use  of  their  personal 
              data.  
             Making Traditional and New Data Work Together.  Most new data are generated by individuals 
              through  their  interactions  on  mobile  devices  and  computers.  In  some  places,  the  digital  user 
              population may approximate the overall population. In other contexts, including many developing 
              countries,  large  swaths  of  the  population  who  are  not  digitally  connected  will  not  be  reflected. 
              Data  collected  via  traditional  methods,  which  sample  the  entire  population,  can  speak  to  the 
              validity of, for example, poverty maps  generated using  digital  data, and help identify which  sub‐
              populations are systematically under‐represented in these applications.   

                                                            




                                                            
105
     Yuen Yuen Ang (2019), Integrating Big Data and Thick Data to Transform Public Service Delivery,” IBM Center 
for Business and Government. 
106
     Shoshana Zuboff, “Big Other: Surveillance Capitalism and the Prospects of an Information Civilization,” Journal 
of Information Technology 30 (1) (2015): 75 – 89; and Dirk Helbing, Bruno S. Frey, Gerd Gigerenzer, et al., “Will 
Democracy Survive Big Data and Artificial Intelligence?” Scientific American, February 25, 2017. 

                                                               32 
 
     
                        10. Returns to Early Interventions at Sufficient Scale Are High 

                             Sergio Schmukler, Michael Toman, and Adam Wagstaff 
                                                               
Research shows that the benefits of early interventions at a scale sufficient to have real impact are large 
in  many  areas  of  economic  development.  However,  behavioral,  financial,  institutional,  and  political 
constraints mean that interventions are not always implemented in a timely or adequate way. Uncertainty 
compounds the problem, as decision makers must balance the certain up‐front costs of early interventions 
with  the  uncertain  future  benefits.  These  considerations  lead  to  too  late  and/or  too  small  actions  by 
individuals,  businesses,  and  governments.    The  resulting  missed  opportunities  can  be  very  costly  for 
society at large.  
 
Early childhood interventions in education and health 
 
Education and health interventions in early childhood have large returns. In part, this is because key stages 
in  a  child’s  development  happen  during  the  early  years  of  a  child’s  life.  Early  brain  development  is 
threatened  –  possibly  irreversibly  –  by  nutrient  deficiencies,  stress,  disease  and  under‐stimulation. 
Interventions  very  early  in  a  child’s  life  reduce  the  risk  of  this  happening,  whether  through  improved 
nutrition,  an  improved  health  environment  or  parental  stimulation.  These  interventions  can  have  long‐
lasting effects in terms of cognitive capacity in later life, as reflected in better learning outcomes at school 
and higher wages once the child transitions to adulthood and joins the labor market.107,108 The period over 
which returns accrue is therefore very long. By contrast, the costs of early childhood interventions occur 
over  just  a  few  years.  But  even  after  discounting  to  present  values,  the  benefit‐cost  ratio  is  large  –  one 
package  of  early  childhood  nutrition  interventions  has  been  estimated  recently  to  have  a  benefit‐cost 
ratio  of  15:1  and  a  rate  of  return  of  17%.109  In  addition,  and  not  accounted  for  in  these  calculations, 
preschool  interventions  can  have  indirect  benefits  too  by  making  children  better  able  to  benefit  from 
instruction  during  their  years  of  formal  schooling,  and  hence  making  these  later  investments  more 
productive. Empirical work supports this idea that early investments enhance the productivity of (i.e., are 
complementary  to)  later  investments:  a  recent  study  in  the  United  States  found  that  increases  in  K12 
spending  were  more  efficacious  for  poor  children  who  benefitted  from  higher  levels  of  Head  Start 
spending during their preschool years.110 
 
Despite  these  high  returns  to  preschool  investments,  the  high  rates  of  childhood  stunting  (a  physical 
manifestation  of  inadequate  nutrition  and  an  adverse  disease  environment  during  the  child’s  first  1,000 
days) in developing countries suggest underinvestment. This underinvestment may be due to the fact that 
the  costs  are  incurred  now,  and  the  benefits  accrue  only  after  the  child  reaches  adulthood,  and  that 
families and policy makers discount the future more heavily than economists assume. But it could also be 
                                                            
107
     Grantham‐McGregor S, Cheung YB, Cueto S, Glewwe P, Richter L, Strupp B, International Child Development 
Steering G. Developmental Potential in the First 5 Years for Children in Developing Countries. Lancet 2007; 
369(9555): 60‐70. 
108
     Galasso E, Wagstaff A. The Aggregate Income Losses from Childhood Stunting and the Returns to a Nutrition 
Intervention Aimed at Reducing Stunting. Economics & Human Biology 2019; 34: 225‐38. 
109
     Galasso E, Wagstaff A, Naudeau S, Shekar M. The Economic Costs of Stunting and How to Reduce Them. Policy 
Research Note, World Bank, Washington, DC 2016. 
110
     Johnson RC, Jackson CK. Reducing Inequality through Dynamic Complementarity: Evidence from Head Start and 
Public School Spending. American Economic Journal: Economic Policy 2019; 11 (4): 310‐49.

                                                            33 
 
due  to  ignorance  about  the  high  returns  and  the  simple  ‘technology’  involved  in  investing  in  very  young 
children.  The  World  Bank  has  employed  a  mix  of  strategies  to  discourage  underinvestment  in  the  early 
years:  publicizing  the  high  returns,  naming  and  shaming  countries  with  high  stunting  rates,  advertising 
success  stories  (such  as  Peru  which  reduced  stunting  rates  quite  quickly  through  a  concerted  multi‐
ministerial effort spearheaded by the country’s president), and offering the Bank’s services in helping to 
finance and design early childhood programs.  
Large‐scale, long‐lived environmental degradation 
 
Some  environmental  problems  pose  serious  challenges  to  ecological  systems,  human  health,  and 
economic  progress  that  persist  for  a  long  time,  even  after  the  cause  of  the  environmental  damage  is 
mitigated.  For  example,  adverse  environmental  and  economic  impacts  from  climate  change  will  persist 
for  centuries,  even  after  greenhouse  gases  are  cut  sharply;111,112  and  large‐scale  extinctions  from 
environmental  degradation  imply  a  permanent  loss  of  biodiversity.113  Early  actions  sufficient  to  stem 
persistent damages before they become extremely harmful thus can yield large productivity and human 
welfare benefits over time. 
 
Such actions often are impeded by the tangible near‐term costs that need to be incurred to obtain large 
but uncertain benefits that accrue only over the longer term.114,115 Moreover, because climate change and 
biodiversity  loss  are  global  problems  that  disproportionately  harm  poorer  populations,  it  is  difficult  to 
achieve international cooperation for action among nations at a scale consistent with the global losses.116 
The  opportunity  but  also  the  challenge  for  the  World  Bank  is  to  support  effective  global  responses  to 
                                                            
111
     Field, C.B., V.R. Barros, D.J. Dokken, K.J. Mach, M.D. Mastrandrea, T.E. Bilir, M. Chatterjee, K.L. Ebi, Y.O. Estrada, 
R.C. Genova, B. Girma, E.S. Kissel, A.N. Levy, S. MacCracken, P.R. Mastrandrea, and L.L.White (eds.), Climate 
Change 2014: Impacts, Adaptation, and Vulnerability. Part A: Global and Sectoral Aspects. Contribution of Working 
Group II to the Fifth Assessment Report of the Intergovernmental Panel on Climate Change. Cambridge University 
Press, Cambridge, United Kingdom and New York, NY, USA, 2014. Also available at 
https://www.ipcc.ch/site/assets/uploads/2018/02/WGIIAR5‐PartA_FINAL.pdf.  
112
     Barros, V.R., C.B. Field, D.J. Dokken, M.D. Mastrandrea, K.J. Mach, T.E. Bilir, M. Chatterjee, K.L. Ebi, Y.O. Estrada, 
R.C. Genova, B. Girma, E.S. Kissel, A.N. Levy, S. MacCracken, P.R. Mastrandrea, and L.L.White (eds.), Climate 
Change 2014: Impacts, Adaptation, and Vulnerability. Part B: Regional Aspects. Contribution of Working Group II to 
the Fifth Assessment Report of the Intergovernmental Panel on Climate Change. Cambridge University Press, 
Cambridge, United Kingdom and New York, NY, USA, 2014. Also available at 
https://www.ipcc.ch/site/assets/uploads/2018/02/WGIIAR5‐PartB_FINAL.pdf.   
113
     Díaz, S. J. Settele, E. S. Brondizio E.S., H. T. Ngo, M. Guèze, J. Agard, A. Arneth, P. Balvanera, K. A. Brauman, S. H. 
M. Butchart, K. M. A. Chan, L. A. Garibaldi, K. Ichii, J. Liu, S. M. Subramanian, G. F. Midgley, P. Miloslavich, Z. 
Molnár, D. Obura, A. Pfaff, S. Polasky, A. Purvis, J. Razzaque, B. Reyers, R. Roy Chowdhury, Y. J. Shin, I. J. Visseren‐
Hamakers, K. J. Willis, and C. N. Zayas (eds.), Summary for Policymakers of the Global Assessment Report on 
Biodiversity and Ecosystem Services of the Intergovernmental Science‐Policy Platform on Biodiversity and 
Ecosystem Services (IPBES). IPBES Secretariat, Bonn, Germany, 2019. Available at https://www.ipbes.net/global‐
assessment‐report‐biodiversity‐ecosystem‐services. 
114
     Hallegatte, S., A. Vogt‐Schilb, M. Bangalore, J. Rozenberg, Unbreakable: Building the Resilience of the Poor in the 
Face of Natural Disasters. Washington, DC: World Bank, 2017. Available at 
https://openknowledge.worldbank.org/handle/10986/25335.   
115
     Hallegatte, S., J. Rentschler, J. Rozenberg, Lifelines: The Resilient Infrastructure Opportunity. Washington, DC: 
World Bank, 2019. Available at https://openknowledge.worldbank.org/handle/10986/31805. 
116
     Intergovernmental Panel on Climate Change (IPCC), Climate Change 2014: Synthesis Report. Contribution of 
Working Groups I, II and III to the Fifth Assessment Report of the Intergovernmental Panel on Climate Change. IPCC, 
Geneva, Switzerland, 2014. Available at 
https://www.ipcc.ch/site/assets/uploads/2018/02/SYR_AR5_FINAL_full.pdf. 

                                                               34 
 
forestall  the  damages  while  also  advancing  effective  initiatives  by  developing  countries  to  reduce  the 
impacts  of  those  harms.  The  World  Bank  has  focused  on  helping  client  countries  to  lower  policy  and 
institutional  barriers  to  greater  use  of  cost‐effective  renewable  energy,  improve  protection  of  natural 
habitats  while  responding  to  local  populations’  needs  for  land,  and  respond  more  effectively  to  more 
frequent  and  serious  natural  disasters  engendered  by  climate  change.  A  key  priority  is  to  broaden  and 
deepen work on increasing resilience to climate change and climate variability, as articulated in the Bank’s 
recent Action Plan on Climate Change Adaptation and Resilience. 117  
Financial crises 
 
Recognizing  that  financial  crises  are  costly,118  governments  around  the  world  have  moved  to  implement 
measures to act early in order to prevent them. Such early actions are particularly useful when individual 
agents do not take into account the negative externalities of their actions.  Delayed intervention may lead 
to larger costs of crises later on. By intervening soon, governments provide a backstop, deter self‐fulfilling 
crises,  and  shift  the  financial  system  from  a  bad  to  a  good  equilibrium.  Preventive  measures  include 
financial  regulation  and  supervision,  macroprudential  policies,  and  even  capital  controls.  By  minimizing 
currency  and  maturity  mismatches,  obtaining  high  capitalization  and  liquidity  buffers,  adopting  flexible 
exchange rate regimes, and introducing sand‐in‐the‐wheel types of measures, the financial system can be 
less prone to boom‐and‐bust scenarios. Furthermore, early action can make the efforts to contain crises 
more  targeted  and  efficient.  Negative  distributional  impacts  can  be  another  reason  for  early 
intervention.119  However,  a  main  drawback  of  early  intervention  is  that  it  is  costly  and  might  dampen 
some of the financial activity that fuels growth during tranquil times. 
 
Since it is not certain that such early actions will make makes crises less likely and less severe, governments 
and international organizations have focused on implementing shock‐absorbing mechanisms as a means 
of  self‐insurance.  For  example,  they  have  fostered  borrowing  in  domestic  currency,  GDP‐  and  inflation‐
indexed debt, and equity markets. Central banks have also bolstered international reserves to withstand 
negative  balance‐of‐payments  shocks.  Some  positive  results  were  observed  with  the  resilience  of 
emerging economies during the global financial crisis, which had adopted policies learned during previous 
crises.120  The  World  Bank  regional  hubs  in  Austria,  Chile,  the  Republic  of  Korea,  and  Malaysia  are 
researching  how  to  develop  more  robust  financial  systems  in  the  respective  regions  to  withstand  future 
crises better, while providing further financial services to more firms and individuals. 
                                                            




                                                            
117
     World Bank Group, Action Plan on Climate Change Adaptation and Resilience:  Managing Risks for a More 
Resilient Future. Washington, DC:  World Bank. Available at 
http://documents.worldbank.org/curated/en/519821547481031999/The‐World‐Bank‐Groups‐Action‐Plan‐on‐
Climate‐Change‐Adaptation‐and‐Resilience‐Managing‐Risks‐for‐a‐More‐Resilient‐Future.pdf. 
118
     Reinhart C, Rogoff, K, Recovery from Financial Crises: Evidence from 100 Episodes. American Economic Review 
2014, 104(5): 50‐55, May. 
119
     Halac M, Schmukler S, Distributional Effects of Crises: The Financial Channel, Economia‐Journal of the Latin 
American and Caribbean Economic Association 2004, 5:(1): 1‐67, Fall. 
120
     Didier T, Constantino C, Schmukler, S, How Resilient and Countercyclical Were Emerging Economies to the 
Global Financial Crisis? Journal of International Money and Finance 2012, 31:(8) 2052‐20 

                                                               35 
 
                          11. Increasing Resilience to Climate Change Is Good Development Policy 

                                                          Michael A. Toman and Susmita Dasgupta 
                                                                             
Scientific  and  economic  research  over  the  past  decade  has  provided  increased  understanding  of  the 
threats  that  climate  change  poses  for  inclusive  economic  progress  and  poverty  reduction.121  While  the 
timing and severity of future climate change impacts remain uncertain, the world will confront threats to 
economic productivity and welfare through a variety of channels including elevated health risks, reduced 
land  and  labor  productivity,  degradation  of  natural  ecosystems,  greater  exposure  to  extreme  events 
(droughts, storms, floods), and higher infrastructure investment costs.122  Low‐income people face greater 
exposure  to  climate  change  risks  but  have  lower  capacity  to  reduce  their  vulnerability.   Without  strong 
counter‐measures, climate change impacts will exacerbate poverty and inequality in developing countries 
and  make  escape  from  poverty  considerably  more  difficult.   This  places  increased  resilience  to  climate 
change at the center of development policy. 
 
The  threats  to  sustainable  development  and  poverty  reduction  posed  by  climate  change  are  starkly 
illustrated  by  the  findings  of  a  multi‐year,  multi‐disciplinary  program  of  research  in  southwest  coastal 
Bangladesh,  a  very  impoverished  area  of  the  country.  As  sea  level  rises  and  storm‐caused  inundations 
increase in severity and frequency, the resulting soil and water salinization will reduce the availability of 
food,  harm  maternal  and  child  health  (including  higher  infant  mortality),  damage  a  World  Heritage  site, 
and  lead  to  outmigration  that  increases  poverty  among  those  vulnerable  family  members  left  behind. 
123,124,125
             These problems are hardly unique to southwest coastal Bangladesh.  Climate variability has been 
shown  to  have  adverse  impacts  on  household  welfare  in  rural  Mexico,  due  in  particular  to  challenges  in 
smoothing  out  fluctuations  in  agricultural  incomes.126    In  both  marginal  agricultural  areas  and  coastal 
zones, the poor are especially disadvantaged by climate change because they are so dependent on natural 
assets affected by climate change, and because their options for escaping their difficult circumstances are 
limited.127   In  urban  areas  across  the  developing  world,  poor  people  live  in  the  areas  most  vulnerable  to 




                                                            
121
      Intergovernmental  Panel  on  Climate  Change  (IPCC),  Climate  Change  2014:  Synthesis  Report.  Contribution  of 
Working Groups I, II and III to the Fifth Assessment Report of the Intergovernmental Panel on Climate Change. IPCC, 
Geneva, Switzerland, 2014. https://www.ipcc.ch/site/assets/uploads/2018/02/SYR_AR5_FINAL_full.pdf. 
122
     Leichenko, Robin and Julie A. Silva, Climate Change and Poverty: Vulnerability, Impacts, and Alleviation Strategies, 
WIREs Climate Change 2014. doi: 10.1002/wcc.287. 
123
      Dasgupta,  Susmita,  Mainul  Huq,  and  David  Wheeler,  Drinking  Water  Salinity  and  Infant  Mortality  in  Coastal 
Bangladesh. Water Economics and Policy 2:(1), 2016, pages 205‐242.  
124
      Dasgupta,  Susmita,  Istiak  Sobhan,  and  David  Wheeler,  The  Impact  of  Climate  Change  and  Aquatic  Salinization 
on Mangrove Species in the Bangladesh Sundarbans, Ambio 46:(6), 2017, pages 680‐694. 
125
      Dasgupta,  Susmita,  Md.  Moqbul  Hossain,  Mainul  Huq,  and  David  Wheeler,  Facing  the  Hungry  Tide:  Climate 
Change, Livelihood Threats, and Household Responses in Coastal Bangladesh. Climate Change Economics 7 (3), 2016, 
pages 1‐25. 
126
      Skoufias  E,  K.  Vinha,  The  Impacts  of  Climate  Variability  on  Household  Welfare  in  Rural  Mexico.  Population  and 
Environment 34, 2013, pages 370–399. 
127
     Barbier, Edward B, and Jacob P Hochard, The Impacts of Climate Change on the Poor in Disadvantaged Regions. 
Review of Environmental Economics and Policy 12:(1), 2018, pages 26–47. 

                                                                           36 
 
natural  disasters  because  they  are  affordable.128   Other  global  evidence  indicates  that  adverse  climatic 
conditions are an important source of conflict among people and groups.129  
 
Research showing how climate change threatens economic development and poverty alleviation reveals 
the importance of seeing climate change adaptation as a key part of overall development policy. However, 
the  research  also  has  highlighted  the  substantial  institutional  and  other  challenges  to  implementing 
focused  climate  change  adaptation  measures  and  “resilience‐smart”  development  policies  and 
investments: the problem of “adaptation deficits.” One reason these arise is that sustained adaptation to 
climate  change  is  more  complicated  than  traditional  informal  coping  mechanisms,  making  adaptation 
costly  and  risky  for  poor  households.130    For  example,  poor  migrants  to  cities  from  southwest  coastal 
Bangladesh have low human capital, so it may take some time for them to gain enough income to be able 
to have sufficient funds to remit to their families. This is just one example of how marginalized groups in 
ecologically  marginal  areas  can  get  left  behind,  even  as  economic  development  progresses  in  the  more 
formal sectors.131 
 
Adaptation policies are subject to the same challenges of limited institutional capacities and other social 
capital  deficits  as  are  other  development  measures.132   Improved  access  to  infrastructure  and  financial 
services  are  among  the  elements  needed  to  lower  barriers  to  successful  adaptation.  Yet  all  too  often, 
actions that can ameliorate climate change threats and improve economic development prospects aside 
from  climate  change  are  not  taken.  For  infrastructure,  there  is  a  tendency  to  focus  on  the  cost  of 
constructing  capacity  while  not  adequately  appreciating  the  longer‐term  costs  of  inadequate  resilience, 
relative  to  the  incremental  cost  of  installing  more  resilient  capacity.133  For  natural  disasters,  there  is  a 
tendency to focus more on asset replacement while under‐estimating the welfare cost of disrupted lives 
and livelihoods, leading to less than adequate measures to reduce risks in advance.134 
 
Increased income can have a powerful effect on the capacity of individuals to cope with climate change.  
In that sense, economic development and poverty alleviation are key ingredients for reducing vulnerability 
to  climate  change,  just  as  reducing  vulnerability  to  climate  change  enhances  development  prospects.  
However,  higher  income  does  not  automatically  assure  less  vulnerability.  For  example,  a  large  bridge 
investment  in  Bangladesh  connected  a  previously  isolated  territory  to  the  rest  of  the  economy,  bringing 
with  it  substantial  improvements  in  living  standards.  The  improvement  resulted  largely  from  the 
previously isolated territory becoming able to utilize its comparative advantage in high‐value agriculture 

                                                            
128
     Lall, Somik. V. and Uwe Deichmann. 2012. Density and Disasters: Economics of Urban Hazard Risk. World 
Bank Research Observer 27, 2012, pages 74–105. 
129
     Burke, Marshall, Solomon M. Hsiang, and Edward Miguel, Climate and Conflict. Annual Review of Economics 7 (1), 
2015, pages 577–617. 
130
     Castells‐Quintana, David, Maria del Pilar Lopez‐Uribe, and Thomas K.J. McDermott, Adaptation to Climate 
Change: A Review Through a Development Economics Lens. World Development 104, 2018, pages 183–196. 
131
      Barbier,  Edward  B,  and  Jacob  P  Hochard,  Poverty‐Environment  Traps.  Environmental  and  Resource  Economics 
74(3), 2019, pages 1239–1271. 
132
     Fankhauser, Sam., and Thomas K. J. McDermott, Understanding the Adaptation Deficit: Why Are Poor Countries 
More Vulnerable to Climate Events than Rich Countries? Global Environmental Change 27, 2014, pages 9–18. 
133
     Hallegatte, Stéphane, Jun Rentschler, and Julie Rozenberg, Lifelines: The Resilient Infrastructure Opportunity. 
Washington, DC: World Bank, 2019. http://documents.worldbank.org/curated/en/111181560974989791/Lifelines‐
The‐Resilient‐Infrastructure‐Opportunity. 
134
     Hallegatte, S., A. Vogt‐Schilb, M. Bangalore, J. Rozenberg, Unbreakable: Building the Resilience of the Poor in the 
Face of Natural Disasters. Washington, DC: World Bank, 2017. 
https://openknowledge.worldbank.org/handle/10986/25335. 

                                                               37 
 
with faster and lower‐cost access to outside markets.135 However, this also could leave the territory more 
vulnerable  to  future  climate  change  related  disruptions  as  agricultural  intensification  makes  the  region 
more vulnerable to extreme weather events.  Economic development and poverty reduction policies need 
to factor in climate change risks to deliver both economic progress and reduced vulnerability.136 
 
The  World  Bank  and  other  international  development  partners  are  increasingly  active  in  encouraging 
client countries to pursue more holistic assessments of life‐cycle benefits and costs of more resilient and 
efficient  investment,  and  greater  emphasis  on  risk  reduction  as  well  as  recovery  capabilities.137  
Nevertheless,  experience  highlights  the  importance  of  better  understanding  why  so  many  pro‐
development, pro‐resilience initiatives encounter resistance in developing countries. 
                                     




                                                            
135
     Blankespoor, Brian, Shahe M. Emran, Forhad Shilpi and Lu Xu. Bridge to Bigpush or Backwash? Market 
Integration, Reallocation, and Productivity Effects of Jamuna Bridge in Bangladesh. 2018. 
SRN: https://ssrn.com/abstract=3162451.  
136
     Bowen, Alex, Sarah Cochrane, and Samuel Fankhauser, Climate Change, Adaptation and Economic Growth. 
Climatic Change 113, 2012, pages 95–106. 
137
     World Bank Group, Action Plan on Climate Change Adaptation and Resilience:  Managing Risks for a More Resilient 
Future. Washington, DC:  World Bank, 2019.  
http://documents.worldbank.org/curated/en/519821547481031999/The‐World‐Bank‐Groups‐Action‐Plan‐on‐
Climate‐Change‐Adaptation‐and‐Resilience‐Managing‐Risks‐for‐a‐More‐Resilient‐Future.pdf. 

                                                               38 
 
                                        12. Digital Financial Transactions Matter for Development 

                                                               Leora Klapper 
                                                                      
Recent  research  has  shown  that  a  range  of  development  benefits  follow  from  using  digital  financial 
transactions  instead  of  cash.  This  research  has  direct  implications  for  World  Bank  work  on  safety  nets, 
service delivery, and poverty reduction.  
 
Digital transactions improve service delivery 
 
In  high‐income  countries,  most  safety  net  programs  –  such  as  social  security  or  subsidies  for  the  poor  – 
are  delivered  digitally.  In  low‐income  countries,  they  are  commonly  made  in  cash.  Using  cash  creates 
enormous costs. For example, governments must spend money bringing truckloads of paper currency to 
remote areas; these  trucks also need to  be insured and protected by armed guards. Cash payments also 
require  people  to  spend  time  traveling  and  waiting  in  line  to  get  their  payments  at  government  offices. 
Digital  transfers  improve  efficiency  and  remove  corruption  opportunities—a  relevant  finding  for  the 
World Bank's efforts to promote safety net coverage and improve service delivery. 
 
           When Andhra Pradesh used biometric smart cards instead of cash to distribute social security 
               payments,  the  government  saved  nearly  $40  million  annually,  which  was  nine  times  greater 
               than the cost of implementing the program. Theft of funds went down, people spent less time 
               collecting payments, and recipients got more money because less was being stolen.138 
           In  Niger,  using  mobile  phones  rather  than  cash  to  distribute  payments  for  an  anti‐hunger 
               program  reduced  administrative  costs  by  a  fifth,  lowered  costs  for  recipients,  and  allowed 
               households to feed their children more and purchase more protein‐rich food.139 
 
Digital transactions help prevent people from falling into poverty 
 
Most development interventions aim to help people escape poverty. But escaping poverty is no guarantee 
of  not  falling  back  in.  Every  year  millions  of  people  fall  into  poverty  due  to  unexpected  shocks  such  as 
natural  disasters,  high  medical  bills,  or  sudden  unemployment.  In  poor  countries,  safety  nets  are  often 
absent,  so  people  rely  on  their  social  networks  for  emergency  funds.  Mobile  money  accounts  let  people 
send  money  through  simple  text  messages,  which  makes  it  easier  to  collect  funds  from  faraway  friends 
and  relatives.    As  a  result,  they  are  less  likely  to  become  poor  during  an  economic  emergency.  These 
findings are relevant to the World Bank's work on resilience and poverty reduction. 
 




                                                            
138
     Muralidharan, K., P. Niehaus, and S. Sukhtankar. 2016. "Building State Capacity: Evidence from Biometric 
Smartcards in India." American Economic Review 2016, 106 (10): 2895‐2929. 
139
     Aker, J. C., R. Boumnijel, A. McClelland, and N. Tierny. 2016. "Payment Mechanisms and Antipoverty Programs: 
Evidence from a Mobile Money Cash Transfer Experiment in Niger." Economic Development and Cultural Change 
65 (1): 1‐37. 

                                                                    39 
 
                     When  hit  with  an  agricultural  shock,  Kenyan  households  with  no  mobile  money  access 
                      suffered  a  7  percent  drop  in  use  of  goods  and  services,  while  those  who  did  have  mobile 
                      money experienced no such drop on average.140 
                     In  Tanzania,  rainfall  shocks  resulted  in  6  percent  lower  consumption  on  average,  but  mobile 
                      money users were able to maintain consumption due to improved risk sharing.141  
 
Digital transactions help people build savings  
 
People are more likely to build savings when they are paid directly into accounts instead of in cash, in part 
because the money is protected from theft, loans to family members, and the temptation to spend. This 
money  can  be  invested  in  educational  and  business  opportunities  and  has  implications  for  the  World 
Bank's work on employment and poverty reduction. 
 
          In Afghanistan, workers who automatically deposited part of their salary into a mobile savings 
             account had higher savings and financial security than workers who received a mobile savings 
             account but did not sign up for automatic deposits.142 
          In India, weekly payments resulted in significantly higher savings for a group that received the 
             payments into accounts, but not for a group that received them in cash.143  
          In  Malawi,  farmers  who  had  their  earnings  deposited  into  a  savings  account  had  higher 
             savings before the next planting season, spent more on agricultural equipment, and increased 
             crop sales.144   
 
                                   




                                                            
140
     Jack, W., and T. Suri. 2014. "Risk Sharing and Transaction Costs: Evidence from Kenya's Mobile Money 
Revolution." American Economic Review 2014, 104(1): 183‐223. 
141
     Riley, E. 2018. "Mobile Money and Risk Sharing Against Village Shocks." Journal of Development Economics 135: 
43‐58. 
142
     Blumenstock, J., M. Callen, and T. Ghani. 2018. "Why Do Defaults Affect Behavior? Experimental Evidence from 
Afghanistan." American Economic Review 2018, 108 (10): 2868‐2901. 
143
     Somville, V., and L. Vandewalle. 2018. "Saving by Default: Evidence from a Field Experiment in Rural India." 
American Economic Journal: Applied Economics 10 (3): 39‐66. 
144
     Brune, L., X. Gine, J. Goldberg, and D. Yang. 2016. "Facilitating Savings for Agriculture: Field Experimental 
Evidence from Malawi." Economic Development and Cultural Change 64 (2): 187‐220. 

                                                                 40 
 
 
                                                               13. Trade, Poverty, and Inequality 

                                                                  Bob Rijkers and Erhan Artuc 
                                                                                 
International  integration  accelerates  growth  and  reduces  poverty  when  it  is  supported  with  strong 
institutions,  rule  of  law,  and  investment.145  Historically,  episodes  of  rapid  growth  are  associated  with 
increasing international integration and trade. Many East Asian economies, such as Japan, the Republic of 
Korea  and  China  have  managed  to  attain  remarkable  growth  rates  while  integrating  into  the  global 
economy. Conversely, many slow growing regions are left out of the globalization process.  
 
Despite the compelling associations between international integration and growth, empirical evidence on 
the  causal  relationship  is  more  limited.  This  is  because  separating  the  impact  of  trade  from  other 
developments  that  overlap  with  episodes  of  increasing  globalization,  such  as  technological  progress,  is 
challenging.146  To accurately quantify the gains from trade it is also necessary to account for the structure 
of  global  value  chains,  input‐output  linkages,  knowledge  spillovers,  pro‐competitive  effects,  and  other 
mechanisms that may amplify them. In addition, trade may create dynamic gains which can be sizable. A 
recent study of the impact of WTO accession on patenting, for example, finds that about 7 percent of the 
increase in knowledge creation during the 1990s can be attributed to trade policy reforms.147  Studies that 
exploit quasi‐experimental variation in trade costs generated by shocks as varied as the closing of the Suez 
Canal,148 the reunification of Germany,149 oil price fluctuations,150 and major infrastructure expansions151 
consistently show that reducing trade costs improves incomes on average.   
 
Although globalization has been a force for development for the last three decades, protectionism is now 
on  the  rise.    One  reason  is  the  frustration  of  those  whom  trade  may  have  left  permanently  behind.  
International  trade  is  not  a  zero‐sum  game,  as  it  increases  the  size  of  the  pie.   However,  it  also  changes 
how the pie is divided, creating winners and losers. The losses often are highly visibly concentrated among 
specific people in specific areas. The gains, by contrast, are often widely spread and therefore less salient. 
This undermines political support for global integration.  
 


                                                            
145
     Atkin, David, and Amit Khandelwal (forthcoming). “How Distortions Alter the Impacts of International Trade in 
Developing Countries,” Annual Review of Economics. 
146
     Harrison, Ann, John McLaren, and Margaret McMillan (2011). “Recent Perspectives on Trade and Inequality,” 
Annual Review of Economics, 3 (1). 
147
     Coelli, Federica, Andreas Moxnes, Karen Helene Ulltveit‐Moe “Better, Faster, Stronger: Global Innovation and 
Trade Liberalization” NBER Working Paper No. 22647. 
148
     Feyrer, James (2009). “Distance, Trade, and Income ‐‐ The 1967 to 1975 Closing of the Suez Canal as a Natural 
Experiment,” Mimeo.  
149
     Redding, Stephen, and Daniel Sturm (2008). “The Costs of Remoteness: Evidence from German Division and 
Reunification” American Economic Review, 98(5). 
150
     Storeygard, Adam (2016). “Farther on Down the Road: Transport Costs, Trade and Urban Growth,” Review of 
Economic Studies, 83(3). 
151
     Donaldson, Dave, and Richard Hornbeck (2016). “Railroads and American Economic Growth: A “Market Access” 
Approach,” The Quarterly Journal of Economics, 131 (1). 

                                                                              41 
 
In  the  past  10  years,  the  increased  availability  of  microdata  and  computing  power  have  spawned  a 
burgeoning literature measuring these distributional impacts of trade,152 yielding several novel insights: 
 
      The  negative  distributional  impacts  of  international  trade  are  large,  localized,  and  long‐lived.  
          The  emergence  of  China  as  a  great  economic  power  and  its  integration  into  the  global  trading 
          system  have  caused  regions  in  both  developed  and  developing  countries  with  a  high 
          concentration  of  import  competing  industries  to  fall  behind  other  regions.  Workers  who  are 
          adversely  affected  by  trade  liberalization  face  high  moving  costs  and  are  often  not  able  to  leave 
          to  find  better  jobs  in  other  regions.  The  adverse  effects  of  trade  liberalization  are  consequently 
          concentrated  in  particular  regions,  while  the  benefits  are  widespread  throughout  the  whole 
          economy.153  These negative localized effects persist in the long run, and the affected regions take 
          a long time to recover, if at all.154 Since workers’ regions seem as important as their industries and 
          occupations in determining the distributional impacts of globalization, it is crucial to switch from 
          industry‐based social protection policies to more flexible and possibly region‐based policies.155 
      Trade liberalization can favor the poor because low‐income households often consume traded 
          goods more than services and non‐traded goods.156  The consumption gains resulting from lower 
          prices  tend  to  be  widely  distributed  (as  most  people  consume  many  different  products),  but  job 
          losses  in  import‐competing  sectors  tend  to  be  highly  concentrated  (as  most  people  usually  only 
          have one job – which if lost to import competition is a major shock). 157  
      Lower  prices  due  to  trade  liberalization  are  often  not  fully  passed  on  to  consumers.   Evidence 
          from Ethiopia and Nigeria suggests that intermediaries capture most of the surplus from lowering 
          international  trade  barriers.158  Similarly,  firms  in  India  increased  their  markups  after  trade  was 
          liberalized, thereby offsetting some of the gains for consumers.159 

Harnessing  the  potential  of  globalization  to  reduce  poverty  and  boost  growth  requires  complementary 
social  protection  and  investment  policies  that  address  market  imperfections  and  compensate  losers. 
These  include  reducing  intranational  trade  costs  in  developing  countries  by  investing  in  infrastructure, 
connectivity  and  market  access,  and  setting  up  flexible  social  protection  systems.  Better  infrastructure 
allows  domestic  and  export  market  access  for  poor  households,  thereby  facilitating  structural 
transformation from subsistence farming to cash crops. Improved connectivity and platforms allow small 
enterprises,  which  tend  to  employ  more  low‐skill  and  informal  workers  than  large  firms,  to  compete  in 
global  markets.  Flexible  social  protection  and  investment  schemes  can  help  protect  workers  and 
                                                            
152
     Goldberg, Penny and Nina Pavcnik (2016). “The Effects of Trade Policy,” in Bob Staiger and Kyle Bagwell (eds), 
The Handbook of Commercial Policy, Volume 1A, Elsevier, pp. 161‐20. 
153
     Autor, David, David Dorn, and Gordon H. Hanson (2016). “The China Shock: Learning from Labor‐Market 
Adjustment to Large Changes in Trade,” Annual Review of Economics, 8(1). 
154
     Dix‐Carneiro, Rafael, and Brian Kovak (2017). “Trade Liberalization and Regional Dynamics,” American Economic 
Review, 107 (10). 
155
     Artuc, Erhan, Paulo Bastos, and Eunhee Lee (2019). “Trade, Jobs and Worker Welfare,” Mimeo: World Bank. 
156
     Fajgelbaum, Pablo, and Amit Khandelwal (2016). “Measuring the Unequal Gains from Trade,” The Quarterly 
Journal of Economics, 131 (3). 
157
     Artuc, Erhan, Guido Porto, and Bob Rijkers (2019). “Trading off the Income Gains and the Inequality Costs of 
Trade Policy,” Journal of International Economics, 120. 
158
     Atkin, David and Dave Donaldson (2015). “Who's Getting Globalized? The Size and Implications of Intranational 
Trade Costs,” NBER Working Paper No. 21439. 
159
     De Loecker, Jan, Pinelopi Goldberg, Amit Khandelwal, and Nina Pavcnik (2016). “Prices, Markups and Trade 
Reform,” Econometrica, 84 (2). 

                                                           42 
 
entrepreneurs  in  lagging  regions,  whereas  industry‐based  protection  systems  are  often  unsuccessful, 
since they fail to target groups that are suffering localized knock‐on effects arising because of adjustment 
costs and limits to their mobility. 




                                                     43