WPS7961 Policy Research Working Paper 7961 Evaluation of an Adolescent Development Program for Girls in Tanzania Niklas Buehren Markus Goldstein Selim Gulesci Munshi Sulaiman Venus Yam Africa Region Office of the Chief Economist & Gender Cross Cutting Solution Area February 2017 Policy Research Working Paper 7961 Abstract This paper evaluates a program targeted to adolescent girls of microcredit improves the take-up of the program and in Tanzania that aims to empower them economically savings of the participants. The paper explores program- as well as socially. The program was found to be highly matic implementation information that helps explain successful in Uganda in terms of economic, health, and the marked difference in outcomes between Uganda and social outcomes. In contrast, this evaluation finds that Tanzania. This research shows that layering additional the program did not have any notable effect on most of microfinance services onto an adolescent development these outcomes in the Tanzanian setting. The evaluation program can be an effective tool to attain greater inclusion also measures the impact of the program with and without of youth in financial services, and brings out import- microcredit services. The findings show that the addition ant issues of the generalizability of the research findings. This paper is a product of the Office of the Chief Economist, Africa Region and the Gender Cross Cutting Solution Area. It is part of a larger effort by the World Bank to provide open access to its research and make a contribution to development policy discussions around the world. Policy Research Working Papers are also posted on the Web at http://econ.worldbank. org. The authors may be contacted at nbuehren@worldbank.org. The Policy Research Working Paper Series disseminates the findings of work in progress to encourage the exchange of ideas about development issues. An objective of the series is to get the findings out quickly, even if the presentations are less than fully polished. The papers carry the names of the authors and should be cited accordingly. The findings, interpretations, and conclusions expressed in this paper are entirely those of the authors. They do not necessarily represent the views of the International Bank for Reconstruction and Development/World Bank and its affiliated organizations, or those of the Executive Directors of the World Bank or the governments they represent. Produced by the Research Support Team   Evaluation of an Adolescent Development Program for Girls in  Tanzania*      Niklas Buehren     Markus Goldstein     Selim Gulesci   Munshi Sulaiman     Venus Yamᶧ                                              JEL Classifications: I25, J13, J24, O12.  Keywords: ELA program, adolescent girls’ empowerment, microfinance, Tanzania.      * We thank colleagues at BRAC Tanzania for active support in conducting the evaluation. We have  benefited from discussions with conference participants at Improving Institutions for Pro‐Poor  Growth (iiG) and Centre for Studies of African Economies (CSAE). We are grateful to the Africa  Gender Innovation Lab, the Umbrella Fund for Gender Equality, Nike Foundation, Youth Employment  Network and iiG for support. All views in this paper are those of the authors and not any particular  institution.  ᶧ Buehren: World Bank [nbuehren@worldbank.org]; Goldstein: World Bank  [mgoldstein@worldbank.org]; Gulesci: [selim.gulesci@unibocconi.it]; Sulaiman: Save the Children  [sulaiman.munshi@savethechildren.org]; Yam: Independent Researcher [venus.yam@gmail.com]  1. Introduction  Many  African  countries  are  going  through  a  phase  of  demographic  transition  marked  by  a  very  high  share  of  adolescent  and  youth  population.  This  has  led  to  a  focus  on  programs  that  are  aimed  to  facilitate the transition of adolescents into the labor market through vocational training and transfers.  A number of more recent initiatives have also been trying to extend financial services to the youth as  an entry point for their economic empowerment.1 Such initiatives are often motivated by the limited  participation of youth in mainstream financial services.2 However, there is lack of evidence on whether  savings  and  credit  services  for  youth  have  any  impact  on  their  overall  financial  market  participation  and subsequently on their transition into the labor market.3 In this paper, we evaluate the impacts of  an  intervention  designed  to  improve  the  human  capital  of  young  women  in  Tanzania  by  providing  them with vocational training and information on sex, reproduction and marriage, so‐called life skills.  We  also  test  for  the  impact  of  providing  microcredit  services  to  program  participants  in  addition  to  the other components of the program.     This paper uses data collected in Tanzania for this evaluation of the Empowerment and Livelihood for  Adolescents  (ELA)  program  by  BRAC. 4  The  intervention  package  of  this  program  is  intended  to  combine the twin goals of social and economic empowerment. The core model has been found to be  very effective for  both goals  in  Uganda (Bandiera  et  al,  2015).  Examining effects  after  two  years, the  evaluation  in  Uganda  found  an  increase  in  income  generating  activities,  increased  monthly  consumption  expenditures,  improved  reproductive  health  knowledge  and  practices,  and  large  decreases  in  teen  pregnancies  and  early  entry  into  marriage/cohabitation.  Positive  changes  are  also  observed  in  several  other  outcome  indicators  related  to  gender  roles  and  norms.  In  a  medium‐term  follow‐up,  it  appears  that  many  of  these  effects  are  sustained  four  years  after  the  program  was  first  implemented.         Our evaluation in Tanzania is a replication of the Ugandan study with one key difference: In Uganda,  we  only  evaluated  the  standard  ELA  model,  consisting  of  vocational  and  life  skills  training.  In  the  Tanzanian setting, we were able to introduce a second treatment arm which combined the standard  ELA model with microcredit. After  launching the core interventions of ELA (i.e. setting up adolescent  girls clubs, and conducting life skills, livelihood and vocational training) in all treatment communities,                                                               1  Among several examples, the YouthStart and Youth‐Inclusive Financial Services Linkage Program initiatives by  UNCDF, MasterCard Foundation and Making Cents have been aiming to play the catalytic role of making  financial service providers more pro‐youth.   2  According to the Global Findex Database, the ‘youth gaps’ in access to financial services (i.e. the difference in  likelihoods of having an account by 15‐24 year‐olds compared to adults aged over 24) are larger in developing  countries than OECD countries, and have not reduced between 2011 and 2014 (Demirguc‐Kunt, 2015). Using  information of over 66,000 young account holders at formal financial institutions in four countries, Johnson et  al (2015) argue that there is huge latent demand for financial services by the youth and they will save if  affordable services are on offer.  3  Although there are a growing number of experimental evaluations of the impacts of credit interventions, the  evidence is somewhat mixed and rarely focused on adolescents. Reviewing evidence from six randomized  evaluations of credit programs, Banerjee et al (2015) conclude that credit does not have any transformative  effects on the livelihood outcomes. However, the evaluations do not focus on young micro‐entrepreneurs.   4  BRAC is one of the largest southern NGOs originating in Bangladesh and expanded their multidimensional  development programs in several countries in Asia and Africa. Youth development through various initiatives  for adolescent girls is one of their priority areas in Africa. For more details on the NGO visit www.brac.net, and  http://brac.net/ela for the program.   2    half of the clubs were provided with microcredit services. This way, we are able to evaluate the effects  of the standard ELA model in Tanzania (as in Uganda) and to estimate the marginal effect of layering  microfinance onto the program. Our evaluation yields three sets of key findings:    First,  we  do  not  find  any  robust  effects  of  the  standard  ELA  model  on  young  women’s  social  and  economic outcomes. We look at the same set of outcomes as in the Uganda evaluation – likelihood of  being  involved  in  any  earning  activity,  income,  plans  for  starting  new  activity  or  financial  skills,  knowledge of safe sexual practices and productive health, fertility preferences, perceptions of gender  roles and control over life – and we find that the program did not lead to significant improvements in  any  of  these  outcomes.  This  is  in  sharp  contrast  to  the  findings  in  Uganda  where  the  core  model  is  found to be extremely successful in empowering girls both socially and economically. For example, in  Uganda  the  interventions  raised  the  likelihood  of  girls  being  engaged  in  earning  activities  by  72%  (mainly  driven  by  small‐scale  self‐employment),  raised  their  private  consumption  by  38%,  reduced  teen  pregnancy  by  26%,  and  reduced  early  entry  into  marriage/cohabitation  by  58%  (Bandiera  et  al,  2015).  These  contradicting  findings  raise  questions  about  the  replicability  of  successful  intervention  models across settings.    Second,  we  find  that  layering  of  microfinance  services  onto  the  standard  ELA  model  led  to  greater  interest among the target girls about the  ELA program, which was reflected by  a higher take‐up rate  of ELA club activities in communities with microfinance (19%) compared to treatment villages without  (13%). The take‐up rate in control villages was 7%.5     Third,  the  program  led  to  an  increase  in  savings  among  adolescent  girls  from  communities  that  received  the  ELA  program  with  microfinance.  Interestingly,  offering  this  formal  microfinance  service  also  increased  participation  in  informal  savings  groups  by  both  the  ELA  participants  and  non‐ participants  in  these  communities.  We  provide  suggestive  evidence  that  this  spillover  effect  on  informal savings by non‐participants may have been driven by their interactions with club  members.  We do not find any significant effect on savings in communities with the standard ELA interventions.     Finally,  we  use  qualitative  evidence  to  discuss  the  reasons  behind  the  stark  differences  in  the  program’s  effectiveness  between  the  Ugandan  and  Tanzanian  settings.  Differences  in  the  quality  of  implementation  due  to  resource  constraints  and  several  contextual  factors  appear  to  be  important  drivers  of  these  differences.  Comparing  these  two  evaluation  cases  brings  forward  important  issues  of scalability across contexts, particularly in terms of resource requirements in pilots and adaptations.  There is a popular narrative that the quality of implementation, and hence the magnitudes of impacts,  go  down  as  a  particular  intervention  is  scaled  up,  due  to  weaker  implementation,  weak  fidelity  to  design  and  loss  of  novelty  (e.g.  White,  2015;  Brown,  2016).  For  example,  in  a  systematic  review  of  farmer field schools, Waddington and While (2014) find that the positive results are limited to small‐ scale  pilots  and  there  is  no  evidence  of  positive  effects  from  such  initiatives  at  national  scale.  In  another  example,  Berge  et  al  (2012)  evaluate  a  business  training  for  micro‐entrepreneurs  and  conclude that the “… effect of research‐led interventions should be interpreted as an upper bound of  what can be achieved when scaling up …”. We argue that the relationship between scale and quality                                                               5  The two‐year take‐up rates of ELA in Uganda (without microfinance) were 21% in treatment villages and 5%  in control villages (Bandiera et al, 2015).  3    is not necessarily inverse or linear, given that the Uganda program operated at a larger scale than its  counterpart  in  Tanzania.  In  particular,  the  minimum  scale  required  for  quality  assurance  in  such  interventions is larger than ‘typical’ pilots if the cost‐effectiveness analyses from pilots are to be used  in scaling up decisions. Assessing cost‐effectiveness of such a pilot can be problematic if such projects  are made resource intensive for quality assurance.    Our  findings  are  also  related  to  the  policy  discussion  on  potential  approaches  of  making  financial  services more pro‐youth. These discussions mostly revolve  around product adaptations (CYFI, 2012),  ‘youth‐friendly’ approaches and the use of ICT in service delivery (Zimmerman and Arnold, 2013), and  combining financial services with potentially complementary skills training (Jamison et al, 2014). There  are  also  some  other  initiatives,  although  less  frequently  focused  on  the  adolescent  population,  for  strengthening  various  informal  institutions  to  make  savings  and  credit  services  accessible  (Karlan  et  al,  2012).  This  evaluation  looks  at  a  somewhat  different  model  of  combining  financial  services  with  primarily  non‐financial  skills  training.  Since  there  is  a  large  number  of  programs  for  adolescents  offering  life  skills  and  health  education,  these  programs  can  potentially  be  leveraged  as  vehicles  of  offering financial services. This evaluation measures the marginal effects of layering credit services on  such a non‐financial intervention.     The  remainder  of  the  paper  is  organized  as  follows:  Section  2  describes  the  intervention  and  our  evaluation  design;  Section  3  describes  sample  attrition,  program  take‐up  and  estimation  strategy;  Section  4  describes  the  main  findings,  Section  5  provides  robustness  checks;  Section  6  discusses  plausible  explanations  of  the  contrasting  results  between  Uganda  and  Tanzania;  and  Section  7  concludes.     2. Program and Evaluation Description  The ELA program draws on BRAC’s experiences of working with adolescent girls for over two decades  in Bangladesh. With the goal of facilitating the transition of young girls into adulthood as responsible  and  empowered  citizens,  this  program  is  being  implemented  at  various  levels  of  scale  by  BRAC  in  a  number of countries.6 To this goal, the program assists adolescent girls7 in achieving greater economic  and  social  empowerment  through  life‐skill  and  livelihood  training,  and  a  safe  space  for  sharing  their  experiences. Since there are project specific variations in ELA programs across different countries, we  explain the core approach followed by a description of the key differences in the Tanzanian pilot.  2.1 The ELA Program   The  key  components  of  ELA  are  adolescent  development  centers,  life‐skills  training,  livelihoods  training,  financial  education,  and  sensitization  meetings  with  the  parents  and  village  elders.  The  adolescent development centers, typically referred to as clubs, are usually set up in a one‐room house  at a convenient and easy‐to‐reach location for adolescent girls in the community. One of the objectives  of  this  club  is  to  create  a  safe  space  for  the  club  members.  Each  club  is  provided  with  books,  and                                                               6  In Bangladesh, BRAC has reached over a million girls between 1993 and 2013 with 40,000 adolescent clubs.  The second largest program in Uganda has reached over 50,000 girls with 1,200 clubs established since 2008.  Several pilots ranging between 60 and 250 clubs have been initiated in Tanzania, South Sudan, Sierra Leone  and Pakistan.   7  Although 13‐19 years is typically used as a functional definition of adolescence, participation is voluntary and  not strictly restricted to this age bracket.  4    equipment  for  indoor  and  outdoor  games.  The  girls  congregate  in  the  club  five  days  a  week  in  the  afternoons  to  engage  in  various  learning  and  recreational  activities ‐  reading  and  exchanging  books,  playing games, staging dramas, singing and dancing, and socializing among themselves. The club and  its  associated  recreational  activities  are  meant  to  attract  the  girls  to  voluntarily  participate  in  the  program, and leverage this interest to conduct skill trainings at the clubs.      The  second  component  of  ELA  is  life  skills  training.  A  range  of  topics  are  covered  in  the  life  skills  trainings  including  sexual  and  reproductive  health,  menstrual  disorders,  dangers  of  early  pregnancy,  sexually  transmitted  infections,  HIV/AIDS  awareness  and  family  planning.  An  adolescent  leader,  recruited  from  the  community,  is  assigned  to  each  club  to  conduct  these  trainings  and  to  facilitate  club activities more generally. The adolescent leaders, also known as mentors, are usually a few years  older than typical  club participants.  Each  mentor  is  provided with  a one‐week  residential training on  club  maintenance  and  training‐of‐trainers  for  the  life  skills  component.  Each  mentor  receives  a  monthly stipend of about $15.    A  third  component  of  ELA  is  livelihood  training.  The  club  members  are  provided  with  training  on  an  income generating activity (IGA) suitable to their local market context. Typical IGAs include small‐scale  agriculture  or  vegetable  cultivation,  poultry  and  livestock  rearing,  hair‐dressing,  tailoring,  computer  operating, and other small‐scale trades. These trainings are provided through entrepreneurs who are  engaged  in  these  activities  in  the  community  or  by  hired  professionals.  BRAC’s  agriculture  and  livestock  program  also  assists  in  conducting  specific  IGA  training.  Sometimes  financial  education  is  provided in addition to the IGA trainings.     The fourth component of ELA is to promote community participation by conducting periodic meetings  with  the  parents  and  village  elders.  Meetings  are  conducted  with  parents  and  village  leaders  to  sensitize them about the issues of adolescent girls and to create an enabling environment for the girls,  especially  during  the  early  stages  after  a  club  is  set  up.  This  community  consultation  is  considered  instrumental to generate community ownership of the program and to derive community support.     Microfinance,  the  fifth  component,  is  only  provided  to  older  adolescents.  The  objective  of  adding  credit  to  the  ELA  program  is  to  assist  low‐skilled  girls  to  become  self‐reliant  by  providing  them  with  the  financial  means  to  engage  in  self‐employment  activities.  Financial  literacy  training  and  individualized support for business planning are implemented as part of the loan process to improve  the likelihood of business success. In most of these communities, BRAC also operates its mainstream  microfinance  program.  While  many  of  these  girls  are  eligible  to  participate  in  the  mainstream  microfinance  program,  only  ELA  microfinance  conducts  the  hands‐on  coaching  on  business  planning  and  management,  and  offers  smaller  loan  sizes  to  cater  for  the  needs  of  adolescent  girls.  In  other  dimensions,  the  product  structure  of  ELA  microfinance  is  similar  to  the  mainstream  microfinance  particularly in terms of interest rates and repayment frequency.8     2.2 Implementation of the ELA Pilot in Tanzania                                                                8  The loan charges a 25% flat interest rate and the repayment is done in 40 equal instalments. Borrowers also  make a 10% deposit as loan security at the time of disbursement and this deposit is not interest bearing.  5    There  were  important  variations  between  the  general  program  design  as  described  above  and  its  implementation in Tanzania. To begin with, there were challenges in selecting implementation sites.  Initially  10  BRAC  branch  offices  in  and  around  the  urban  setting  of  Dar  es  Salaam  were  selected  as  implementation  sites.  Field  activities  within  these  branches  were  then  launched  with  the  listing  of  adolescent  girls  in  about  200  communities.  Following  this  listing  intended  to  identify  suitable  communities  for  the  intervention,  the  program  implementation  team  observed  that  these  were  not  ideal  communities  for  the  program.  Lack  of  interest  in  the  program  in  urban  settings  and  limited  cooperation  from  the  communities  were  highlighted  as  the  reasons  for  this  assessment. 9  Consequently, the  pilot sites were relocated to 10 relatively  less  urban branches  in  the Dodoma  and  Iringa  districts.  This  early  setback  put  a  constraint  on  project  resources  –  both  financially  (having  to  incur expenses for redeployment of staff and restart surveys for listing eligible girls) and time (to meet  deliverable requirements according to the initial project timeline).     Among the intervention components described in the above section, there was an important variation  in terms of the club space. As already discussed, these clubs are expected to be set up in a one‐room  house  for  monthly  rents  paid  by  the  program.  In  Tanzania,  the  clubs  were  not  usually  rented  (in  contrast to Uganda). Consequently, field officers had very limited control over the type of space they  could ensure for housing the clubs. In many cases, they failed to find a donated space and worked out  an  arrangement  with  a  local  school  or  church  to  use  their  space.  Using  these  public  spaces  reduced  BRAC’s  ability  to  decide  on  the  timing  of  club  activities.  In  addition,  the  donated  club  houses  were  often insecure and had to adjust to the preference of the owner. Overall, ensuring a ‘secure club space’  was an ongoing challenge throughout the pilot.     Another  important  variation  to  highlight  concerns  the  livelihood  training  package.  The  participating  girls are most frequently trained on agriculture and small‐scale poultry or livestock farming under this  component. In some of the programs in other countries, including in Uganda, they were provided with  in‐kind  support  (worth  about  $30)  in  the  form  of  seeds,  tools  or  chicks  in  addition  to  the  training.  In  Tanzania, the livelihood trainings were not complemented by such input support.     We  discuss  the  reasons  and  consequences  of  these  challenges  and  variations  further  in  Section  6.  Overall,  these  variations  have  important  implications  for  the  interpretation  of  the  impact  results  –  especially for understanding the contrasting results of the otherwise identical programmatic model in  Uganda.     2.3 Research Design  Implementation of the field activities of ELA in Tanzania started in 2009 with 100 adolescent centers  in 10 branches located in Irigna and Dodoma, with a mix of urban and rural locations. We over‐selected  the  number  of  communities  to  construct  a  control  group.  Prior  to  launching  the  interventions,  the  program implementation team identified 15 communities in each branch as potential sites for setting  up  the  clubs.  Stratified  at  the  branch  level,  these  150  communities  were  randomly  divided  into  two  groups‐  100  treatment  communities  and  50  control  communities.  All  the  treatment  communities  received  the  ELA  intervention  (i.e.  a  club,  life‐skills  training,  livelihood  training  and  community  meetings).  For  simplicity,  we  refer  to  this  set  of  interventions  as  ‘Club’.  The  treatment  communities                                                               9  Few of these branches have started ‘ELA‐like’ programs with new project support in later years.   6    were then further randomized into two groups –‘Club only’ and ‘Club + microfinance’. Therefore, there  are three types of communities:  1. Group A: ‘Club only’ communities offering adolescent development clubs and associated  interventions  2. Group B: ‘Club + MF’ offering microcredit in addition to Group A interventions  3. Group C: Control communities with no interventions    In  every  community,  a  census  of  all  eligible  girls  was  done  by  the  program  team  and  used  as  our  sampling frame. A baseline survey of 30‐40 girls from each village was conducted during January‐July,  2009. Table A1 shows the balance checks of the three groups in terms of their baseline characteristics.  The  normalized  difference between the two treatment  groups  and the  control  group  is  less  than  0.1  for  all  variables,  which  is  lower  than  the  rule  of  thumb  value  suggested  by  Imbens  and  Wooldridge  (2009),  and  significant  in  only  1  of  40  cases.  The  clubs  were  established  in  2009  after  the  baseline  survey.  Microfinance  rollout  started  in  early  2010  in  the  second  treatment  group  after  all  the  clubs  were set up. In order to establish a panel data set, the follow‐up survey was conducted during  June‐ November of 2011 on the same adolescent girls surveyed at baseline.     3. Sample, Take‐up, and Estimation Method  Our baseline covered 5,454 adolescent girls from these 150 villages. In the follow‐up survey, we were  able to track 3,179 of these girls. Therefore, we face a very high attrition rate (42%) between baseline  and  follow‐up.  Although  such  high  attrition  for  similar  target  populations  is  not  uncommon, 10  this  poses  challenges  in  both  interpreting  the  representativeness  of  the  panel  sample  and  measuring  impacts.  Table  A2  presents  the  correlates  of  attrition  in  our  sample.  On  average,  girls  who  were  enrolled in school at baseline are more likely to be surveyed in the follow‐up. Similarly, girls who had  a child at baseline are also less likely to attrit. The treatment dummies are not significant in any of the  specifications  showing  similar  tracking  rates  across  the  three  groups.  However,  the  main  concern  is  whether  there  is  a  selection  bias  introduced  by  losing  certain  types  of  girls  from  our  initial  sample  between  control  and  treatment  groups.  However,  the  estimated  coefficients  on  interactions  of  baseline  characteristics  with  the  treatment  dummies  are  jointly  not  significant.  The  adolescent  girls,  who  have  been  successfully  tracked,  are  not  statistically  different  in  these  baseline  characteristics  among  the  three  groups.  We  also  try  to  account  for  attrition  in  our  estimates  in  the  section  on  robustness checks.     3.1 Take‐up and Selection into the Program  Table 1 shows the take‐up rates of different ELA activities across the three types of communities. Over  half of the girls in each of the three groups know about the ELA intervention. Although ELA clubs were  not set up in any control village, 54% of the girls from this group report being aware of ELA activities,  demonstrating the high visibility of the program. Girls in ‘Club + MF’ communities were relatively more  likely (64%) to be informed about ELA than the control communities. There is no significant difference  in knowing about ELA activities between ‘Club only’ and control communities.                                                                10  For  example,  in  their  evaluation  of  vocational  training  for  youth  in  Malawi,  Cho  et  al  (2013)  observed  33%  attrition  rate  in  their  follow‐up  after  1  year.  Duflo  et  al  (2014)  have  observed  51%  attrition  rate  in  their  experiment in Kenya after 7 years. In the evaluation of ELA in Uganda (Bandiera et al, 2015), attrition rates are  18% and 41% after 2 and 4 years, respectively.   7      Conditional on having heard about the ELA program, girls in both types of treatment communities are  more  likely  to  participate  than  in  the  control  group.  Overall  the  take‐up  rate,  defined  as  having  ever  participated in any club activity, is the highest in treatment communities with microfinance (19%), and  significantly  higher  than  both  treatment  communities  without  microfinance  (13%)  and  control  (7%)  communities. It is important to note here that the participation rate of the program in Uganda after 2  years  was  21%  in  treatment  communities  without  microfinance  and  5%  in  control  communities.  In  Tanzania, the introduction of microfinance increased overall take‐up of the all program activities by 6  percentage points. However, this additional take‐up is not necessarily driven entirely by girls who are  joining ELA clubs to be able to borrow from ELA microfinance, although being an ELA club member is  a pre‐requisite. Only 4% of the girls in ‘Club + MF’ communities ever participated in the microfinance  component  of  the  program.  In  fact,  there  seems  to  be  more  persistence  in  girls’  interest  in  participating  in  ELA  activities  in  these  communities.  The  likelihoods  of  joining  ELA  activities  recently  (in  the  last  6  months)  or  currently  participating  in  the  program  are  also  the  highest  in  ‘Club  +  MF’  communities. Therefore, it seems that microfinance activities strengthened the overall ELA approach  by generating more interest in the program.     Given  the  differences  in  take‐up  rates,  it  is  important  to  assess  whether  there  are  differences  in  the  profile  of  girls  joining  ELA  clubs  between  the  two  treatment  groups  and  as  compared  to  girls  from  control  communities.  In  Table  2,  we  investigate  differential  selection  in  becoming  a  club  member  across  the  three  groups  in  terms  of  various  baseline  characteristics  of  the  participants.  Looking  at  these characteristics individually, we find little differences between club members and non‐members.  Among  the  characteristics  with  statistically  significant  differences,  girls  who  do  not  yet  have  a  child  and  expressed  greater  interest  in  the  clubs  at  baseline  are  more  likely  to  be  a  club  member.  Among  the  household  characteristics,  having  a  member  participating  in  a  regular  BRAC  program  also  significantly  increases  the  likelihood  of  a  girl  becoming  an  ELA  club  member.  There  is  no  major  significant  difference  in  characteristics  between  club  members  from  control  communities  and  club  members  in  the  ‘Club  only’  communities.  In  the  ‘Club  +  MF’  communities,  however,  the  girls  who  reported  less  interest  in  ELA  at  baseline  are  more  likely  to  participate.  It  seems  that  offering  microfinance services encouraged relatively less interested girls to participate. It is also important to  note that, across the three groups, the girls reported extremely high interest with an average intention  to participate of over 9 on a 10 point scale.     In Table 3, we report the joint significance of all these determinants of club participation. For this, we  use the following regression.    ∗ ∗            (1)    Yi  is  a  dummy  variable  indicating  whether  individual  i  ever  participated  or  not;  Xi  are  baseline  characteristics;  and  VClub  and  VMF  are  the  dummies  for  the  community  being  assigned  to  ‘Club  only’  and ‘Club + MF’ treatments respectively. In the regression of predictors of club participation including  branch fixed effects, the F‐statistics for individual and household characteristics is 4.16 (p‐value 0.00).  However,  the  joint  significance  of  the  interaction  terms  (∑ is  1.72  (p‐value  0.07)  for  ‘Club  only’  villages, and 1.04 (p‐value 0.259) for ‘Club + MF’ villages (Column 4 in Table 3). Therefore, we conclude  that  participants  from  ‘Club  only’  communities  were  significantly  different  relative  to  participants  8    from  control  communities.  While  we  do  not  detect  a  significant  difference  between  ‘Club  +  MF’  and  control communities in terms of the set of observable characteristics we test for here, there could still  be  differences  in  unobservable  characteristics  of  the  two  groups.  As  such,  comparing  participants  across different treatment groups is likely to yield estimates that are in part driven by such differential  selection.     3.2 Estimation Method  The  intention  to  treat  (ITT)  effect  is  generally  the  most  reliable  estimate  of  impacts  in  randomized  experiments.  Partial  compliance  and/or  contamination  make  this  a  more  conservative  estimate.  Therefore, we  start  our  examination with ITT effects  with  individual  fixed effects  using the  following  specification    ∗ ∗   (2)    In this equation,   are the outcome indicators for girl i in village v at time t. ci is an individual fixed  effect,  measures the average change over time in control villages, and  and  are the estimated  impacts for ‘Club only’ and ‘Club + MF’ interventions respectively.     Along  with  this  ITT  specification,  we  also  look  at  the  effects  on  participants  (the  local  average  treatment  effect  –  LATE)  by  using  our  randomized  assignment  to  treatments  as  instruments  for  predicting club participation.       (3)      (4)  In  this  two‐stage  estimation,  the  dependent  variables  in  the  second  stage  are  the  changes  in  the  variables from baseline to follow‐up with   measuring the impacts on participants (equation 3).    is  the  predicted  participation  estimated  from  the  first  stage.  In  the  first  stage,  participation  in  club  activities  is  regressed  on  the  randomized  assignment  (the  instrument)  with  baseline  characteristics  and branch dummies as controls. The strength of the instruments in predicting participation is one of  the major concerns for reliable estimates in this specification. An F‐statistic of 10 for the instruments  is often used as a rule of thumb for a minimum value required. The F‐statistics of our instruments are  10.01  and  32.23  for  ‘Club  only’  and  ‘Club  +  MF’  respectively.  The  instruments  pass  the  weak  identification  test  marginally  for  measuring  the  effects  of  ‘Club  only’  interventions,  and  comfortably  for  ‘Club  +  MF’.  This  essentially  reflects  the  larger  difference  in  take‐up  between  ‘Club  +  MF’  and  control compared to the difference between ‘Club only’ and control.     4. Main Impact Results    We  start  by  analyzing  the  effects  of  the  ELA  program  on  economic  outcomes.  Table  4  presents  both  the  ITT  and  the  IV  estimates  from  specifications  (2)  and  (3)  respectively.  The  outcomes  we  look  at  include the  likelihood of  being  involved in an  income‐generating  activity and to have  a daily  income,  logarithm  of  labor  income,  whether  the  respondent  indicated  that  she  was  planning  to  start  a  new  income‐generating activity and a measure of financial skills. None of the estimates shows a significant  9    impact  of  the  program.  This  is  in  sharp  contrast  with  the  findings  for  the  evaluation  of  ELA  interventions in  Uganda, which found a  significant positive  increase in the probability that girls were  in  an  income  generating  activity.  Aside  from  income,  the  point  estimates  of  the  ITT  effects  in  the  Tanzania evaluation are also very close to zero. Point estimates for the LATE estimates are higher but  also not statistically significant.    Table  5  shows  ITT  and  IV  estimates  for  the  impact  of  the  program  on  participants’  financial  market  participation. We find that the combined intervention of club and microfinance service has increased  the  likelihood  of  adolescent  girls  having  savings,  and  particularly  at  informal  institutions,  such  as  rotating  savings  and  credit  schemes  (ROSCAs),  locally  known  as  upatu.  The  ITT  estimates  show  a  2.8  percentage points increase in the likelihood of having savings at ROSCAs, which is fairly large relative  to the low base of only 2% at baseline. The point estimates for having savings at home and savings at  an NGO are also large, but not statistically significant. There is a statistically significant positive impact  on total amount saved by the girls, but only in the Tobit, not the OLS specification. The IV estimates in  Panel  B  show  positive  impacts  on  savings  at  home  as  well  as  overall  savings  for  the  ‘Club  +  MF’  intervention  only.  There  are,  however,  no  impacts  observed  on  borrowing.  Both  the  ITT  and  the  IV  estimates in column (7) show that the participants did not experience any increase in their likelihood  of having a loan. This is surprising, given that the microfinance services offered are primarily offering  credit  and  not  saving  products.  This  implies  that  mechanisms  other  than  the  direct  availability  of  microfinance  services  may  be  driving  the  effects  on  saving.  In  section  6,  we  will  provide  suggestive  evidence that these effects were mainly driven by spillover effects through the social networks of club  participants.      Finally,  in  Table  6,  we  provide  results  on  reproductive  health,  education,  and  empowerment  outcomes. We fail to reject the null of zero impact for almost all indicators.  The ITT results for these  indicators are statistically not significant and in most cases very close to zero – e.g. the point estimates  for HIV knowledge, on a scale of 0 to 5, are 0.15 for ‘club only’ and 0.07 for ‘Club + MF’ as opposed to  a  large  effect  of  0.47  for  the  program  in  Uganda.  Similarly,  the  ITT  effects  on  perception  of  ideal  number  of  children  are  0.003  and  0.024  and  not  significant  compared  to  a  statistically  significant  decline of 0.28 in Uganda. The only meaningful changes observed are on perceived gender roles and  business  network.  While  the  positive  effect  on  perception  of  gender  roles  in  ‘Club  +  MF’  villages  is  interesting, we conclude that the clubs – both with and without microfinance – seem to have had no  discernible impact on reproductive outcomes or participants’ empowerment, a marked contrast from  the results in Uganda. The positive effect on girls’ likelihood of talking with friends about business, on  the  other  hand,  is  more  likely  to  be  linked  to  the  microfinance  component  and  we  reflect  on  this  in  the next section.     5. Discussion on the Impacts on Savings  In this section, we discuss social learning as a plausible mechanism of the effects on informal savings.  In the follow‐up survey, we collected network information by asking girls about their interactions with  other  girls  in  their  respective  communities.  More  specifically,  we  asked  about  their  connection  with  five girls from their village (randomly selected from the baseline sample). Conditional on knowing the  girl,  the  respondents  were  asked  whether  they  talked  to  them  about  business  or  social  issues.  Since  this information is collected only at the follow‐up survey, we are only able to look at the correlations  between social network and having informal savings. Therefore, this analysis is not sufficient to claim  10    social learning or a demonstration effect. While the ELA program can influence the girls to talk about  business  and  finance  with  their  friends  from  their  informal  savings  group,  the  reverse  causality  is  equally  possible  whereby  girls  are  more  likely  to  talk  about  businesses  after  forming  their  savings  groups.  However,  positive  correlations  between  the  likelihood  of  talking  about  business  with  fellow  girls  in  their  network  and  having  informal  savings  could  suggest  social  learning.  ROSCA  being  a  collective activity,11 it is almost a necessary condition for girls in such groups to discuss business plans  and other topics related to finance.   Figure 1 shows that the girls who reported discussing business issues with their friends are more likely  to have savings with a ROSCA compared to the rest. While we see the same pattern in the likelihood  of ROSCA participation in all three groups of communities, the difference is much sharper for ‘Club +  MF’ villages. We then use discussion of social issues as a type of placebo comparison. Although there  is  a  significant  positive  correlation  between  these  two  measures  of  networks,  we  find  a  weaker  correlation between having discussed social issues with their social network and ROSCA participation.  As  pointed  out  earlier,  this  measure  does  not  provide  conclusive  evidence  on  social  learning,  but  it  provides  suggestive  evidence  of  a  mechanism  by  which  the  provision  of  formal  financial  services  (microfinance) may have crowded‐in demand for informal financial services.   6. Why are the impacts of ELA different between Tanzania and Uganda?  As  we  have  discussed  so  far,  we  find  starkly  different  impacts  of  the  ELA  program  in  Tanzania  as  compared to a similar intervention by the same NGO in Uganda. It is important to highlight here that  it is not unique to find that similar programs show different effects depending on the implementation  team. 12  While  it  is  extremely  important  to  understand  why  these  are  so  different  from  a  generalizability  perspective,  an  attempt  to  answer  this  question  ex  post  can  be  dangerous.  After  all,  these are only two cases of implementing a ‘similar intervention model’ by an NGO that differ in many  aspects,  including  (and  certainly  not  limited  to)  two  different  country  contexts,  different  implementation teams, implemented at different levels of scale, with different amounts of resources  available. Any combination of these differences could potentially be the underlying factor behind this  difference.  With  this  important  caveat,  we  discuss  several  key  factors  that  seem  to  be  driving  these  contrasting  results.  For  this,  we  heavily  draw  on  qualitative  research  comparing  ELA  in  Uganda  and  Tanzania as case studies by BRAC’s research and evaluation division (Yam, 2013).     This  qualitative  process  evaluation  identifies  several  weaknesses  in  the  implementation  of  the  program  in  Tanzania.  Discussions  of  these  weaknesses  with  implementation  teams  reveal  that  resource  constraints  are  at  the  core  of  the  quality  of  implementation.  Unlike  in  Uganda,  where  the  program  was  scaled  up  while  the  evaluation  pilot  was  underway,  there  were  important  resource  constraints in Tanzania. The initial delay in project rollout and having to redeploy teams to new sites  depleted the program’s ability to implement the interventions according to the original design.                                                                  11  In a typical ROSCA, group members put in their savings at regular intervals and loans are given out  predominantly to group members.  12  For example, in an evaluation of scaling up a previously successful contract teachers intervention in Kenyan  schools, Bold et al (2013) find different results on impacts of students’ learning by types of implementing  agencies (Govt. vs. NGO). This study highlights differences in monitoring and implementation quality being  major drivers of different outcomes.   11    Firstly,  as  indicated  above,  the  provision  for  renting  club  houses  was  removed  due  to  funding  constraints. The initial approach had been to ask the community to donate space, but the response to  this provided no or inadequate housing for the clubs. In Uganda, funding was provided to rent suitable  spaces, but in Tanzania such funding was not available. Consequently, the club meetings and trainings  were held either in public spaces (e.g. in local schools or churches) or in donated houses. Conducting  club  activities  in  public  spaces  created  uncertainty  over  timing,  and  donated  houses  were  often  not  ideal,  as  clubs  typically  had  less  space  than  was  needed  for  20‐30  girls  to  congregate  and  lacked  lighting or toilet facilities. The second difference in quality was in club materials. Not replenishing club  materials  (such  as  instruments  for  dance  and  drama,  books,  game  boards,  etc.)  that  became  worn,  broken, or unusable was also found to have reduced club members’ interest in regular participation.  There were also claims that some materials were lost as they could not lock the doors. Thirdly, there  was inadequate provision for the training of new mentors. Since the pilot was operating at a very small  scale,  it  was  not  feasible  to  organize  trainers’  training  for  only  a  few  mentors.  For  example,  the  mentors  are  trained  in  batches  of  20‐30  individuals.  With  less  than  five  mentors  dropping  out  in  a  given  month,  the  replacement  mentors  often  had  to  wait  for  months  before  they  could  be  trained.  Finally, the qualitative report also identifies less frequent monitoring and supervision visits as a reason  for  low  implementation  quality.  In  particular,  supervision  of  the  implementation  process  was  considerably stretched in Tanzania compared to Uganda: the area manager in Tanzania supported 10  branches, while area managers in Uganda supported five branches.     Because  of  relatively  quick  scale‐up  in  Uganda  during  the  evaluation  period  with  funding  from  the  MasterCard  Foundation,13 the  program  there  was  able  to  reduce  overhead  costs  per  club,  utilizing  economies of scale  in procurement of  materials,  in  mentors’ training  and  in  supervision. There were  also  additional  initiatives  that  could  leverage  the  scale  of  operations.  There  have  been  several  initiatives  of  inter‐club  competitions  (on  cultural  events,  sports,  and  handicrafts)  in  Uganda  to  rejuvenate club activities, the like of which was not done in Tanzania. These examples of advantages  in scale are important to note in the context of the external validity of small pilots in different program  environments.  These  suggest  that  there  may  not  necessarily  be  a  negative  relationship  between  the  scale of an intervention and its quality, which is often assumed to be the case.     Besides these issues with the quality of implementation, the report also highlights a difference in the  priorities expressed by the girls in Uganda versus Tanzania. The club members in Uganda were more  interested  in  economic  and  livelihood  components,  but  their  counterparts  in  Tanzania  expressed  greater  interest  in  receiving  supplemental  tutoring  to  support  their  education.  This  is  in  line  with  a  higher rate of school enrollment among the members of Tanzanian ELA clubs than in Uganda (80% vs.  71%). There have been a few adjustments in the overall ELA program in Tanzania more recently (since  2013)  by  focusing  on  training  mentors  on  tutoring  club  members  who  are  enrolled  in  school.  An  evaluation  is  currently  underway  to  assess  the  ELA  program  with  this  adjustment  and  initiatives  for  quality improvements.14                                                                  13  The foundation provided financial assistance to open 1,200 additional clubs in that many villages across the  country within the first year of initiating the pilot evaluation.   14  This project is part of the Girl’s Education Challenge Fund of DFID. See the link for more information on the  project, https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/415489/GEC‐ Project‐Profile‐booklet‐March2015.pdf, accessed on June 7, 2016.  12    Despite  many differences,  this  is an  intervention  implemented  by  the  same  NGO  in two neighboring  countries  of  East  Africa  with  markedly  different  results.  When  scaling  up  this  model  or  taking  it  to  different contexts, there are risks of getting it wrong despite the potential strength of the core model.  We  argue  that  building  the  external  validity  of  this  program  would  require  further  work  that  tests  it  as  a  complete,  well‐implemented  and  resourced  package  instead  of  cutting  corners  to  make  it  less  costly.  Alternatively,  a  more  structured  approach  to  examining  various  aspects  of  the  program  (e.g.  the  livelihoods training  vs. the  life  skills training) with  a  multi‐arm experiment could  provide  insights  on whether it is possible to run this type of program effectively with fewer resources. Overall, the key  factor  for  long‐term  success  at  the  institutional  level  is  continuous  learning ‐  both  from  evaluations  and field level implementations for contextual adaptations. This is an endeavor the policy community  engaged  in  adolescent  programming  should  pursue,  with  adequate  provisions  for  sharing  lessons  of  both successes and failures.        7. Conclusion  We  measured  the  impacts  of  an  Empowerment  and  Livelihood  for  Adolescents  (ELA)  program  in  Tanzania,  based  on  the  same  implementation  model  as  a  program  in  Uganda  that  was  successful  in  both  socially  and  economically  empowering  young  women.   The  program  consists  of  a  safe  space,  access  to  recreational  activities,  life  skills  training,  livelihood  training,  and  community  sensitization  meetings.  We  also  tested  the  effects  of  adding  microcredit  services  to  this  composite  ELA  program.  Overall,  the  results  show  that  the  same  positive  effects  of  ELA  could  not  be  replicated  in  Tanzania,  although  we  find  that  layering  microfinance  influenced  more  girls  to  participate  in  the  ELA  program  and  to  have  higher  savings.  More  importantly,  the  availability  of  formal  financial  services  seems  to  have crowded in informal financial mechanisms in the form of ROSCA participation.   Extending  financial  services  is  increasingly  becoming  a  priority  in  the  policies  around  labor  market  transition  of  the  young  population.  This  is  a  more  prominent  challenge  in  African  countries  that  are  going  through  demographic  transitions.  This  research  indicates  that  layering  financial  services  on  other  (non‐financial)  training  programs  is  a  plausible  avenue  of  achieving  youth‐inclusive  financial  services.  Such a strategy can be effective in enhancing overall participation in such programs and have  an impact on their economic empowerment.   The contrasting results on the effects of the ELA program, on the other hand, bring out the  important issue of the generalizability of individual studies for the purpose of scaling up both within  the same context and in new settings. A qualitative comparison of these two case studies indicates  that implementation fidelity is a key driver of the contrasting results. The case studies also suggest  that the typical narrative of a negative association between scale and quality may not be accurate.  13    References  Bandiera, O., N. Buehren, R. Burgess, M. Goldstein, S. Gulesci, I. Rasul and M. Sulaiman (2015) “Women’s  Empowerment in Action: Evidence from a Randomized Control Trial in Africa”, mimeo, UCL.    Banerjee, A., Karlan, D. and Zinman, J. (2015) “Six randomized evaluations of microcredit: Introduction and  further steps”, American Economic Journal: Applied Economics, vol. 7(1): 1‐21.   Berge, L. I. O., Bjorvatn, K., Juniwaty, K. S. and Tungodden, B. (2012) “Business training in Tanzania: From  research driven experiment to local implementation”, Journal of African Economies, Vol. 21(5): 808‐827.  Bold, T., Kimenyi, M., Mwabu, G., Ng’anga, A. and Sandefur, J. (2013) “Scaling up what works: Experimental  evidence on external validity in Kenyan education”, Working Paper No. 321, Center for Global Development,  Washington, D.C.  Brown, A. N. (2016), “The pitfalls of going from pilot to scale, or why ecological validity matters”, blog at 3ie  accessed on June 04, 2016  Cho, Y., Kalomba, D., Mobarak, A. M. and Orozco, V. (2013), “Gender differences in the effects of vocational  training: Constraints on women and drop‐out behavior,” IZA Discussion Papers 7408, Institute for the Study of  Labor (IZA).  Duflo. E, Dupas. P. and Kremer, M. (2014) “Education, HIV and early fertility: Experimental evidence from  Kenya”, forthcoming American Economic Review.  CYFI (2012) “Child and youth friendly product certificate: Guidebook”, Child and Youth Finance International,  Amsterdam.   Demirguc‐Kunt, A., Klapper, L., Singer, D. and Van Oudheusden, P. (2015) “The Global Findex Database 2014:  Measuring financial inclusion around the world”, Policy Research Working Paper No. 7255, the World Bank,  Washington D.C.   Imbens. G. W and Wooldridge, J. M (2009) “Recent developments in the econometrics of program evaluation,”  Journal of Economic Literature, Vol. 47: 5‐86.  Jamison, J. C., Karlan, D. and Zinman, J. (2014) “Financial education and access to savings accounts:  Complements or substitutes? Evidence from Uganda youth clubs”, NBER Working Paper 20135.  Johnson, L., Lee, Y., Ansong, D., Sherraden, M., Chowa, G., Ssewamala, F., Zou, L., Sherraden, M., Njenga, M.,  Kieyah, J., Osei‐Akoto, I., Sharma, S., Manandhar, J., Rodiriguez, C., Merchan, F. and Saavedra, J. (2015) “Youth  savings patterns and performance in Colombia, Ghana, Kenya and Nepal”, YouthSave Research Report, Center  for Social Development, Washington University at Sr. Louis.   Karlan, D., Thuysbaert, B., Udry, C., Cupito, E., Naimpally, R., Salgado, E. and Savonitto, B. (2012) “Impact  assessment of savings groups: Findings from three randomized evaluations of CARE Village Savings and Loan  Association programs in Ghana, Malawi and Uganda”, Innovation for Poverty Action, New Haven.  Waddington, H. and White, H. (2014) “Farmer field schools: From agriculture extension to adult education”,  Systematic Review Summary 1, 3ie.   White, H, 2015 “What’s wrong with evidence‐informed development?”, blog at 3ie, accessed on June 04, 2016  Zimmerman, J. M. and Arnold, J. (2013) “Hope or hype? Five obstacles to mobile money innovations for youth  financial services”, Innovations: Technology, Governance, Globalization, Vol. 8(2): 233‐246.  14    Table 1. Uptake rates and selection into the program by baseline characteristics    Club  Club + MF  Control    Difference  only    (A)  (B)  (C)    (A‐C)  (B‐C)  (B‐A)  Heard about ELA  0.550  0.637  0.539    0.011  0.098  0.087          (0.061)  (0.059)*  (0.059)  Ever participated in any  0.237  0.296  0.132    0.106  0.165  0.059  ELA club activity (if heard)         (0.043)**  (0.043)***  (0.051)  Ever participated in any  0.130  0.193  0.071    0.060  0.122  0.063  ELA club activity           (0.025)**  (0.028)***  (0.033)*  Joined club in the last 6  0.013  0.035  0.007    0.006  0.029  0.022  months          (0.005)  (0.014)**  (0.014)  Still participating during  0.028  0.048  0.022    0.006  0.027  0.021  follow‐up survey    (0.010)  (0.013)**  0.014  Member of ELA  0.008  0.037  0.011    ‐0.004  0.026  0.030  microfinance          (0.005)  (0.010)**  (0.010)***  Note: ***, ** and * denote significance at <10%, <5% and <1% respectively. Standard errors of the differences  are clustered at village level.      15    Table 2. Differential selection in program participation by treatment status of the village    Adolescent Characteristics  Household Characteristics  Interest in  Any daily  Worry  Own a  Any adult  BRAC  VARIABLES  Young  Enrolled  Single  Have Child  ELA  Any IGA  earning  Future IGA  money  Assets   house  male  member  Club member  0.096  ‐0.012  0.022  ‐0.051  0.567  ‐0.008  ‐0.022  0.035  0.031  0.037  0.064  ‐0.017  0.132  (0.073)  (0.050)  (0.016)  (0.022)**  (0.157)***  (0.028)  (0.017)  (0.030)  (0.055)  (0.113)  (0.070)  (0.058)  (0.064)**  Treatment village A  0.041  0.023  0.015  ‐0.009  0.172  ‐0.004  0.005  0.001  ‐0.035  0.055  0.005  0.028  ‐0.023  (Club only)  (0.029)  (0.030)  (0.009)*  (0.015)  (0.163)  (0.016)  (0.014)  (0.012)  (0.044)  (0.097)  (0.050)  (0.036)  (0.026)  Treatment village B  0.026  ‐0.007  0.004  ‐0.005  0.157  0.037  0.035  0.011  ‐0.015  0.002  ‐0.011  ‐0.002  0.004  (Club + MF)  (0.028)  (0.033)  (0.011)  (0.015)  (0.156)  (0.023)  (0.021)*  (0.012)  (0.045)  (0.087)  (0.048)  (0.040)  (0.026)  Treatment village A  ‐0.025  ‐0.038  ‐0.016  0.027  ‐0.396  ‐0.011  ‐0.017  ‐0.053  ‐0.005  ‐0.119  ‐0.077  0.023  ‐0.015  X club member  (0.091)  (0.063)  (0.019)  (0.028)  (0.204)*  (0.035)  (0.020)  (0.032)*  (0.073)  (0.174)  (0.084)  (0.071)  (0.086)  Treatment village B  0.005  0.027  ‐0.005  0.026  ‐0.517  ‐0.032  ‐0.033  ‐0.063  ‐0.027  ‐0.106  0.005  0.044  ‐0.025  X club member  (0.084)  (0.064)  (0.020)  (0.028)  (0.214)**  (0.040)  (0.025)  (0.032)*  (0.072)  (0.152)  (0.084)  (0.072)  (0.074)  Constant  0.464  0.786  0.964  0.080  9.150  0.074  0.049  0.032  0.396  ‐0.012  0.612  0.710  0.091  (0.018)***  (0.022)***  (0.007)***  (0.010)***  (0.126)***  (0.011)***  (0.009)***  (0.008)***  (0.034)***  (0.063)  (0.034)***  (0.023)***  (0.019)***  Observations  3,179  3,179  2,996  3,049  3,104  3,179  3,179  3,179  3,179  3,060  3,025  3,179  3,062  R‐squared  0.005  0.001  0.002  0.002  0.006  0.005  0.007  0.003  0.001  0.001  0.001  0.001  0.019  Note: ***, ** and * denote significance at <10%, <5% and <1% respectively. Standard errors in parentheses are clustered at village level. Dependent variables are:  Young=Age is <=16 years (median age) at baseline, Enrolled=whether enrolled in school, Single=whether never been married, Have child=have at least one child, Interest in  ELA= reported intention to participate on a scale of 0 to 10 at baseline, where 10 is “I definitely would join such a club”, Any IGA=whether involved in any income  generating activity, Any daily earning = whether involved in any activity generating daily income, Future IGA = whether planning to start any new IGA, Worry money=  whether reported worrying about her family not having enough money to pay for things, Assets= an index from principal component analysis to combine ownership of six  different household assets (radio, television, refrigerator, cell phone, sofa and iron), Own a house= whether household owns the house they are living in, Any adult male =  whether there is any adult male (aged 30+) member in the household, BRAC member = whether any of the household members participate in BRAC’s microcredit program.   16    Table 3. Joint significance of predictors of club participation    Ever participated in any ELA club activity    (1)  (2)  (3)  (4)  Treatment village A   0.199  0.198  0.235  0.218  (Club only)  (0.114)*  (0.115)*  (0.123)*  (0.126)*  Treatment village B   0.253  0.247  0.256  0.243  (Club + MF)  (0.153)  (0.144)*  (0.153)*  (0.148)  Adolescent characteristics  Yes  Yes  Yes  Yes  Household characteristics  No  No  Yes  Yes  Branch dummies  No  Yes  No  Yes   Observations  2,869  2,869  2,713  2,713  R‐squared  0.044  0.067  0.063  0.072  F‐Stat for ∑βk (Xi)  3.65***  2.79***  6.30***  4.21***  F‐Stat for ∑δk (Xi*VClub)  1.74*  2.10**  1.13  1.72*  F‐Stat for ∑ k (Xi*VMF)  1.85*  1.45   1.14  1.04  Note: ***, ** and * denote significance at <10%, <5% and <1% respectively. Standard errors in parentheses  are clustered at village level. Adolescent and household characteristics included in the regressions are those  specified in Table 2.   17    Table 4. Impact on economic outcomes  Panel A: Intention to treat effects  Involved in  Have daily  Planning  Financial  Tobit  VARIABLES  IGA  income  Ln(income)  new IGA  Skills  ln(income)    (1)  (2)  (3)  (4)  (5)  (6)  Treatment village A (Club  0.018  0.003  0.109  0.010  ‐0.002  0.984  only) X Follow‐up  (0.019)  (0.016)  (0.202)  (0.016)  (0.098)  (1.532)  Treatment village B (Club +  ‐0.018  ‐0.024  ‐0.277  0.008  ‐0.059  0.754  MF) X Follow‐up  (0.027)  (0.023)  (0.284)  (0.016)  (0.102)  (1.523)  p‐value (A vs. B)  0.18  0.22  0.17  0.92  0.52  0.88  Observations  6,358  6,358  6,346  6,358  6,358  6,346  R‐squared  0.005  0.004  0.004  0.006  0.089  ‐  Number of ID  3,179  3,179  3,179  3,179  3,179  3,179  Panel B: IV Estimates  Treatment village (Club  0.192  0.054  0.694  0.066  ‐0.612    only)  (0.193)  (0.153)  (1.948)  (0.139)  (0.875)    Observations  1,903  1,903  1,895  1,903  1,903    R‐squared  0.320  0.348  0.322  0.406  0.051      10.01  10.01  10.00  10.01  10.01    Treatment village B (Club +  0.068  ‐0.008  0.820  0.042  ‐0.450    MF)  (0.129)  (0.101)  (1.377)  (0.095)  (0.577)    Observations  1,931  1,931  1,926  1,931  1,931    R‐squared  0.437  0.433  0.399  0.397  0.090      32.23  32.23  31.98  32.23  32.23    Note: ***, ** and * denote significance at <10%, <5% and <1% respectively. Column 1‐5 are OLS estimates with individual fixed effect and standard errors are clustered at  village level. Column 6 tobit estimates. IV estimates (Panel B) use treatment assignment as exogenous instrument of club participation controlling for individual  characteristics from baseline and branch dummies, outcome indicators are changes between baseline and follow‐up, and errors clustered at village level. IVTOBIT is not  done column 6 since the outcome is change in income and cannot be left/right censored.       18    Table 5. Impact on financial market participation  Panel A: Intention to treat effects          Have  Ln (savings  Savings at  Savings at  Savings at  Savings at  Ln (loan  Tobit  Tobit  VARIABLES  savings  amount)  home  a ROSCA  NGO  BANK  Have Loan  amount)  ln(savings)  ln(loan)    (1)  (2)  (3)  (4)  (5)  (6)  (7)  (8)  (9)  (10)  Treatment village A (Club  0.056  0.528  0.045  0.009  ‐0.010  0.016  ‐0.010  ‐0.137  0.835  ‐3.216  only) X Follow‐up  (0.049)  (0.488)  (0.045)  (0.009)  (0.026)  (0.017)  (0.009)  (0.105)  (0.816)  (3.602)  Treatment village B (Club +  0.064  0.663  0.050  0.028  0.033  0.013  0.000  ‐0.010  2.082  4.138  MF) X Follow‐up  (0.047)  (0.478)  (0.041)  (0.012)**  (0.032)  (0.019)  (0.014)  (0.147)  (0.801)***  (3.212)  P‐value (A vs. B)  0.87  0.79  0.91  0.13  0.17  0.90  0.50  0.39  0.12  0.03  Observations  6,358  6,358  6,358  6,358  6,358  6,358  5,637  5,637  6,358  5,637  R‐squared  0.075  0.089  0.041  0.020  0.113  0.052  0.003  0.005  ‐  ‐  Number of ID  3,179  3,179  3,179  3,179  3,179  3,179  3,143  3,143  3,179  3,143  Panel B: IV Estimates          Treatment village (Club  0.681  6.494  0.469  0.124  ‐0.103  0.185  ‐0.101  ‐1.431      only)  (0.480)  (4.748)  (0.426)  (0.114)  (0.349)  (0.211)  (0.087)  (0.994)      Observations  1,903  1,903  1,903  1,903  1,903  1,903  1,584  1,584      R‐squared  ‐0.083  ‐0.066  ‐0.001  ‐0.030  ‐0.001  ‐0.010  0.020  ‐0.011      F‐statistics (first stage)  10.01  10.01  10.01  10.01  10.01  10.01  10.39  10.39      Treatment village B (Club +  0.572  5.645  0.453  0.194  0.273  0.097  0.004  ‐0.093      MF)  (0.287)**  (2.992)*  (0.252)*  (0.095)**  (0.244)  (0.132)  (0.090)  (0.962)      Observations  1,931  1,931  1,931  1,931  1,931  1,931  1,580  1,580      R‐squared  ‐0.027  ‐0.019  ‐0.007  ‐0.057  ‐0.007  0.005  0.049  0.040      F‐statistics (first stage)  32.23  32.23  32.23  32.23  32.23  32.23  30.84  30.84      Note: ***, ** and * denote significance at <10%, <5% and <1% respectively. Column 1‐8 are OLS estimates with individual fixed effect and standard errors are clustered at  village level. Column 9 and 10 are random effect tobit estimates. IV estimates (Panel B) use treatment assignment as exogenous instrument of club participation controlling  for individual characteristics from baseline and branch dummies, outcome indicators are changes between baseline and follow‐up, and errors clustered at village level.  IVTOBIT is not done column 9 and 10 since the outcomes are changes and cannot be left/right censored.          19    Table 6. Impact on social outcomes  ITT estimates  IV estimates  Club Only  Club + MF  P‐value   Club Only  Club + MF  (Treat A)  (Treat B)  (A=B)  (Treat A)  (Treat B)  Outcome indicators  (1)  (2)  (3)  (4)  (5)  Enrolled in schools (1=Yes)  0.034  0.041  0.847  0.426  0.262  (0.028)  (0.036)    (0.366)  (0.220)  Knowledge on HIV [Scale 0 – 5]  0.150  0.069  0.743  0.207  0.178  (0.270)  (0.285)    (1.334)  (0.827)  Ever had sex (1=Yes)  ‐0.024  ‐0.018  0.867  ‐0.503  ‐0.184  (0.034)  (0.033)    (0.388)  (0.212)  Always use condom (if sexually  ‐0.089  ‐0.043  0.692  ‐0.719  ‐0.926  active) (1=Yes)  (0.118)  (0.096)    (0.782)  (0.602)  Ever had STD (1=Yes)  0.010  0.001  0.410  0.168  0.008  (0.012)  (0.011)    (0.123)  (0.069)  Ever had sex unwillingly (1=Yes)  0.021  ‐0.001  0.123  0.208  ‐0.051  (0.013))  (0.011)    (0.156)  (0.077)  Never been married (1=Yes)  0.004  0.009  0.633  0.088  0.097  (0.009)  (0.012)    (0.107)  (0.077)  Have child(ren) (1=Yes)  ‐0.022  ‐0.008  0.465  ‐0.283  ‐0.074  (0.017)  (0.017)    (0.214)  (0.122)  Perceived ideal marital age for  0.357  0.101  0.479  5.867  0.624  girls (in years)  (0.315)  (0.336)    (3.234)*  (1.838)  Perceived ideal number of  0.003  0.024  0.841  0.660  0.424  children  (0.102)  (0.095)    (1.201)  (0.633)  Perceived gender role [Index 0 –  3.775  6.144  0.489  15.822  45.951  100]  (3.194)  (3.410)*    (28.502)  (18.465)**  Perceived control over life [Index  ‐0.422  ‐2.136  0.588  ‐26.181  ‐15.457  0 – 100]  (3.295)  (2.904)    (23.764)  (13.621)  Talk about business with any  0.029  0.066  0.252  0.589  0.553  friend (1=Yes)  (0.020)  (0.028)**    (0.402)  (0.241)**  Talk about social issues with any  0.019  0.033  0.789  0.372  0.275  friend (1=Yes)  (0.054)  (0.057)    (1.089)  (0.478)  Note: ***, ** and * denote significance at <10%, <5% and <1% respectively. Results presented in Column 1 and  2 are β2 and β3 respectively from equation 2; and Column 4 and 5 are β5 and β6 respectively from equation 5.  All the outcome indicators (except the last two) use the specification of Equation 2 for ITT estimates and  Equation 3 and 4 for IV estimates. However, for the social network outcomes (talking to friends about business  and social issues), we use cross‐sectional data at follow‐up since this was not included at baseline.      20      Figure 1. Girls having savings at ROSCA by their social network in follow‐up  25% Have  savings  at   ROSCA 20% 15% 10% 5% 0% Discussed Did not discuss Discussed Did not discuss Business issues Social issues Control Club only Club + MF   21    Table A1. Balancing in treatment assignment  Means  Club only  Club + MF  Control  Difference (SE)    Normalized difference  Baseline characteristics  (A)  (B)  (C)  A vs. C  B vs. C    A vs. C  B vs. C  Age <=16 years  0.515  0.510  0.471  0.044  (0.027)  0.039  (0.026)    0.06  0.05  Enrolled in school  0.803  0.781  0.785  0.018  (0.028)  ‐0.003  (0.033)    0.03  ‐0.01  Never been married  0.980  0.971  0.965  0.014  (0.008)*  0.006  (0.009)    0.06  0.02  Have children  0.067  0.070  0.076  ‐0.009  (0.013)  ‐0.006  (0.014)    ‐0.02  ‐0.02  Intention to participate [scale 0 to 10]  9.344  9.316  9.190  0.154  (0.153)  0.126  (0.146)    0.07  0.06  Involved in IGA  0.068  0.104  0.074  ‐0.006  (0.015)  0.030  (0.021)    ‐0.02  0.08  Have daily income  0.049  0.073  0.047  0.001  (0.013)  0.026  (0.019)    0.00  0.08  Stopped IGA  0.024  0.021  0.023  0.001  (0.009)  ‐0.001  (0.008)    0.01  ‐0.01  Have plan for new IGA  0.031  0.037  0.034  ‐0.004  (0.011)  0.003  (0.011)    ‐0.01  0.01  Worry about money  0.364  0.381  0.398  ‐0.034  (0.043)  ‐0.017  (0.044)    ‐0.05  ‐0.02  HIV knowledge [scale 0‐7]  3.758  3.848  3.945  ‐0.187  (0.134)  ‐0.097  (0.145)    ‐0.10  ‐0.05  Ever had sexual intercourse  0.226  0.219  0.223  0.002  (0.029)  ‐0.004  (0.025)    0.00  ‐0.01  Reported always using condoma  0.517  0.477  0.478  0.039  (0.062)  ‐0.001  (0.068)    0.06  0.00  Reported any STD symptoms  0.013  0.012  0.021  ‐0.008  (0.007)  ‐0.009  (0.007)    ‐0.05  ‐0.05  Experienced sexual intercourse unwillingly  0.015  0.017  0.020  ‐0.005  (0.007)  ‐0.003  (0.007)    ‐0.03  ‐0.02  HH assets index (standardized)  0.038  ‐0.018  ‐0.004  0.042  (0.091)  ‐0.014  (0.082)    0.03  ‐0.01  HH own the house  0.615  0.614  0.616  ‐0.001  (0.047)  ‐0.002  (0.048)    0.00  0.00  Have any adult male  0.739  0.713  0.709  0.030  (0.034)  0.004  (0.036)    0.05  0.01  HH has a BRAC member  0.084  0.115  0.100  ‐0.016  (0.027)  0.015  (0.029)    ‐0.04  0.03  Standard errors of differences are clustered at village level. Observations from the panel data are included in this descriptive.  a  Applicable to respondents reported being sexually active    22    Table A2. Correlates of attrition    (1=Attrited)  (1=Attrited)  (1=Attrited)  Treatment village A (Club only)  ‐0.018  (0.045)  0.040  (0.262)  0.030  (0.248)  Treatment village B (Club + MF)  ‐0.038  (0.045)  ‐0.100  (0.267)  ‐0.086  (0.208)  Young (age <=16)  ‐0.009  (0.014)  0.009  (0.033)  0.033  (0.027)  Enrolled  ‐0.091  (0.022)***  ‐0.056  (0.042)  ‐0.035  (0.037)  Single  ‐0.054  (0.049)  ‐0.103  (0.079)  ‐0.135  (0.079)*  Have child  ‐0.056  (0.025)**  ‐0.094  (0.058)  ‐0.121  (0.049)**  Intention to participate  0.001  (0.005)  ‐0.022  (0.018)  0.003  (0.012)  Involved in any IGA  0.055  (0.041)  0.163  (0.074)**  0.069  (0.060)  Have daily income  ‐0.035  (0.050)  ‐0.048  (0.101)  0.055  (0.084)  Has stopped any IGA previously  ‐0.098  (0.051)*  ‐0.129  (0.093)  ‐0.075  (0.089)  Has plans for future IGA  ‐0.037  (0.042)  ‐0.035  (0.059)  ‐0.053  (0.059)  Worry about money  ‐0.038  (0.015)**  ‐0.031  (0.042)  ‐0.058  (0.030)*  Young (age <=16) X Club only     ‐0.074  (0.042)*  ‐0.081  (0.036)**  Enrolled X Club only     ‐0.058  (0.061)  ‐0.084  (0.050)*  Single X Club only     ‐0.001  (0.126)  0.107  (0.119)  Have child X Club only     0.119  (0.082)  0.096  (0.067)  Intention to participate X Club only     0.004  (0.024)  ‐0.005  (0.020)  Involved in any IGA X Club only     ‐0.013  (0.108)  0.057  (0.097)  Have daily income X Club only     ‐0.081  (0.129)  ‐0.172  (0.116)  Has stopped any IGA X Club only     ‐0.084  (0.144)  ‐0.010  (0.134)  Has plans for future IGA X Club only     0.004  (0.111)  ‐0.048  (0.108)  Worry about money X Club only     ‐0.058  (0.056)  ‐0.009  (0.039)  Young (age <=16) X Club with MF     ‐0.065  (0.044)  ‐0.047  (0.037)  Enrolled X Club with MF     ‐0.041  (0.067)  ‐0.082  (0.057)  Single X Club with MF     0.119  (0.131)  0.116  (0.121)  Have child X Club with MF     0.088  (0.074)  0.082  (0.062)  Intention to participate X Club with MF     0.000  (0.025)  ‐0.000  (0.017)  Involved in any IGA X Club with MF     ‐0.091  (0.118)  ‐0.069  (0.094)  Have daily income X Club with MF     ‐0.081  (0.155)  ‐0.103  (0.123)  Has stopped any IGA X Club with MF     ‐0.060  (0.124)  ‐0.047  (0.102)  Has plans for future IGA X Club with MF     0.145  (0.100)  0.081  (0.089)  Worry about money X Club with MF     0.051  (0.053)  0.067  (0.040)*  Branch dummies  Yes    No    Yes    Constant  0.570  (0.076)***  0.788  (0.180)***  0.579  (0.143)***  Observations  4,925    4,925    4,925    R‐squared  0.208    0.025    0.213    F‐stat [p‐val] of Club only interactions      0.76 [0.65]  0.99 [0.44]  F‐stat [p‐val] of Club with MF interactions      1.08 [0.38]  1.45 [0.17]  Note: standard errors clustered at village level.      23