Document of  The World Bank  FOR OFFICIAL USE ONLY      Report No: ICR00004464        IMPLEMENTATION COMPLETION AND RESULTS REPORT  CREDIT NO.54470‐IN & CREDIT NO. 54480‐IN  ON A  CREDIT  IN THE AMOUNT OF SDR651.0 MILLION  (US$1006.2 MILLION EQUIVALENT)  TO THE   REPUBLIC OF INDIA     FOR THE  INDIA: ELEMENTARY EDUCATION III PROJECT      August 28, 2018              Education Global Practice  South Asia Region        CURRENCY EQUIVALENTS    (Exchange Rate Effective July 31, 2018)    Currency Unit =   Indian Rupees (INR)  INR68.58 =  US$1  US$1.40 =  SDR 1      FISCAL YEAR  April 1 ‐ March 31                                      Regional Vice President: Hartwig Schafer   Country Director: Junaid Kamal Ahmad  Senior Global Practice Director: Jaime Saavedra Chanduvi  Practice Manager: Mario Cristian Aedo Inostroza  Task Team Leader(s): Shabnam Sinha, Marguerite M. Clarke  ICR Main Contributor: Neil Butcher, Kartik Pental      ABBREVIATIONS AND ACRONYMS    ASER  Annual Status of Education Report   ASMITA  All Schools, Monitoring, Individual Tracking, and Analysis  AWP&B  Annual Work Plan and Budget   BRC  Block Resource Center  CCE  Continuous and Comprehensive Evaluation   CPF  Country Partnership Framework   CRC  Cluster Resource Center  CSR  Corporate Social Responsibility   CWSN  Children with Special Needs  DFID  Department for International Development   ECE  Early Childhood Education  EDI  Education Development Index  EIRR  Economic Internal Rate of Return  EU  European Union  FM  Financial Management  FMP  Financial Management and Procurement   GDP  Gross Domestic Product  GER  Gross Enrolment Ratio  GoI  Government of India  IDA  International Development Association  IRT  Item Response Theory  JRMs  Joint Review Missions  KGBVs  Kasturba Gandhi Balika Vidyalayas   M&E  Monitoring and Evaluation  MDG  Millennium Development Goal  MHRD  Ministry of Human Resource Development   MIS  Management Information System  MIs  Monitoring Institutions  MTR  Mid‐Term Review  NAS  National Achievement Survey  NCERT  National Council of Education Research and Training  NER  Net Enrolment Ratio  NGO  Non‐Government Organization  NROER  National Repository of Open Educational Resources   OECD  Organization for Economic Cooperation and Development   P4R  Program‐for‐Results  PAD  Project Appraisal Document  PBBB  Padhe Bharat Badhe Bharat   PDO  Project Development Objective  PINDICS  Performance Indicators for Elementary School Teachers   PISA  Programme for International Student Assessment  PTR  Pupil Teacher Ratio  RTE  Right of Children to Free and Compulsory Education Act   SC  Scheduled Caste  SEQI  School Education Quality Index   SLAS  State Learning Achievement Surveys   SMC  School Management Committees  SSA  Sarva Shiksha Abhiyan  ST  Scheduled Tribe  SWAp  Sector Wide Approach  ToR  Terms of Reference  UDISE   Unified District Information System for Education   UID  Unique Identity  US$  United States Dollars                TABLE OF CONTENTS  DATA SHEET ......................................................................................................................................... 1  I.  PROJECT CONTEXT AND DEVELOPMENT OBJECTIVE ...................................................................... 1  A. CONTEXT AT APPRAISAL ........................................................................................................... 1  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION ................................................................. 4  II.  OUTCOME .................................................................................................................................... 4  A. RELEVANCE OF PDO ................................................................................................................. 4  B. ACHIEVEMENT OF PDO (EFFICACY) ........................................................................................... 5  C. EFFICIENCY ............................................................................................................................... 8  D. JUSTIFICATION OF OVERALL OUTCOME RATING ....................................................................... 9  E. OTHER OUTCOMES AND IMPACTS ............................................................................................ 9  III.  KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ............................................. 13  A. KEY FACTORS DURING PREPARATION..................................................................................... 13  B. KEY FACTORS DURING IMPLEMENTATION .............................................................................. 14  IV.  BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME ............... 15  A. QUALITY OF MONITORING AND EVALUATION (M&E) ............................................................. 15  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ..................................................... 16  C. BANK PERFORMANCE ............................................................................................................. 18  D. RISK TO DEVELOPMENT OUTCOME ........................................................................................ 19  ........................................................................................... 19  V.  LESSONS AND RECOMMENDATIONS  ......................................................................... 21  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ...................................... 32  ANNEX 3. PROJECT COST BY COMPONENT ......................................................................................... 34  ANNEX 4. EFFICIENCY ANALYSIS ......................................................................................................... 35  ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS................. 39  ANNEX 6. SSA RESULTS CHAIN ........................................................................................................... 44         The World Bank      India: Elementary Education III (P144447)                DATA SHEET      BASIC INFORMATION   Product Information  Project ID  Project Name  P144447  India:  Elementary Education III  Country  Financing Instrument  India  Investment Project Financing  Original EA Category  Revised EA Category  Partial Assessment (B)    Organizations  Borrower  Implementing Agency  Republic of India  Ministry of Human Resource Development  Project Development Objective (PDO)    Original PDO  The PDO is to improve education outcomes of elementary school children in India                The World Bank      India: Elementary Education III (P144447)      FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing          164,800,000  164,800,000  149,731,334  IDA‐54470    841,400,000  841,400,000  780,547,030  IDA‐54480  Total    1,006,200,000  1,006,200,000  930,278,364  Non‐World Bank Financing        Borrower  28,827,100,000  28,827,100,000  30,960,700,000  Total  28,827,100,000  28,827,100,000  30,960,700,000  Total Project Cost  29,833,300,000  29,833,300,000  31,890,978,364        KEY DATES      Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  16‐May‐2014  10‐Jul‐2014  28‐Jul‐2016  30‐Sep‐2017  28‐Feb‐2018       RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions  13‐Aug‐2017  883.27  Change in Loan Closing Date(s)      KEY RATINGS      Outcome  Bank Performance  M&E Quality  Satisfactory  Satisfactory  Substantial    RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  23‐Dec‐2014  Satisfactory  Satisfactory  197.91  02  24‐Apr‐2015  Satisfactory  Satisfactory  197.91            The World Bank      India: Elementary Education III (P144447)      03  06‐Nov‐2015  Satisfactory  Satisfactory  498.23  04  13‐Feb‐2016  Satisfactory  Satisfactory  498.23  05  30‐Nov‐2016  Satisfactory  Satisfactory  722.21  06  23‐Jun‐2017  Satisfactory  Satisfactory  883.27  07  28‐Dec‐2017  Satisfactory  Satisfactory  883.27    SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Education   100  Primary Education  100      Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Human Development and Gender  100    Education  100    Access to Education  50    Education Financing  50            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Philippe H. Le Houerou  Hartwig Schafer  Country Director:  Onno Ruhl  Junaid Kamal Ahmad  Senior Global Practice Director:  Jesko S. Hentschel  Jaime Saavedra Chanduvi  Practice Manager:  Amit Dar  Mario Cristian Aedo Inostroza  Shabnam Sinha, Margaret M.  Task Team Leader(s):  Shabnam Sinha  Clarke  ICR Contributing Author:    Neil Butcher                          I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVE  A. CONTEXT AT APPRAISAL  Context  1. At the time of appraisal, India’s per capita income of US$1,410 (2011) meant it was a lower middle‐income country,  albeit  with  deep  and  complex  development  challenges.  Between  2005  and  2010,  India’s  share  of  global  Gross  Domestic Product (GDP) had increased from 1.8 to 2.7 percent, and 53 million people were lifted out of poverty.  Between 1947 and 2012, life expectancy had more than doubled from 31 to 65 years, and adult literacy had more  than quadrupled, from 18 to 74 percent. Despite these achievements, inequalities vis‐à‐vis disadvantaged groups,  such as the so‐called scheduled castes (SC), scheduled tribes (ST), and women persisted. The ratio of females1 to  males in the population had decreased steadily over the preceding fifty years—a trend associated with the ‘missing  women’ phenomenon2. Malnutrition rates also remained high: 40 percent of the world’s malnourished children  were living in India.   2. In 2001, the Government of India (GoI) implemented the Sarva Shiksha Abhiyan (SSA), a centrally sponsored scheme  for universalization of elementary education (grades 1 to 8; ages 6 to 14). In 2009, GoI passed the Right of Children  to Free and Compulsory Education Act (RTE), which gave every child the right to full‐time elementary education of  satisfactory and equitable quality in a formal school environment. The Act became effective in April 2010 and SSA  became the main vehicle for its implementation. Over the years, SSA has been supported by the World Bank, the  United Kingdom’s Department for International Development (DFID), and the European Union (EU) through a Sector  Wide  Approach  (SWAp).  Since  2004,  the  International  Development  Association  (IDA)  has  contributed  US$1.85  billion to the program: US$500 million under SSA I (2004‐07) and US$1.35 billion under SSA II (2008‐12). DFID and  the EU together contributed an additional US$546 million to SSA I and US$375 million to SSA II. The Implementation  Completion and Results Reports (ICRs) rated SSA I as Satisfactory and SSA II as Moderately Satisfactory.  3. At the time of appraisal, SSA’s overall goals included universal access and retention, the bridging of gender and  social category gaps in education, and the enhancement of learning levels. SSA interventions prior to SSA III had  resulted in impressive gains in some of these areas, particularly access and equity. The number of out‐of‐school  children  at  the  elementary  level  had  declined  steadily  since  2001,  when  the  Census  estimated  that  32  million  children between the ages of 6 and 14 years were out of school. By 2012‐13, according to another Census, the  number  of  out‐of‐school  children  had  dropped  to  2.9  million,  with  most  of  these  being  in  low‐income  states.  Enrolment at the elementary level had reportedly reached 200 million. In addition, the Net Enrolment Ratio (NER)  at the primary level (grades 1‐5) had improved from 82 to 99.8 percent, reaching the Millennium Development Goal  (MDG) target for this indicator. The transition rate from primary (grades 1 to 5) to upper‐primary (grades 6 to 8)  improved from 75 percent in 2002‐03 to 86.6 percent in 2011‐12. Retention rates in elementary education also  improved over the same period, from 32 to 54.8 percent in states with elementary grades 1 to 8, and from 45.5 to  80.6 percent in states with grades 1 to 7.  4. Despite these gains, education in India faced many serious challenges. These included:  4.1. Differences  in  student  attendance  levels  across  states:  Despite  overall  gains  in  attendance  nationally,  attendance levels in low‐income and challenged states, such as Bihar, Jharkhand, Manipur, Tripura, and Uttar  Pradesh were below 70 percent at both primary and upper‐primary levels. A large proportion of the students  in these states belonged to economically‐weak segments of the population, prone to migration on a seasonal  basis. There was a clear need to support the governments in these and similar states to help them develop  their capacity to improve internal efficiency and quality in schools.   4.2. High  dropout  rates:  A  large  percentage  of  children  were  entering  primary  school  but  dropping  out  before                                                               1  World Bank Group Country Partnership Strategy for India: FY 2013‐17.   2  Country‐level sex ratio: 933 girls to 1000 boys, according to the 2011 Census.        Page 1 of 44         reaching upper‐primary. The NER at the upper‐primary level (grades 6 to 8) was only 67.03 percent in 2012‐ 13.  Furthermore,  dropout  rates  were  highest  amongst  marginalized  groups  and  communities.  Under‐ representation of girls and children from disadvantaged sections remained a serious stumbling block.  4.3. Weak measurement systems: Systems for measuring learning outcomes relied on out‐of‐date techniques that  were unable to produce the kinds of information needed on student learning levels and related factors. There  was a recognized need to provide more support to the National Council of Educational Research and Training  (NCERT)  to  implement  more  effective  strategies  for  measuring  learning  using  modern  techniques  like  Item  Response Theory (IRT). There also was a recognized need to strengthen the national management information  system (MIS) for education, with appropriate linkages to state and district levels.  4.4. Insufficient attention to children with special needs: According to the GoI, there were over 3.2 million children  with  special  needs  (CWSN),  of  whom  only  2.7  million  were  enrolled  in  regular,  neighborhood  schools.  Appropriate materials for the classroom‐based teaching of severely disabled children as well as for those being  provided with home‐based education were also missing.   4.5. Lack  of  high‐quality  teachers:  There  was  a  serious  shortage  of  teachers  with  appropriate  professional  qualifications as well as inadequate representation of female teachers. Further, there were no performance  standards to define the criteria expected for teachers to perform their major tasks.   Theory of Change (Results Chain)  5. The  project  supported  SSA  though  a  SWAp  wherein  the  World  Bank’s  financial  assistance  supplemented  GoI  finances  for  four  years.  The  Results  Chain  documented  in  the  Project  Appraisal  Document  (PAD)  (Annexure  6)  presents the Results Chain envisioned by GoI for SSA as a whole, not just for the period supported by SSA III project.  A  Theory  of  Change  based  on  the  Project  Development  Objective  (PDO),  PDO  indicators  and  interim  outcome  indicators is presented below.  Figure 1 Theory of Change for Sarva Shiksha Abhiyan (III)  Activities Outputs Outcomes Impact Improve coverage of habitations through new  Increased enrolment share of girls, SC, ST,  schools (including KGBVs) and upgrading of  and Muslim children and increased  schools (including separate toilets for girls) enrolment % of CWSN Increased student  attendance rates Early grade quality programs at State level for  language and numeracy Increased teacher attendance and capacity In‐service training for government school  Increased student  teachers, head teachers, SMCs, and  80% of constituted SMCs reporting role in  retention rate at the  educational administrators primary level Improved education  school supervision outcomes of  elementary school  children in India Provision of free textbooks and uniforms, and  increase in teachers providing support to  Improved utilization of funds by States CWSN Increased transition  rate from primary to  upper primary levels Development, capacity‐building, and use of  50% of States/UTs have adopted national  school performance standards school performance standards Adequate and  System of SLAS and strengthened NAS  regular monitoring  Improve NAS design and provide capacity  of learning levels established building on implementation of NAS and SLAS         Page 2 of 44         Project Development Objective (PDO)  6. The PDO was to ‘improve education outcomes of elementary school children in India’. This objective was measured  by the following key results indicators:   • Increase in student attendance rates;  • Improved student retention rates;  • Improved primary to upper‐primary transition rates; and  • Adequate and regular monitoring of learning levels.  The PDO was positioned in line with the objectives of the RTE Act (2009) and its vehicle, the SSA, which seek to  achieve universalization of elementary education – the right to free and compulsory elementary education for  all  children. Besides general category children, it includes children from vulnerable groups (girls, SCs, STs, Muslim, and  Children with Special Needs). Equity was viewed in its most comprehensive form – making education available for  all children in the 6‐14 years age group covering both the public and private sectors.   Components  7. Support to SSA III focused on the key goals of access, equity, quality, and institutional reform and was organized  into three components: (I) improving quality and enhancing learning outcomes, (II) strengthening monitoring and  evaluation for improved accountability, and (III) enhancing access and retention for disadvantaged children.  8. Component 1: Improving quality and enhancing learning outcomes: Support under this component focused on the  development of grade‐ and subject‐specific learning outcome indicators to measure children’s progress; guidelines  and  quality  standards  for  early‐grade  learning;  improving  science  and  math  teaching  in  upper‐primary  schools;  development of a school leadership program; the training of teachers to acquire professional qualifications; annual  in‐service training of teachers; and systems to facilitate achievement of the prescribed Pupil Teacher Ratio (PTR) for  each school. The aim was to put in place the conditions necessary for enhancing learning for all children.   9. Component 2: Strengthening monitoring and evaluation for improved accountability: This component supported a  three‐tier strategy for improving the measurement of learning:    Continued capacity building of NCERT to enhance the reliability of the National Achievement Survey (NAS)  results,  use  of  NAS  results  for  remedial  action  and  teacher  training,  and  expansion  of  NAS  coverage  to  include Children with Special Needs (CWSN) in their home and school environments;    Support  to states for implementing their State Learning Achievement Surveys (SLASs) to  generate more  disaggregated data on student outcomes at the district level for remedial and corrective action; and    Supporting the Ministry of Human Resource Development (MHRD) to undertake independent evaluations  and to provide resources to states for research and monitoring under the Research Evaluation, Monitoring,  and Supervision grants program.  This component also included support for the development of performance standards for teacher accountability;  enhanced  social  accountability  and  community  participation  through  the  strengthening  of  School  Management  Committees (SMC); strengthening of the Unified District Information System for Education3 (UDISE); creation of an  Education Development Index (EDI) for ranking states based on their performance on key developmental indicators;  interventions  for  special  focus  districts;  and  institutional  strengthening  through  greater  decentralization  and  autonomy in planning.  10. Component 3: Enhancing access and retention for disadvantaged children: This component supported a variety of  equity‐focused interventions, including the provision of schooling and maintenance for out‐of‐school children from  the most marginalized and disadvantaged communities; and enhancing the overall participation and retention of                                                               3 National education management information system        Page 3 of 44         girls, SC, ST, Muslim children, and CWSN in school. The aim was to address the needs of all children ‐ those who  went to public, aided, or private schools – to ensure that they were in school and completing education as required  under the RTE Act.    B. SIGNIFICANT CHANGES DURING IMPLEMENTATION  Revised PDOs and Outcome Targets   11. No changes were made to the PDO and outcome targets during project implementation.  Revised PDO Indicators  12. No changes were made to the PDO indicators during project implementation.  Revised Components  13. None of the components were revised during project implementation.  Other Changes  14. The only other change to the project was the granting of a one‐year, no‐cost extension, which shifted the date of  completion from September 2017 to February 2018.   Rationale for Changes and Their Implication for the Original Theory of Change  15. The project received a no‐cost extension (which extended the closing date from September 30, 2017  to February  28, 2018). Leading up to this, MHRD had requested additional support in the form of a new elementary education  project (this request was eventually received by the Bank). However, as MHRD was going through the formalities  of the necessary approvals from the Ministry of Finance for additional support, they did not want to lose momentum  on the innovations that had come about post the mid‐term review (MTR) for SSA III, with Bank support. Hence an  extension with no financial implications was undertaken as per mutual agreement to ensure that the Bank could  continue providing the necessary Technical Assistance until the additional support to the project could commence.  This change had no effect on the project’s original Theory of Change.    II. OUTCOME  A. RELEVANCE OF PDO  Assessment of Relevance of PDO and Rating  16. The  relevance  of  the  PDO  is  rated  High  because  it  targeted  essential  prerequisites  for  improving  the  quality  of  education and learning in India. By focusing on attendance, retention, and transition rates, the project aimed to  consolidate earlier gains in ensuring universal access to elementary education, thereby enabling a shift in policy  focus  from  access  to  quality  and  learning.  By  focusing  on  putting  in  place  systems  for  adequate  and  regular  monitoring of learning levels, SSA III also aimed to create the necessary structures for monitoring the learning levels  of all children as they progress through the education system. SSA III contributed to the World Bank Group India  Country Partnership Strategy (CPS, Report No. 76176 dated April 11, 2013) for 2013‐17, CPS engagement area of  “Inclusion”, and the CPS outcome of “improved access and quality of education.” It addressed the concern of the  CPS of providing incentives and community participation to reduce absenteeism along with special efforts to ensure  access  to education for  underprivileged  children, retain  girls in secondary education, and  open opportunities in  higher education for all youth.  It supports the goal of the CPS to focus on learning outcomes.  This is very much  consistent  with  the  priorities  of  the  new  Country  Partnership  Framework  (CPF)  for  India  (2018‐  2022)  currently  under preparation, which stresses the importance of investing in India’s human capital. In the area of education,        Page 4 of 44         the upcoming CPF prioritizes a focus on strengthening teacher performance through professional development and  accountability  systems,  building  institutions  and  systems  to  identify  ways  to  improve  learning  outcomes,  and  improving governance and quality assurance within schools. The SSA III PDO is particularly well aligned with the  new  CPF’s  emphasis  on  adequate  and  regular  monitoring  of  learning  levels  as  a  critical  pillar  of  the  effective  governance of education in any country, and thus the PDO’s emphasis on this issue has been very timely in the  context of the current and upcoming CPF.  B. ACHIEVEMENT OF PDO (EFFICACY)  Assessment of Achievement of Each Objective/Outcome  17. The PDO was to ‘improve education outcomes of elementary school children in India’. Improvement in education  outcomes has been measured through (i) improvement in student attendance rates at primary and upper‐primary  levels; (ii) student retention at the primary level; (iii) student transition from primary to upper‐primary level; and  (iv)  adequate  and  regular  monitoring  of  learning  levels  through  the  National  Achievement  survey  (NAS).  Achievements  under  the  first  three  PDO  indicators  are  viewed  as  the  result  of  achievements  under  the  interim  outcome  indicators  related  to  ‘improving  quality  for  enhancing  learning’  and  ‘strengthening  monitoring  and  evaluation’.  Furthermore,  ‘equity’  in  achievements  under  these  three  PDO  indicators  is  linked  to  the  interim  outcome  indicator  for  ‘improving  equitable  access  and  retention’.  The  project  did  not  incorporate  improved  learning  levels  as  a  PDO  indicator  because,  at  the  time  of  project  preparation,  India  did  not  have  in  place  a  technically sound system for measuring learning levels or for tracking changes in these levels over time. As a result,  the project instead focused on establishing a technically sound measurement system. As this measurement system  was being established in parallel with efforts to improve attendance rates, setting a target of improved learning  levels  over  the  baseline  seemed  infeasible  given  the  envisioned  influx  of  out‐of‐school  children  into  schools  (as  mandated under the RTE Act).   PDO Indicator 1: Increase in the student attendance rate  18. This PDO indicator set an end target of 20 states and union territories4 reporting attendance levels above 80 percent  at the primary level, and 25 states and union territories reporting attendance levels above 80 percent at the upper‐ primary level. At the project baseline, only 12 states and union territories reported student attendance rates above  80 percent at the primary level, while 15 reported student attendance rates above 80 percent at the upper‐primary  level.  This had improved  to 23 and 25  respectively  by the end of the project, exceeding  the target set for  the  primary level.  19. These improvements in student attendance can be attributed to improved community engagement through the  establishment of School Management Committees (SMCs); engagement with school head teachers, who have been  provided  with  school  leadership  training;  and  the  development  of  school  report  cards,  which  have  enabled  the  system to closely monitor each school’s performance, especially in terms of adequacy of infrastructure and human  resources.   20. The improvements in student attendance occurred in tandem with improvements in the Gross Enrolment Ratio  (GER). At the project baseline, primary and upper‐primary level GER were 101 percent and 88 percent respectively.  In 2015‐16, they were recorded at 99 and 92 percent, dropping to 95 and 91 percent by 2016‐17. This apparent  ‘drop’ is the result of GoI undertaking a nationwide drive to assign a Unique Identity (UID) number to each student.  Assigning a UID was the recommendation of SSA Joint Review Missions (JRMs) over the years as it had a direct  impact  on  the  tracking  of  results  against  PDO  indicators  and  various  interim  outcome  indicators.  Once  the  UID  assignment was completed, it facilitated the cleaning of enrolment records and the identification of numerous cases  where  students  had  enrolled  in  multiple  schools/dropped  out  or  were  overage  or  underage  for  their  age‐ appropriate  class  (age‐appropriate  and  grade‐appropriate  enrolment  was  being  strictly  followed  post  2014‐15.)                                                               4 India has 36 states and union territories        Page 5 of 44         Education MIS data (2016‐17) for indicators related to enrolment, retention, and transition was affected by this  cleaning. However, there was no back cleaning of the enrolment data for preceding years (including the baseline)  by GoI. Further, in the case of retention and transition rates, the numerators were based on 2016‐17 (cleaned data)  while the denominators were based on preceding years’ incorrect enrolment estimates. When the World Bank team  applied the ‘error correction’ rate generated  by this cleaning exercise to past estimates for primary and upper‐ primary GER, it produced the revised estimates of primary and upper‐primary GER shown in Table 1. These trends  demonstrate a stabilization of primary‐level GER and significant improvement in upper‐primary level GER.  Table 1 Revised GER Estimates  Data Source  Education Level  2013‐14  2014‐15  2015‐16  2016‐17  UDISE Data (used in Results  Primary GER  101%  100%  99%  95%  Framework at project initiation)   Upper Primary GER  88%  90%  92%  91%  Revised Estimates  Primary GER  98%  97%  96%  95%  (using UID assignment)   Upper Primary GER  85%  87%  89%  91%  21. This data cleaning initiative also enabled MHRD to more effectively identify and enroll out‐of‐school children. For  example, in 2016‐17, it identified 665,000 out‐of‐school children, 473,000 of whom were subsequently enrolled.  Gains in enrolment also have been achieved while ensuring the inclusion of girls, CWSN, students from marginalized  groups, and the Muslim community.  As of 2016‐17, the percentage share of girls, SC, ST, and Muslim students  enrolled at the elementary level exceeded their representation in the overall population, as illustrated below.   Figure 2 Comparison of enrolment share of disadvantaged groups and their share in overall population (2016‐17)  50.0% 48.0% 48.3% 30.0% 19.5% 16.6% 13.4% 13.8% 8.6% 10.3% 10.0% ‐10.0% Girls Scheduled Caste Scheduled Tribe Muslims Population Share Enrolment Share   22. Finally, at the project baseline, 77 percent of CWSN were either enrolled in school or being provided with home‐ based education. By 2016‐17, this had improved to 95.8 percent.   23. Students  from  marginalized  groups  are  most  likely  to  belong  to  economically  weaker  sections  of  society.  The  expansion  of  habitation  coverage  under  the  network  of  public  elementary  schools  and  the  provision  of  free  uniforms and textbooks has played a pivotal role in bringing SC and ST students into school. An increase in the  percentage  of  schools  with  a  separate  toilet  for  girls  and  an  increase  in  the  percentage  of  female  teachers  has  helped in bringing more girls to school. Further, an increase in the number of resource teachers providing academic  support to CWSN, a focus on making schools disabled‐friendly, provision of fee aids and appliances to CWSN, and  provision  of  home‐based  education  to  children  with  severe  disabilities  have  all  helped  in  improving  CWSN  enrolment at the elementary level.  PDO Indicator 2: Increase in the student retention rate at primary level  24. Gains in enrolment, inclusion, and student attendance have been matched by improvements in the retention rate  at the primary level. The government calculates retention as a function of grade 5 enrolment (after adjusting for  the number of repeaters) and grade 1 enrolment from four years prior. At baseline, the retention rate stood at  about 80 percent. By 2016‐17, this statistic had improved to 84.1 percent (against an end‐line target of 84 percent).  Retention rate calculations were affected by the inflated enrolment statistics, which were only recently cleaned  through the allocation of student UIDs. Applying the ‘error correction’ rate for enrolment statistics to the calculation  of primary retention rates provides the more accurate estimates of trends over time shown in Table 2. The revised        Page 6 of 44         estimates suggest that gains under the project were higher than expected.   Table 2 Original and revised primary retention rates  Data Source  2012‐13  2013‐14  2014‐15  2015‐16  2016‐17  UDISE Data  80.1%  82.4%  83.7%  84.2%  84.1%  Revised Estimates  82.8%  85.2%  86.7%  87.2%  88.8%  25. Greater community involvement through an increase in the percentage of schools with SMCs and stronger school  leadership have helped in improving retention rates at the primary level and transition rates to the upper‐primary  level. The introduction of Padhe Bharat Badhe Bharat (an early learning program) has also helped to improve these  rates, as have improvements in teacher attendance and an increase in the number of states conducting State Level  Learning Assessments (SLASs). SLASs have provided the feedback required by teachers to better engage with their  students. Likewise, improvements in teacher attendance, teacher training, and academic support through block and  cluster resource centers (BRCs and CRCs)5 have helped in improving classroom‐level teaching‐learning transactions.  PDO Indicator 3: Increase in the transition rate from primary to upper‐primary  26. In India, the transition rate is calculated as grade 6 enrolment compared to the previous year’s grade 5 enrolment.  The project period has seen improved transition rates from primary to upper‐primary level, meaning that more  students are progressing to higher classes, indicative of better completion of every level of schooling. At baseline,  the transition rate reportedly stood at 86.7 percent. By the end of the project, it had reportedly improved by 1.9  percentage points (against a targeted improvement of 2.3  percentage points). While this appears to  be a slight  under‐performance against the target, it is, again, largely attributable to the UID‐based cleaning of enrolment data  in 2016‐17, which created a reduced grade 6 enrolment statistic (the transition rate calculations used grade 5 data  from the previous year, which were based on inflated enrolment data). Factoring in the UID changes and applying  the  ‘error  correction’  rate  used  for  enrolment  statistics  to  the  calculation  of  transition  rates  provides  the  more  accurate  estimates  of  transition  trends  over  time  shown  in  Table  3.  These  revised  estimates  suggest  a  lower  baseline transition rate than was initially reported by UDISE (pre‐UID correction), indicating that improvement in  transition rates is 4.2 percent.  Table 3 Original and revised transition rates  Data Source  2012‐13  2013‐14  2014‐15  2015‐16  2016‐17  UDISE Data  86.7%  89.6%  89.7%  90.1%  88.6%  Revised Estimates  86.2%  88.3%  88.1%  88.4%  90.4%  27. The improvement in transition rates has led to a corresponding improvement in enrolment at the upper‐primary  level. At the baseline, enrolment estimates stood at 64.9 million. By 2015‐16, estimated enrolment was 67.6 million  (against a target of 67 million). In 2016‐17, because of the UID‐based cleaning of data, enrolment figures dropped  to 66.1 million. Applying the ‘error correction’ rate used for enrolment statistics, the revised calculations suggest  that  the  baseline  should  have  been  63.1  million.  This  means  that  approximately  3  million  additional  children  entered upper‐primary school over the life of the project, a significant over‐achievement against the target.  Table 4 Original and revised upper‐primary enrolment numbers  Data Source  2012‐13  2013‐14  2014‐15  2015‐16  2016‐17  UDISE Data  64,926,683   66,471,219   67,165,774   67,593,727   66,079,123   Revised Estimates  63,149,458   64,693,994   65,388,549   65,816,502   66,079,123                                                                    5 BRCs and CRCs are the grassroots level offices manages by education functionaries responsible for administrative and academic supervision of  schools and teachers in a defined area.        Page 7 of 44         PDO Indicator 4: Learning levels adequately and regularly monitored  28. Over the life of SSA III, significant improvements were made to the adequacy and regularity of the monitoring of  learning levels. This was due to the extensive capacity‐building support provided to NCERT under the project, in  coordination  with  the  support  provided  to  NCERT  by  development  partner,  DFID.  Specifically,  capacity  building  provided to NCERT around IRT and related topics meant that Cycle 4 of the Class 5 NAS was designed in such a way  that, for the first time, it was possible to say whether learning levels nationally and at the state level were improving,  declining, or remaining the same. This enhancement significantly increased the value of NAS data for informing  education policy and practice, at least at the Class 5 level. Further enhancements to the NAS came through NCERT’s  development  of  national,  grade‐wise  learning  competencies  for  core  subject  areas,  which  were  subsequently  incorporated into the design of the 2017 NAS for Classes 3, 5, and 8. This meant that NAS results could be reported  in a more granular way and used by policymakers and practitioners to improve teaching and learning in relation to  key, agreed‐upon competency areas. There also were improvements to the efficiency of NAS administration. While  earlier  rounds  took  more  time  and  effort,  the  2017  NAS  was  completed  in  record  time,  reflective  of  increased  capacities in NCERT. At the same time, the Bank team recognizes that NAS needs further strengthening in terms of  the quality of the test items, test design, and analysis and reporting.   29. Concurrently,  new  initiatives  at  the  state  level  and  below  sought  to  strengthen  the  links  between  assessment  practices, curriculum, and instruction, particularly as an input to timely remedial action. The SLASs, coupled with an  emphasis  on  enhanced  teacher  capacity  around  Continuous  and  Comprehensive  Evaluation  (CCE)  of  students,  facilitated  more  timely  identification  of  academically‐weaker  students  who  were  then  provided  with  relevant  remedial support. These efforts were closely aligned to the individual curricula and contexts of each state, allowing  for more locally‐relevant tracking of learning levels and related factors. The related intermediate outcome indicator  for this work was an increase in the number of states conducting SLASs.  The original target was 20 states/union  territories, but, as of 2016‐17, 27 states/union territories were conducting their own SLAS.   Justification of Overall Efficacy Rating   30. The Overall Efficacy Rating for the project is Substantial.  31. This  is  because  the  project  achieved  significant  progress  in  improving  key  education  outcomes,  successfully  achieving (or over‐achieving) the targets for all PDO indicators. All key performance indicators were relevant to  assessing progress. Further, in line with the project’s theory of change, performance against intermediate outcome  (output)  indicators  played  a  significant  role  in  ensuring  the  achievement  of  the  PDO  indicators.    While  all  PDO  indicators have been fully achieved or over‐achieved after applying the ‘error correction’, the team decided to not  assign a High rating for efficacy because the intermediate outcome indicator on teacher attendance was not fully  achieved.  32. In addition to the support provided for systems strengthening, project beneficiaries included students, community  members, teachers, school leaders, and sub‐district level academic/administrative staff. As of 2016‐17, the project  was supporting the education of 189.9 million students enrolled in 1.45 million school who were being taught by  close  to  8.1  million  teachers.  (The  project  being  a  SWAp,  the  indicators  used  for  SSA  III  are  also  the  program  indicators; the attribution is to the entire program that the SWAp was supporting).  C. EFFICIENCY  Assessment of Efficiency and Rating  33. The Overall Efficiency Rating for the project is Substantial. Details are provided in Annex 4, with a summary below.  34. A  cost‐benefit  analysis  conducted  at  the  time  of  this  ICR  shows  a  high  economic  rate  of  return  for  the  project.  Considering  the  benefits  accruing  from  the  greater  number  of  students  completing  primary  and  upper‐primary  education, and the per‐pupil cost (including private cost) of elementary education in India, the economic internal  rate of return (EIRR) of the project is estimated at 19.2 percent, compared with a projected EIRR of 17.7 percent at        Page 8 of 44         appraisal.  Although  the  end‐line  EIRR  is  based  on  conservative  assumptions,  it  is  higher  than  initially  projected  because income returns on the completion of primary and upper‐primary education improved significantly over the  life of the project. Further, the end‐line analysis uses separate income equations for men and women (in contrast  to the aggregate equation used at baseline). In India, there is a sizeable gap between the wages of men and women,  and labor force participation rates are higher for men. Thus, the greater granularity in analysis provides a more  realistic estimate of economic returns.  35. There also was strong evidence of project implementation efficiency. The project closed successfully with only one  extension  of  five  months  but  was  fully  disbursed  before  the  original  closing  date.  At  the  baseline,  only  three  states/union territories had used more than 80 percent of the funds made available to them under SSA. The project  aimed to increase this to 12 states. In fact, by the end of the project, 31 states/union territories were reporting  utilization of more than 80 percent of the funds made available to them.  D. JUSTIFICATION OF OVERALL OUTCOME RATING  36. The Overall Outcome Rating for the project is Satisfactory. This is based on a ‘High’ rating for the Relevance of the  PDO, a ‘Substantial’ rating for Efficacy, and a ‘Substantial’ rating for ‘Efficiency’. In addition, given the massive scale  of  the  operation  (SSA  III  is  the  Bank’s  largest  project  at  the  elementary  level,  and  SSA  is  the  largest  education  program in the world), the project has managed to build a solid platform for a stronger emphasis on education  quality,  systems  strengthening,  and  fiscal  consolidation  moving  forward.  As  evidence  of  this,  by  the  end  of  the  project, GoI had begun organizing state‐level financial allocations under SSA into three categories, one of which  (Category II) comprises support only for interventions focused on education quality. This change occurred after the  midterm review, which observed that more than 70 percent of SSA funds were being used to pay teacher salaries.  With the inclusion of infrastructure maintenance and student entitlements (textbooks and uniforms), this meant  that very little funding remained for quality‐centric innovations. However, in the 2016‐17 budget, the government  earmarked about 10 percent of the SSA budget for Category II spending, a substantial increase on previous years.  E. OTHER OUTCOMES AND IMPACTS  37. Achievement of the PDO and associated targets for the identified indicators was facilitated by implementation of a  series of initiatives under each Component. In addition to ensuring that project PDO targets were met (or exceeded),  these activities led to several additional key achievements, as outlined below.  Gender  38. Government schools continue to play a pivotal role in providing education to girls, who account for more than 55.2  percent of enrolment in government schools.   Table 5 Primary enrolments by gender  Private 44.8% 55.2% Government 50.8% 49.2% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Girls Boys   39. Amongst other causes, the improvement in girls’ share in school enrolment can be attributed to initiatives such as  the Beti Bachao Beti Padhao (Save the Girl Child; Educate the Girl Child) nationwide campaign (introduced and led  by the Prime Minister), which focused on bringing girls into school as well as efforts to make schools more conducive  for girls through the construction of separate toilets. At the baseline, 72.2 percent of schools had separate toilets        Page 9 of 44         for girls; by 2016‐17, this had improved to 97.8 percent6. In addition, the government is operating more than 3,700  residential  schools  for  girls  ‐  Kasturba  Gandhi  Balika  Vidyalayas  (KGBVs)7.  These  schools  cater  to  the  education  needs of more than 364,000 girls enrolled in grades 6 to 8 (age 10 to 14). KGBVs enroll girls belonging to the SC, ST,  other backward castes (OBC), and minorities settled in geographically difficult‐to‐access areas. Most of these are  out‐of‐school children and KGBVs provide them with an accelerated curriculum to bring them to par with their age‐ appropriate grade level. The government bears the entire cost‐of‐living for the girls enrolled in these KGBVs. These  schools  have  female  teaching  staff  and  management  and  most  of  the  teachers  also  reside  on  campus  with  the  students (as wardens).   Learning Enhancement  40. SSA  III  saw  the  introduction  of  several  innovative  teaching‐learning  approaches  as  promising  solutions  to  the  challenges posed by multi‐grade teaching, the stress of traditional examination systems, the monotony of teacher‐ centered  approaches,  and  the  need  to  find  learning  approaches  that  align  with  the  natural  behaviors  of  young  children  and  can  accommodate  various  learning  styles  and  levels.  Examples  include  Nalli  Kali  in  Karnataka  and  Activity  Based  Learning  in  Tamil  Nadu.  These  innovations  have  the  potential  to  be  scaled  across  states,  with  accompanying improvements in remedial education and classroom instruction.   41. In  addition,  in  2013‐14,  MHRD  launched  the  Padhe  Bharat  Badhe  Bharat  (PBBB)  initiative  to  strengthen  early  learning.  The  initiative  aims  to  improve  language  development  and  stimulate  interest  in  mathematics.  At  the  baseline, the project set a target of at least 26 states/union territories having an early grade learning program by  2016‐17. This target was exceeded, with all states/union territories now having such a program. At the same time,  it is important to note that most of these programs focus solely on language skills, with only a few states developing  and operationalizing kits for early numeracy.   Institutional Strengthening  Teacher Performance  42. During the project period, the teacher pupil ratio at the elementary level improved from 27:1 to 23:1. Further, the  percentage of teachers with relevant (RTE‐mandated) qualifications improved from 83.4 percent in 2011‐12 to 87.9  percent in 2015‐16. One of the interim outcome indicators for the project was to improve the coverage of teachers  receiving in‐service training (against a baseline of 50 percent). Then again, implementation of the RTE Act led to a  rapid increase in the number of teachers in the system. With this massive influx in mind, the project set a target of  providing at least 40 percent of teachers with quality in‐service training. However, as per the recommendations  made during JRMs, with the aim of reducing wastage, increasing teacher instructional time, and making optimal use  of training days, the MHRD reduced the duration of annual in‐service training for teachers from 20 days to 10 days.  This change in duration enabled a shift from mass delivery of standardized training modules towards customized,  need‐based (and sometimes ICT‐enabled) training. Because of this change, in 2016‐17, the government reported  that 88 percent of teachers had received in‐service training, more than double the initial target.                                                               6  Films made on KGBV‐ in collaboration with MHRD: you tube links:   http://www.worldbank.org/en/news/video/2014/02/01/my‐new‐life‐primary‐education‐for‐all‐in‐india    Visually impaired girls in KGBV: https://youtu.be/n3rUEk‐aUMI  7 Set up under SSA to bridge significant gaps in the enrolment of girls at the elementary level compared to boys, especially at the post‐basic education (grades 6‐8)  level, these residential schools for girls from underprivileged communities provide bridge education, with the aim to gradually mainstream them into an age  appropriate classroom. The scheme accounts for 7 percent of the allocations under SSA.        Page 10 of 44         Figure 3 Percentage of teachers receiving in‐service training  2016‐17 88% 40% 2015‐16 70% 40% 2014‐15 80% 40% 2013‐14 78% 40% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Achievement Target   43. In addition, NCERT developed a National Repository of Open Educational Resources (NROER) to support teacher’s  continuous  professional  development.  The  objective  of  NROER  is  to  make  digital  resources  freely  available  to  teachers and students. The repository stores digital content contributed by states, non‐governmental organizations  (NGOs), and  individuals.  Users can download, stream, and  upload e‐content,  as well as provide feedback. As of  2016‐17, NROER was hosting around 10,500 digital resources. Further, the government had completed capacity  building  of  state  functionaries  for  the  creation,  validation,  and  translation  of  e‐content  into  regional  languages.  NCERT also developed a framework for Performance Indicators for Elementary School Teachers (PINDICS), which  was deployed as a tool for measuring teacher performance.  The Bank team  recognizes that the instrument still  needs to be less input‐ and more outcome‐oriented in its results tracking, but is satisfied that GoI has, for the first  time, taken on board the onus of performance assessment of teachers at national scale.   44. Teachers find it challenging to address the specific learning and social needs of children with severe developmental  disabilities like autism, cerebral palsy, deafness, and blindness. As part of its analytical work and technical assistance  to MHRD, the World Bank team helped develop a ‘Toolkit for Master Trainers in Preparing Teachers for Inclusive  Education  for  CWSN8’  that  targeted  master  trainers  to  train  regular  teachers  in  adopting  inclusive  teaching  strategies for children with disabilities. States are now translating this toolkit into regional languages.  45. Through the strengthening of sub‐district and school‐level monitoring mechanisms, the project improved teacher  attendance.  At  the  baseline,  teacher  attendance  was  81.7  percent  at  primary  level  and  80.5  percent  at  upper‐ primary level, with targets set at 90 percent for primary level and 87 percent for upper primary. As of 2016‐17, the  Annual Status of Education Report (ASER)9 noted that teacher attendance was 85.4 percent at primary level and  84.7 percent at upper‐primary level. These estimates, when extrapolated to the national level using the adjusted  difference  between  rural‐urban  teacher  attendance  (provided  in  the  study  used  for  the  baseline),  suggest  that  average teacher attendance is closer to 85.6 percent at primary level and 84.9 percent at upper‐primary level.  Academic Supervision and School Leadership  46. Improvements in teacher performance indicators can also be linked to the project’s success in strengthening sub‐ district  level  academic  support  systems  and  school  leadership.  Under  SSA,  the  government  established  Block  Resource  Centers  (BRCs)  and  Cluster  Resource  Centers  (CRCs)  at  the  sub‐district  level.  BRC  and  CRC  staff  are  expected to regularly monitor classroom transactions and provide teachers with academic support and guidance.  At the baseline, 50 percent of BRC and CRC staff positions were vacant, but by the end of the project, 99 percent of  positions were filled. At the same time, the team notes that BRC and CRC staff are having to invest a lot of time in  administrative  functions  and  there  is  a  need  to  tighten  structures  to  better  support  teachers  on  academic  and  pedagogical issues.   47. SSA III also set a target of ensuring that, by the end of the project, at least 25 percent of BRC/CRC officials would be  covered under an in‐service training program. The project has considerably overachieved on this target and, as of  2016‐17, the statistic stood at 63 percent. Similarly, at the baseline, head teacher training was being conducted in  a sporadic and irregular manner in a few states. The project envisioned that, by 2016‐17, at least 50 percent of all  head teachers (cumulative since baseline) would have participated in a school leadership training program. The  project also over‐achieved on this target, with cumulative coverage of 76 percent.        Page 11 of 44         Strengthening Community Based Management of Schools  48. SSA is a community‐driven development initiative. Schools are expected to set up a School Management Committee   (SMC) comprising parents, elected representatives, women, and teacher community representatives. Every year,  SMCs are expected to draft a school development plan with financial requirements, meet every month to assess  school performance, and approve school expenses. At the baseline, only 80 percent of schools reported having a  SMC. By the end of the project, the number was 94.2 percent. These schools maintain an SMC register that is used  to document the minutes of each SMC meeting (signed by SMC members). The registers are regularly checked by  BRC/CRC officials, thereby confirming that these SMCs are actively supervising school performance.  49. Further, the project  envisioned that at least 50 percent of states/union territories would have developed and be  using school performance standards by the end of the project. To this end, MHRD launched the Shaala Sidhi portal,  which uses school‐level data to produce report cards that sub‐district administrators, head teachers, teachers, SMC  members,  and  parents  can  use  to  assess  school  performance  and  plan  for  improvements.  In  this  way,  the  government has been able to achieve universal coverage of states/union territories and the project overachieved  on this indicator. The Bank also helped develop a School Education Quality Index (SEQI) in collaboration with NITI  AYOG (the Prime Minister’s think tank) to recognize state performance in key areas like learning, equity, system  functioning, and financial performance. This was completed during the life of the project and is now an important  tool for assessing state performance that will supplement the data from Shaala Siddhi.   Mobilizing Private Sector Financing  50. The RTE Act (Section 12(1)(c)) initiated an innovative Public Private Partnership for enhancing access to elementary  education. The Act mandated private unaided schools and special category schools to set aside at least 25 percent  of their seats for children from economically weaker and disadvantaged sections of society at no fee to the children.  This unique partnership was expected to account for about 2 million seats in private unaided and special category  schools. Between 2012‐13 and 2016‐17, the seat fill rate varied from less than one percent in Andhra Pradesh to  about 45 percent in Delhi10. The high percentage of vacant seats can be partially attributed to a lack of awareness  amongst  community  members  and  limited  knowledge  about  the  admissions  process.  The  lack  of  a  centralized  monitoring portal has also restricted the government’s ability to track implementation. States that have developed  and introduced an online application, admission, and monitoring system have reported a marked improvement in  seat occupancy and student retention. Further, the per‐pupil reimbursement to schools varies from as low as US$85  in Uttar Pradesh to as high as US$350 in Tamil Nadu11. In comparison, the average government school per‐pupil  expenditure is about US$350 in Uttar Pradesh and US$500 in Tamil Nadu12. There is a need to assess whether this  difference is having an adverse effect on service delivery for children enrolled under the partnership model.  51. Greater  alignment  with  the  private  sector  through  the  corporate  social  responsibility  (CSR)  scheme  meant  that  funds were strategically leveraged at state and district levels through local industry/corporations for school reform  efforts.  Large‐scale  dialog  was  initiated  by  MHRD  with  the  non‐state  actors  ‐  NGOs,  private  philanthropy,  and  private providers – to help shape important initiatives that informed the system.  Other Unintended Outcomes and Impacts  52. A recommendation made during the MTR regarding the need to consolidate the operation of small schools resulted  in significant rationalization of school infrastructure and teacher deployment for improving operational efficiency.  Drawing on the more accurate records created through the assignment of UIDs, MHRD has been able to merge                                                               8 Children with Special Needs   9 Citizen‐led assessment of educational outcomes  10 Unified District Information System for Education (UDISE)  11 Report Number 23 of 2017; Comptroller Auditor General of India.  12 World Bank. 2016. Value for money from public education expenditure on elementary education in India (English). South Asia Region, Education  Global Practice Discussion Paper Series, no. 86.        Page 12 of 44         almost 21,000 schools in the last three years.   53. Importantly,  this  was  not  a  once‐off  efficiency  gain  because  states  are  now  undertaking  an  annual  analysis  to  identify the number of schools that can be consolidated and setting targets to be achieved for the year. Second, the  MTR and several JRMs emphasized the need to focus on provision of early childhood education (ECE) in government  schools. A review conducted at the time of the MTR noted that the return on investment in ECE can be as high as  1:25.  As  a  result,  during  the  life  of  the  project,  several  states  introduced  (or  re‐introduced)  ECE  in  government  schools. Similarly, recent cabinet approval has sought to bring two years of ECE under the purview of MHRD.  54. With most PDO indicators depending on enrolment data, SSA III created strong pressure to clean enrolment records,  an issue flagged in early JRMs. This led to the assignment of a UID to each student. Given that several SSA budget  line items are calculated on a per‐pupil basis, the data cleaning exercise that resulted from the assignment of this  UID yielded significant efficiency gains in budget allocations. In addition, the reduction in the number of days for in‐ service training under SSA from 20 to 10 (reflective of a shift in focus from a standard training model to a more  need‐based training system) led to a reduction in the per‐teacher training cost, an amount that was further reduced  through the strengthening of BRCs and CRCs. Finally, active SMC participation in the process of school development  planning and monthly review of school expenses is helping to improve operational efficiency at the school level.  55. Currently, India does not participate in an international assessment exercise. Through SSA III, the Bank initiated  dialog  with  MHRD  and  the  Organization  for  Economic  Cooperation  and  Development  (OECD)  regarding  India’s  participation in the 2021 administration of the OECD’s Program for International Student Assessment (PISA).   56. Although not initially included in the program design, a significant achievement of SSA with respect to institutional  strengthening has been the launch of the Shagun Portal by MHRD. This portal provides a transparent way for states  to  document  innovations  and  best  practices,  fostering  inter‐state  learning  through  a  model  of  cooperative,  competitive  federalism.  The  portal  was  expanded  to  include  a  monitoring  dashboard  for  recording  data  on  key  outputs and outcomes. It has been such a success in improving the sharing of data and the communication of best  practices that MHRD intends to extend its functionality to the district level. As of January 2018, the portal held more  than 265 videos, 390 photograph albums, 250 case studies, and 125 testimonials.   III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME  A. KEY FACTORS DURING PREPARATION  57. At the time of project preparation, GoI demonstrated a high degree of confidence in the technical value of the  Bank’s support. This created space for the Bank to engage in dialog with GoI around some critical reforms that  needed to be made in the following areas:   57.1. Quality  improvement:  While  NAS  was  being  undertaken  on  a  regular  basis,  it  was  not  aligned  with  actionable grade‐ or age‐level competency‐based learning indicators for students. The syllabus was the  guiding  instrument.  There  also  was  a  need  for  more  granular  support  for  and  attention  to  learning  standards for the early years (pre‐school through grades 1‐3). At the upper‐primary level, there was a need  for subject‐specific teaching‐learning strategies, especially for math and science learning. Further, the Bank  was  concerned  to  note  that  there  were  few  systems  for  school  leadership  development  and  school  performance assessment.   57.2. Development  partner  (DPs)  partnerships:  The  co‐financing  and  partnerships  with  the  DPs  like  the  Department for International Department (DFID) and the European Union helped in effective institutional  strengthening initiatives. The TA provided by DFID was most helpful in incentivizing the MHRD to have the  NCERT  undertake  NAS  using  the  Item  Response  Theory.  This  happened  through  DFID  provision  of  international experts and exposure visits of the NAS technical team to relevant international assessment  agencies.  This not only improved the technical quality of NAS but also helped creation of a rich body of  literature and data around the project.   57.3. Data  systems:  Data  quality  assurance  measures  needed  strengthening,  with  significant  improvements        Page 13 of 44         required in data collection formats and protocols for checking for errors and missing data at the district  level.   57.4. Participation  and  retention  of  girls,  SC,  ST,  Muslim  children,  and  CWSN:  There  was  an  urgent  need  to  increase the school enrolment share of girls, SC, ST, Muslim, and CWSN. Further, targeted attention and  strategies  were  required  for  CWSN,  especially  for  the  training  of  teachers  to  provide  home‐based  education to severely‐disabled children.   58. However, as was noted earlier, the project did not target improved learning levels as a PDO indicator since, at the  time  of  project  preparation,  India  did  not  have  a  technically  sound  system  in  place  for  learning  outcomes  assessment. Instead, the project focused on establishing such a system as a PDO indicator.   B. KEY FACTORS DURING IMPLEMENTATION  59. The following factors positively affected project implementation:  59.1. Adequacy of supervision: The in‐depth JRMs in collaboration not only with the client (GOI representatives  always participated in JRMs) but also with the DPs brought keen sharpness in the oversight and supervision  of the project. Besides the agreed JRMs, continuous guidance with DP support on institutional reform, data  strengthening  brought  in  comparative  global  experience,  and  enhancing  implementation,  analytical  /  technical support, monitoring and evaluation and leveraging results on the ground.  59.2. Fiduciary oversight: The fiduciary robustness brought in by the procurement and finance team ensured  fund tracking of the large fund allocations and spending through joint monitoring by the Government and  the DPs.  59.3. MHRD  responsiveness:  After  an  initially  slow  response  in  the  first  two  years  of  implementation,  MHRD  started  taking  on  board  JRM  recommendations  in  a  very  dedicated  and  timely  manner,  particularly  in  relation to improving learning outcomes and reducing governance constraints for effective service delivery.   59.4. Scheme  convergence:  Also  based  on  recommendations  made  by  JRMs,  MHRD  initiated  greater  convergence between their centrally‐sponsored schemes for elementary (SSA) and secondary education  (Rashtriya Madhyamik Shiksha Abhiyan) as well as teacher education. This led to efficiency gains and a  reduction in transaction times across all schemes.   59.5. Cooperative,  competitive  federalism:  The  federal  government  facilitated  dialog  between  the  states  and  encouraged the sharing of innovations, especially after the Shagun portal came into existence. The Bank  also played an honest broker between MHRD and NITI AYOG (the advisory body to the Prime Minister) to  help  create  a  mechanism  for  grading  states  (School  Education  Quality  Index)  on  education  outcomes,  including quality, transition and completion, and governance and fiscal responsibility.  59.6. JRM  structure:  The  JRM  structure  maximized  supervision  impact  and  facilitated  necessary  large‐scale  reforms, including (i) the provision of untied funds for quality reforms; (ii) teacher salaries being slowly  transferred out of SSA and to the state level; (iii) inclusion of ECE; (iv) introducing more rigor in school  assessment; and (v) greater teacher accountability through the introduction of performance assessment  systems in many states.   60. The following factors were areas of concern throughout implementation:   60.1. Financial management: SSA follows community‐driven development and it became evident that stronger  internal control systems than originally anticipated were required under the project, especially for internal  audit  processes  and  maintenance  of  Utilization  Certificates.  Financial  management  staffing  constraints,  both  in  terms  of  vacant  posts  and  staff  capacity  limitations,  was  another  issue  that  the  Bank  was  continuously flagging in its JRMs.         Page 14 of 44         IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME  A. QUALITY OF MONITORING AND EVALUATION (M&E)  M&E Design  61. Several mechanisms for monitoring and evaluation, which had been used with success under earlier phases of Bank  support, were built into the design of SSA III. It was agreed to continue using these monitoring systems since they  were  already  being  used  to  good  effect  by  the  implementing  agencies  and  posed  no  additional  burden.  The  monitoring design for SSA III was underpinned by UDISE. UDISE is used by districts and states in preparing their  Annual  Work  Plan  and  Budget  (AWP&B)  requests,  and  by  the  MHRD  to  monitor  the  overall  progress  of  SSA.  In  addition,  data  from  UDISE  is  made  publicly  available  online,  typically  within  six  months  of  data  collection  (30th  September each year).  62. At appraisal, MHRD contracted, with SSA funds, 41 Monitoring Institutions (MIs) to carry out independent reviews  of the implementation of SSA at the school level. The MIs are research organizations and universities, contracted  through a common Terms of Reference (ToR). MIs were contracted to visit a random sample of schools in a given  state once a quarter, assess progress against a standard set of performance measures, and prepare a report. As part  of the M&E process, the MHRD would then review all reports and prepare an annual summary to be shared with  JRMs. These reports were also made available on the MHRD website.  63. As an additional monitoring mechanism, through the AWP&B process, all states are required to report progress  against a common set of indicators prior to receiving funds for the coming year. Most of the data used in the AWP&B  process is obtained through UDISE, household surveys, and regular financial monitoring processes of SSA.   64. The final aspect of the M&E design was the JRMs. Here, the intention was for the Bank to join GoI to review program  implementation  through  two  JRMs  of  about  two  weeks  each  annually,  which  incorporated  field  missions  to  six  states. Each mission comprised 6 nominees of the GoI and 6 from the development partners.   M&E Implementation  65. M&E Implementation largely followed the design described above, although in the final year of the project, only  one JRM was held. This is because, by that stage, disbursement of funds was close to completion and the required  oversight could be achieved through a single JRM. UDISE constituted a key source of quantitative data on program  implementation progress, while the reports from Monitoring Institutions (MIs) supplemented this with qualitative  insights and analysis, thereby ensuring that JRMs had access to rich sources of data with which to assess program  progress.  In  addition,  while  all  JRMs  initially  incorporated  field  missions  to  states,  it  became  clear  that  this  was  unnecessarily burdensome to the states and MHRD, and so field visits were subsequently arranged for only one JRM  per year. This change enabled more in‐depth engagement with national agencies and the datasets/reports being  produced for the project, as well as reduced the reporting burden on states. Each JRM report concluded with a  series of recommendations, implementation of which was reviewed at the following JRM. Finally, a comprehensive  MTR took place, part of which included an extensive value‐for‐money study that explored key aspects of system  efficiency.  M&E Utilization  66. The M&E processes described above had a significant influence on the course of the project and contributed to  some significant operational and policy changes. Specific examples of recommendations made through the M&E  process that led to direct action include:  66.1. The importance of cleaning data records using UIDs for students, which led to a significant effort to undertake  same;  66.2. The value of introducing ECE into government schools, both to stop unnecessary migration of students to  private schools and because of the documented efficiency gains, which culminated in an approved policy on        Page 15 of 44         this matter;  66.3. Collaboration with the national think tank the NITI AYOG in the creation of development and implementation  of a State Educational Quality Index (SEQI) was an instrument for measuring state performance which can  subsequently be linked to aspects such as validation of innovations/endeavors that can be replicated in other  states; performance‐based financing; and as a key lever for encouraging state to act on aspects contributing  to improved education outcomes.   66.4. Creation of SHAGUN was a powerful instrument for program monitoring and assessment of quantitative data  as  well  as  normative  information  around  the  qualitative  aspects  of  programmatic  interventions  has  been  designed to meet this need. The portal provides two online services: (i) it contains a Management Information  System (MIS) of state‐level performance and progress against key performance indicators (ii)  it provides a  repository of videos, testimonials, case studies, and images intended to showcase state‐level innovations and  best practices that are driving improvements in performance and progress under SSA.  66.5. A recommended reduction in the duration of in‐service training for teachers through a shift to customized,  needs‐based training, which enabled the provision of training to a significantly greater percentage of teachers  than anticipated;  66.6. Alerting MHRD to inefficiencies caused by the oversupply of school infrastructure, which led to the merging  of several thousand schools and accompanying rationalization of teachers, combined with annual state‐level  processes to continue this analysis and report on progress.  67. Recommendations  made  during  M&E  processes,  such  as  those  outlined  above,  were  all  strongly  grounded  in  progress monitoring data prepared by the MHRD in advance of JRMs, which served to ensure that refinements in  project implementation and take‐up of M&E recommendations was strongly grounded in evidence. For example,  without  the  progress  monitoring  data  emerging  from  SSA  III,  it  would  not  have  been  possible  to  identify  inefficiencies in oversupply of school infrastructure, while engagement with the limitations of some aspects of  monitoring data during M&E processes led directly to the essential cleaning of data records mentioned above.  Justification of Overall Rating of Quality of M&E  68. The overall rating of the quality of M&E is Substantial. This is because the M&E design included several interlinked  mechanisms  for  collecting,  triangulating,  and  analyzing  quantitative  and  qualitative  data  whilst  also  providing  extended opportunities, mostly through JRMs, to engage with MHRD and the states on potential implementation  improvements. JRM reports and the MTR report included several substantive recommendations, some of which  were directly relevant to the PDO and Intermediate Outcome Indicators, but others of which explored additional  mechanisms to improve the efficacy and efficiency of elementary education in India. It is heartening to note that  several of these recommendations have been integrated into government policy and operations and so will have a  sustained positive impact well past the life of the project.  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE  69. Financial management (FM): The years of SSA program implementation have resulted in a substantial strengthening  of  FM  systems  and  procedures.  Significant  interventions  to  strengthen  FM  arrangements  under  the  program  included:  (i)  application  of  a  uniform  approach  to  FM  and  Procurement  via  dissemination  of  a  comprehensive  manual  on  these  topics  to  all  states;  (ii)  launch  of  the  Shagun  portal  to  provide  a  transparent  mechanism  for  continuous  monitoring  on  various  aspects  of  FM;  (iii)  quarterly  review  meetings  of  states’  Finance  Controllers,  overseen by MHRD; and (iv) operationalization of a Public Financial Management System (PFMS) for effective and  strengthened  monitoring  of  funds  (under  process).  Despite  such  progress,  there  is  still  need  for  greater  strengthening of internal audit processes; timely submissions of utilization certificates; and addressing FM staffing  constraints, both in terms of vacant posts and staff capacity limitations.   70. Some significant areas of concern include: (i) weak internal control systems at all levels (state, district, and sub‐ district  levels),  with  internal  audit  processes  not  commensurate  with  the  size  of  operations;  (ii)  deficiencies  in        Page 16 of 44         observing the system of Utilization Certificates (UCs); (iii) accounting issues, especially related to the booking of  expenditures and non‐maintenance of proper books of accounts; (iv) insufficient monitoring of funds spent at the  school  and  sub‐district  levels;  (v)  inadequate  compliance  with  repeated  issues  highlighted  by  independent  reviews/audits; and (vi) financial management staffing constraints, both in terms of vacant posts and staff capacity  limitations. The highlighted constraints raise concerns about the completeness and accuracy of financial reporting  under  the  program,  thereby  emphasizing  a  need  for  more  focused  interventions.  The  inputs  (capacity  building  measures) mentioned above, though significant, have not been adequately effective in addressing all shortcomings  identified in the program’s FM.  71. Procurement: The SSA III project followed GoI procurement norms via a waiver obtained through the Managing  Director (as was done earlier for SSA I and SSA II) that the legal documents for the financing would not require the  application  of  World  Bank  procurement  guidelines,  but  would  obligate  the  borrower  to  adhere  to  the  relevant  procurement provisions of the SSA III Financing Agreement (which is consistent with the World Bank’s procurement  guidelines)  and  those  of  the  Financial  Management  and  Procurement  (FMP)  Manual.  The  procurement  arrangements to be followed under SSA III were specified in the Financing Agreement and the SSA FMP Manual as  revised in December 2010. This was considered a pragmatic response to a situation where IDA continued to be a  relatively minor financier of a large and important program that was critical to India’s achievement of the MDGs  and to the development of good quality country systems.  72. Over the years, SSA program implementation has resulted in substantial strengthening of procurement systems and  procedures, especially after implementation of the FMP Manual across all states. In addition, launch of the Shagun  Portal, with its facility to upload states’ Procurement Plans, has provided a transparent mechanism for continuous  monitoring.  Despite  this  progress  and  strengthening  of  procurement  processes,  some  weaknesses  remain,  as  observed in a post‐procurement review conducted in seven states. These include, in some cases, the splitting of  requirements, not using the desired method as per the procurement threshold, and delays in payment. These issues  appear  to  be  due  to  a  lack  of  awareness  about  procurement  guidelines  on  the  part  of  the  officials  handling  procurement.  Thus,  there  remains  a  need  for  the  regular  training  of  teachers  and  officials  who  are  involved  in  procurement processes. For high‐value procurement, which generally happens at the state level, it would be more  transparent and effective if an e‐procurement system were adopted instead of using manual methods.   73. Social Assessment: According to the social assessment, prepared and disclosed in December 2013, the World Bank’s  Involuntary Resettlement Policy did not apply since the project was not expected to involve any involuntary land  acquisition. The project would only support expansion/repair/renovation/upgradation of existing schools. During  implementation,  there  were  no  reported  cases  of  on‐site  presence  of  squatters/land  acquisition/involuntary  settlement. The OP4.10 on Indigenous Peoples was not triggered. As outlined in the social assessment, the program  was designed to avoid any negative social impacts.   74. From the social assessment standpoint, the project has generated substantial positive social benefits for vulnerable  groups, including SC, ST, minorities, CWSN, and girls. Further, the social assessment detailed suggested actions to  enhance equity, including addressing the language barriers of SC/ST and Muslim students. Odisha, a state with 40  percent  tribal  population,  has  created  a  multi‐language  program  to  cater  to  students  from  ST  communities,  a  significant majority of whom are first‐generation school‐goers. This approach is being replicated in Jharkhand and  Chhattisgarh. Well‐functioning SMCs and ensuring effective grievance redressal mechanisms at the state level have  strengthened social inclusion. SSA III has taken several crucial steps in each of these areas, particularly in the last  two years of implementation. The outcomes of these actions and their contribution to project objectives cannot be  entirely substantiated at this stage since they are relatively new, forward‐looking measures. They include MHRD  directing states (i) to regularly monitor drop‐outs at the district level and take measures to get them into schools;  and (ii) to track learning outcomes disaggregated by SC/ST, gender, and so on. Such a targeted approach has been  effective  in  closing  gaps  amongst  disadvantaged  groups.  Various  states,  including  Bihar,  Tamil  Nadu,  and  Maharashtra have also undertaken innovative measures to reach out‐of‐school children.   75. Environmental:  SSA  provides  for  a  variety  of  interventions  that  have  a  direct  or  indirect  relationship  with        Page 17 of 44         environment, health, and safety. The move towards clean, safe, and hygienic physical environs in school has been  particularly  notable  in  the  last  few  years  of  the  program’s  implementation.  Strengthening  of  policies,  guidance  documents, procedures and follow‐up, particularly at the MHRD level are manifestations of the increased attention  to green and clean schools, which was promogulated through the EMF prepared for SSA III in December 2013. Some  noteworthy  accomplishments  include:  (a)  integration  of  basic  environment,  health,  and  safety  elements  in  the  Program’s  Planning  and  Appraisal  Manual;  (b)  nation‐wide  campaign  on  Clean  Schools  (Swachh  Vidyalaya  competition/awards to encourage this); (c) substantive progress on meeting sanitation targets (only 2 percent of  Girl Schools and 2.6 percent of Boys Schools are without a toilet today, compared to 28 percent and 19 percent  respectively at the beginning of the project period); (d) initiation of the Green Schools Program, a first of its kind  effort in the education sector (covering some 5000 schools in Gujarat alone by 2020); (e) launching of the School  Safety Programs (including sensitization on disaster preparedness); (f) implementation of Building‐as‐Learning‐Aid;  (g)  provision  of  ramps,  railings,  and  toilets  for  the  physically  challenged  and  initiatives  for  children  with  special  needs; (h) promotion of menstrual hygiene and hand washing; (i) allocation of specific funds for maintenance as  part of the Composite School Grant; (j) e‐school monitors, capturing, among other information, parameters related  to  civil  works,  drinking  water,  toilets,  and  maintenance;  (k)  competitions  such  as  Swachhthon  for  encouraging  innovative solutions; and (l) monitoring the status and condition of physical infrastructure elements through UDISE  (now moving to Shala‐Kosh). The creation of the Shagun Portal further helped in providing a single platform for  monitoring  as  well  as  consolidating  information  on  innovations/success  stories  that  can  be  used  for  further  replication  or  scaling‐up.  Considering  that  education  is  a  concurrent  subject,  the  role  of  states  is  important  in  translating the policies, guidelines, and  available funds into  credible action on the ground.  A few states  such as  Gujarat,  Tamil  Nadu,  Uttar  Pradesh,  and  Andhra  Pradesh  have  constructed  model  green  schools13  (or  prepared  guidelines for the same). They are focusing on future construction and school upgradation work carrying a green  footprint. MHRD has documented these best practices and shared them with other states, encouraging them to  follow suit.  C. BANK PERFORMANCE  Quality at Entry  76. The overall quality at entry was Satisfactory for the following reasons:  76.1. During project preparation, the Bank took several steps to ensure a sound project design. These included:  ensuring  that  lessons  learned  from  SSA  I  and  SSA  II  were  systematically  reviewed  and  integrated  into  the  design of SSA III; integrating experts into the various project preparation processes to provide guidance to the  Bank and GoI teams; and ongoing engagement/coordination with other donors to avoid duplication of efforts.  The latter activity continued throughout SSA III implementation, particularly through the ongoing involvement  of all key donors in JRMs.  76.2. There  was  financial  predictability  of  government  resources,  with  responsiveness  to  the  idea  of  financing  becoming  more  performance‐  and  reform‐based.  Cost‐sharing  between  the  Central  Government  and  the  states  provided  a  built‐in  incentive  for  states  to  make  maximum  use  of  centrally‐provided  grants,  with  financial  norms being  used in a flexible manner  to  prepare AWP&Bs14 so that  districts with greater needs  could access more funds.   76.3. Despite the constraints of the RTE Act in terms of relegating ECE outside the domain of SSA and having less  focus  on  teacher  accountability  and  competency‐based  teaching,  the  MHRD  was  responsive  to  discussing  ways to address these factors through a variety of measures.                                                                13  Cool Ideas‐ Gujarat Green Schools: YouTube link: https://youtu.be/BiwUHaAd0bo  14 The District Annual Work Plan and Budget (AWP&B) process was at the heart of SSA implementation. Practically all SSA expenditures and  activities were driven by the AWP&Bs prepared by about 600 districts of the country. It was within the process of AWP&B development,  endorsement, appraisal, approval and monitoring that the SSA Framework for Implementation became operationalized throughout the country.         Page 18 of 44         76.4. There was a strong emphasis on improving data quality and the increased use of data in decision making.  Special emphasis was given to addressing the capacity constraints around implementing student assessments  and to evaluating the impact of programs on key outcomes and quality.   76.5. The Bank’s previous support to SSA through a Sector Wide Approach (SWAp) had facilitated a programmatic  approach  to  addressing  issues  in  a  holistic  manner  through  collective  dialogue  and  focus  on  sector‐wide  results. The Bank’s partnership with MHRD had brought greater supervisory, monitoring and evaluation, and  technical improvements.   Quality of Supervision  77. The  Bank  has  carried  out  high‐quality  supervision  of  the  project,  with  a  focus  on  actionable  and  time‐bound  recommendations that would help MHRD undertake key reforms in a short time frame. The two JRMs per annum  by the GoI and Development Partners allowed for a comprehensive review of the program, including at state and  local levels. Data from independent agencies like NCERT was used to triangulate results on access and equity. Special  studies carried out under  SSA III  tracked learning achievements and other  quality‐related processes. These data  were  closely  monitored,  and  the  actual  figures  compared  with  the  target  values.  Besides  the  JRMs,  the  MTR  highlighted  critical  deficiencies  in  implementation,  reflecting  a  decrease  and  stagnation  in  learning  outcomes;  a  large, inefficiently deployed, and financially unsustainable teacher workforce; and a lack of teacher accountability.  The mission was pleased to note the urgency on the part of the MHRD towards implementing focused reforms for  improving  learning  outcomes  and  the  political  support  from  top  leadership  in  this  regard.  MHRD  is  currently  providing  strategic  attention  to  quality  improvement  efforts.  Financial  allocations  under  SSA  towards  quality  initiatives, as reported by MHRD, have increased from 6.8 percent (2015‐16) to 9.06 percent (2016‐17). Moving  forward, MHRD proposes to ring fence funds sanctioned to states to focus on components for improving learning  outcomes. A large M&E network called ASMITA (All Schools, Monitoring, Individual Tracking, and Analysis) is being  designed and will become a  tool for improving and monitoring the system for greater accountability for quality  reforms.   Justification of Overall Rating of Bank Performance  78. Given the satisfactory Quality at Entry and Quality of Supervision, as well as the overall performance of the project  processes, as outlined above, the overall Bank performance is rated as Satisfactory.  D. RISK TO DEVELOPMENT OUTCOME  79. There was little risk that the development outcome would not be maintained given the strong policy and legislative  commitment to elementary education that is enshrined in the 2009 RTE Act and Article 21‐A (86th Amendment Act  of the Indian Constitution, 2002). Further, SSA III project expenditure has leveraged a much larger investment in  elementary education, which is continuing after the project’s completion. This is matched by ongoing state‐level  analysis  of  the  underuse  of  school  infrastructure,  which  will  continue  to  yield  efficiency  gains  in  government  expenditure. This will be supplemented by the ongoing cleaning of student data using the UID, which will generate  more  accurate  student  data  in  UDISE  and  enable  more  accurate  budget  allocations.  Importantly,  GoI  has  understood the importance of ensuring that some budget allocations focus specifically on quality improvement, as  can be seen from the creation of new budget categories and the allocation of 10 percent of funds specifically to  those  categories.  The  biggest  challenge  that  remains,  therefore,  is  to  ensure  that  these  investments  lead  to  systematic  improvements  in  learning  outcomes.  This  focus  will  be  facilitated  by  improvements  in  NAS  implementation, expansion in the use of SLASs at the state level, and the plan for India to participate in PISA.  V. LESSONS AND RECOMMENDATIONS  80. Key lessons learned from the project are as follows:  80.1. In education financing, state‐level autonomy regarding use of funds leads to greater ownership and  better outcomes. This was clearly reflected in the gains made in the reported use of funds by states under        Page 19 of 44         SSA III and the accompanying improvements in outcomes and innovation at the state level that this  enabled (please see JRM reports for evidence of this).  80.2. In a SWAp, project design and implementation are very tightly integrated with government programs,  which makes it harder to focus on specific systemic improvements that might generate the greatest gains.  While this is suitable in the early phases of education reform, when the focus is primarily on access, it is less  helpful as the emphasis shifts to education quality and improvement of learning outcomes. As this shift  occurs,  using  results‐based  financing,  such  as  the  Program‐for‐Results  (P4R)  instrument,  would  enable  greater focus and may be more appropriate.  80.3. Efforts  to  monitor  system  learning  levels  can  be  significantly  enhanced  through  the  introduction  of  competency‐based  national  learning  outcomes  (LOs)  for  each  subject  area  and  by  designing  national  assessments that directly assess student achievement of these desired learning outcomes. Not only does  this allow for more relevant measurement of learning levels by aligning with what is supposed to be taught,  it also enhances the value of the results for informing education policy and practice.  80.4. Tracking enrolment, retention, and transition rates depends on accurate data, as the process of cleaning  student data records illustrates. This process can also have material benefits by enabling more accurate  and efficient targeting of funds. Thus, to ensure accurate analysis of trends on these metrics, it is essential  to focus on strengthening management information systems as early as possible in project implementation,  particularly  if  these  systems  are  needed  to  monitor  progress  against  PDO  and  intermediate  outcome  indicators.  80.5. Move  to  states  rather  than  stay  at  the  national  level:  Given  the  scale  of  India,  it  would  be  useful  to  henceforth  prepare  operations  that  focus  on  select  states  with  deep  inequalities,  and  provide  focused  support  on  areas  requiring  strengthening.  Further,  it  would  be  useful  to  include  select  high  performing/progressive states to ensure that the learnings from these states filter to the emerging states  that have inefficiencies/ inequities.   81. Given the above, the following recommendations are offered:  • Project instrument: As a large education system matures, especially in its access agenda, a SWAp instrument  may need to be replaced with one that has greater capacity to sharpen the focus on critical areas for improving  learning outcomes.   • National and state engagements: Given the size and scale of India, and the increased focus on competitive  and  cooperative  federalism,  it  may  be  useful  henceforth  to  design  projects  that  (i)  assist  the  national  government  in  broader  policy‐related  reforms,  such  as  creating  robust  MIS  systems,  improving  learning  assessments,  and  strengthening  private  sector  engagement  in  education;  and/or  (ii)  support  select  state  governments  (based  on  poor  development  outcomes)  in  deepening  their  efforts  around  improved  service  delivery and governance reform for quality improvement.  • Supporting  innovations  through  new  forms  of  partnerships:  Given  the  significant  presence  of  corporate  philanthropy  in  the  education  sector,  creating  funding  instruments  that  leverage  the  pooling  of  corporate  philanthropic  funds  and  talent  with  World  Bank  finances  would  help  the  Bank  bring  about  larger  impact,  innovation, and agility in the education sector.            Page 20 of 44       The World Bank      India: Elementary Education III (P144447)      ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS       A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: The project has delivered against its development objective of improving the education outcomes of elementary school children in  India. Student attendance has improved, with 23 reporting more than 80  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in the student  Percentage  12.00  20.00    25.00  attendance rate    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets): 25 states and UTs at Upper Primary Level and 23 at Primary level had more than 80% attendance. Data on  ‘actual achievement at completion’ is the attendance rate recorded on the day when National Achievement Survey 2017 was conducted by National  Council of Education Research and Training (Also the entity that carried out the independent survey referred to for baseline estimates). The assessment  survey was carried out without any prior intimation to schools covered.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in the retention rate  Percentage  80.00  84.00    84.10  at primary level    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2016    Comments (achievements against targets): In 2016‐17, the government undertook an exercise of assigning students UIDs; which has facilitated a cleaning  of education MIS for enrolment‐based statistics. Applying the ‘UID error correction’ rate to the calculation gives revised retention rates at the primary        Page 21 of 44       The World Bank      India: Elementary Education III (P144447)        level – 82.8% at baseline and 88.8% at end‐line. This translates into a gain of six percentage points over baseline; 1.5 times the envisioned improvement of  four percentage points.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in the transition rate  Percentage  86.70  89.00    88.60  from primary to upper  primary    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets): In 2016‐17, the government undertook an exercise of assigning students UIDs; which has facilitated a cleaning  of education MIS for enrolment‐based statistics. Applying the ‘UID error correction’ rate to the calculation of transition rates gives more accurate  estimates – 86.2% at baseline and 90.4% at end‐line. This translates into a gain of 4.2 percentage points over baseline; almost twice the envisioned  improvement of 2.3 percentage points.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  System for learning  Yes/No  Y  Y    Y  assessment at the primary  level    30‐Sep‐2012  30‐Sep‐2017    29‐Dec‐2017    Comments (achievements against targets): Since project inception, MHRD has successfully completed Cycle 4 of Class 5 National Achievement Survey; the  first round to provide comparable results (with Cycle 3). In 2017, the government introduced a new national learning assessment. It was an assessment  that simultaneously covered all three classes; with a larger sample size; assessing students against class wise elementary level learning indicators  developed by NCERT; and providing granular results that facilitated administrative and academic decision making up to the sub‐district level. NAS 2017  was completed within less than a year; compared to the turnaround time of up to three years for previous rounds.              Page 22 of 44       The World Bank      India: Elementary Education III (P144447)      A.2 Intermediate Results Indicators      Component: I. Improving Quality and Enhancing Learning Outcomes     Component: II.  Strengthening monitoring and evaluation for improved accountability     Component: III.  Enhancing access and retention for disadvantaged children       Unlinked Indicators  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Specific early grades quality  Number  0.00  36.00    36.00  programmes implemented to  strengthen foundation in    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017  language and numeracy    Comments (achievements against targets): In 2014, the government launched a national early learning program, ‘Padhe Bharata Badhe Bharat’. The  initiative is being implemented across all states and union territories.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  System of state level  Number  0.00  20.00    27.00  achievement surveys (SLAS)  established    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017          Page 23 of 44       The World Bank      India: Elementary Education III (P144447)        Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  More government school  Percentage  50.00  40.00    88.00  teachers trained through  improved in‐service training    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets): Implementation of the RTE Act had led to a rapid increase in the number of teachers in the system, so with  this massive influx in mind, the project set a target of providing at least 40%; 10 percentage points less than the baseline.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase teacher attendance  Percentage  81.70  90.00    85.60    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets): Teacher attendance level is 85.6% at primary level and 84.9% at upper primary level.  Data on ‘actual  achievement at completion’ is the teacher attendance rate reported by the Annual State of Education Report (ASER), an independent citizen led learning  assessment initiative.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increased training of head  Percentage  0.00  50.00    76.00  masters    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017        Page 24 of 44       The World Bank      India: Elementary Education III (P144447)          Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increased training of  Percentage  0.00  25.00    63.00  educational administrators    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  CRC and BRC academic  Percentage  50.00  70.00    99.00  support and supervision    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Improved community  Percentage  80.00  80.00    94.20  management of schools    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets): Block Resource Centers (BRCs) constituted by the MHRD have been given the responsibility to verify SMC        Page 25 of 44       The World Bank      India: Elementary Education III (P144447)        functioning through sample checks of school development plans (duly signed by SMC members) and SMC meetings registers (duly signed for each meeting  by SMC members).      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Development and use of  Percentage  0.00  36.00    100.00  school performance  standards    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets): The central government has developed school performance standards and operationalized an online portal  where all schools report performance, thus achieving universal coverage.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Improved utilization of funds  Number  3.00  12.00    31.00  by states    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in the number of  Number  64900000.00  67000000.00    66100000.00  children enrolled at upper  primary level in schools    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017          Page 26 of 44       The World Bank      India: Elementary Education III (P144447)        Comments (achievements against targets): In 2016‐17, the government undertook an exercise of assigning students UIDs; which has facilitated a cleaning  of education MIS for enrolment‐based statistics. Applying the ‘UID error correction’ rate gives more accurate estimates – 63.1 million at baseline and 66.1  million at end‐line. Hence, instead of the expected improvement in upper primary enrolment of 2.1 million, the actual improvement recorded is 3 million.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in separate toilets  Percentage  72.16  74.00    97.80  for girls in government  schools    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increased enrolment share of  Percentage  48.63  48.00    48.26  girls, vis‐a‐vis relevant age  group share in population at    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017  primary and upper primary  levels    Increased enrolment share  Percentage  20.24  16.60    19.46  of SC children vis‐a‐vis  relevant age group share in    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017  population at primary and  upper primary levels       Increased enrolment share  Percentage  10.85  8.60    10.34        Page 27 of 44       The World Bank      India: Elementary Education III (P144447)        of ST children vis‐a‐vis    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017  relevant age group share in  population at primary and  upper primary levels       Increased enrolment share  Percentage  13.50  13.40    14.30  of Muslim children vis‐a‐vis  relevant age group share in    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017  population at primary and  upper primary levels       Increased enrolment  Percentage  77.00  80.00    95.80  percentage out of identified  CWSN at primary and upper    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017  primary level      Comments (achievements against targets): The target represents the share of for girls, SC, ST and Muslims in the   population ‐ the Results Framework  was "Increased enrolment share of girls, ST, ST , Muslim children vis‐a‐vis relevant age group share in population  at elementary stage; and increased  enrolment %  out of identified CWSN at elementary level" and the end target was to continue to maintain the enrolment of girls, SC, ST and muslims as  more in the share in enrolment than their share in the population, which was met at end target      At the baseline census estimates for Muslims share in overall population were not available. Hence, 2001 census data was used. As per 2011 census,  Muslims share in population stood at 14.2 percent. The project has ensured that Muslims share in enrolment exceeds both 2001 and 2011 census  estimates.         Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion        Page 28 of 44       The World Bank      India: Elementary Education III (P144447)        Direct project beneficiaries  Number  129579846.00  140000000.00    135831070.00    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017    Female beneficiaries  Percentage  48.69  49.00    48.40    30‐Sep‐2012  30‐Sep‐2017    30‐Sep‐2017      Comments (achievements against targets):                            Page 29 of 44         B. KEY OUTPUTS BY COMPONENT    Objective/Outcome 1: Improve education outcomes of elementary school children in India  1. Attendance rates of students to increase  2. Retention rates of students to improve   Outcome Indicators  3. Transition rates from primary to upper primary to improve  4. Learning levels adequately and regularly monitored  1. Improving quality for enhancing learning  1.1. Specific early grades quality programmes for language and numeracy being run in 25 States/UTs  1.2. 20 states/UTs conducted SLAS  1.3. 40 percent of teachers received in‐service training  1.4. Teacher attendance maintained at 90% at primary and increased to 87 percent at upper primary level  1.5. At least 50 percent of HMs trained across all schools since 2012‐13 (cumulative)  1.6. 25  percent  of  educational  administrators  from  State  to  Block  level  received  training  since  2012‐13  (cumulative)  2. Strengthening Monitoring and Evaluation  Intermediate Results  2.1. At least 70 percent positions filled in at BRCs and CRCs  Indicators by Component  2.2. 80 percent of constituted SMCs reporting role in school supervision  2.3. 50 percent States/UTs states adopt national school performance standards  2.4. 12 of states/UTs incur expenditure of 80% of received funds  3. Improving equitable access and retention  3.1. Enrolment of children at upper primary level increased to 67 million  3.2. Share of schools with separate toilet facility for girls increased to 74 percent  3.3. Enrolment share of girls, SC, ST, and Muslim children at upper primary level reflect their relevant age  group share in population  3.4. 80 percent of identified CWSN enrolled in school and education programs  Key Outputs by Component  1. Improving quality for enhancing learning  (linked to the achievement of  1.1. Specific  early  grades  quality  programmes  implemented  to  strengthen  foundation  in  language  and  the Objective/Outcome 1)  numeracy        Page 30 of 44         1.2. System of state level achievement surveys (SLAS) established  1.3. More government school teachers trained through improved in‐service training  1.4. Increased teacher attendance  1.5. Increased training of head masters  1.6. Increased training of educational administrators  2. Strengthening Monitoring and Evaluation  2.1. CRC and BRC academic support and supervision  2.2. Improved community management of schools  2.3. Development and use of school performance standards  2.4. Improved utilization of funds by states  3. Improving equitable access and retention  3.1. Increase in the number of children enrolled at upper primary level in schools  3.2. Increase in separate toilets for girls in government schools  3.3. Increased  enrolment  shares  of  girls,  ST,  ST,  Muslim  children  vis‐a‐vis  relevant  age  group  share  in  population at elementary  stage; and increased enrolment % out  of identified  CWSN at elementary  level            Page 31 of 44       The World Bank      India: Elementary Education III (P144447)        ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION    A. TASK TEAM MEMBERS    Name  Role  Preparation  Supervision/ICR  Shabnam Sinha, Marguerite M. Clarke  Task Team Leader(s)  Satyanarayan Panda  Procurement Specialist(s)  Supriti Dua  Financial Management Specialist  Tobias Linden  Team Member  Neil Butcher  Team Member  Mamata Baruah  Team Member  Neha Pravash Kumar Mishra  Environmental Safeguards Specialist  Muna Salih Meky  Team Member  Umbreen Arif  Team Member  Sangeeta Dey  Team Member  Gitanjali Chaturvedi  Social Safeguards Specialist                B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY13  6.850  60,729.09  FY14  56.116  236,244.81  FY15  0  ‐  19.46  Total  62.97  296,954.44          Page 32 of 44       The World Bank      India: Elementary Education III (P144447)      Supervision/ICR  FY15  30.068  137,995.36  FY16  25.003  261,351.59  FY17  19.642  215,886.41  FY18  9.991  106,019.77  Total  84.70  721,253.13                       Page 33 of 44       The World Bank      India: Elementary Education III (P144447)      ANNEX 3. PROJECT COST BY COMPONENT      Amount at Approval   Actual at Project Closing  Percentage of Approval  Components  (US$M)  (US$M)  (US$M)  I.  Improving Quality  and Enhancing Learning  549.20  549.20  100  Outcomes  II.  Strengthening  monitoring and evaluation  166.00  166.00  100  for improved accountability  III.  Enhancing access and  retention for disadvantaged  291.00  291.00  100  children  Total  1006.20  1,006.20  100                Page 34 of 44       The World Bank      India: Elementary Education III (P144447)      ANNEX 4. EFFICIENCY ANALYSIS  The  project  has  achieved  notable  efficiency  gains.  First,  a  recommendation  coming  out  of  the  MTR  regarding the need to consolidate the operation of small schools has led to GOI rationalizing the use of  school infrastructure and teachers. Importantly, this is not a once‐off efficiency gain because states are  undertaking an annual analysis to identify the number of schools that can be consolidated and setting  targets to be achieved for the year. Second, the relationship between investment in early learning and  greater incremental returns at higher levels of learning is well established. Related to this, the MTR and  several  JRMs  emphasized  the  need  to  focus  on  provision  of  ECE  in  government  schools.  A  review  conducted at the time of the MTR noted that the return on investment in ECE can be as high 1:25. As a  result,  during  the  project,  several  states  introduced  (or  re‐introduced)  ECE  in  government  schools.  Similarly, recent cabinet approval has brought two years of ECE under the purview of the MHRD.  With most PDO indicators depending on enrolment estimates, SSA III created strong pressure to clean  enrolment records, an issue flagged in early JRMs. This was achieved through the assignment of a UID to  each student. Given that several SSA budget line items are calculated on a per‐pupil basis, this exercise  yielded significant efficiency gains in budget allocations. In addition, the reduction in the number of days  for in‐service training from 20 to 10, while primarily reflecting a shift in focus from a standardized to a  more need‐based teacher training system, has also led to a reduction in the per‐teacher training cost, an  amount that has been further reduced through the strengthening of BRCs and CRCs. Finally, active SMC  participation in the process of school development planning and monthly review of school expenses is  helping to improve operational efficiencies at the school level.  Economic Analysis: A cost‐benefit analysis conducted at the time of this ICR shows a high economic rate  of return for the project. Considering the benefits accruing from a greater number of students completing  primary and upper‐primary education and the per‐pupil cost (including the private cost) of elementary  education in India, the economic internal rate of return (EIRR) of the project is estimated at 19.2 percent,  compared  with  a  projected  EIRR  of  17.7  percent  at  appraisal.  Although  the  end  EIRR  is  based  on  conservative assumptions, it is higher than the baseline projection because income returns on completion  of primary and upper‐primary education have improved significantly. Further, the end‐line analysis uses  separate income equations for men and women, rather than the aggregate equation used at the baseline.  In India, there is a sizeable gap between the wages of men and women, and labor force participation rates  are higher for men.  This  granularity in  analysis provides a  higher, more realistic estimate of economic  returns.  In addition to economic returns, one  expects considerable social  returns from investing in  elementary  education.  There  is  limited  data  on  the  positive  social  externalities  arising  from  elementary  education  investments.  However,  there  is  an  abundant  literature  which  demonstrates  that  higher  attendance,  retention,  and  completion  rates  at  the  elementary  level  facilitate  greater  enrolment  and  retention  at  higher  levels  of  learning,  improve  health  (and  other  social)  outcomes,  reduce  incidence  of  crime,  and  foster greater social inclusion, while helping to correct gender imbalances.  The  PDO  was  ‘to  improve  education  outcomes  of  elementary  school  children  in  India’.  The  project  is  assumed  to  have  yielded  economic  return  primarily  through  increased  retention,  transition,  and        Page 35 of 44       The World Bank      India: Elementary Education III (P144447)      completion of primary and upper‐primary levels of education.15 An income equation based on the national  sample  survey  was  used  to  estimate  increases  in  income  derived  from  completing  these  levels  of  education.  Further,  the  economic  benefit  originating  from  the  project  has  been  computed  after  internalizing the prevailing unemployment rate of 4 percent, a male workforce participation rate of 82  percent, and a female labor force participation rate of 27 percent. The working age has been assumed to  range  from  14  to  60  years.  Further,  the  project’s  MTR  highlighted  evidence  of  a  fall  in  learning  levels  between Cycles 3 and 4 of the NAS. Subsequently, the ASER 2016 report suggested an improvement in  Class 3 learning levels, a stabilization of Class 5 learning levels, and a slight fall in Class 8 learning levels.  Nevertheless, adopting a conservative perspective on economic benefits originating from the project, the  economic  analysis  assumes  a  2  percent  loss  in  expected  income  due  to  a  possible  fall/stagnation  in  learning levels.  The  computation  of  ‘cost’  for  delivering  these  benefits  includes  the  per‐pupil  elementary  education  expenditure and the per‐pupil private cost of education. The long‐term inflation rate has been assumed  at 7.8 percent16 and the discount rate used for calculations is 12 percent.   The project was supported by a substantial amount of counterpart funding. The World Bank’s assistance  of US$ 1 billion leveraged US$ 28.8 billion invested by GOI. The project was a Special Investment Lending  vehicle using a SWAp and financed states' annual work programs and a small number of activities at the  national level. As a result, it is not possible to differentiate the impact of the Bank’s funding from the  impact of counterpart funding. Therefore, the economic analysis is based on the total cost of elementary  education  in  India  and  the  economic  benefits  that  all  students  enrolled  in  elementary  education  can  expect from completing primary and upper‐primary levels of education.  Sensitivity  Analysis:  Some  of  the  assumptions  used  while  computing  the  EIRR  are  macroeconomic  indicators for which future trends are hard to predict. Further, it difficult to precisely ascertain the impact  that the marginal decrease (or stagnancy) in learning levels will have on students’ income prospects. A  sensitivity analysis has been carried out to compute how changes in these variables/assumptions would  impact the EIRR, generating low‐, mid‐ and high‐case projections.  Table 6 Sensitivity Analysis  Assumption  Low Case  Mid Case  High Case  Women Wage (2011) – Illiterate (US$)   411  Men Wage (2011) – Illiterate (US$)  586  Women Wage (2011) – Primary Complete (US$)  447  Men Wage (2011) – Primary Complete (US$)  636  Women Wage (2011) – Upper Primary Complete (US$)  515  Men Wage (2011) – Upper Primary Complete (US$)  733                                                               15 To account for the recent drop in enrolment estimates because of assigning a UID to each student; enrolment, retention,  completion and transition rates have been used after cleaning past records while maintaining growth trends; and uniformly  removing the data discrepancy from past entries  16 Average of previous five years        Page 36 of 44       The World Bank      India: Elementary Education III (P144447)      Assumption  Low Case  Mid Case  High Case  Median Private Cost of Education (US$) – 2014  10  Male Labor Force Participation Rate  77 percent  82 percent  Female Labor Force Participation Rate  22 percent  27 percent  32 percent  Unemployment Rate  4.0 percent  3.5 percent  3.0 percent  Negative impact of Learning Levels on Income  ‐3 percent  ‐2 percent  ‐1 percent  Economic Internal Rate of Return  18.0 percent  19.2 percent  19.8 percent  Financial Analysis: At the baseline, only three states/union territories had used more than 80 percent of  the funds made available to them under SSA. By the end of the project, 31 states/union territories were  reporting utilization of more than 80 percent of the funds made available to them.   This improved utilization comes at a time when GOI had begun organizing state‐level allocations into three  categories; one of which (Category II) comprises only interventions focused on quality of education. This  change occurred after the SSA III MTR, which observed that more than 70 percent of SSA funds were being  used  to  pay  teacher  salaries  alone.  With  the  inclusion  of  infrastructure  maintenance  and  student  entitlements (textbooks and uniforms), this meant that very little funding remained for quality‐centric  innovations. However, in the 2016‐17 budget, GOI earmarked about 10 percent of the SSA budget for  Category II spending, a substantial increase on previous years.            Page 37 of 44       The World Bank      India: Elementary Education III (P144447)      Table 7 Summary of Costs and Benefit Streams; and EIRR     2014  2015  2016  2017  2018  2019  2020  2021  2022  2023  2061  2062  2063  2064  Completion  Number of Primary School Completers – Male  7.7   7.5   7.3   7.2   7.3   7.3   7.4   7.4                     Number of Primary School Completers ‐ Female  7.1   7.0   6.8   6.7   6.7   6.8   6.8   6.9                     Number of Upper Primary School Completers ‐ Male  6.3   6.4   6.4   6.4   6.5   6.6   ‐   ‐                     Number of Upper Primary School Completers ‐ Female   6.0   6.1   6.0   6.1   6.1   6.2   ‐   ‐                     Benefits  Average Wage ‐ Illiterate ‐ Male (US$)  685   749   830   885   954   1,028   1,109   1,195   1,288   1,389   24,108   25,988   28,015   30,200   Average Wage ‐ Illiterate ‐ Female (US$)  481   526   583   622   670   723   779   840   905   976   16,937   18,259   19,683   21,218   Average Wage ‐ Primary Complete ‐ Male (US$)  744   813   902   962   1,037   1,117   1,205   1,299   1,400   1,509   26,194   28,237   30,439   32,814   Average Wage ‐ Primary Complete ‐ Female (US$)  523   571   634   676   728   785   846   912   983   1,060   18,403   19,839   21,386   23,054   Average Wage ‐ Upper Primary Complete ‐ Male (US$)  857   937   1,039   1,107   1,194   1,287   1,387   1,495   1,612   1,737   30,160   32,513   35,049   37,783   Average Wage ‐ Upper Primary Complete ‐ Female (US$)  602   658   730   778   839   904   974   1,050   1,132   1,221   21,190   22,843   24,624   26,545   Wage Gains (US$ Billion)  1.1   2.4   4.0   5.7   7.6   9.9   11.3   12.9   13.9   15.0   106.8   73.5   33.8   18.3   Cost  Total Private Cost of Education (US$ Billion)  1.2   1.3   1.3   1.4   1.1   0.8   0.4   0.2               Government Expenditure on Elementary Education (US$ Billion)  17.5   15.4   13.5   13.5   8.2   4.7   2.0   0.8               Total Cost (US$ Billion)  18.7   16.7   14.8   14.9   9.3   5.5   2.5   1.1   ‐   ‐   ‐   ‐   ‐   ‐   Benefit‐Cost (US$ Billion)  (17.6)  (14.3)  (10.8)  (9.2)  (1.7)  4.4   8.9   11.9   13.9   15.0   106.8   73.5   33.8   18.3   Economic Internal Rate of Return: 19.2 percent            Page 38 of 44       The World Bank      India: Elementary Education III (P144447)      ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS            Page 39 of 44       The World Bank      India: Elementary Education III (P144447)                  Page 40 of 44       The World Bank      India: Elementary Education III (P144447)                  Page 41 of 44       The World Bank      India: Elementary Education III (P144447)                  Page 42 of 44       The World Bank      India: Elementary Education III (P144447)                  Page 43 of 44       The World Bank      India: Elementary Education III (P144447)      ANNEX 6. SSA RESULTS CHAIN          Page 44 of 44