Document of  The World Bank  FOR OFFICIAL USE ONLY      Report No: ICR00004377          IMPLEMENTATION COMPLETION AND RESULTS REPORT  P130184   ON A  CREDIT    IN THE AMOUNT OF SDR 23.2 MILLION  (US$35 MILLION EQUIVALENT)  TO THE    REPUBLIC OF BENIN   FOR A  WARCIP APL 1C ‐ BENIN ( P130184 )    January 12, 2018    Transport & ICT Global Practice  Africa Region          CURRENCY EQUIVALENTS     (Exchange Rate Effective June 9, 20171)    Currency Unit  =   West African Franc (CFA)  585.98=  US$1  US$  1.38  =  SDR 1      FISCAL YEAR  July 1 ‐ June 30                                  Regional Vice President: Makhtar Diop  Country Director: Pierre Frank Laporte  Senior Global Practice Director: Jose Luis Irigoyen  Practice Manager: Boutheina Guermazi  Task Team Leader(s): Marc Jean Yves Lixi  Marolla Haddad  ICR Main Contributor: Christine Howard    1 Although the project closed on June 10, 2017, there was no calculation for SDR on that date. Therefore, the calculation for  June 9, 2017 was selected.   ABBREVIATIONS AND ACRONYMS      3G  Third generation wireless mobile telecommunications technology  4G  Fourth generation wireless mobile telecommunications technology  ACE  Africa Coast to Europe  APL  Adaptable Program Loan  ARAP  Abbreviated Resettlement Action Plan   CAS  Country Assistance Strategy   C&MA  Construction and Maintenance Agreement  AID  Association Internationale de Développement  ARCEP  Autorité de Régulation des Communications Electroniques et de la Poste  BTSA  Bénin Telecom SA  BTI  Bénin Telecom Infrastructure  BTS  Bénin Telecom Service  ECOWAS  Economic Community of West African States  ESIA  Environmental and Social Impact Assessment  ESMP  Environmental and Social Management Plan  ESSAF  Environmental and Social Screening Assessment Framework  GIE  Groupement d’Intérêt Economique  Gbit/s  Gigabit per second  GDP  Gross Domestic Product  GoB  Government of Benin  ICT  Information and Communications Technology  IDA   International Development Association  IP  Implementation Progress / Internet Protocol  IRR  Internal Rate of Return  ISP  Internet Service Provider  ITU  International Telecommunication Union  IXP  Internet Exchange Point  Kbit/s  Kilobit per second  M&E  Monitoring and Evaluation  Mbit/s  Megabit per second  MCTIC  Ministère de la Communication et de Technologies de la Communication  l’Information et de la Communication   MTR  Mid‐Term Review  MENC  Ministère de l’Economie Numérique et de la Communication  NPV  Net Present Value  OP   Operational Procedures  ORAF  Operational Risk Assessment Framework  PAD  Project Appraisal Document  PDO  Project Development Objective  PIU  Project Implementation Unit  PRSP  Poverty Reduction Strategy Paper  PPA   Project Preparation Advance  PPP  Public‐Private Partnership  QER DRAFT RAP  Resettlement Action Plan  RIAS  Regional Integration Assistance Strategy  RMP  Revue à Mi Parcours  RPRSP  Regional Poverty Reduction Strategy  SAT‐3  South Atlantic 3 fiber optic cable  SAT‐3/WASC  South Atlantic 3/ Western Africa Submarine Cable  SDR  Special Drawing Rights  SPV  Special Purpose Vehicle  TA  Technical Assistance  WARCIP  West Africa Regional Communications Infrastructure Program  WBG  World Bank Group                  TABLE OF CONTENTS    DATA SHEET ........................................................................ ERROR! BOOKMARK NOT DEFINED.  I.  PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ........................................................ 5  A. CONTEXT AT APPRAISAL ........................................................................................................... 5  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE) ...................................... 14  II.  KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 16  A. KEY FACTORS DURING PREPARATION..................................................................................... 16  B. KEY FACTORS DURING IMPLEMENTATION .............................................................................. 18  III.  OUTCOME ...................................................................................................................... 20  A. RELEVANCE OF PDOs .............................................................................................................. 20  B. ACHIEVEMENT OF PDOs (EFFICACY) ........................................................................................ 21  C. EFFICIENCY ............................................................................................................................. 26  D. JUSTIFICATION OF OVERALL OUTCOME RATING ..................................................................... 29  E. OTHER OUTCOMES AND IMPACTS (IF ANY) ............................................................................. 29  IV.  BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 30  A. QUALITY OF MONITORING AND EVALUATION (M&E) ............................................................. 30  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ..................................................... 32  C. BANK PERFORMANCE ............................................................................................................. 33  D. RISK TO DEVELOPMENT OUTCOME ........................................................................................ 34  V.  LESSONS AND RECOMMENDATIONS .............................................................................. 36  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 38  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 45  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 47  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 48  ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS ... 50  ANNEX 6. SUPPORTING DOCUMENTS (IF ANY) ...................................................................... 51       The World Bank WARCIP APL 1C - Benin ( P130184 )       DATA SHEET     BASIC INFORMATION   Product Information  Project ID  Project Name  P130184  WARCIP APL 1C ‐ BENIN ( P130184 )  Country  Financing Instrument  Western Africa  Adaptable Program Loan  Original EA Category  Revised EA Category  Partial Assessment (B)  Partial Assessment (B)  Organizations  Borrower  Implementing Agency  Ministry of Communications and Information  Project Coordination Unit within the Ministry of Digital  Technologies  Economy  Project Development Objective (PDO)    Original PDO  The project development objective for WARCIP 1‐C  are to contribute to increase the geographical reach of  broadband networks and toreduce the costs of communications services in Benin.      Page 1 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing          35,000,000  35,000,000  33,877,645  IDA‐51430  Total    35,000,000  35,000,000  33,877,645  Non‐World Bank Financing        Borrower     0     0     0  Total     0     0     0  Total Project Cost  35,000,000  35,000,000  33,877,645        KEY DATES      Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  12‐Jul‐2012  21‐Mar‐2013  15‐May‐2015  10‐Jun‐2017  10‐Jun‐2017       RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions      KEY RATINGS      Outcome  Bank Performance  M&E Quality  Moderately Satisfactory  Satisfactory  Modest    RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  28‐Jan‐2013  Satisfactory  Satisfactory  0  02  30‐Jul‐2013  Satisfactory  Satisfactory  25.60  03  02‐Jun‐2014  Satisfactory  Satisfactory  29.70  Page 2 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) 04  25‐Dec‐2014  Satisfactory  Satisfactory  30.22  05  29‐Jun‐2015  Satisfactory  Satisfactory  30.29  06  15‐Feb‐2016  Moderately Satisfactory  Moderately Satisfactory  30.88  07  06‐Aug‐2016  Satisfactory  Satisfactory  31.40  08  23‐Feb‐2017  Satisfactory  Satisfactory  32.06  09  09‐Jun‐2017  Satisfactory  Satisfactory  33.88    SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Information and Communications Technologies  100  Public Administration ‐ Information and  4  Communications Technologies  ICT Infrastructure  96      Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Private Sector Development  86    Business Enabling Environment  24    Investment and Business Climate  4    Regulation and Competition Policy  20      Jobs  12    Job Creation  12      Public Private Partnerships  10      Regional Integration  40        Page 3 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Urban and Rural Development  24    Urban Development  12    Urban Infrastructure and Service Delivery  12      Rural Development  12    Rural Infrastructure and service delivery  12            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Obiageli Katryn Ezekwesili  Makhtar Diop  Country Director:  Madani M. Tall  Pierre Frank Laporte  Senior Global Practice Director:  Jose Luis Irigoyen  Jose Luis Irigoyen  Practice Manager:  Philippe Dongier  Boutheina Guermazi  Task Team Leader(s):  Boutheina Guermazi  Marc Jean Yves Lixi  ICR Contributing Author:    Marolla Haddad                 Page 4 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 )   I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES    A. CONTEXT AT APPRAISAL    Context  Country context at appraisal:   1. Benin is a West African Country and a member of the Economic Community of West African States (ECOWAS). Benin’s  population was estimated at 9.6 million2 at project appraisal (2011) and, it ranked in the lower income group with a  per capita income of US$780. Following fundamental political change in 1989, the country enjoyed relative political  stability  and  a  strengthened  democratic  system.  However,  poverty  remained  widespread  and  the  undiversified  economy was vulnerable to external shocks. The economy relied primarily on the agricultural sector, cotton, and on  re‐export and transit trade with Nigeria and other neighboring countries.   2. The Government’s third Poverty Reduction Strategy Paper (PRSP) covering the period 2011 to 2015 aimed to pave the  way for Benin to become an emerging economy by 2025. The PRSP highlighted the need for Benin to capitalize on  its comparative advantages in agriculture and its position as a regional trading center to generate economic growth  and increase its per capita GDP3. In addition, the 2009‐2012 Country Assistance Strategy (CAS) for Benin, developed  with  the  World  Bank,  aimed  to  help  the  country  address  key  development  challenges,  including  an  unfavorable  business climate, poor infrastructure, lack of economic competitiveness, lack of diversification of the economy, and  low capacity for implementation. The CAS rested on three main pillars: accelerated growth; improving access to basic  services; and promoting better governance and institutional  capacity building4, all of which can be strengthened  through the development of the Information and Communications Technologies (ICT) sector (also referred to as the  digital technologies sector).  3. At the regional level, ECOWAS member states were collaborating to strengthen integration and improve economic  growth in the region. In 2007, a joint Regional Poverty Reduction Strategy Paper (RPRSP) for West Africa emphasized  the need for enhanced cooperation among West African countries and deeper regional integration to accelerate  growth, reduce poverty, and improve performance on the Millennium Development Goals (MDGs). It proposed four  strategic directions for regional intervention, including the aim to “develop and interconnect infrastructures”, which  encompasses regional telecommunications infrastructure.   Sector context at appraisal:  4. At  appraisal,  the  telecommunications  sector  in  Benin  was  relatively  competitive,  except  for  the  national  and  international fixed infrastructure. There were five mobile operators and five main Internet Service Providers (ISPs)  offering mobile and internet services. The roll‐out of third generation (3G) services had just started in 2012 after  MTN Benin was awarded the first universal license that is technology and service neutral. The government planned  to  award  similar  licenses  to  the  other  mobile  operators,  which  had  the  potential  to  spur  growth  in  the  mobile  broadband sector.   5. Benin Telecoms SA (BTSA), the owner and operator of national and international connectivity was wholly state‐owned.  2http://intranet.worldbank.org/WBSITE/INTRANET/INTCOUNTRIES/INTAFRICA/INTBENIN/0,,menuPK:322562~pagePK:145893~ piPK:147168~theSitePK:322552,00.html  3 ibid  4 ibid  Page 5 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) The  GoB  had  attempted  to  privatize  BTSA  at  various  intervals  over  several  years  but  bids  received  were  below  expectations  and  the  privatization  was  cancelled.  At  the  time  of  project  initiation,  the  GoB  was  also  considering  repositioning  BTSA  as  a  wholesale  capacity  provider.  Benin  Telecom  was  also  operating  the  only  international  submarine  cable,  the  South  Atlantic  3/Western  Africa  Submarine  Cable  (SAT‐3/WASC),  linking  Benin  to  the  international Backbone since 20025. National and international connectivity was leased to the mobile operators and  ISP  to  provide  internet  and  international  communications  services.  Mobile  operators  also  relied  on  their  own  microwave  backhaul  infrastructure  for  transmission  capacity.  At  appraisal,  the  government  was  planning  to  give  mobile operators the right to build  their own fiber infrastructure where  necessary. In addition, the  new licenses  issued to the ISPs in 2012 guaranteed their right to purchase international capacity from multiple sources and not  exclusively through BTSA.  6. Benin was therefore dependent on a single submarine cable ‐ SAT‐3 ‐ for its international capacity requirements. Benin  Telecom was using about 2 Gbits of the total 10 Gbits capacity of SAT‐3 for domestic use to its own Internet and  voice  customers,  to  the  mobile  operators  and  ISPs,  as  well  as  to  Burkina  Faso,  Niger  and  Nigeria  (300Mbps).   However, this capacity use was relatively small, possibly because of the high prices of connectivity available through  SAT‐3 which were around US$ 2500 per Mbps per month6. The Project Appraisal Document (PAD) and the Project  Concept Note (PCN) highlight that Benin has the potential to become a regional hub for international connectivity7  when prices of international connectivity become more competitive and the backbone infrastructure more extensive  and reliable.  7. Mobile service uptake increased in the years prior to project conception, reaching 79 percent penetration in 2010. At  the same time, fixed line penetration was still limited at around 0.26 percent of households, and internet penetration  was one of the lowest in the region at about 1.8 percent of the population. Growth in the Internet industry was  therefore  slow  and  constrained  by  cost,  availability,  and  limited  infrastructure.  Mobile  networks  accounted  for  almost all internet connections. Fixed broadband was a service used by industry, government, and a privileged few  at home and prevalent mostly in urban areas. This prevented Benin from reaping the benefits of the ICT revolution.  Business  users  and  private  citizens  had  to  pay  US$  160  per  month  for  fixed  broadband  Internet  access,  while  consumers in Senegal and Ghana paid only US$ 29 and US$ 64 respectively, although international connectivity was  also a monopoly of SONATEL in Senegal at that time.   8. According  to  the  PAD,  this  was  attributed  to  several  factors  such  as  (i)  the  high  cost  of  international  bandwidth,  especially of the SAT‐3/WASC cable system; (ii) the lack of an Internet Exchange Point (IXP) to reduce the cost of local  Internet traffic8; (iii) a monopoly structure for access to international capacity; (iv) high level of theft of fiber and (v)  limited regulatory activity to promote more competition or fair and equitable access to bandwidth. Some of these  constraints were being tackled under the e‐Benin Project (P113370), which was a World Bank technical assistance  project without investment in infrastructure aiming  to support  the policy and  regulatory environment of the  ICT  5 International links to the global internet network can be deployed through satellite, submarine cable, or terrestrial optical fiber.  Submarine fiber optic cables provide a resilient, high capacity and cheaper option for international communications and internet  services to coastal countries.  6 There are contradicting information about the exact prices of international capacity at appraisal. Data provided in the PAD, in  the ISRs and through he PIU are contradictory. This evaluation relies on the latest information provided by the PIU in the context  of the interviews conducted for this evaluation.   7 Benin is just over 100km to Lagos by road from the capital, Cotonou, and 150km to Togo's capital, Lome. For the landlocked  country of Niger to the north, Benin is the most direct route to the sea for both international telecommunication capacity, and  for international exports and imports.  8 An Internet Exchange Point or IXP is the infrastructure that allows internet and content providers to interconnect with each  other  directly  and  without  recourse  to  third  party  carriers.  This  has  many  advantages,  but  primarily  it  reduces  the  need  to  interconnect to the global network for local traffic, thus reducing costs and improving the quality of data and content exchange.  Page 6 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) sector. However, at the time of the WARCIP project initiation, major sector and political economy issues hindered  the further development of the market. These included the monopoly on the international connectivity, the weak  legal and regulatory framework, the lack of regulation of access to bandwidth, and the delayed privatization of Benin  Telecom.   Rationale for Bank Assistance:  9. The PAD conjectured that Benin Telecom’s total available capacity on SAT‐3 would appear to offer plenty of room for  growth without the need for a second international link. However, fueled by mobile broadband deployment and the  expected  price  cuts  on  wholesale  international  capacity  to  less  than  US$  200  per  Mbps  per  month,  Benin’s  requirement for international capacity was projected to grow to more than 50Gbps by 2022. This would exceed the  available capacity through the existing submarine cable.   10. The demand from neighboring countries was also expected to increase due to Government plans of upgrade and  investment in the fiber optic backbone network and transmission links to Niger, Burkina Faso and Togo.  The PAD  projected that Niger, Burkina Faso, Nigeria and Togo are all likely to route at least 20‐40% of their traffic via Benin.  With a competitive international connectivity in Benin and reliable backbone links, Benin’s capacity requirements  were thus expected to increase rapidly due to increased demand from neighboring countries.  11. In addition, the PAD claims that, given earlier experiences Benin has had with service interruptions caused by cable  cuts, providing Benin with diversity of access to international connectivity via different submarine cables, was vital  to ensuring redundancy and reliability of service.  12. In summary, Benin needed to access a second higher capacity international link to meet existing and future demand  for reliable and affordable internet bandwidth given the high cost of capacity, SAT‐3’s approaching end of life cycle,  the projected growth in usage, and potential disruptions from cable cuts. The analysis in the PAD presented several  connectivity options including terrestrial optic fiber options and satellite links. The analysis found that an additional  submarine fiber link with a domestic landing station was the best overall option for Benin in terms of long‐term cost  effectiveness, bandwidth availability, and quality of connectivity compared to terrestrial and satellite options.  The  West  Africa  Regional  Infrastructure  Program  (WARCIP)  was  well  positioned  to  support  Benin  in  improving  its  international  connectivity.  WARCIP  is  a  US$300  million  program  approved  in  January  2011  to  provide  a  comprehensive solution to address connectivity gaps in West  African countries. The WARCIP Adaptable Program Loan (APL)  was  in  line  with  the  2008  World  Bank  Regional  Integration  Assistance Strategy for Sub‐Saharan Africa (RIAS) and the 2010  West  Africa  Implementation  Action  Plan  which  sought  to  create economies of scale, facilitate intra‐regional trade and  exports  and  connect  landlocked  countries  to  regional  and  global  trade  routes.  Therefore,  in  2011,  the  GoB  expressed  interest  in  taking  advantage  of  the  opportunity  of  an  infrastructure lending project through WARCIP and to join the  Africa  Coast  to  Europe  (ACE)  submarine  cable  while  other  countries were joining.    Figure 1  Page 7 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) 13. ACE is an optical fiber submarine cable system of approximately 17,000 km connecting South Africa to Europe, and  up to 23 countries (see Figure 1), either directly for coastal countries or indirectly through terrestrial links. A due  diligence  analysis  showed  that  ACE  was  the  most  economical  option  for  Benin  to  access  abundant  international  connectivity and secure redundancy route for connection to the global backbone.  14. The  effective  cost  of  capacity  through  investing  in  ACE  was  projected  to  be  ten  times  cheaper  than  purchasing  capacity on other African submarine cables linking to Europe and passing through neighboring countries through  terrestrial  links.  The  cost  advantages  of  ACE  were  considered  even  greater  when  compared  to  satellite  capacity,  which were at least US$ 4000 per Mbps per month. ACE was also recommended due to its advantage in terms of  speed, quality of transmission. Combining ACE with a backup route via SAT‐3 link would thus give Benin a highly  reliable and  competitive service, which, when  combined with  the upgrade of the national transmission capacity,  would result in higher demand countrywide, and from across the nation's borders.  15. The Benin project was the third in the series of the first phase (APL1) of the WARCIP, following Liberia, Sierra Leone,  The  Gambia,  Guinea,  and  Burkina  Faso.    WARCIP  sought  to  contribute  to  increasing  the  geographical  reach  of  broadband networks and reducing the cost of communications services in West Africa. The readiness triggers to join  WARCIP were similar in most countries. In the case of Benin, they included:  the GoB’s commitment to liberalization  and open access principles, the willingness to formulate a Public Private Partnership (PPP) and a Special Purpose  Vehicle  (SPV)  to  own  and  manage  ACE,  and  the  commitment  to  increased  sector  competition  such  as  efforts  to  restructure BTSA and to strengthen the regulator.  On the other hand, the effectiveness conditions and the covenants  included: i) establishment of the SPV, ii) the execution and delivery of the Construction and Maintenance Agreement,  iii) transfer of C&MA from BTSA to the SPV, iv) signatory of the agreement between the SPV and the ACE consortium,  and v) adoption of the Project Implementation Manual.   16. Benin showed a strong commitment to opening the telecommunications market to competition and implementing  sector reforms. The Government was engaged in significant sector reforms to implement its strategy in the sector  through the e‐Benin Project (P113370). Reforms consisted of the establishment of a permanent sector regulator,  adoption of a new communications law, strengthening of regulatory capacity, adoption of a universal access policy  along with a broadband strategy, and the development of regulatory tools to improve broadband access (including  a  licensing  framework,  price  regulation,  and  facility  sharing  regulations).  The  country  also  aimed  to  significantly  improve international, regional, and national connectivity in the coming years.  17. The Bank’s assistance aimed at addressing connectivity gaps in Benin through financing access to a second submarine  cable system. Voice communication and internet access were expected to become cheaper and more reliable. The  project  also  aimed  to  strengthen  other  underlying  factors  in  the  enabling  environment  that  could  impact  the  diffusion and adoption of broadband services and complement the activities implemented under the e‐Benin Project.   Theory of Change (Results Chain)  18. There is an underlying link between the outputs and the desired outcomes of the project. The connection of Benin  to  the  ACE  international  fiber  optic  cable  would  provide  operators  with  additional  international  capacity  and  a  redundancy  route  to  international  connectivity.  With  more  resilient  and  abundant  connectivity  and  competition  between cable providers, wholesale prices for international bandwidth decrease and therefore, the cost and quality  of retail internet services are expected to improve. Thus, it is expected that more people would use internet services,  which increases the geographical reach of broadband networks.   19. The design of a Public Private Partnership (PPP) model to own and manage the international connectivity on a fair  and  non‐discriminatory  basis  (open  access)  aimed  at  ensuring  that  the  improvements  brought  about  by  the  Page 8 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) submarine cable are shared among all existing and new players in the market and consequently provided consumers  with more competitive services. The project also intended to extend connectivity beyond the international cable by  supporting improvements in the enabling environment and building capacity of various stakeholders.   20. The link to long‐term development objectives has been analyzed in many empirical studies demonstrating that the  increased adoption of broadband services is directly correlated with higher investment and economic growth. There  is considerable body of evidence that links digital technologies, and the Internet to economic growth and welfare.  At the micro level, digital technologies help market players overcome information barriers and lower the cost of  market  and  non‐market  transactions  among  businesses,  people,  and  the  government.  Access  and  diffusion  of  broadband services expand markets for businesses and present new income and job opportunities for individuals.  Extensive adoption of digital technologies increases the efficiency and, therefore, the competitiveness of the private  sector. ICT also fosters enhanced government services and, therefore, increases the level and efficiency of citizen  participation in decision‐making (World Bank Group, 2016b).   21. These  micro  level  changes  lead  to  a  significant  aggregate  impact  on  the  economy  and  contribute,  directly  and  indirectly to economic growth, job creation and trade expansion:   a) Economic  growth:  Qiang  and  Rossotto  estimate  that  a  10‐percentage  point  increase  in  broadband  penetration is associated with a 1.38% GDP growth.9 Similarly Kongaut, Rohman and Bohlin found that an  increase in broadband speed leads to an increase in GDP with higher impact in lower income countries.10  As a direct contributor to value added output, the ICT sector constitutes, on average, 5.5% of GDP in OECD  countries11 and around 4% in both Kenya12 and Egypt,13 which are among the largest markets in Africa.   b) Job  creation:  ICT  plays  a  more  substantial  role  in  creating  transformational  jobs  through  the  multiplier  effect  in  other  sectors  and  the  overall  increased  productivity  of  the  economy.  The  Ministry  of  Communications in Egypt reports 2.8 indirect jobs created for every ICT job in the period 2008‐2011.13 In  the United States, each high‐tech job creates 4.6 additional jobs in other sectors14 and M‐pesa, the mobile  payment  system  in  Kenya,  creates  additional  income  for  more  than  80,000  agents12.  Moreover,  recent  studies are finding empirical linkages between high‐speed broadband infrastructure such as fiber to the  home and employment. Singer, Caves and Koyfman analyzed the impact of deploying fiber to the home  technologies on employment in Canada and estimate that “fiber deployment to 100 percent of a region is  associated with a statistically significant increase in employment of approximately 2.9 percent.”15  c) Trade:  Internet enables firms to access more international markets. A 10 percent increase in Internet use  in the exporting country yields an increase in the number of products traded by 0.4 percent.16 Similarly,  9 Qiang, C. and Rossotto, C. (2009). Economic impacts of broadband. In: Information and Communications for Development 2009:  Extending Reach and Increasing Impact, 1st ed. Washington D.C.: World Bank Group, pp.35‐50.

  10 Kongaut, C., Rohman, I. and Bohlin, E. (2014). The economic impact of broadband speed: Comparing between higher and lower  income countries. A paper presented at the European Investment Bank (EIB) Institute.

  11 OECD (2015). Digital Economy Outlook. Paris: OECD Publishing.

  12 World Bank Group (2016b). World Development Report: digital dividends. World Bank Group, pp.8‐17.

  13 Ministry of Communications and Information Technology, MCIT (2012). National ICT Strategy‐ Towards a digital society and  knowledge‐based economy. Cairo. Arab Republic of Egypt.  14  Moretti,  E.,  and  Thulin,  P.  (2013).  Local  Multipliers  and  Human  Capital  in  the  United  States  and  Sweden.  Industrial  and  Corporate Change 22 (1): 339–62.  15 Singer, H., Caves, K. and Koyfman, A. (2015). The Empirical Link Between Fibre‐to‐the‐Premises Deployment and Employment:  A Case Study in Canada. Economists Incorporated.

  16 Tan, Shawn W. (2015). The Effects of the Internet on Firm Export Behavior. Background paper for the World Development  Report 2016, Washington, DC: World Bank Group.  Page 9 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) the value of the traded products increases by 0.6% per product for every 10 percent increase in Internet  use in the exporting country.16  Theory of Change Diagram:   Long Term  Output  Objectives Activities Objectives Financing  participation in ACE  Higher international  submarine cable on  Bandwidth behalf of Benin   Facilitation of regional  connectivity in West  Objective 1:  Africa and Benin and  Redundancy route  Contribute to  increased economic  for international  increase geographic  Creation of a PPP  competitiveness in  traffic access to broadband  structure to own and  Benin connectivity manage the ACE  cable in Benin and  paving the way for  Increased private  open access to ACE  sector participation  in telecom  infrastructure and  Objective 2:  Access to economic  increased  Contribute to reduce  opportunities for  Supporting the sale  competition in the  the cost of  Benin’s poor and  of international  communications  geographically sparse  capacity of ACE to  services populations  neighboring  Increased  countries profitability and  efficiency of the ACE  Assumptions:  investment  1. Increase  private  sector  participation  and  open  access  increase  competition  in  the  market  for  international  capacity.   Strengthening the  - Technical studies  2. Competition lowers the cost of international connectivity  enabling  - Support to  3. The  lowering  of  international  connectivity  costs  trickles  environment  Ministry   down to lower retail prices.  activities - Support to  4. More affordable retail services increase adoption and goes  regulator   beyond the main urban areas and reaches more geographic  areas.     Project Development Objectives (PDOs)  22. The PDOs for WARCIP 1‐C are to contribute to increase the geographical reach of broadband networks and to reduce  the costs of communications services in the territory of the recipient, i.e. Benin. The same PDO was adopted in the  financial agreement between the two parties as well as in other WARCIP projects.  Key Expected Outcomes and Outcome Indicators  23. The PDO‐level results indicators are (from PAD):  a) Indicator 1: Volume of international traffic: international communications (internet, telecom and data) bandwidth  per  person,  measured  in  Kbits  per  person.  This  indicator  refers  to  the  total  utilized  capacity  for  international  communications, private data networks, and internet services. With the advent of the second submarine cable  Page 10 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) capacity, the traffic of international services per person was expected to increase.   b) Indicator 2: Access to internet services (internet users per 100 people) refers to the number of users of internet  services over any given technology. This metric gauges the level of adoption of internet services. The advent of the  submarine cable as well as other domestic infrastructure deployment and reforms were expected to contribute to  the increase in the adoption of internet services.   c) Indicator 3: Access to telephone services (fixed mainlines plus cellular phones per 100 people). This metric gauges  the level of adoption of telecommunications services in general.    d) Indicator 4: Average monthly price of wholesale international E1 capacity link from capital city to Europe. Capacity  can be measured in different formats; in the case of this indicator, wholesale capacity is reported per E1, a digital  transmission link with a 2Mbps dedicated capacity. The advent of the abundant and reliable international capacity  through ACE and the competition with SAT‐3, was expected to reduce the price of wholesale E1 capacity to Europe.   e) Indicator  5:  Direct  project  beneficiaries,  of  which  female.  Refers  to  the  total  number  of  users  of  telecommunications services in Benin.   24. The intermediate results indicators are (from PAD):   a) Intermediate  results  indicator  1:  Volume  of  available  international  capacity:  International  Communications  (Internet, Telecom, and Data) bandwidth, measured in Gbits. Refers to the total available international capacity  deployed to carry Internet, private network, and international voice traffic.   b) Intermediate results indicator 2: Retail price of internet services (US$ /Mbps/ month).  the reduction in the cost  of wholesale international capacity was expected to decrease the price level of retail internet services.   c) Intermediate results indicator 3: Impact on telecom sector of World Bank technical assistance. This is a composite  indicator that measures the level of progress as well as the impact of the projects on beneficiaries.    d) Intermediate results indicator 4: Average monthly price of wholesale international E1 capacity link from Landing  station to Niamey. Measured in 2Mbps per month, this indicator tracks the impact of opening the international  capacity to neighboring markets.   25. The  project’s  results  indicators  are  relatively  aligned  with  the  development  objectives  and  will  be  used  in  the  assessment of the efficacy of the project in later section as follows:  Page 11 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Objective 1: Contribute to increase geographic access  Objective 2: Contribute to reduce the cost of  to broadband connectivity communications services • Intermediate results indicator 1: Volume of available  • Indicator  4:  Average  monthly  price  of  wholesale  international capacity: International Communications  international  E1  capacity  link  from  capital  city  to  (Internet, Telecom, and Data) bandwidth, measured in  Europe.  Gbits.  • Intermediate results indicator 4: Average monthly  • Indicator  1:  Volume  of  international  traffic:  price  of  wholesale  international  E1  capacity  link  international communications (internet, telecom and  from Landing station to Niamey.   data)  bandwidth  per  person,  measured  in  Kbits  per  • Intermediate  results  indicator  2:  Retail  price  of  person   internet services (US$ /Mbits/ month)  • Indicator 2: Access to internet services (internet users  per 100 people)    Components  26. The adaptable program loan for WARCIP Benin was structured around three main components, as was the case with  other WARCIP projects. In addition to the use of the WARCIP structure, the design of these components was also  done with the e‐Benin Project (P113370) in mind,  which  had already paved  the way for the development of the  ICT/telecom sector through studies, capacity building, and the preparation of a favorable enabling environment.  27. Component 1: Improving Connectivity:  a) The highest cost activity, this component financed the international connectivity to the ACE submarine cable on  behalf  of  the  Government  of  Benin.  The  component  was  designed  to  finance  Benin’s  participation  in  the  ACE  consortium, the construction of the cable and the landing station. The governance structure of the ACE submarine  cable was designed as a Public Private Partnership (PPP) structure. The PPP intended to ensure a balance between  private and public sector interests as well as the transparent and non‐discriminatory access to the newly acquired  international capacity (open access).   b) Under the regional connectivity component, the project sought to support Benin in commercializing the excess  international capacity available through ACE to neighboring countries. This activity was to supplement the reform  and the investment that the GoB was planning in the national backbone infrastructure, including a project financed  by Exim‐Bank of China to complete the construction of the west link toward the Togo border, the link to Porga at  the border with Burkina Faso, and the rehabilitation of the link to Niger.    28. Component  2:  Enabling  environment  for  improved  connectivity:  This  component  provided  support  to  various  stakeholders to put in  place a sound enabling environment to ensure that the benefits of ACE were sustainable.   The funding requirements for this component were not as high, as many related activities were already included in  the e‐Benin Project (P113370). Additional technical assistance under this component included support to:   a) Optimize the governance, ownership and financing of the ACE PPP Special Purpose Vehicle (SPV)  b) Develop the safeguards for open access to ACE capacity (open access ensures that any eligible operator, whether  part of the PPP or not, can access and use the available capacity of the cable on a non‐discriminatory and fair  basis)  c) Support ARCEP, the regulator, and the Ministry of Digital Economy and Communications in capacity building and  Page 12 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) in  complementing  the  policy  and  regulatory  technical  assistance  of  the  e‐Benin  Project  (P113370)  to  further  promote competition and incentivize the use of ICT services  d) Reposition the government owned operator Benin Telecom in the market  29. Component  3:  Project  implementation,  communications  and  M&E:  This  component  supported  project  implementation,  including  the  establishment  of  the  Project  Implementation  Unit  (PIU)  and  implementing  the  monitoring  and  evaluation,  the  fiduciary  functions  and  the  environmental  safeguards.  The  table  below  lists  the  activities under each component with the projected cost at appraisal and the actual costs at closing. The difference  between the costs listed below and the disbursement profile pertain to the fluctuation in the SDR exchange rate  since the start of the project.  Table 1: List of activities by cost17     PAD  Client Information   At Appraisal (US$  % of the total amount at  At Closing (US$  % of the total  Activities   million)  appraisal  million)  amount at closing  Component 1: Improving  30.5  87%  28.7  83%  Connectivity   Financing Participation in ACE   30.1  86%  28.7  83%  Regional Connectivity   0.4  1%  0  0%  Component 2: Enabling Environment  3.25  9%  4.071  12%  for improved connectivity   Finalizing PPP documents   0.325  1%  0  0%  Open access   0.5  1%  0  0%  Technical Redundancy study   0.25  1%  0.06  0%  Training and capacity building   0.25  1%  0.55  2%  Repositioning of Benin Telecom   0.5  1%  0.48  1%  Support to divestiture of Government  shares to operators in neighboring  0.35  1%  0  0%  countries   Initial Support to SPV (lawyer,  business management and initial set  0.675  2%  0.541  2%  up, rehabilitation offices)  Regulatory strengthening for  0.2  1%  0  0%  regulatory authority   Support to Ministry of Digital  0.2  1%  0.5  1%  Economy and Communications  Other activities added during the  project implementation including:  ‐ National Telecommunications  Strategy   ‐ acquisition of IXP equipment   0  0%  1.94  6%  ‐ support to the new ICT commission  (Agence numerique)   ‐ support to the implementation of e‐ government    17 % and numbers are approximations as provided by the PIU in Annex 6. These figures are approximations and subject to SDR  fluctuations.   Page 13 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Component 3: Project  implementation, communications,  1.25  4%  1.71  5%  and M&E   PIU set up, operating expenses   0.8  2%  1.3  4%  Communications, M&E,  0.35  1%  0.41  1%  environnemental studies, audit   Contingency   0.1  0%     0%  Total   35  100%  34.8  100%  Source: PAD and PIU response to data request in Annex 6      B. SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE)    Revised PDOs and Outcome Targets   30. There were no official revisions to the PDO during the project.  Revised PDO Indicators  31. There were no official revisions to the PDO level indicators during the project.  Revised Components  32. There was no official revision of components.  33. The  three  main  components  of  the  projects  remained  unchanged  during  the  project  lifespan.  Within  these  components some activities were completed with costs below what was originally planned. This resulted in a balance  that was reallocated to the support of the implementation of some activities under the e‐Benin Project (P113370) as  well  as  new  technical  assistance  under  component  2.  The  e‐Benin  Project  ICR  discusses  this  reallocation  and  the  opportunity that WARCIP Benin provided for continued dialogue with the GoB.   34. The  project  therefore  completed  most  activities  initially  planned  except  for  four  activities.  These  were  under  component 2 and constituted only a small percentage of the project cost, but were nonetheless important to fully  achieve the desired outcomes. A more detailed analysis on the importance of these for the PDO can be found in the  PDO achievement section.    Table 2: Unrealized Activities  Unrealized Activities   Cost at Appraisal  Reason / comments   (US$ million)  Regional Connectivity   0.4  A regional study has been carried out by the Government on its own resources,  as part of its plan to expand the national backbone through the PDi2T project  (mostly financed by Exim‐Bank of China).  Finalizing PPP document.    The  finalization  of  the  PPP  documents  was  achieved  early  in  the  project;  however,  these  expenditures  appear  under  the  financing  of  the  regional  connectivity rubric.  Page 14 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Open access   0.5  The project did not support the development of the legal and regulatory tools  for  open  access  to  the  ACE  capacity.  Working  sessions  were  held  with  the  Ministry of Digital Economy and Communications, ACE PPP members and ARCEP  on the regulation of international capacity but no regulation were proposed or  adopted.   At the time of project preparation, all players in the market were included in the  PPP structure of the ACE SPV. In addition, the ACE PPP shareholding agreement  includes the obligation to allow new market players to enter the PPP structure.  Therefore,  the  open  access  issue  was  not  deemed  as  pertinent  as  all  market  players had entered the structure.   As the market evolved, the issue of open access to the ACE capacity arose when  new market players requested access to ACE capacity but were not part of the  SPV and could not be part of the SPV given a minimum capital requirement.   The  issue  of  open  access  is  also  closely  related  to  the  legal  form  of  the  SPV.  Within the current form of the ACE SPV (GIE), the ACE SPV does not and could  not have a license to operate the international capacity independently of the  operating license of its individual members (more on this later). Therefore, the  regulation  of  the  prices,  quality  and  conditions  of  access  to  the  international  capacity  through  ACE  was  not  possible.  The  project  financed  a  study  on  the  evolution of the ACE GIE into an LLC, but the report was finalized only weeks  before the closure of the project so results are not yet apparent, but the report  demonstrates the government’s commitment to moving this aspect forward.     Given these difficulties, it is understandable why the implementation of open  access  regulation  was  difficult  to  achieve,  however  it  is  not  clear  why  the  WARCIP project did not finance the development of the open access framework  to set the foundations for the future implementation of the regulation of access  to the ACE capacity.   Support to divestiture of  0.35  No official studies were conducted for the government divestiture strategy.  Government shares to  This was partly due to the slow development of the ongoing investment in the  operators in neighboring  upgrade of the national backbone and to the slow evolution of the ACE SPV  countries   legal status and governance model. More details on the latter will be discussed  in subsequent sections.    Regulatory strengthening  0.2  Most activities revolved around capacity building and were included under the  for regulatory authority   training and capacity building entry.   Source: PAD and PIU response to data request in Annex 6        Table 3: Added Activities  Cost at Closing  Added activities   Details   (US$ million)   Study on the feasibility of the western fiber loop    the ICT / Telecom Strategy Plan  Other activities added   support of privatization of Benin Telecom    during the project  1.94   improvement on the legal form of Benin ACE PPP structure   implementation    an audit for the benefit of the Directorate of the National Archives for  the dematerialization of its processes  Page 15 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 )  the  acquisition  of  IP  telephone  and  computer  equipment  for  the  benefit of the Digital Agency   the  acquisition  of  equipment  for  the  further  deployment  of  the  e‐ government pilot   acquisition of additional equipment for the IXP  Source: PAD and PIU response to data request in Annex 6  35. The  additional  activities  funded  through  WARCIP  complemented  the  activities  under  component  2  and  therefore  helped WARCIP achieve its PDOs. The most important of these new activities were developing the telecom strategy,  further  studies  on  the  improvement  of  the  ACE  PPP  structure  and  governance  model,  and  the  follow  up  on  the  implementation of the e‐Benin project (mainly e‐education and e‐government pilots). These additional activities were  overall important to contributing to both geographic reach and affordability, the core project objectives.   36. On  the  other  hand,  the  activities  that  were  not  realized  (table  2)  are  important  to  the  achievement  of  the  PDO  outcomes, project sustainability, and the efficiency of the project. While the government recently decided to finance  its  own  regional  study  independently  of  the  WARCIP  project  (the  study  on  the  western  fiber  loop  to  inform  the  October 2017 launched backbone project funded by the China Exim‐Bank), some of the other unrealized activities  have not materialized entirely. Further implications will be discussed at length in subsequent sections.    II. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME    A. KEY FACTORS DURING PREPARATION  37. The  project  design  and  preparation  reflected  lessons  learned  from  other  World  Bank  financed  ICT  projects,  particularly  projects  supporting  governments  to  structure  PPPs  for  international,  regional  and  national  connectivity. Specific experience from earlier PPP projects, mainly WARCIP APL 1A and 1B, CAB APL 2 and APL 4,  and CARCIP, have been instrumental in shaping this operation and showed that the challenges in structuring PPPs  included: (i) inadequate trust and cooperative relationships between government and private sector and between  competitors, (ii) inability of governments to provide effective regulations, (iii) high cost of quality advisory services  for the design and management of tenders and (iv) WBG support systems not ideally suited for PPPs (procurement,  legal, disbursement).   38. The project addressed these challenges in the design and focused on putting in place all the conditions for efficient  implementation during the preparation phase. These included:   a) Project  Preparation  Advance:  A  Project  Preparation  Advance  financing  in  the  amount  of  US$3  million  was  provided to WARCIP early on and prior to board approval. The PPA was granted to Benin to conduct initial  project  implementation  and  urgent  project  preparatory  activities  mainly  the  preparation  for  the  implementation of the first component and the design and establishment of the ACE PPP.   b) Close support by the Bank team in conducting the negotiations and a focus on securing private sector buy‐ in  and  commitment  early  in  the  process:  The  Bank  team  supported  the  Ministry  of  Digital  Economy  and  Communications in the establishment of the Special Purpose Vehicle (SPV) that owns and manages the ACE  cable.  This  required  negotiation  with  the  different  private  sector  players,  at  a  time  when  there  was  considerable reluctance from the private sector to join this PPP venture. The Government was nonetheless  able to secure the participation of six  private sector players (mobile operators and ISPs) in addition to  the  Benin Telecom, Libercom (the mobile arm of Benin Telecom) and the GoB. Therefore, a PPP was created in  December 2012 in the form of an Economic Interest Grouping, in French “Groupement d’Interet Economique”  Page 16 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) (GIE).  The  participation  of  the  private  players  ensured  the  viability  of  the  PPP  and  the  availability  of  the  international wholesale capacity to all participants in the ACE GIE.   39. The PPP structure in other WARCIP projects was established as a commercial entity, such as a Limited Liability  Company (LLC). Ideally, an LLC would make it easier to commercialize the capacity and separate the governance  from the commercial functions of the company. This was not the case in Benin, where a GIE was established to  manage  the  ACE  capacity.    A  GIE  is  a  consortium  of  companies  that  does  not  engage  in  commercial  activities  independent  of  its  individual  members.  At  the  time  of  project  preparation,  the  Bank  team  advocated  for  the  establishment of a limited liability company, however the tight schedule imposed by the ACE consortium to start  the construction of the cable acted against the establishment of an LLC, which would have entailed a lengthy and  complex process. More so, the private sector players that were part of the ACE SPV strongly advocated for a GIE,  which would prevent the full regulation of access to the ACE capacity and enable them to easily curb competition.  Therefore,  due  to  the  tight  schedule  for  project  approval  (and  the  urgency  associated  with  joining  the  ACE  consortium)  and  the  preference  of  the  interested  stakeholders,  a  GIE  was  established  instead.  This  has  had  important implications on the implementation of the project and the achievement of its object which are discussed  in subsequent sections.   40. Project preparation also focused on ensuring that the Government complied with other effectiveness conditions  and  established  the  right  conditions  for  project  implementation.  The  Government  demonstrated  strong  commitment  to  realizing  these  conditions  through  a  rapid  response  under  a  relatively  new  institutional  and  legislative  environment.  Meeting  the  effectiveness  conditions  was  also  facilitated  by  the  cooperation  of  Benin  Telecom in transferring the ACE consortium signatory rights to the ACE GIE and providing it with the necessary  initial logistical arrangements to start operation.   41. At the design level, the planned activities were aggregated into self‐contained components to ensure a simple and  streamlined monitoring and procurement process. The e‐Benin Project  (P113370) was already supporting major  technical  assistance  activities  in  the  enabling  environment  of  the  telecom  sector,  including  the  creation  of  the  regulator, the development of national strategies and strengthening the capacity of the Ministry and the regulator.  As  such  the  second  component  of  WARCIP  was  simple  and  included  only  a  few  complementary  activities  to  reinforce the enabling environment.   42. From the technical standpoint, many elements of the project design were well conceived and provided for  efficient utilization of the funds. Below are some of the design elements that stand out as particularly important  for an efficient implementation:   a) PPP model: As stated before, it allowed all private sector players to participate and share the benefit of  the new capacity.   b) Open access principles: The project design included support to policy makers and the regulator to ensure  that the new ACE cable capacity would be open to all market players, whether part of the PPP or not. This  principle aimed to ensure equitable access to this essential facility and boost competition among cable  providers.   c) Complementing  other  funded  activities:  The  project  did  not  duplicate  but  supplemented  other  donor  projects  (at  the  time  of  project  preparation,  the  Government  was  negotiating  with  the  African  Development  Bank  (ADB)  and  the  Exim  Bank‐China  for  funding  of  the  construction  of  fiber  optic  infrastructure linking Benin to Nigeria and Burkina Faso.   d) Commercialization of the excess capacity: The project planned to support a study on the potential sale of  the excess capacity of ACE to neighboring countries, generating more revenues to the sector.   Page 17 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) 43. From the operational point of view, the Bank team assessed the capabilities of the implementing Ministry, and  entrusted the implementation of the project to an already existing unit that was overseeing the implementation  of the e‐Benin Project (P113370). WARCIP supported the need to strengthen the capacity of this PIU, including the  necessary incremental cost until the e‐Benin Project closed (one year before WARCIP).   44. Project design was also reinforced  through a system of focal point representatives from the Ministry of  Digital  Economy and Communications, Ministry of Finance, the newly established regulator ARCEP, Benin Telecom and  the  private  operators  participating  in  the  ACE  GIE.  The  focal  point  model  aimed  to  provide  better  project  coordination and guidance to the PIU in technical matters related to each beneficiary.  45. The  project  risks  as  well  as  the  operational  risks  were  candidly  identified  and  the  PAD  included  corresponding  mitigation measures. The risks in the Operational Risk Assessment Framework (ORAF) were rated as moderate  overall. The ORAF included the risks of the private sector not cooperating or participating in the PPP structure,  political  risks  of  government  failure  to  commit  to  the  project  design,  and  risks  of  government  corruption.  The  mitigation measures identified focused on an increased dialogue, participatory decision making with the private  sector, and technical assistance to the Government.      B. KEY FACTORS DURING IMPLEMENTATION    46. Project implementation proceeded generally in a satisfactory way, reaching a disbursement rate of 97% by project  closing.  Most  planned  activities  were  completed  per  Bank  rules  and  procedures  and  to  the  satisfaction  of  the  recipient.   47. The  biggest  project  component  was  the  financing  of  the  ACE  consortium  membership  fees  which  represented  around 87% of the total project cost. This component was particularly facilitated by the establishment of the ACE  GIE during project preparation. The implementation of this component was also accelerated by the treatment of  this activity as non‐procurable, like other WARCIP projects.   48. The ACE cable membership fees and landing costs were directly paid to the ACE consortium in April 2013. Despite  this  prompt  payment,  the  consortium  required  additional  fees  to  account  for  the  late  participation  and  the  remobilization of the cable boat before placing an order with the provider. The late payment fees amounted to  US$5  million  and  were  paid  in  January  2014.  These  additional  costs  were  not  observed  in  other  WARCIP  ACE  participation projects.   49. Despite payment of the fees on time, the landing of the cable in Cotonou was delayed, which prompted the project  to support further discussions between the GoB and the ACE consortium. The new timetable proposed the cable  arrival before the end of 2014.   50. Other factors that delayed the arrival of the cable were the construction of the cable landing station in Cotonou,  which fell under the purview of the GoB and of the ACE GIE. The delay stemmed from disagreements among the  GIE members on the selection process of the company in charge of construction. Before the arrival of the cable,  the station was nonetheless successfully built and equipped.  51. The country become connected to the ACE submarine cable in February 2015. In 2016, the available capacity on  the ACE cable was upgraded from 190,840 Miu to 5,049,328 Miu18 (equivalent to 110 to 150 Gbits, depending on  18 1XSTM16 (2,5Gbits) Cotonou‐Sesimbra Full Circuit = 3 739 680 MIU*Km  Page 18 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) the distance of the transit capacity used) at cost of USD 4 million19. Half of this cost was financed by three operators  (Isocell, Canal Box and Moov) and the other half by the all GIE members. With that, Benin became the second  largest shareholder of the ACE consortium after Orange. Around 20% of this capacity is currently activate for use  by  various  operators.    In  addition,  some  market  operators  are  still  using  SAT‐3  capacity  for  either  primary  or  redundancy purposes.   52. Today the stakes in the Benin ACE GIE are split between the government (46%) and the private operators (54%,  including the state owned Libercom and Benin telecom) after the upgrade and the redistribution of shares. The  biggest private sector shareholder is Canal box with 14% share, then Isocell 11%, MOOV 9%, MTN 8% and finally  the smallest shareholders are Univercel, OTI at approximately 6% shares20.   53.  After  the  arrival  of  ACE  and  during  the  second  part  of  the  project,  the  PIU  was  tasked  with  implementing  the  activities under component 2. These activities strengthened the enabling environment and provided for a better  implementation  of  ACE  connectivity.  However,  the  implementation  of  some  key  activities  and  aspects  of  the  project design were affected by the following factors:   a) The evolution of the ACE GIE legal form: The legal form and governance of the PPP have not yet matured  enough  to  ensure  that  the  international  connectivity  market  is  competitive  with  minimal  barriers  to  entry. The GIE also lacks maturity to ensure that ACE capacity is efficiently managed and available to all  players  at  the  same  terms  and  conditions.  The  ACE  GIE  is  not  a  commercial  entity;  currently  each  stakeholder uses the capacity that corresponds to its share in the capital of ACE. In addition, joining the  ACE GIE requires a minimum capital of 6 to 7% which constitutes a considerable barrier to new and small  entrants. This barrier to entry is exacerbated by the lack of regulation of access to the ACE capacity. At  the governance level, the presidency of ACE Benin GIE rotates among its different members, which gives  each operator the power to dictate to the GIE its own mode of governance.  The separation between the  governance of the ACE GIE and its commercial operation will support a more efficient use of the capacity,  enable  access  by  operators  that  are  not  part  of  the  SPV  on  a  non‐discriminatory  basis  and  allow  the  regulator to better regulate the wholesale prices. The Bank team, in most aide memoires and specifically  in the mid‐term review report, recommended the speedy establishment of a wholly‐owned commercial  corporation, such as a limited liability company. However, the transformation to the LLC proved more  complex than anticipated, especially when the interest of private operators is to retain the GIE model  and to avoid regulation. This allows members to easily curb competition in the international connectivity  segment. The Government has recently announced its intention to enforce the transformation of GIE  into a commercial entity; however, no changes have happened to date.    b) The lack of operating license for ACE: A key element that has and is still affecting the implementation of  an enhanced PPP model and of open access principles is the delay in the provision of an operating license  to the ACE GIE. This is mostly dependent on the transformation of the GIE into a commercial entity that  can operate in the market independently of the operating license of its individual members.   c) Reimbursement of the private capital share:  The project directly funded the participation fees in the  ACE consortium on behalf of the Government of Benin. The design intended to have the private sector  reimburse the Government the cost of their shares in the SPV. To this end, the Government through the  “Caisse Autonome d’Amortissement” negotiated an agreement with private operators to reimburse their  shares based on a loan extending till 2025, with a grace period of 18 months and a low interest rate.   19 Source: interview with GIE and Aide memoires  20 Approximate figures, source: interview with GIE  Page 19 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Currently around 3 % of the loan has been paid. Therefore, the private sector has also benefited from a  lenient loan to finance their participation in ACE21.   54. Regarding  the  restructuring  of  the  Incumbent  operator,  the  project  closely  supported  the  Government  in  the  process of splitting BTSA into two distinct operators, one present on the retail and the other on the wholesale  market. The international  consulting firm, Sofrecom, was hired  through project funding  to  support  the  Human  Resources Audit of the operation; however, there were major delays in the delivery of the final reports. The process  of  opening  the  capital  of  the  newly  created  entity  to  private  investment  was  on  track  during  project  implementation but was later suspended and was not achieved by project closing.      III. OUTCOME    A. RELEVANCE OF PDOs  Assessment of Relevance of PDOs and Rating    Rating: High  55. The  PDOs  for  WARCIP  Benin  are  to  contribute  to  increase  the  geographical  reach  of  broadband  networks  and  to  reduce the costs of communications services in Benin. These objectives were to be achieved through the financing of  access to a second international submarine cable (ACE) and strengthening the related enabling environment.  The  PDOs and the associated outcomes were relevant at the time of project preparation, as highlighted in the context  section, and remain so today with respect to the country, region and Bank priorities.  56. Most  World  Bank‐Government  of  Benin  strategies  and  partnership  initiatives  point  to  the  same  key  long‐term  development challenges for Benin, and the ways to address them, that were highlighted in the Country Assistance  Strategy of 2009.   a) For instance, the Country Partnership Framework for 2013‐2017 sustained the emphasis on the importance of  the  telecommunication  sector  for  Benin,  highlighting  Benin’s  potential  to  become  a  supplier  of  international  capacity to its landlocked neighboring countries.   b) The  2017  Benin  Systematic  Country  Diagnostic  Concept  Note  (currently  under  preparation)  mentions  weak  infrastructure services and constraints to trade and competitiveness as some of the main challenges that hinder  the progress towards inclusive growth.   57. Better  access  to  ICT  infrastructure  and  services  remains  core  to  addressing  these  challenges,  revealing  that  the  objectives  of  WARCIP  are  still  relevant  to  the  development  objectives  of  Benin  today.  And  although  the  WARCIP  Project helped Benin increase the resilience of its international capacity and reduce prices, important constraints to  internet accessibility services remain. Internet is only offered in major cities because the national telecommunications  infrastructure including the backbone, the backhaul and last mile, is outdated, in bad condition, and insufficient to  meet clients’ needs and current industry standards. The absence of proper maintenance and investment over decades  in the poorest regions of the country leaves a large part of the population in mostly rural communities without access  to the internet, e‐government services, or e‐agriculture.   58. The PDOs of this projects are also relevant to the World Bank regional strategy for Africa. ICT is one of the key sectors  21 Source: Interview with GIE  Page 20 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) that  can  promote  the  region’s  economic  and  social  development  particularly  through  increasing  competitiveness,  employment  and  improving  public  sector  efficiency.  The  key  role  that  ICT  plays  in  the  economic  and  social  development of emerging economies was also the topic of the 2016 World Development Report, which refers to the  transformative powers of digital technologies and connectivity.  B. ACHIEVEMENT OF PDOs (EFFICACY)  Assessment of Achievement of Each Objective/Outcome  Rating: Substantial  59. The  WARCIP  Project  was  completed  by  the  foreseen  closing  date  and  most  activities  specific  to  the  project  were delivered. Details about the list of unachieved and added activities can be found in section I. Partially implemented  activities (e‐government pilots, IXPs) are activities of the former e‐Benin Project (P113370) that were transferred to  the WARCIP Project given the savings made in the latter. The physical execution rate was 97% as of May 31, 2017. The disbursement rate was also 97% at project closing.   Assessment of achievements of activities and output:  60. The biggest component of the project was the financing of the ACE consortium membership fees which represented around  87%  of  the  total  project  cost.  This  activity  and  others  under  the  enabling  environment  were  successfully achieved. The introduction of increased capacity to Benin through a second submarine cable was an important step  to lay the ground for improved broadband access. Still the evaluation found that two aspects of the design were not fully realized. These are:   a) Regional  connectivity  and  divestiture  of  government  shares:  With  two  landlocked  countries  as  neighbors, namely Burkina Faso and Niger, and Benin being the shortest route to the sea, Benin is ideally placed to provide international service capacity for both countries. Benin is also well placed to provide transit capacity to Togo and  Mali. In addition, the capacity of ACE is abundant; it is estimated that  currently only around 25% of available capacity is being used22. Therefore, the strategy of making Benin a hub for international capacity is important to pursue, especially since the Government of Benin has embarked on a loan to finance ACE. The resale of excess  capacity to neighboring countries is contingent on the on‐going construction of the west link toward the Togo border, the link to Porga at the border with Burkina Faso, and the rehabilitation of the link to Niger financed by  Exim‐Bank of China and planned by the end of 2018. The regional connectivity study was not conducted through WARCIP, rather carried out by the government on its own resources.   b) Open access: The open access policy is critical to ensure fair and non‐discriminatory access to the ACE capacity  and is a key principle upon which the WARCIP program is based. The current shareholder agreement includes an obligation for stakeholders to accept new participants in the consortium. The requirement also includes a major investment of a minimum of 6 to 7% of ACE capital23, which might be considerable for smaller market participants. Currently market players who are not part of the ACE consortium can either negotiate access to the ACE capacity  on an individual basis with any of the shareholders or purchase capacity from Benin Telecom on SAT‐3. Given the  private player interest to curb competition, providing access to ACE on a fair basis to third parties is unlikely and has not been observed in the market yet. As such, the capacity provided through ACE, whether for primary or for redundancy purposes, is only available to participants in the ACE GIE consortium. The provision of open access intended to provide for a reasonable regulation of the capacity to ACE, i.e. regulation of the conditions and tariffs 22 Source: Interview with GIE members  23 Source: Interview with GIE members  Page 21 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) of wholesale capacity. When access to the ACE capacity is regulated on an open access basis, wholesale prices  and conditions are regulated and the entry barrier for new internet service providers is lowered. The benefit of  both  wholesale  price  regulation  and  increased  competition  can  then  trickle  down  to  more  prevalent  and  affordable services. Discussions were held between the various stakeholders on the possibilities of regulation of  access to ACE. No formal studies have yet been done or decisions made on open access policies; this leaves access  to  the  wholesale  capacity  contingent  on  the  terms  and  conditions  of  the  major  market  players  that  are  shareholders  in  ACE.    This  restrictive  behavior  by  the  GIE  continues  to  hinder  the  maturity  of  the  telecommunications industry in Benin and, if it continues, is expected to remain a major obstacle to increased  participation of newcomer ISPs in the sector and overall end‐user connectivity.   61. It is important to note that open access and its implementation is, in part, contingent on the legal form of the ACE GIE  and  has  been  hindered  by  the  lack  of  an  operating  license  (the  ACE  GIE,  as  a  non‐commercial  entity,  still  has  no  operating license to date at the time of the preparation of this report). The Bank team has repeatedly highlighted the  importance  of  the  transition  of  the  GIE  model  to  a  commercial  one  to  the  sustainability  of  the  key  development  outcomes beyond the end of the project, and continues to support the client in accelerating this reform.  Assessment of achievement of objectives:  62. To assess whether the operation’s objectives were achieved, one can look at the different results indicators, their  improvements over the life of the project and whether the set targets were met. Establishing attribution is however  more complex and this pertains to three factors:   a) Unlike other WARCIP projects, for instance in The Gambia and Guinea, Benin already had access to a submarine  cable – the SAT‐3 cable.  The connection to the ACE submarine cable intended to increase competition among  cable  providers  and  provide  Benin  with  a  more  robust  redundancy  route  for  international  connectivity.  Thus,  ACE’s arrival as the country’s second cable has had a less differential impact then the landing of cables in other  WARCIP projects.   b) The impact of additional international capacity as well as that of improving the regulatory environment on the  market is a long‐term project outcome and is difficult to measure in the short term.  The expectation is that Benin  will continue to see improvements in the long term as not all impact will be captured in the five‐year span of this  evaluation.   c) In addition to the arrival of the ACE cable in Benin, other developments in the market may have also contributed  to the observed improvements in the results indicators.  This includes the deployment of mobile broadband (3G  and to a limited extend 4G) infrastructure and services, increased investment in the backbone, the lower cost of  smartphone ownership and the decrease in prices of the international capacity of the other submarine cable SAT‐ 3 (which can be partially attributed to the threat of competition from ACE).  63. This evaluation found weaknesses in the reporting on the results framework indicators in both ISRs and client reports;  this included values that did not change over time and values that are not in line with reports from other industry  sources. All industry sources, such as GSMA intelligence and TeleGeography, used in the assessment are considered  industry leaders with established methodologies and indicators.  More details can be found in the M&E section. To  that end, this section uses when possible indicators from other sources. However, given that certain data is not widely  available, the analysis was not able to accurately assess the extent of the achievement of all indicators. Below is a  breakdown of indicator per objective.   64. There is no indicator in the results framework that directly measures the first objective of the project, the contribution  to the expansion of the geographical reach of broadband networks. Several indicators, however, can be used as a  Page 22 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) proxy to assess the achievement of this objective:  65. The direct result of the connection to the submarine cable is the increase in the volume of international capacity for  all  international  communications  (intermediate  indicator  1).    After  upgrades  were  made  to  the  ACE  cable  landing  station as part of the initial ACE rollout plan, the international capacity available in Benin has increased to 22 Gbit/s  in  2017  (as  reported  in  the  final  ISR),  and  has  surpassed  the  initial  target  of  12  Gbit/s.  The  analysis  of  further  information provided by the PIU in the context of this evaluation reveals that the total capacity reported in the ISR  pertains only to the ACE cable; and that another 27 Gbits is used through the SAT‐3 cable and through satellite.   As  shown in Figure 1, the capacity available through SAT‐3 and satellite have also increased after the arrival of ACE.     Figure 1: Volume of International Capacity  Target:12   Sources: Implementation supervision reports – various years, monitoring and evaluation report, client completion report, and PIU response to  request  66. This new available capacity has had an impact on the international traffic in Benin. The volume of international traffic  (PDO Indicator 1) that Beninese citizens and businesses are using has increased from the baseline in 2011 of 5 kbit/s  per unique internet subscriber to 11.5 kbit/s in 201724 (based on data from TeleGeography since the data reported in  the  ISRs  and  the  client  ICR  report  has  not  changed  over  time).  The  arrival  of  the  international  cable  station  has  evidently made available more bandwidth to users. However, the target set at approval has not been met (even when  considering different variations of this indicator such as international traffic per population rather than per internet  user). This shows that even when total capacity in the country has increased the usage level on average per individual  has not increased as much as it should have. This report could not identify the exact underlying factors behind not  achieving  the  target;  however  some  factors  could  include:  i)the  artificial  limitation  of  supply  by  the  owner  and  manager of the ACE international capacity due to lack of effective competition between the different stakeholders  and  the  lack  of  regulation  of  access  to  the  capacity,  ii)other  supply  factors  affecting  the  connections  from  the  international landing station to the end user, or iii) limited demand which is outside the scope of this project.   24  The  exact  wording  of  the  PDO  indicator  one  in  the  PAD  is:  Volume  of  International  traffic:  International  Communications  (Internet,  Telecoms,  and  Data)  bandwidth  per  person.  It  was  not  possible  to  determine  whether  the  PIU  has  measured  this  indicator  based  on  the  population  or  users.  This  evaluation  uses  “internet  user  “  as  the  denominator  for  the  volume  of  international traffic, since it is a better measure of the higher usage of bandwidth.   Page 23 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Figure 2: Volume of International Traffic    Sources: TeleGeography and GSMA intelligence, 2017    67. The contribution to the increase in the geographical reach of broadband networks can also be assessed indirectly  though the percentage of the population with access to internet services, PDO indicator 2. The share of population  with access to internet services surpassed its target and reached 25% penetration in 2017 showing that ACE has had  at  least  some  impact  on  the  adoption  of  internet  services  and  therefore  has  contributed  to  the  increase  of  the  geographical  reach.  The  caveat  in  this  approximation  remains  that  the  increase  in  the  subscriber  base  might  be  concentrated in urban areas in the first stages of the development of the market. It is important to note here that  some industry reports still point at a divide between rural and urban access to services, however this divide is affected  by several factors both on the supply and the demand side that go beyond the international connectivity part of the  broadband value chain.   Figure 3: Access to Internet Services  Sources: GSMA intelligence, 2017  Contribute to reduced cost of international communications:  68. This objective can be assessed against two factors: the price of wholesale capacity and the retail prices of internet  Page 24 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) services.   69. The arrival of ACE has directly impacted wholesale capacity prices. An assessment of trends in the wholesale prices of  ACE was not possible given that there are no wholesale services yet offered by the ACE GIE. However, the prices of  international  wholesale  capacity  of  SAT‐3  were  reduced  by  40%  since  2013  and  reached  1,391,000  CFA  francs,  equivalent to US$ 2500 per E1 per month25. This was a direct impact of the threat of competition coming from ACE.  This has not however reached the target of US$180 per E1 per month set in the PAD26.  70. Comparison  of  these  values  with  other  international  capacity  wholesale  prices  is  not  readily  available.  Prices  of  international connectivity vary widely between countries and depend on route length, competition in the market,  alternative routes available in each country, and the available infrastructure and domestic demand. While there are  no readily available updates of benchmarks on international capacity prices, the latest estimate available for 2014  (Error! Reference source not found.) shows that Africa to Europe E1 prices in 2014 ranged from US$1,630 to US$  3,078, showing that on average international connectivity through SAT‐3 (US$2500 per E1) in Benin is in line with  prices seen elsewhere in Africa. Yet competition between two cable providers was expected to have a greater impact  on international wholesale prices.       71. Another indicator that is featured in the WARCIP Benin Project results framework and that can gauge the price of  international  connectivity  is  intermediate  indicator  4:  the  average  monthly  price  of  a  wholesale  international  E1  capacity link from the landing station to Niamey. The price of this connectivity has dropped from US$1300 per month  to US$960 per month but did not reach its intended target of US$250 per month.   25 Source: PIU response to ICR team data request.  26   Indicator 4 should be a straightforward measure of the price of wholesale capacity. However, after careful examination, this  evaluation opted not to use this indicator since there are no real offers of wholesale capacity on ACE currently available in  the market. In addition, the values for this indicator in the final ISR are not reliable,  the baseline in the PAD is reported as  US$2500 and the target at closure set at US$180, while the final ISR reports a value of US$19. The PIU, in its response to the  ICR team’s data request, claims that 1) the baseline was not correct but should have been US$5000 and 2) that the prices of  this international capacity stand at US$4000 in 2017.     Page 25 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) 72. At the retail level (intermediate indicator 2), the price of 1 Mbit/s per month decreased by 81% from US$160 to around  US$30 and exceeded its target (as reported by the ISRs). The drop‐in prices happened in 2013 and after the arrival of  the ACE submarine cable in 2016. It was not possible to assess how much of this reduction in prices can be attributed  to the arrival of ACE given that there are no set prices for ACE international connectivity. However, by approximation  from the SAT‐3 prices, it is estimated that a maximum of 40% (the reduction in prices for SAT‐3) can be attributed to  the arrival of the ACE cable.    Figure 6: Retail Prices of Internet Services  Sources: Implementation supervision reports – various years, monitoring and evaluation report, and client completion report      Justification of Overall Efficacy Rating   73. The project’s outcomes and objectives were both partly achieved. In terms of output, the open access policies and  the commercialization of the ACE excess capacity were not realized, which will continue to be problematic to the  evolution of Benin’s telecom sector and sustainability of the project’s existing achievements. The use of the PPP model  through the GIE was innovative for Benin, and changes have been observed in the market because of the introduction  of the PPP. However, now that new ISPs hope to potentially join the ACE GIE, there has been continued push back on  the part of the GIE members to decrease the minimum investment needed to join the ACE GIE. Meanwhile, the GIE  members continue to restrict access to the non‐member operators.  This is exacerbated by the absence of regulation  of access to the ACE capacity and the lack of an operating license to the ACE SPV. In terms of PDOs, the objectives of  the projects have improved since the arrival of the ACE capacity in Benin. The volume of traffic and the number of  subscribers have increased and prices for international capacity and the retail price of internet have both dropped  yet the results indicators show that the improvements are not all at the level the project aimed to achieve. This is  particularly important for the prices of wholesale capacity and the used international traffic indicator.   C. EFFICIENCY  Assessment of Efficiency and Rating  Efficiency of Design: Modest  Page 26 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) 74. From the technical standpoint, many elements of the project design were well conceived and aimed at a more efficient  utilization of the funds. Below are some of the design elements that stand out as particularly important for an efficient  implementation:   a) PPP model: As stated before, it allowed all private sector players to participate and share the benefit of the new  capacity.   b) Excess capacity: The project planned to support a study on the potential sale of the excess capacity of ACE to  neighboring countries, generating more revenues for the sector.  Efficiency of implementation:  75. The  cost  of  the  implementation  of  the  project  amounted  to  US$1.71  million  which  is  5%  of  the  total  project  cost  (component 3). This was slightly more than the initial predicted implementation cost that was estimated at around  US$ 1.25 million. This cost is in line with other regional infrastructure projects (WARCIP and RCIP), namely Liberia (8%  of project cost), Sao Tome and Principe (3.6% of project cost) Madagascar (11.7% of project cost) and Guinea (6.3%  of total project cost). This demonstrates the efficiency of the implementation, facilitated particularly by a capable PIU  that was already implementing the activities of the e‐Benin Project.   Efficiency of investment:  76. In  the  PAD  for  WARCIP  Benin,  the  ACE  submarine  cable  was  recommended  as  an  additional  route  to  the  global  backbone for Benin. This was in lieu of terrestrial links to other countries’ submarine cables or satellites due to the  advantage of ACE in terms of independence of access, long‐term cost effectiveness and bandwidth availability. The  PAD analyzed the advantages of ACE compared to satellites and terrestrial and other submarine cables.   77. In terms of bandwidth, at the time of project preparation, the capacity on SAT‐3 was 10 Gbps. The PAD estimated that  capacity requirements would expand dramatically in the next few years. This has proved to be true. Currently the  country’s international capacity stands at 13 Gbps27, which exceeds the available capacity provided by SAT‐3.  78. In terms of cost, the effective cost of capacity through investing in ACE was expected to be on the order of ten times  cheaper  than  purchasing  capacity  on  other  African  submarine  cables  linking  to  Europe,  which  is  on  average  $500/Mbps/month. The cost of terrestrial transit to a neighboring country would need to be added, which, aside from  the sovereignty issues, could cost as much, if not more than the capacity on the submarine cable. The cost advantages  of ACE are even greater when compared to satellite capacity costs, which are at least US$4000/Mbps/month. Aside  from low bandwidth costs, the high quality (low latency) of fiber bandwidth was also a factor that must be considered  in  comparing  fiber  with  satellite  options.  As  mentioned  in  the  efficacy  section,  the  current  prices  of  wholesale  international capacity remain stand at US$2500 per E1 /month (for SAT‐3) which is US$1750/Mbps/month.   79. The financial analysis developed during project preparation showed that ACE would break even in 2017/2018 with:  a) an IRR of 44.5% and NPV of US$90.5 million assuming an average bandwidth sale price of $80/Mbit/s/month, or  b) an IRR of 38.4% and NPV of US$62.5 million assuming an average bandwidth sale price of $60/Mbit/s/month.   c) The final break‐even year would depend on actual capacity uptake and the wholesale price of bandwidth. After  2019  at  the  latest,  the  project  would  be  cash‐flow  positive  and  substantial  revenues  would  be  made  if  these  wholesale pricing levels were maintained. Investment data was calculated based on a discount rate of 15%.  80. The financial model has been revised with the latest data and estimates available for prices and usage levels. Given  27 Source: TeleGeography, 2016  Page 27 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) that the SPV is not a commercial entity, i.e. wholesale services are not provided on a transparent basis rather each  shareholder uses its own capacity, ACE GIE did not provide revenue or tax data. The updated model uses an estimate  of revenues based on the market prices of SAT‐3 provided by Benin Telecom. Other assumptions are detailed in Annex  4.   81. Given that today’s prices for wholesale capacity have not reached the desired level, and that the terms of the loan are  advantageous to both the private and public sectors, the updated model’s findings:   a) All cash flows are positive, since 2015 when ACE’s capacity started to be used by operators   b) The NPV for private operators stands at 630 million from 2015 to 2034  c) The NPV for the public sector stands at 566 million from 2015 to 2034  d) Given that all cash flows are positive, IRR is not possible to calculate   82. These findings show that given today’s high prices for international capacity, the return on the ACE investment is high,  particularly for the private sector.  83. The efficiency of investment is also affected by the following factors:  a) The Government of Benin received a loan of US$35 million at a concessionary rate of 0.75% over a period of forty  (40) years with a delay of ten (10) years. At the same time, the design aimed to have all private sector investment  reimbursed  to  the  Government  within  five  years.  The  Government  of  Benin  has  therefore  benefited  from  a  substantial loan to repay only over the long term and therefore can further invest in the ICT/telecom sector.   b) The efficiency savings from selling the excess capacity have not materialized yet. The financial evaluation in the  PAD expected that Niger, Burkina Faso and Togo, even when they had alternative neighbors from which to obtain  international capacity, would likely still route at least 20‐40% of their traffic via Benin to maintain their restoration  links.   c) ACE investment participation costs are US$30 million, which is US$5 million more than the US$25 million required  by the other ACE participants due to the late signing of the Construction and Maintenance Agreement and thus  the extra cost entailed in the return of the cable laying ship.  Economic Analysis: impact on GDP growth:  84. An economic analysis of the impact of the ACE connectivity was not included in the initial economic and financial  analysis  of  the  PAD.  However,  the  economic  returns  to  the  Beninese  economy  are  considerable  and  should  be  accounted for in the assessment of the efficiency of the investment. For instance, per World Bank research, each 10‐ percentage point increase in broadband penetration increases overall GDP growth in developing countries by 1.38  percentage points28.   85. To  estimate  the  project’s  impact  on  GDP,  both  during  the  life  of  the  project  and  projected  through  2029,  mobile  internet penetration rates were estimated with and without the project.  Internet penetration rates were calculated  based on assumption of market growth in similar countries and at different points of market maturity (see Annex C).  Internet penetration rates without the project were calculated using a linear growth model based on the three years  prior to the operation of ACE.   86. Based on this analysis29, it is estimated that the project had contributed more than US$200 million to Benin’s GDP  28 Qiang, Christine Zhen‐Wei, Carlo M. Rossoto, and Kaoru Kimura. 2009. “Economic Impacts of Broadband.” In Information and  Communications for Development 2009: Extending Reach and Increasing Impact, chap. 3. World Bank.  29 Given that establishing attribution and forecasting the counterfactual scenario are complex, the impact on GDP is only a high  Page 28 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) during the project’s lifetime (2013‐2016). Projecting to 2029, the yearly impact on GDP could reach an average of  US$350 million per year.  Justification of Overall Efficiency Rating:  Rating: Modest  87. This evaluation was not able to replicate the financial analysis of the PAD; however, the analysis of multiple factors  shows that there was no major shortcoming in the efficiency of the investment and that it is most likely like other  operations in the sector.  88. Moreover, it is expected that more benefits from the arrival of the ACE capacity will materialize in the medium to long  term making the benefits of the project substantial compared to the cost incurred.    D. JUSTIFICATION OF OVERALL OUTCOME RATING  Rating: Moderately Satisfactory  89. This rating is affected by the shortcoming in the achievement of the PDOs and the lack of substantial evidence to  corroborate the efficiency of the investment    E. OTHER OUTCOMES AND IMPACTS (IF ANY)      Gender:  90. The digital technologies sector is enabled by pervasive and affordable access to internet services and can help improve  economic growth, jobs, transparency, accountability, and social inclusion, which in turn impact poverty reduction and  sustainable  development.    Vulnerable  groups  benefit  the  most  from  greater  access  to  communications  means,  including the women, the poorest and people living in remote areas.   91. With the contribution to the increased geographical reach and reduced cost of communications, the arrival of ACE  has contributed (and is likely to contribute more in the future as explained previously) to the inclusive development  of these vulnerable groups. There were not, however, adequate indicators to measure the impact of ACE on women  and  poverty  reduction.  The  results  framework  included  an  indicator  on  the  percentage  of  female  beneficiaries,  however it reported on systematically and has not changed in the ISR.    Institutional Strengthening:  92. The project contributed to institutional strengthening through capacity building of multiple stakeholder institutions.  For example, during the early stages, the task team facilitated knowledge exchange visits between the emerging GIE  and other PPP structures in existing WARCIP countries. The PIU notes that staff from various government institutions  (the Ministry and PIU) were given training and development opportunities in multiple key skill development areas  including:    project  management  for  sustainable  development,  public  finance,  public  budgeting  for  results,  administrative ethics, technical documentation drafting, and general administrative support. They were also provided  with thematic training opportunities on topics that range from digital economy, broadband infrastructure, human  level estimation.  Page 29 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) resources,  and  change  management.  In  terms  of  training  delivered,  the  PIU  estimates  that  the  project  trained  approximately 160 individuals at a cost of $500,000 across various stakeholder institutions.   93. Also of note, the capacity building training sessions funded by the project systematically trained all women working  in the ICT sector within the Ministry as well as all female secretaries working in the services and management of the  Ministry. A total of 24 female members were trained.  94. Furthermore, the PIU noted that the development of the PPP structure obligated the various private and public sector  stakeholders  to  communicate  and  collaborate  toward  the  achievement  of  a  common  goal,  which  was  as  form  of  strengthening  to  these  institutions.  Per  the  PIU,  even  the  simple  existence  of  the  WARCIP  Benin  Project,  which  required rigorous monitoring and reporting against clearly defined objectives and results, indirectly contributed to  institutional strengthening across both private sector and government agencies. The PIU is hopeful that the culture  of  collaboration  and  results‐based  performance  could  become  mainstream  and  continue  in  future  institutional  operations.  Mobilizing Private Sector Financing:  95. The project had, as its core, the objective of mobilizing private sector investment and enabling a sound regulatory  environment in line with the World Bank cascade approach. The project could increase private sector participation in  the international connectivity sector. This was originally achieved through the PPP structure that included all major  telecom market players and therefore increased private sector financing and participation compared to when BTSA  was the sole provider of international capacity.   96. The participation of the private sector ensures that there is a balance between private and public interest, making the  investment more sustainable in the long run. This partnership has reduced the risk on the private sector and ensured  that the public interest is preserved, while at the same time bringing in the expertise and the commercially‐driven  efficiency of the private sector.  97. However, it is important to note that the current legal form of the GIE and the lack of regulation of access to the ACE  capacity act against the participation of more players in the telecom market, and as result, restricts the mobilization  of more private sector financing.   Poverty Reduction and Shared Prosperity:  98. Same as the impact on gender analysis.  Other Unintended Outcomes and Impacts:  99. Not Applicable.     IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME    A. QUALITY OF MONITORING AND EVALUATION (M&E)    M&E Design  100. The overall design of the M&E framework, which was a common design element among WARCIP operations, was  Page 30 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) adequate for the WARCIP Benin APL. The results framework included a well‐defined and measurable set of indicators.  Nonetheless, some refinement could have made the evaluation of the achievement of the PDO more accurate. These  include:   a) Including a more direct indicator to track the achievement of the first part of the PDO, i.e. increasing the  geographical reach of broadband networks. Other results indicators such as the share of population with  access  to  internet  services  act  as  a  proxy  to  track  this  objective,  however  they  do  not  fully  capture  the  desired outcome, particularly when the increase in the number of subscribers can be concentrated in urban  areas. For instance, the M&E can include surveys on the use of internet outside of the main cities.  b) Including the retail price of internet services as a main results indicator. This indicator was included in the  intermediate  results,  yet  it  is  a  direct  measure  of  the  second  part  of  the  PDO,  i.e.,  lowering  the  cost  of  communications and is essential to gauge the impact of the project on the internet retail market and the  overall project beneficiaries.   c) Including an indicator on the quality of internet services to complement the indicators on access and prices.  101. The PIU was required to have a part‐time M&E specialist and to establish standard formats and guidelines for data  collection  and  reporting.  The  main  data  used  for  the  monitoring  and  evaluation  of  the  outcome  indicators  was  collected from the private sector operators by the Regulator ARCEP and was based on data used by operators and  international organizations. The third component of the project also allocated funds for capacity building for the M&E  specialist and for regular Monitoring and Evaluation reports.  M&E Implementation    102. Since the PIU was already managing the e‐Benin Project, an M&E specialist was on staff from project onset. This  evaluation, however, found that the WARCIP Project suffered from weak implementation of the M&E framework.  Reports and annual progress reports were not generated as per the provisions of the Project Implementation Manual  and  PDO  indicators  were  not  regularly  and  consistently  reported  on  (as  explained  in  the  assessment  of  the  achievement of the PDO section).   103. Some of the shortcomings in the implementation of the results indicators include:   a) The PDO indicator 1 did not change over time in the ISRs. More so the values reported in the client ICR are  in a disaggregated format and cannot be compared to previous yearly values or to values reported by other  industry sources.   b) There were inconsistencies between the ISRs, the client ICR and the responses received from the PIU for  this evaluation, for instance for PDO indicator 4.  M&E Utilization  104. The PIU and the Bank team recommended corrective actions to the indicators and data collection to improve the  evaluation process during the midterm review.  However, these improvements did not materialize.  Justification of Overall Rating of Quality of M&E  Rating: Modest   Page 31 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) 105. As discussed above, there were minor shortcomings in the M&E design and significant ones in its implementation.  These weaknesses hindered the assessment of the achievement of the stated objectives and the establishment of  links in the results chain.    B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE  Safeguards:  106. The project was rated category B for safeguards, triggering social and environmental safeguards policies. Due to  the nature of the project, however, safeguards risks were assessed as short‐term and reversible as connection to  ACE cable entailed little disruptive impact to the surrounding environment. The GoB prepared an Environment and  Social Management Plan (ESMP) for the project and in every case, mitigation measures were designed to reduce  the negative impacts. The Government also prepared an abbreviated Resettlement and Compensation Plan (RAP)  as some land acquisition and/or resettlement was anticipated for the construction. By April 2, 2015, the date that  ACE landed on the Benin coast, the GoB had executed all social and environmental plans satisfactorily, including  adequate information sharing and compensation of all individuals and businesses along the cable route.  Procurement:  107. As the PIU of the project was already the PIU of an ongoing Bank funded operation, e‐Benin (P113370), the PIU  was already staffed by a Project Coordinator, a Procurement Specialist, a FM Specialist, and an M&E Specialist. An  assessment was carried out in March 2012 and the overall procurement risk rating was assessed as moderate. Due  to the additional procurement workload anticipated for the PIU under WARCIP, the PIU was strengthened through  the PPA in several ways, including: the advance review of procurement plans by the World Bank, the recruitment  of  a  Procurement  Assistant,  and  the  preparation  of  procurement  sections  in  the  project  operational  and  administrative manual.  108. IDA funding for component 1a (US$30.1 million) on international connectivity did not go towards a procurable  item subject to compliance with World Bank procurement guidelines. These funds covered membership fees (paid  in a series of installments) against a set of rights, including use of a certain amount of capacity at preferred rates  and a share of ownership of an indivisible cable infrastructure asset. For other project components (US$4.9 million  on  components  1b,  2,  and  3),  IDA  procurement  guidelines  applied.  The  disbursement  of  the  funds  for  these  components ($4.9 million on components 1b, 2, and 3) progressed without incident, but with notable delays. For  example,  between  2013  and  2014,  delays  in  the  progress  of  conducting  studies  under  the  project’s  second  component were noted. Although implementation of these components was far less costly than the landing of ACE  (component 1a), these components were considerably more difficult to implement.  109. Implementation of Component 2 concerning the organizational structures of the PPP and the development of the  enabling  environment  for  connectivity  required  lengthy  coordination  between  multiple  stakeholders.  Although  some cost savings were noted as the GoB implemented certain activities at a cost that was less than the initial  estimate, some studies (the regional studies) were not achieved. The combination of the dropped studies and the  cost savings led to an undisbursed amount of approximately US$0.8 million prior to closing even after the funding  of  new  activities.  Transitions  in  the  Government  and  the  restructuring  of  the  Ministry  of  Communications  and  Information Technologies (now known as the Ministry of Digital Economy and Communications) also caused some  delays and revisions to procurement plans particularly from 2015‐2017.  Financial Management:  110. The financial management assessment of the implementing agency at the time of appraisal concluded that the  MCICT of Benin met the Bank’s minimum requirements under OP/BP10.02. The PIU of this project was already the  Page 32 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) PIU of an ongoing Bank funded operation, e‐Benin (P113370), at the time of the WARCIP Benin Project appraisal.  e‐Benin had achieved satisfactory performance, had already hired an FM specialist for its staff, was already using  an  adequate  multi‐project  accounting  software,  and  was  in  full  compliance  with  Bank  FM  requirements.  Since  existing arrangements for staff and accounting software were in place within the implementing agency, a Project  Preparation Advance (PPA) was used to strengthen the PIU’s financial management. These strengthening activities  consisted of ensuring the involvement of an IDA‐suitable external auditor, customization of e‐Benin accounting  software, and the preparation of the financial sections of the project accounting and administrative manual. The  overall fiduciary risk rating was therefore assessed as moderate.  111. The  financial  management  of  the  project  progressed  smoothly  with  satisfactory  ratings  every  year  of  implementation. A World Bank team travelled to Benin in April 2017 to conduct the final financial management  support mission. The mission report rates the performance of the financial management during the supervised  period as satisfactory. Per the FM supervision report, the PIU maintained accurate accounts and statements for  the  project,  consistently  submitted  satisfactory  interim  reports  on  time,  and,  particularly  in  the  final  year,  adequately  implemented  recommendations  of  previous  supervision  missions,  particularly  related  to  delays  in  disbursement. Financial audits were done in a timely manner and without qualification.    C. BANK PERFORMANCE    Quality at Entry  112. The  PAD  discussed  all  major  issues  and  considerations  for  the  project  preparation  and  implementation  plans.  However, this evaluation found that there remained some weaknesses in the presentation of the rationale for project  implementation. For instance, it was not clear why Benin was not able to reap the benefits of the digital economy  despite having a submarine cable, a backbone (although weak) and a significant number of operators/ISPs. Similarly,  the  comparison  between  the  different  options  for  additional  capacity  did  not  include,  for  instance,  the  option  of  liberalizing access to SAT‐3, upgrading SAT‐3, or reinforcing the sector through legislation and regulation that could  contribute to strengthening the enabling environment for private sector participation.  These aspects point to the  opportunity to strengthen the rationale for investing in a second submarine cable, especially since Benin is a small  country of 9 million people where alternative options may have existed at the time of project preparation.   113. According  to  the  borrower  and  implementing  agency,  the  Bank  team  provided  all  necessary  support  to  the  Government for project preparation. As described in the PAD, Benin formally requested admission into ACE after the  cable laying boat had passed the coast of Cotonou. To meet the firm deadlines associated with Benin’s admission to  ACE, the Bank responded quickly and intensively. The project was prepared under a tight timeline to mobilize the  necessary funds to allow Benin to actualize the ACE opportunity.  Nevertheless, the tight deadline did not compromise  quality. The Bank ensured that the project design was solid and recommended adequate measures to strengthen the  experienced PIU to ensure the success of the project.  114. The  project  benefitted  from  the  Bank’s  extensive  prior  experience  working  with  PPPs.  Investment  in  fiber  optic  cables, facilitated through a public‐private structure, attracts significant private capital, is often completed relatively  quickly, and tends to be more successful due to the joint public and private ownership and accountability structure.   As this was the third in a series of multiple WARCIP projects (covering five West African countries), the GoB and the  project  design  also  benefited  from  this  great  wealth  of  knowledge  on  PPPs  in  the  regional  setting  of  ECOWAS  countries. This was true during implementation and not just at entry.  Fiduciary, safeguards, and procurement aspects  of the operation were prepared based on thorough assessments of the capacity of the institutions and arrangements  were made to strengthen capacity in both the short and long term to ensure the success and sustainability of the  Page 33 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) project.  115. The project design also benefited from the Bank’s regional perspective for West Africa. The WARCIP program was  fully  aligned  to  the  World  Bank’s  Partnering  for  Africa’s  Regional  Integration  Assistance  Strategy  for  Sub‐Saharan  Africa (RIAS) and the World Bank’s strategy for Africa, both of which recognized the key role that ICTs play in regional  integration and increasing competitiveness in African economies.   116. Overall, project design at entry proved robust and appropriate. The PPP‐based model ensured participation from all  stakeholders and paved the way for increased private sector participation and competition in Benin’s telecom sector.  As  discussed  in  prior  sections,  the  results  framework  could  have  benefited  from  more  in‐depth  initial  analysis  of  indicators and target values. However, many of the indicators presented a relatively good framework to monitor the  project components and objectives (minor shortcomings are listed in the section on M&E design).      Quality of Supervision  Rating: Satisfactory   117. The Bank team closely supervised the project during and in between missions. The frequency of supervision was  adequate, averaging two missions per year, and was supplemented by remote support by the task team. While there  were three changes in project TTL during implementation, the borrower and implementing agency noted that World  Bank support was suitable and that transitions between project TTLs were exceptional due to well‐planned handover  missions and arrangements. Additionally, the final project TTL was a core member of the e‐Benin Project (P113370)  from its inception. According to project records, project ISRs and aide memoires were filled comprehensively and filed  on time.  118. During implementation, the Bank team and government institutions worked together to address most issues as they  arose. For example, the Bank team and the implementing agency were flexible in making logical adjustments to the  design and cost of activities within each component, which allowed the PIU to deliver best on the overall component  objectives.    Justification of Overall Rating of Bank Performance  Rating: Satisfactory  119. As  discussed  in  the  prior  section  and  throughout  this  report,  the  Bank  team  provided  consistent  and  suitable  preparation  and  implementation  support  to  the  GoB  throughout  the  project  lifespan.  The  World  Bank  ensured  continuity among changing demands internal and external to the project. The overall World Bank performance at  entry and during supervision is rated as satisfactory.    D. RISK TO DEVELOPMENT OUTCOME  120. The main component of the project, the connection of Benin to the submarine cable ACE, has provided Benin  with a redundancy route, abundant capacity and therefore a more robust international connectivity. However,  some risks persist and threaten the sustainability of the impacts of the project. These include:  a)  The  legal  form  and  the  governance  of  Benin  ACE  GIE:  The  current  legal  form  of  ACE  GIE  does  not  incentivize the transformation of the ACE submarine cable into  a standalone entity that can compete  with BTSA, which manages the SAT‐3 capacity. Similarly, the governance model of a rotating presidency  does not act in the best interest of the market and the consumer in general. To preserve the spirit of the  Page 34 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) WARCIP  design  and  enable  a  competitive  environment  in  the  provision  of  international  wholesale  capacity, it is important that the ACE GIE transition to a commercial entity where shareholding is separate  from the commercial activities of access to capacity. The Guinean model of governance and management  of the ACE PPP presents an example of a better format for the SPV.  b) Open access to ACE: The ACE submarine cable capacity is managed by GIE and operators have access to  capacity based on their respective shares in the SPV. There was no indication from the reports consulted  nor  the  interviews  conducted  that  the  regulator  ARCEP  is  considering  regulating  access  to  this  international capacity. Further market analysis is required to study the need for regulating access to ACE,  however given that the Government has majority shares in ACE GIEGIE and that the capacity is not yet  commercialized,  there  is  a  need  for  ARCEP  to  consider  different  options  for  regulating  the  wholesale  prices of ACE. This will ensure that the capacity is priced reasonably and is open on a non‐discriminatory  basis to all players including ones that are not part of the ACE GIE, thereby ensuring that the benefits of  this capacity trickle down to end users.   c) Lack of divestiture of government shares in ACE GIE: The Government of Benin still retains 46% (21%  for BTSA, 8% for Libercom and 17% for the Government) in the ACE GIE. The project design stipulated  that the GoB divest its remaining shares to operators in neighboring countries and other domestic new  participants. Also, other WARCIP projects included the provision that no one shareholder has the right  to hold more than 25% of the shares in the SPV to ensure that no one operator or shareholder can control  the  capacity  of  ACE  and  therefore  impact  market  competition.  The  divestment  plan  has  not  been  implemented yet. Among other factors, this divestment depends on the capacity of the private sector to  invest more in the SPV. However medium‐ to long‐term plans should account for divestment, including  the option of opening the capital of the ACE GIE to players outside the telecommunications market in  case capital within it is limited.   d) Risk  of  having  a  more  consolidate  market  position  for  BTSA:  BTSA  has  now  a  majority  stake  in  international connectivity, in ACE through a majority shareholding and in SAT‐3, which it solely owns and  manages. This, compounded with the current legal form of the ACE GIE and the lack of regulation of  access to wholesale capacity, presents a big concern in the market, since BTSA is more dominant now  than  it  was  before  the  arrival  of  ACE.  Tackling  this  dominance  through  a  divestment  plan,  ex‐ante  regulation or restructuring is crucial for market development.   e) Not leveraging Benin’s geographic position as a hub for international transit: As previously discussed,  the  initial  design  of  the  WARCIP  Project  intended  to  leverage  Benin’s  geographic  position  to  provide  transit  capacity  to  neighboring  countries.  This  is  contingent  on  several  factors,  most  importantly  the  existence of an extensive and reliable fiber backbone transit network that can carry the capacity from  Cotonou to neighboring countries. The development of such a network will greatly improve the ability of  Benin to offer capacity to other countries, especially since the international capacity currently available  to  Benin  is  underutilized.  Even  through  the  demand  for  bandwidth  is  expected  to  increase,  the  sustainability and efficiency of the investment in ACE still hinges on the ability of Benin to commercialize  its excess capacity in the medium term.   f) Vision  for  BTSA:  WARCIP  supported  the  development  of  the  strategy  to  reposition  the  Government‐ owned incumbent operator BTSA. The restructuring and privatization of BTSA has been subject to several  debates over the past decade. Currently, the Government is considering restructuring BTSA into three  separate entities, including a wholesale operator. Delays in repositioning will play against BTSA and the  market  as  the  market  becomes  more  dynamic  and  complex.  As  the  sole  owner  and  operator  of  a  Page 35 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) backbone network and majority owner of international capacity, BTSA needs to be transformed into a  dynamic state of the art wholesale operator to achieve optimal impact on the expansion of internet and  communications services as well as on retail prices.     V. LESSONS AND RECOMMENDATIONS    Project design and preparation  121. Using a PPP model for the ownership and management of the ACE cable in Benin contributed to the  successful implementation of the project, specifically since it addressed the challenge with high upfront  costs of investments in essential infrastructure, such as in submarine cables, which are often prohibitive  to individual private sector players. In the absence of a PPP model, when governments invest in essential  infrastructure on their own, there are risks of poor governance and/or weak operation that might prevent  its efficient use. PPP arrangements, such as that deployed in Benin for the ACE cable, bring together all  actors  and  provide  a  balance  between  public  and  private  interests.  Specifically,  in  Benin,  the  ACE  consortium  included  at  the  onset  the  main  telecommunications  operators  and  service  providers  for  international and internet services. This arrangement made the investment in the ACE cable consortium  possible and allowed Benin to acquire abundant international capacity.   122. However,  the  PPP  model  by  itself  does  not  guarantee  competition  and  the  use  of  this  essential  infrastructure by all market players. The PPP structure, as currently the case in Benin, is restricted to the  existing shareholders and presents a barrier to entry to new or smaller service providers. The experience  of the WARCIP Benin shows that the PPP structure should be complemented by:  a) A commercial form for the SPV: To lay the foundation for fair and equitable access to the  international capacity, the legal form of the ACE SPV should be set as a commercial entity  independent of the commercial activities of the individual shareholders.   b) Provision of an operating license. The provision of an operating license would make sure  that the ACE SPV is under the jurisdiction of the regulator and is the first step to ensure that  the international market is regulated.   c) Regulatory  safeguards  for  open  access.  These  include  the  appropriate  monitoring  by  the  regulator of the terms and conditions of access to the international capacity to ensure that  prices are appropriately set, that there is no collusion between the shareholders and that  the  terms  of  access  are  non‐discriminatory  to  all  players.  It  is  important  that  future  PPP  projects support the development of open access policies as a priority for the sector to be  realized early in the project, and include in their design support to the implementation of  such policies.   123. Government commitment to the development objectives and to enhancing the enabling environment is  often cited as a major success factor to effective implementation. The triggers for the client readiness in  WARCIP  Benin  included:  (i)  government  commitment  to  liberalization  and  open  access  principles,  (ii)  existence  of  a  PPP  framework,  and  (iii)  government  commitment  to  increased  sector  competition  as  evidenced by pro‐competitive policy and regulatory frameworks. Although the GoB at that time showed  signs of strong commitment to implementing these triggers, some of the foundational reform elements  remain unaddressed due to the political economy of the sector. Chief among them is the adoption of an  LLC model for the ACE SPV, the licensing of the ACE SPV, and the adoption of open access principles. To  Page 36 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) that  effect,  only  stated  commitments  may  not  be  enough  to  catalyze  the  adoption  of  important  pro‐ competition decisions and regulatory tools. One of the possibility that future projects can implement is  the inclusion of key reform elements in the World Bank financing agreement as legal covenants. These  may include the establishment of a commercial entity as SPV and providing it with an operating license.  The current legal effectiveness conditions and covenants of the WARCIP Benin only include the obligation  to  establish  an  SPV  but  do  not  specify  that  it  should  be  of  a  commercial  nature.  In  most  cases  these  conditions seems to be realistic and may not unnecessarily delay the implementation of the project. In  the case of Benin, the team is of the view that although a fast implementation of the readiness conditions  was important to ensure Benin can join ACE, the impact of a GIE model has proved to be a major constraint  to the reduction in prices, to improving competition in the international capacity and more generally the  achievement  of  the  Project  objectives.  In  sum,  it  seems  that  both  the  establishment  of  an  SPV  as  a  commercial entity and providing it with an operating license are elements that could be considered as  legal effectiveness conditions in future projects.  124. Backbone infrastructure is critical to the effective use of the international capacity both domestically and  for resale to neighboring countries. The experience of Benin and other WARCIP projects shows that the  rehabilitation  of  the  backbone  has  impeded  the  country  form  taking  full  advantage  of  the  abundant  capacity provided through ACE. In the case of Benin, the rehabilitation and construction of the missing  backbone  links  was  financed  by  other  sources,  however  its  slow  implementation  has  impacted  the  achievement  of  the  project  objectives.  To  that  end,  and  although  coordination  with  other  donors  and  financing  partners  for  projects  conceived  at  later  stage  is  difficult,  the  constraints  of  the  backbone  network should be highlighted more in the conception of an International connectivity project, and the  interdependence between the two infrastructures is an important element to focus on and strengthen  during project implementation.  125. The  Government’s  ownership  of  the  majority  of  the  GIE  consortium’s  shares  (including  the  shares  of  Libercom and Benin telecom) points to another element that can be improved through a better design in  similar projects. The project planned for the Government’s shares in GIE to be divested, but this has not  been achieved. Whereas the control of the Government on the operation of GIE does not seem to pose  problems for the other private shareholders, limiting the Government shares at the onset to less than  25%  seems  to  be  a  better  way  of  increasing  private  participation  and  safeguarding  competition.  The  limitation  of  Government  stakes  depends  on  the  available  financing  by  other  private  sector  players;  however, the design of similar PPP projects can include the provision of seeking all possible sources of  private financing whether from within or outside of the sector.   126. Compared  to  other  sectors,  such  as  health  and  education,  telecommunications  markets  evolve  more  rapidly, largely due to the fast pace of development of the underlying technologies. As such, it is difficult  to accurately predict the evolution of certain market indicators. This is the case for the WARCIP targets  for Benin (and other WARCIP projects) set at project approval, most notably the percentage of population  with access to internet services. These targets were surpassed by the second half of the project, partly  due to the project outputs and partly due to other domestic and international factors such as lower cost  for network rollout and more affordable end user handsets. In this sense, indicators in ICT projects must  be revised more often and reassessed against current market development trends.  .    Page 37 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS          A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: Increased geographical reach of broadband networks.  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Access to Telephone Services  Number  79.00  87.00    88.78  (fixed mainlines plus cellular  phones per 100 people)    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017    Comments (achievements against targets): Exceeded initial target by 2.04%.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Access to Internet Services  Number  1.80  4.20    25.17  (number of subscribers per  100 people)    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017    Comments (achievements against targets): Exceeded initial target. Underestimated target at approval.      Page 38 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Volume of international  Number  7.50  14.10    7.50  traffic: International  Communications (Internet,    01‐Dec‐2011  21‐Jun‐2017    02‐Jun‐2017  Telecoms, and Data)  bandwidth per person    Comments (achievements against targets): The values of this indicator did not changed in the Bank ISRs through out he life of the project. However, other  industry sources and the client ICR show that the volume of international traffic has increased from the 2011 baseline. More information can be found in  the achievement of PDO and the M&E sections.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Direct project beneficiaries  Number  7.90  8.70    8.20    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017    Female beneficiaries  Percentage  40.00  46.00    40.00    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017      Comments (achievements against targets): This indicator has almost reached its target. More information can be found in the achievement of PDO and  the M&E sections.         Objective/Outcome: Reduce the cost of communications services in the territory of the recipient.  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Page 39 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 )   Volume of international  Number  7.50  14.10    7.50  traffic: International  Communications (Internet,    01‐Dec‐2011  21‐Jun‐2017    02‐Jun‐2017  Telecoms, and Data)  bandwidth per person    Comments (achievements against targets): The values of this indicator did not changed in the Bank ISRs through out he life of the project. However, other  industry sources and the client ICR show that the volume of international traffic has increased from the 2011 baseline. More information can be found in  the achievement of PDO and the M&E sections.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Average monthly price of  Amount(USD)  2500.00  180.00    19.00  wholesale international E1  capacity link from capital city    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017  to Europe    Comments (achievements against targets): The values reported in the final ISR are not correct. The data received from the client show that this indicator  is considerable above target. More information can be found in the achievement of PDO and the M&E sections.        A.2 Intermediate Results Indicators        Component: Supporting Connectivity  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Retail Price of Internet  Amount(USD)  160.00  60.00    30.00  Page 40 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 )   Services (per Mbit/s per    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017  Month, in US$)    Comments (achievements against targets): Exceeded initial targets, with value half as expensive as initial target.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Impact on Telecom sector of  Number  0.00  3.00    4.00  World Bank Technical  Assistance (composite score:    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017  1‐ low impact to 5‐high  impact)    Comments (achievements against targets): Exceeded initial targets by 25%.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Average monthly price of  Amount(USD)  1300.00  250.00    960.00  wholesale international E1  capacity link from Landing    11‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017  station to Niamey    Comments (achievements against targets): The price of this connectivity has dropped from 1300 USD per month to 960 USD per month but did not reach  its intended target of 250 USD per month.      Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Formally Revised   Completion  Page 41 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 )   Target  Volume of available  Number  2.30  12.00    22.17  international capacity:  International    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017  Communications (Internet,  Voice) bandwidth    Comments (achievements against targets): Exceeded initial target by aprox 85%        Component: Creating an enabling environment for connectivity  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Retail Price of Internet  Amount(USD)  160.00  60.00    30.00  Services (per Mbit/s per  Month, in US$)    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017    Comments (achievements against targets): Exceeded initial targets, with value half as expensive as initial target.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Impact on Telecom sector of  Number  0.00  3.00    4.00  World Bank Technical  Assistance (composite score:    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017  1‐ low impact to 5‐high  impact)    Page 42 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 )   Comments (achievements against targets): Exceeded initial targets by 25%.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Average monthly price of  Amount(USD)  1300.00  250.00    960.00  wholesale international E1  capacity link from Landing    11‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017  station to Niamey    Comments (achievements against targets): The price of this connectivity has dropped from 1300 USD per month to 960 USD per month but did not reach  its intended target of 250 USD per month.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Volume of available  Number  2.30  12.00    22.17  international capacity:  International    01‐Dec‐2011  21‐Jun‐2012    02‐Jun‐2017  Communications (Internet,  Voice) bandwidth    Comments (achievements against targets): Exceeded initial target by aprox 85%                     Page 43 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) B. KEY OUTPUTS BY COMPONENT      Objective/Outcome 1: Increased geographical reach of broadband networks     Outcome Indicators   PDO Indicator 1: Volume of international traffic   PDO Indicator 2: Access to internet services (internet users per 100 people    PDO Intermediate results indicator 1: Volume of available international  Intermediate Results Indicators  capacity  Key Outputs by Component  1. Component 1   (linked to the achievement of the Objective/Outcome 1)  2. Component 2  Objective/Outcome 2: Reduce the cost of communications services in the territory of the recipient   PDO Indicator 4: Average monthly price of wholesale international E1   Outcome Indicators  capacity link from capital city to Europe.     PDO Intermediate results indicator 4: Average monthly price of wholesale  Intermediate Results Indicators  international E1 capacity link from Landing station to Niamey.   PDO Intermediate results indicator 2: Retail price of internet services.  1. Component 1   2. Component 2  Key Outputs by Component  2. Increased private sector participation and market competition (Component 2)  (linked to the achievement of the Objective/Outcome 2)  3. Increased profitability and efficiency of telecom services in Benin, particularly of  the ACE investment (Component 2)      Page 44 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 )   ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION    A. TASK TEAM MEMBERS  Name  Role  Preparation  Boutheina Guermazi    Task Team Leader  Claudia M. Pardinas Ocana  Senior Council  Laurent Basencon  Team Member  Doyle Gallegos  Team Member  Marc Jean Yves Lixi  Team Member   Alain Hinkati  Financial Management Specialist  Africa Eshogba Olojoba  Senior Environment Specialst   Aissatou Diallo  Senior Finance Officer  Michel Rogy  Team Member  Mathais Gogohounga  Procurement Consultant  Michele Ralisoa Noro  Senior Program Assistant    Supervision/ICR  Marc Jean Yves Lixi  Task Team Leader(s)  Mathias Gogohounga  Procurement Specialist(s)  Alain Hinkati  Financial Management Specialist  Jerome Bezzina  Team Member  Fatoumata Diallo  Social Safeguards Specialist  Abdoulaye Gadiere  Environmental Safeguards Specialist  Marolla Haddad  Team Member and ICR Author  Christine Howard  Team Member and ICR Contributor               Page 45 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY12  13.025  120,803.20  FY13  1.100  5,918.26  Total  14.13  126,721.46    Supervision/ICR  FY13  2.409  35,439.61  FY14  8.430  88,152.15  FY15  4.875  49,864.97  FY16  20.525  127,862.15  FY17  17.789  90,945.53  FY18  4.300  18,632.36  Total  58.33  410,896.77               Page 46 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) ANNEX 3. PROJECT COST BY COMPONENT      Amount at Approval   Actual at Project  Percentage of Approval  Components  (US$M)  Closing (US$M)30  (US$M)  Supporting Connectivity  30.50  28.7  94%  Enabling environment for  3.25  4.071  132%  improved connectivity  Implementation support  1.25  1.71  137%  Total     0.00    34.481   99%          30 Differences due to fluctuations in SDR exchange rate since the start of the project.   Page 47 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) ANNEX 4. EFFICIENCY ANALYSIS    Financial Analysis:  Assumption  Units  2011    GOB total ACE Investment  $    28,741,660    GOB interest rate   %  0.75%    GoB payment period   years  30    GoB grace period   years  10               Private sector ACE investment   $    15,609,596    Pirate sector interest rate   %  2%    Private sector payment period   years  10    Private sector grace period   years  2    Starting payment year for Private sector   year  2015               GoB market share in ACE  %  46%    Incorporation of ACE GIE into a commercial entity   year  2018    ACE cable life   years  20    Opex as percentage of capex   %  6%    Amount operators already paid for ACE   %  3%    Taxes  %  18%            Rate of wholesale price decrease per year (2018‐2034)  %  30%    Rate of used bandwidth increase per year (2018‐2014)  %  20%    % of revenues from wholesale international services  %  20%          2017  2034  % of capacity on ACE   %  40%  80%        2017  2034  Price of wholesale capacity (E1 to Europe based on SAT‐3  $    2,494  5.8  prices)      Page 48 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Results:      Page 49 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS                      Page 50 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) ANNEX 6. SUPPORTING DOCUMENTS (IF ANY)    Client ICR:   This document will be uploaded as a separate PDF. Please see supporting attachments.       Client Response to Request/ Client Provided Information:  Eléments de réponse aux questions posées Tableau 1: Actuel – Total Juin 2017 Activités (US$ Produits clés (US$ million) million) Component 1 : Connectivite 30.5 28,7 - paiement des droits pour l’atterrissement du câble sous-marin Paiement au consortium ACE 30 28,7 - paiement des coûts supplémentaires liés aux travaux d’atterrissement - Il n’y a pas eu un investissement particulier de WARCIP en ce qui concerne cette activité. Par contre des échanges et réunions ont eu lieu sur la question au Niger, au Togo et au Burkina. Ces Renforcement de liens avec pays 0.5 0 activités ont été financées par le Ministère et par voisins Benin Telecom. D’autre part, la station de Cotonou étant une station agrégats, le Niger étant membre du consortium ACE il dispose de capacités qu’il déporte. Component 2 : Environnement 3.25 4,071 favorable Finalisation des documents PPP 0.325 00 - Documents pour établissement du GIE - Il n’y a pas eu d’étude sur accès ouvert. Par contre Cadre réglementaire pour accès des séances de travail ont eu lieu avec le Ministère, 0.5 0 ouvert les membres du GIE et l’ARCEP sur la réglementation et la régulation du câble. - Etude technique liée à l’interconnexion entre les Etude Technique de redondance 0.25 0,06 câbles sous-marins Renforcement de capacités 0.25 0,55 - voir tableau 2 - organisation du forum sur le repositionnement de Bénin Télécoms SA Support au Repositionnement de 0.5 0,48 -accompagnement commercial de Bénin de Bénin Benin Telecom Télécoms -appui à la mise en œuvre de nouvelle orientation de Page 51 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) développement de Benin Télécoms SA Support pour l’investissement des Cette activité n’a pas été réalisé. Par contre il y a eu parts de l’Etat dans la structure 0.35 0 des activités non prévues qui ont été réalisées. de portage - prise en charge pour 12 mois les émoluments du personnel recruté ; aménagé le local qui abrite le siège du GIE, doté le GIE en matériel informatique, mobilier et matériel de bureau, assuré le câblage Support initial pour la structure réseau 0.675 0,541 de portage -doter la structure de portage de moyen roulant -assistance pour la formulation d’avis juridique sur les dossiers du GIE -assistance pour la conception architecturale des équipements ACE vers les opérateurs - Le support de l’autorité de régulation s’est Support pour Autorité de essentiellement traduit par des renforcements de 0.2 0 régulation capacité. Ceci est inclus sous la rubrique des renforcements de capacités ci-dessus - Il s’agit essentiellement de renforcement de Support pour le Ministère 0.2 0,5 capacité des cadres du Ministère. Etudes sur : - la faisabilité de la boucle ouest (SOFRECOM) - le plan directeur TIC/Telecom (TACTIS) - accompagnement de PDI2T/BTI (SOFRECOM) -la forme juridique de Bénin ACE GIE (PHP AUDIT) - un audit au profit de la Direction des Archives Nationales en vue de la dématérialisation de ses Autres activités initialement non 0 1,94 processus prévues -l’acquisition de téléphone IP et de matériel informatique au profit de l’Agence du Numérique -l’acquisition de matériel pour la poursuite du déploiement des pilote d’e-gouvernement -Honoraires de déploiement de pilote d’e- gouvernement -acquisition équipements complémentaires pour le IXP Component 3 : Project implémentation, 1.25 1,71 communications, and M&E Gestion du projet 0.8 1,3 Salaires, frais de fonctionnement, etc.. Communications, suivi et évaluation, audit et mise en 0.35 0,41 S&E et communication œuvre des études environnementales Page 52 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Contingente 0.1 Tableau 2 : Type de Institutions/ Nombres de Couts renforcement de Bénéficiaires personnes (US$ million) capacité UCP Personnel 9 0,12 Cadres des Ministère 150 0,43 directions Point global sur les renforcements de   capacité (Thème, nombre de participants et lieux) NOMBRE DE N° THEME LIEU PATICIPANTS Bonne gouvernance et gestion des programmes 1 et projets axés sur les résultats de 7 Paris développement durable Bonne gouvernance et gestion des programmes 2 et projets axés sur les résultats de 2 Dakar développement durable Bonne gouvernance et gestion des programmes 3 et projets axés sur les résultats de 6 Lomé développement durable Budgétisation publique, LOLF et budget par 4 1 Canada résultats 5 Contrôle interne au sein des projets 2 Lomé Déontologie administrative et respect de la Grand- 6 hiérarchie fonctionnelle et technique de la 21 Popo rédaction et du suivi de dossier 7 Economie numérique 20 Bohicon 8 Fibre optique 2 Niamey Formation et immersion sur les enjeux de Grand- 9 52 l'économie numérique, le PAG et la DPS Popo Gestion administrative, comptable et financière 10 4 Dakar des projets et décaissement Page 53 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) Gestion des projets financés par la Banque 11 4 Abidjan mondiale Ingénierie pédagogique et management de la 12 5 Dakar formation 13 Les contrats FIDIC 3 Tunisie 14 Les reseau d'accès large bande radio et cables 5 Lomé Management stratégique et opérationnel des 15 2 Abidjan ressources humaines Management stratégique, leadership et La 16 3 conduite du changement Rochelle Management stratégique, leadership et 17 1 Canada conduite du changement Passation de marchés, procédure Banque 18 5 Dakar mondiale 19 Perfectionnement sur le logiciel SUCCESS 1 Abidjan Planification et le contrôle informatisé en 20 2 Canada contexte de projets multiples Processus d'élaboration de la loi des finances et 21 6 Abidjan chaines d'exécution des dépenses publiques Rôle des secrétaires et assistante dans la gestion, l'organisation administrative d'un 22 1 Paris secrétariat et gestion électronique des documents Rôle des secrétaires et Assistantes dans la mise en œuvre du plan de passation de marchés et le 23 2 Dakar classement des dossiers et gestion électronique de documents et de données Technique de rédaction et de suivi de dossier 24 2 Lomé secrétaire TOTAUX Page 54 of 56 The World Bank WARCIP APL 1C - Benin ( P130184 ) 1. La répartition des capacités. Quelle est la répartition des parts à présents ? le rapport d’achèvement souligne les parts comme de-dessous, mais cela ne reflète pas l’upgrade de la capacité effectuer par MOOV, ISOCEL et canal box. Les capacités actuelles à considérer sont les capacités après l’upgrade. 2. Comment vous avez obtenu le prix de la connectivité internationales (UsD 4000/ E1/ moi) sachant qu’il n’y a pas de produits pareil commercialise par ACE GIE ? La valeur de cet indicateur est fournie par l’ARCEP. La valeur de 4000 est la valeur actuelle pratiquée. Elle s’applique uniquement au SAT-3 le GIE ne commercialisant pas ce type de produit.   Page 55 of 56