ROMANIA Hazard Risk Mitigation and Emergency Preparedness Project Report No. 135542 MARCH 26, 2019 © 2019 International Bank for Reconstruction This work is a product of the staff of The World RIGHTS AND PERMISSIONS and Development / The World Bank Bank with external contributions. The findings, The material in this work is subject to copyright. 1818 H Street NW interpretations, and conclusions expressed in Because The World Bank encourages Washington DC 20433 this work do not necessarily reflect the views of dissemination of its knowledge, this work may be Telephone: 202-473-1000 The World Bank, its Board of Executive reproduced, in whole or in part, for Internet: www.worldbank.org Directors, or the governments they represent. noncommercial purposes as long as full attribution to this work is given. Attribution—Please cite the work as follows: The World Bank does not guarantee the World Bank. 2019. Romania—Hazard Risk accuracy of the data included in this work. The Any queries on rights and licenses, including Mitigation and Emergency Preparedness boundaries, colors, denominations, and other subsidiary rights, should be addressed to Project. Independent Evaluation Group, Project information shown on any map in this work do World Bank Publications, The World Bank Performance Assessment Report 135542. not imply any judgment on the part of The Group, 1818 H Street NW, Washington, DC Washington, DC: World Bank. World Bank concerning the legal status of any 20433, USA; fax: 202-522-2625; e-mail: territory or the endorsement or acceptance of pubrights@worldbank.org. such boundaries. Report No.: 135542 PROJECT PERFORMANCE ASSESSMENT REPORT ROMANIA HAZARD RISK MITIGATION AND EMERGENCY PREPAREDNESS PROJECT (IBRD-47360) March 26, 2019 Financial, Private Sector, and Sustainable Development  Independent Evaluation Group  Currency Equivalents (as of June 30 of each year) Currency Unit = Romanian Lei  2004    $1.00    33490.70  2009    $1.00    2.98  2005    $1.00   2.99   2010    $1.00    3.52  2006    $1.00   2.86   2011    $1.00    2.93  2007    $1.00   2.36  2012    $1.00    3.54  2008    $1.00   2.32  All dollar amounts are U.S. dollars unless otherwise indicated.  Abbreviations CAS  Country Assistance Strategy  Cat DDO  Catastrophe Deferred Drawdown Option  DRM  disaster risk management  EMIS  emergency management information system  EU  European Union  GEF  Global Environment Facility  GIES  General Inspectorate for Emergency Situations  HRMEP  Hazard Risk Mitigation and Emergency Preparedness (project)  ICR  Implementation Completion and Results (report)  IEG  Independent Evaluation Group  IRR  internal rate of return  M&E  monitoring and evaluation  NARW  National Administration Romanian Waters  PAD  Project Appraisal Document  PAID  (Insurance) Pool against Natural Disasters   PDO  project development objective  PPAR  Project Performance Assessment Report  SMISU     Sistemul de Management Informaţional pentru Situaţii de Urgenţă  Fiscal Year Government:  January 1 to December 31  Director-General, Independent Evaluation Alison Evans Director, Financial, Private Sector, and Sustainable Development José C. Carbajo Martínez Manager, Sustainable Development Midori Makino Task Manager Stephen Hutton ii Contents Preface ................................................................................................................................................................vii Summary .......................................................................................................................................................... viii 1. Background and Context .........................................................................................................................1 2. Relevance of the Objectives and Design............................................................................................2 Objectives .......................................................................................................................................................2 Relevance of the Objectives .....................................................................................................................2 Design ............................................................................................................................................................. 4 Components ........................................................................................................................................................... 4  Restructuring........................................................................................................................................................... 4  Implementation Arrangements ......................................................................................................................... 5  Relevance of the Design ............................................................................................................................5 3. Implementation ...........................................................................................................................................7 Planned versus Actual Expenditure by Component ......................................................................... 7 Implementation Experience ...................................................................................................................... 7 Safeguards Compliance ....................................................................................................................................... 8  Financial Management and Procurement ...................................................................................................... 9  4. Achievement of the Objectives........................................................................................................... 10 5. Efficiency ..................................................................................................................................................... 19 6. Ratings ......................................................................................................................................................... 20 Outcome ...................................................................................................................................................... 20 Risk to Development Outcome ............................................................................................................. 21 Bank Performance ..................................................................................................................................... 21 Quality at Entry......................................................................................................................................................21  Quality of Supervision ........................................................................................................................................ 22  Borrower Performance ............................................................................................................................ 23 Government Performance ................................................................................................................................ 23  Implementing Agency Performance .............................................................................................................. 24  Monitoring and Evaluation .................................................................................................................... 25 Design ..................................................................................................................................................................... 25  Implementation .................................................................................................................................................... 25  iii Use ........................................................................................................................................................................... 26  7. Lessons......................................................................................................................................................... 26 Table Table 1: Project Cost by Component (in millions of $) .......................................................................... 7 Appendixes Appendix A. Basic Data Sheet ................................................................................................................... 31 Appendix B. List of Persons Met .............................................................................................................. 33 Appendix C. Borrower Comments ........................................................................................................... 37 Appendix D. PDO-level Indicators, Targets, and Values Achieved ............................................. 38 This report was prepared by Richard J. Tobin, who assessed the project in October and November 2018, under the supervision of Stephen Hutton. Gheorghe Caraseni provided technical support and local knowledge in Romania. The report was peer reviewed by Diana Vargas and panel reviewed by Lauren Kelly. Jean Jacques Ahouansou and Richard Kraus provided administrative support. iv Principal Ratings Indicator ICR ICR Review PPAR Outcome Moderately Satisfactory Moderately Satisfactory Moderately Unsatisfactory Risk to development Moderate Significant Significant outcome Bank performance Moderately Satisfactory Moderately Satisfactory Moderately Unsatisfactory Borrower performance Moderately Satisfactory Moderately Satisfactory Moderately Unsatisfactory Note: The Implementation Completion and Results Report (ICR) is a self-evaluation by the responsible Global Practice. The ICR Review is an intermediate Independent Evaluation Group product that seeks to independently validate the findings of the ICR. PPAR = Project Performance Assessment Report. Key Staff Responsible Management Appraisal Completion Project Team Leader Christoph Pusch Gabriel Ionita Sector Manager or Practice Manager Marjory-Ann Bromhead Sumila Gulyani Country Director Anand K. Seth Peter Harrold v IEG Mission: Improving the World Bank Group’s development results through excellence in independent evaluation. About This Report The Independent Evaluation Group (IEG) assesses the programs and activities of the World Bank for two purposes: first, to ensure the integrity of the World Bank’s self-evaluation process and to verify that the World Bank’s work is producing the expected results, and second, to help develop improved directions, policies, and procedures through the dissemination of lessons drawn from experience. As part of this work, IEG annually assesses 20–25 percent of the World Bank’s lending operations through fieldwork. In selecting operations for assessment, preference is given to those that are innovative, large, or complex; those that are relevant to upcoming studies or country evaluations; those for which Executive Directors or World Bank management have requested assessments; and those that are likely to generate important lessons. To prepare a Project Performance Assessment Report (PPAR), IEG staff examine project files and other documents, visit the borrowing country to discuss the operation with the government, and other in-country stakeholders, interview World Bank staff and other donor agency staff both at headquarters and in local offices as appropriate, and apply other evaluative methods as needed. Each PPAR is subject to technical peer review, internal IEG panel review, and management approval. Once cleared internally, the PPAR is commented on by the responsible World Bank Country Management Unit. The PPAR is also sent to the borrower for review. IEG incorporates both World Bank and borrower comments as appropriate, and the borrowers’ comments are attached to the document that is sent to the World Bank’s Board of Executive Directors. After an assessment report has been sent to the Board, it is disclosed to the public. About the IEG Rating System for Public Sector Evaluations IEG’s use of multiple evaluation methods offers both rigor and a necessary level of flexibility to adapt to lending instrument, project design, or sectoral approach. IEG evaluators all apply the same basic method to arrive at their project ratings. Following is the definition and rating scale used for each evaluation criterion (additional information is available on the IEG website: http://ieg.worldbankgroup.org). Outcome: The extent to which the operation’s major relevant objectives were achieved, or are expected to be achieved, efficiently. The rating has three dimensions: relevance, efficacy, and efficiency. Relevance includes relevance of objectives and relevance of design. Relevance of objectives is the extent to which the project’s objectives are consistent with the country’s current development priorities and with current World Bank country and sectoral assistance strategies and corporate goals (expressed in Poverty Reduction Strategy Papers, country assistance strategies, sector strategy papers, and operational policies). Relevance of design is the extent to which the project’s design is consistent with the stated objectives. Efficacy is the extent to which the project’s objectives were achieved, or are expected to be achieved, taking into account their relative importance. Efficiency is the extent to which the project achieved, or is expected to achieve, a return higher than the opportunity cost of capital and benefits at least cost compared with alternatives. The efficiency dimension is not applied to development policy operations, which provide general budget support. Possible ratings for outcome: highly satisfactory, satisfactory, moderately satisfactory, moderately unsatisfactory, unsatisfactory, highly unsatisfactory. Risk to development outcome: The risk, at the time of evaluation, that development outcomes (or expected outcomes) will not be maintained (or realized). Possible ratings for risk to development outcome: high, significant, moderate, negligible to low, and not evaluable. Bank performance: The extent to which services provided by the World Bank ensured quality at entry of the operation and supported effective implementation through appropriate supervision (including ensuring adequate transition arrangements for regular operation of supported activities after loan or credit closing, toward the achievement of development outcomes). The rating has two dimensions: quality at entry and quality of supervision. Possible ratings for Bank performance: highly satisfactory, satisfactory, moderately satisfactory, moderately unsatisfactory, unsatisfactory, and highly unsatisfactory. Borrower performance: The extent to which the borrower (including the government and implementing agency or agencies) ensured quality of preparation and implementation, and complied with covenants and agreements, toward the achievement of development outcomes. The rating has two dimensions: government performance and implementing agencies’ performance. Possible ratings for borrower performance: highly satisfactory, satisfactory, moderately satisfactory, moderately unsatisfactory, unsatisfactory, and highly unsatisfactory. vi Preface This Project Performance Assessment Report (PPAR) is for Romania’s Hazard Risk  Mitigation and Emergency Preparedness Project (HRMEP, P075163), including a grant  from the Global Environment Facility (GEF, P081950). The report evaluates how the  project performed against its project development objective and seeks to determine  whether the project achieved its intended outcomes. This PPAR was completed at the  request of the World Bank’s Social, Urban, Rural, and Resilience Global Practice,  which indicated significant learning potential from the project and is based on an  Independent Evaluation Group (IEG) strategy to conduct a cluster of project  assessments on disaster risk management (DRM).  The World Bank’s Board of Executive Directors approved the HRMEP on May 20,  2004. The project became effective in October 2004. After several restructurings the  project closed on June 30, 2012. Total project costs were $174.83 million against an  appraisal estimate of $203.65 million.  This PPAR is based on findings and conclusions of reviews of the World Bank’s  project documentation and other relevant documentation, expert interviews, and a  field mission to Romania carried out by Richard J. Tobin and Gheorghe Caraseni,  consultants to IEG, between October 22 and November 2, 2018.   The consultants met with project stakeholders, including staff of project management  units, project beneficiaries, government counterparts and partners, and World Bank  staff.  The contributions of all stakeholders, including World Bank staff in Washington DC  and Bucharest and stakeholders in Romania, are gratefully acknowledged. Following  standard IEG procedures, copies of the draft PPAR were shared with the relevant  government officials and agencies for their review and feedback, and are published in  full in Appendix C.   vii   Summary Romania’s Hazard Risk Mitigation and Emergency Preparedness (HRMEP) project,  which was implemented between 2004 and 2012, was one of the World Bank’s first  efforts to provide ex ante assistance to reduce or mitigate a country’s vulnerabilities to  natural disasters related to floods, landslides, and earthquakes. In the one hundred years  before the project began, Romania had experienced more than a dozen earthquakes of  magnitude 7.0 or greater. An earthquake in 1977, for example, caused the death of  almost 1,600 people, mostly in Bucharest, and as much as $2 billion in economic losses.   Flooding is common throughout Romania. Nearly 500,000 people and 1.3 million  hectares are at serious risk of flooding each year. A flood in 1991, for example, caused  damages of almost $500 million and damaged more than 12,000 buildings, almost 1,000  kilometers of roads, and 150 bridges. Between 1992 and 2003, the government estimated  that damages due to flooding exceeded $6.1 billion.1 Approximately 50,000 households,  250,000 people, and 700,000 hectares are also at risk of landslides.  The government sought the support of the World Bank to reduce vulnerability to these  and other natural disasters in a proactive manner, leading to the approval of the  HRMEP.  The project development objective (PDO) was to assist the government in  “reducing the environmental, social, and economic vulnerability to natural disasters and  catastrophic mining accident spills of pollutants.” The PDO also included how the  objective would be achieved: (i) the strengthening of emergency management and risk  financing capacity; (ii) earthquake risk reduction; (iii) flood and landslide risk reduction;  and, (iv) risk reduction of mining accidents in the Tisza Basin in northwest Romania.   The development objective was relevant to the country context and well aligned with  the government’s and the World Bank’s priorities at the start of the project. That  relevance diminished in the following years as shown by the relatively lower  prioritization of disaster risk management in the two country partnership strategies  developed during the life of the project. Despite that change in emphasis, the project’s  relevance is rated as substantial due to the high and continuing risk of natural disasters  in Romania.  The  project  was  innovative  in  its  design  as  one  of  the  first  World  Bank  projects  focusing  on  ex  ante  risk  reduction  rather  than  responding  to  a  specific  disaster.  The  World  Bank  and  the  government  chose  what  they  identified  as  a  comprehensive,  multihazard  multisector approach for the project while rejecting a design that focused only on a single  hazard  in  the  belief  that  coordinated  disaster  management  brings  better  results.  The  approach  involved  four  project  components,  each  with  a  separate  project  management  unit (PMU) in different ministries. The contents of each component were logical: in most  viii   instances the linkages between the interventions, their outputs, and the desired outcomes  were clear, though how they would achieve the PDO was sometimes less clear. But despite  the  high  expectations  for  what  was  labeled  as  a  “new  Bank  paradigm  for  disaster  risk  management,”  in  Romania  the  approach  proved  to  be  complicated,  cumbersome,  and  operationally  inefficient,  in  part  because  of  weak  incentives  for  cooperation  or  coordination  between  the  PMUs.  As  a  result,  the  inability  to  operationalize  the  multisectoral  approach  effectively  led  the  design  of  subsequent  projects  to  address  different sectors through separate projects in a series. For those and other deficiencies, the  project’s relevance of design is rated as modest.  The project’s efficacy is modest as it did not fully achieve its intended development  results. The project did not measure reductions in vulnerability (environmental, social,  or economic), thus it lacked clear metrics to permit a direct assessment of efficacy. As an  alternative, the efficacy of the project was assessed summing up the achievements of the  individual interventions.     A long‐delayed emergency management information system, intended to strengthen  technical and institutional capacity, has been of limited practical value during floods.  The seismic retrofitting of 44 public buildings has reduced vulnerability, but  performance was undermined by not following established selection criteria for  identifying high‐priority sites, such as, for example, the headquarters of the General  Inspectorate for Emergency Situations. The ten flood‐protection measures completed  during the project have reduced vulnerability to floods, though one such measure is  already in need of substantial repair. Seven at‐risk dams were rehabilitated, but the  work is incomplete. One large dam has not yet received final certification of its  operational safety. Pilot studies on landslides were not completed and did not produce  meaningful benefits or reduce vulnerability.  The rating for efficiency is modest. The project carried out an economic analysis for only  one of the four components. The analysis estimated the average internal rates of return  for the flood‐control projects to be 19.4 percent, which was less than the 28.8 percent  projected at appraisal. The internal rate of return of dam safety investments was  estimated to be 22.4 percent versus the 26.5 percent estimated at appraisal. The  estimated end‐of‐project benefit‐cost ratios of the flood‐protection and dam‐safety  measures were 2.15 and 3.60, respectively. There were discrepancies in the data used in  the analysis.   The rating for outcome is moderately unsatisfactory. Not all the project’s major and  initial objectives were achieved. There were successes with several construction works  and with the creation of a program that provides catastrophe risk insurance, but the  ix   vulnerabilities reduced were modest in line with the evidence supporting the ratings for  relevance of design, efficacy, and efficiency.  The risk to development outcome is rated as significant. When the project ended in  mid‐2012, the World Bank’s and the government’s attention to the project’s objectives  had diminished. Many public buildings essential to emergency planning and response,  which had been identified as priority candidates for retrofitting, remained in their at‐risk  condition. Several vulnerable dams experienced the same situation. The project‐funded  emergency management information system remains largely unused. It has yet to serve  well the purposes for which it is intended. The absence of follow‐on training on the  system, its aging equipment, and its outdated software put the system’s value at risk.  The World Bank’s project appraisal stated that the project would enhance the  government’s institutional capacity to be better prepared for natural disasters. The World  Bank concluded in 2018, however, that the current policy, legal, institutional  environment is exacerbating the losses associated with natural disasters. The World  Bank further noted persistent underfunding for flood protection and a lack of  investment in seismic risk reduction in the building sector. Many of the problems  identified in 2004 thus remain.  The project’s quality at entry is rated as moderately unsatisfactory. The organizational  and institutional arrangements were overly complex and not designed to readily  facilitate envisioned synergies or operational efficiencies. The World Bank also  overestimated the project’s readiness for implementation. At appraisal the World Bank  asserted that completed designs were available for the retrofitting of 23 public buildings.  In contrast, only one design existed when the project started and it was incomplete. The  cost of the construction works and the time needed for the completion of several tasks  were significantly underestimated.   The Bank’s quality of supervision and the overall rating for Bank performance are rated  as moderately unsatisfactory. The project encountered multiple delays (and the need for  several extensions); problems with procurement; understaffing of the four project  management units (PMUs); and situations in which agreed‐criteria for construction  works were not followed. Each of those situations provided opportunities for active  project supervision, which was not always apparent. Through the project’s first third (or  24 months), less than 4 percent of the loan had been disbursed (and less than 8 percent at  the project’s original midpoint). An extension of the project’s completion date appeared  unavoidable as early as 2006, but the first of two extensions were not initiated until 2009.   The rating for the borrower’s performance is moderately unsatisfactory. Although the  government strongly supported the project during preparation, it became less of a  x   priority as the country moved towards accession to the European Union, which  Romania joined in 2007. Evidence of these events was reflected in lack of attention to  timely resolution of critical issues and insufficient funding, support, and supervision by  responsible officials and a diminished interest in Bank financing. The government  missed the deadline for establishing a project steering committee. Once the committee  was established it rarely met in the project’s initial years. When the committee met, it  often limited its activities to hearing reports on the project’s implementation rather than  guiding and critiquing its implementation.   The rating for implementing agency performance is moderately unsatisfactory.  Throughout much of the project its four PMUs faced considerable challenges. One unit  was staffed to manage contracts for the seismic retrofitting of buildings but later was  also tasked with managing the associated and more expensive contracts for returning  those buildings to full functionality. Less than a year into the project the World Bank  considered that the efforts of another PMU to prevent accidental spills of mine wastes to  be at risk due to the absence of effective management. The creation of a third PMU was  delayed for more than two years because of the weak performance of its original host  agency.   Key lessons from the experience of the project include the following (see section 7 for  other lessons):    Depending on multiple, functionally independent implementing agencies for  multisector projects can increase complexity without providing commensurate  benefits. Responsibility for reducing the identified vulnerabilities was divided among  four PMUs, each of which was in a different agency or ministry. There were few reasons  for collaboration among them. The project’s design was unduly complex and provided  few discernible benefits for the project’s implementation.    Multisectoral, multihazard efforts to reduce vulnerability to disasters may not offer  synergies or economies of scope in the absence of clear logical links between  activities and incentives for coordination by the institutions responsible for them. The  project was unsuccessful in demonstrating the advantages of these efforts in Romania  and did not achieve efficiencies in implementation that had been expected at appraisal.   Subsequent disaster risk management projects in Romania are targeting one sector at a  time through a series of projects approach.  In a project designed to mitigate the risk of natural disasters, it is essential that sites  critical for vulnerability reduction are both properly identified and systematically  supported throughout the life of a project. Adjustments may be necessary, but projects  should ensure that selectivity criteria are respected. When criteria for prioritizing sites  xi   are not followed, the result may be a suboptimal allocation of project funds. In this  project the appraisal stressed that the project would focus on high‐priority measures and  construction works capable of reducing social, economic, and environmental  vulnerabilities. Despite this aim, a portion of the project’s resources were devoted to  sites with lower risks.   When supporting structural retrofits, financing only the retrofitting and not the cost  of returning buildings to functionality is likely to lead to problems with  implementation. Separating the source of funds for retrofitting buildings from the funds  for the return to functionality was undesirable, especially because the distinction was  not clearly communicated upfront in the project appraisal document or to beneficiaries.  The result was that many high priority buildings were unable to carry out retrofits  because they were unable to cover the cost of return to functionality.        José Carbajo Martínez  Director, Financial, Private Sector,   and Sustainable Development  Independent Evaluation Group                                                             1 Ministry of Environment and Water Management, Flood Management in Romania: Present and  Future, no date. Available at https://www.inbo‐ news.org/en/file/262113/download?token=_qdFXrlq  xii   1. Background and Context 1.1 In the 100 years before the HRMEP project began, Romania had experienced  more than a dozen earthquakes of magnitude 7.0 or greater and more are anticipated.  An earthquake in 1977 caused the death of almost 1,600 people, mostly in Bucharest, and  as much as $2 billion in economic losses due largely to the more than 32,000 buildings  that were damaged or destroyed. During the project’s development, the World Bank  estimated that two‐thirds of Romania’s urban population is exposed to seismic risks  from the Vrancea fault zone, which includes Bucharest. As much as 80 percent of the  country’s GDP was produced in highly seismically prone areas.2  1.2 Flooding is common throughout Romania. According to the World Bank’s  appraisal of the project, nearly 500,000 people and 1.3 million hectares (ha) were at  serious risk of flooding each year. A flood in 1991 caused damages of almost  $500 million and damaged more than 12,000 buildings, almost 1,000 km of roads, and  150 bridges. Between 1992 and 2003, the government estimated that damages due to  flooding exceeded $6.1 billion.3 Landslides are also common and place at risk at least  50,000 households, 250,000 people, and 700,000 ha.  1.3 Romania has nearly 250 large dams and over 1,200 small dams. Many of these  dams were at risk of failure or collapse due to damage or flawed construction. Some  dams store mine tailings, many of which contain toxic pollutants that can threaten  public health and damage surface waters, including the Danube River, which flows into  the Black Sea. Poor management, insufficient maintenance, and inadequate monitoring  have led to major spillage events in the past.  1.4 Although natural disasters are common and persistent, Romania’s disaster‐ response agencies were typically underfinanced and without the necessary technical,  institutional, and financial capacity.4 As the project appraisal document (PAD)  explained, “Deficiencies in protective investments, equipment, communication systems  and limited access to up‐to‐date knowledge and technical schemes” provided examples  of the shortcomings that hampered emergency preparedness, mitigation, and  management. The government lacked sufficient resources relative to other competing  priorities to implement the actions needed to reduce the country’s social, and economic,  and environmental vulnerabilities.   1.5 In an effort to be proactive and to reduce the country’s vulnerabilities to natural  disasters, the government sought the World Bank’s technical and financial assistance.  This request led to the development of HRMEP, which was intended to be an  innovative, flagship project to address the risks of natural hazards before they occurred  and to promote preparedness for hazards likely to occur. As World Bank staff noted, the  1   project would also provide valuable lessons for future Bank‐funded projects on disaster  risk management.  2. Relevance of the Objectives and Design Objectives 2.1 The project development objective (PDO) in the loan agreement was to assist the  “Borrower in reducing the environmental, social, and economic vulnerability to natural  disasters and catastrophic mining accidental spills through: (i) strengthening the  institutional and technical capacity for disaster management and emergency response;  (ii) implementing specific risk reduction measures for floods, landslides, and  earthquakes; (iii) improving the safety of selected water retention dams; and (iv)  improving the management and safety of tailings dams and waste dump facilities.”5   Following IEG evaluation methodology, this assessment evaluates against the intended  outcome (reduced environmental, social and economic vulnerability to natural disasters  and catastrophic mining spills).6  2.2 The PAD included the same objective but with three changes. The PAD added  “through upgrading communication and information systems” to the end of item (i)  above, used “investments” rather than “measures” for item (ii), and changed item (iv) to  “improving on a pilot basis the management and safety of tailings dams and waste dump  facilities.”  2.3 The project also included a $7 million grant from the Global Environment Facility  (GEF) to support item (iv) above and the protection of international waters in the Tisza  Basin, an area of more than 150,000 km2 in five countries, including large parts of  western Romania. The project’s global environmental objective was to “demonstrate and  provide for replication for the reduction of catastrophic mining spills of transboundary  pollution loads.”  Relevance of the Objectives 2.4 Romania has an unfortunate propensity to suffer from frequent natural disasters,  especially those related to floods and landslides. No less important, Romania, and  especially Bucharest, are at a high risk of potentially catastrophic earthquakes. The  Vrancea earthquake zone, which encompasses 16 counties in eastern Romania, is one of  the most active seismic areas in Europe. These possible disasters pose environmental,  social, and economic vulnerabilities due to gaps in management capacity and  insufficiently mitigated risks. Mining waste had been identified as posing an  environmental hazard. The project was timely, initially relevant, and responsive to  2   Romania’s high susceptibility to natural disasters. Nonetheless, the specific framing of  “environmental, social, and economic vulnerability” was not separately articulated,  though these have overlapping but distinct characteristics. In practice the project  focused on general disaster vulnerability reduction and these lenses did not  substantially inform implementation or the measurement of results.  2.5 The PDO was appropriately relevant and compatible with the World Bank’s  Country Assistance Strategy (CAS), which had been approved in May 2001. Although  the CAS predated the project’s approval by several years, the CAS noted the World  Bank’s intent to extend a loan to “assist in Romaniaʹs efforts to mitigate the costs of  damage from earthquakes…, floods, droughts, toxic waste, and other natural and man‐ made disasters which, taken together, regularly plague the country.” The forthcoming  loan, the CAS explained “would focus on disaster preparedness and strengthening  Romania’s existing rapid response capacity…This could include changes in land‐use  planning, community involvement and education, flood protection works, safety of  flood control dams, some retrofitting of public buildings in Bucharest to meet  earthquake building codes, and the establishment of a national catastrophic insurance  scheme.”  2.6 The project’s objective to reduce Romania’s vulnerability to natural disasters  remained relevant throughout the project. Nonetheless, the objective did not represent a  clear and continuing priority for either the World Bank or the government. The World  Bank’s Country Partnership Strategy for FY06–09 neither discussed the project nor the  mitigation of natural disasters. Furthermore, the strategy had no benchmarks or targets  for hazard risk mitigation, thus suggesting that the project was no longer relevant to the  World Bank’s objectives in Romania. The next partnership strategy, issued in June 2009  (and covering the next four fiscal years), did mention the mitigation of risks from  earthquakes, unsafe dams, and waste deposits from the mining industry but not from  floods or landslides. The 2009 strategy also mischaracterized the project, stating that it  was reducing vulnerabilities to natural and technological disasters, which the HRMEP  was never intended to do. The project’s relevance to the World Bank’s strategic  objectives was also unclear. The project, according to the partnership strategy, was  supposedly contributing to crisis‐management measures in the financial sector and  establishing the building blocks for sustainable convergence to the average living  standards in the European Union (EU).7   2.7 Given Romania’s high and continuing vulnerability to natural disasters, the  relevance of the project’s primary objective is rated as substantial.  2.8 The relevance of the GEF‐supported activities to reduce accidental spills of mine  wastes is not separately rated (here or elsewhere in this report), but the activities were  3   compatible with the facility’s operational strategy. The activities supported long‐term  protection of international waters as well as the financing of innovative demonstrations  for reducing contaminants in these waters. One purpose of such demonstrations would  be to identify reduction measures with the highest benefits.  Design 2.9 The project, according to the PAD, was designed to use a comprehensive,  multihazard risk‐management approach in the context of a framework program. Four  separate project components would support  activities complementary  to the  government’s. Furthermore, the design was intended to promote  close coordination  among  the agencies (and their corresponding PMUs) responsible for mitigating the  vulnerabilities associated with floods, landslides, earthquakes, and accidental  spills of mine wastes.  Components 2.10 Component A sought to strengthen emergency management and Romania’s risk‐ financing capacity. The design included development of an emergency management  information system (EMIS), technical assistance to support an insurance program  covering disaster risks, and developing a scenario modeling the effects of earthquake in  the Vrancea seismic zone.  2.11 Component B focused on the reduction of risks to due to earthquakes. The  design focused on retrofitting high‐priority public facilities, providing training on  retrofitting, and reviewing building codes.  2.12 Component C addressed the reduction of risks associated with floods and  landslides. The design supported construction works to reduce risks from flooding and  potentially unsafe dams and pilot studies for modeling and remediating the risks of  landslides.  2.13 Component D addressed risk reduction of mining accidents in the Tisza Basin,  through monitoring, remediation, and response capacity.   Restructuring 2.14 The project was restructured six times, including three times in the project’s last  six months.8 When the government realized that not all tasks could be completed by the  original closing date, a restructuring in 2009 extended the project until December 2011.  In addition, the project’s scope and number of activities were reduced due to currency  depreciation and the increased costs of construction. The PDO indicators remained  unchanged but several targets in Components B and C were revised downward. The  4   project underwent a second restructuring in August 2010 to apply the World Bank’s  Safeguard Policy on Involuntary Resettlement.   2.15 A third restructuring, in December 2010, reallocated resources among  components to permit completion of activities in Components B and C and to improve  the use of the GEF grant in Component D. Another restructuring in December 2011 also  reallocated resources among components, extended the closing date to June 30, 2012,  and cancelled $6.68 million of the loan in response to the government’s request. Two  additional restructurings, in 2012, further reallocated resources among components.  2.16 Extending the project life was appropriate given the delays in implementation  for some activities. The World Bank correctly applied a restructuring to trigger its  Involuntary Resettlement policy once it was realized that this would be an issue. Other  restructurings aimed at reallocating resources were likely necessary given the World  Bank’s rules at the time and the need to balance resources across many activities.  2.17 The restructurings did not change the PDO or the GEF’s global environmental  objective.  Implementation Arrangements 2.18 Project management units (PMUs) were created within ministries with ministry  staff for the four project components, as follows:   Component A: Ministry of Administration and Interior   Component B: Initially in the Ministry of Transport, Construction, and Tourism  and then in the reconstituted Ministry of Regional Development and Tourism.   Component C: Initially in the National Administration Romanian Waters and  then in the Ministry of Environment and Forests.   Component D: National Agency for Mineral Resources  2.19 Each PMU was intended to have full responsibility for all technical aspects of  implementation, monitoring, procurement, and financial management. The PMU for  Component B was also responsible for consolidation of financial and implementation  reports from the other PMUs. The PMUs were closed at or shortly after the project’s  closure.   Relevance of the Design 2.20 The HRMEP represented one of the World Bank’s first ex ante emergency  preparedness projects intended to provide assistance to reduce or mitigate a country’s  vulnerabilities to natural disasters and thus to enhance resilience. The project’s central  assumption was that its interventions would reduce the social, economic, and  5   environmental vulnerabilities to natural disasters. In most instances the assumed linkage  between the interventions, their outputs, and the desired outcomes are clear. Effective  flood protection measures, for example, reduce the likelihood of floods and the social,  economic, and environmental harms they can cause. When aging dams are rehabilitated  and become less likely to fail, similar benefits follow. Retrofitting of buildings reduces  their occupants’ vulnerability to death or injury, the costs of responding to earthquakes,  and the costs of repairing damaged buildings. Retrofitting also reduces the potential  environmental consequences of earthquakes, which include fires, explosions, debris,  exposure to hazardous substances, and dust that can diminish air quality.   2.21 In choosing a comprehensive, multihazard approach, the World Bank and the  government had considered but rejected an approach focusing only on a single hazard  in the belief that coordinated disaster management brings better results than a  unisectoral approach.9 As the World Bank explained, “Development of separate  operations based on the type of disaster was determined as inefficient as it can lead to  overlapping activities and lack of coordination” among the responsible authorities.10  This reasoning reflects the World Bank’s belief that a coordinated, multisector approach  represents best practice.   2.22 The multisector, multihazard approach was unsuccessful in Romania. The  design’s causal assumptions about the need for multisectoral collaboration were  valid, but the design lacked the institutional linkage to achieve this collaboration.11 At  appraisal, the World Bank declared that the project’s proactive approach to risk  mitigation would demonstrate its institutional merits and that advanced planning and  investment would reduce the social and economic costs of disasters. By the time of  completion, however, the World Bank concluded in its self‐evaluation of the project that  what was supposed to be a “new Bank paradigm for disaster risk management” was  unsuccessful, adding that neither the project design nor the implementation  arrangements have any relevance for future projects.12 Future Bank projects on DRM in  Romania have adopted a Series of Projects approach where different sectors are covered  by separate projects.13   2.23 Despite the project’s reliance on best practice there were no natural synergies  between several project components. Remediation of toxic substances from mining  operations does not complement retrofitting of buildings, especially when different  ministries were responsible for these tasks. Representatives from the Ministry of Finance  noted that it was “extremely difficult” to coordinate the public agencies’ implementation  of the project. To succeed, a multisector approach for risk reduction requires strong  government mandate and leadership and the coordinating entity’s commitment, which  were not present in this case.  6   2.24 The design reflected a decision to fund only structural retrofits but not buildings’  return to functionality. The latter task involved such things as restoring electricity,  plumbing, heating, and air conditioning and updating or installing elevators and  lighting fixtures and, in the case of hospitals, ensuring that they met the newly  applicable standards of the EU. Restoring functionally was typically much more  expensive than the retrofitting, and the tasks required compatible architectural and  engineering designs. Perhaps most important, the decision to fund only the retrofitting  was not sufficiently communicated to key stakeholders or building owners until after  they had agreed to have their buildings retrofitted.  2.25 Relevance of the original and restructured design is rated as modest.  3. Implementation Planned versus Actual Expenditure by Component 3.1 The loan was approved for $150 million, of which 92 percent or $138.45 million  was disbursed. The GEF provided a grant of $7 million for Component D. The  government also allocated $46.66 million to the project, but its actual expenditures were  $35.9 million. The difference between planned and disbursed amounts shown in Table 1  resulted from fluctuations in exchange rates, the inability to commit all resources by the  project’s end, and the government’s request in December 2011 to cancel $6.68 million of  the loan.   Table 1: Project Cost by Component (in millions of $) Component Appraisal Actual Estimate Costs A – Strengthening of Emergency Management and Risk Financing 10.90 14.74 B – Earthquake Risk Reduction 71.20 56.49 C – Flood and Landslide Risk Reduction 101.09 99.31 D – Risk Reduction of Mining Accidents 15.25 4.29 E – Project Managementa 5.21 Total 203.65 174.83   Costs for project management are included in the actual costs of Components A – D.    a Implementation Experience 3.2 The loan and the GEF grant were appraised in January 2004 and approved in  May 2004. Both became effective on October 20, 2004. The original closing date was  December 31, 2009, but it was twice extended until June 30, 2012. The World Bank  acknowledged that the originally planned implementation period of 5.5 years was  7   unrealistic. The team that designed the project had recommended seven years, but a  decision was made to start with the shorter duration with the hope that it would instill a  sense of urgency and encourage rapid implementation. However, this did not occur.  3.3 At least two key events adversely affected the project’s implementation. First,  Romania’s membership in the EU shifted the government’s attention to its new  responsibilities and obligations as a member of the union and, in turn, the borrower’s  performance (see section 6.21). As an example, designs for retrofitting had to be  amended to comply with the EU’s standards, and this process delayed the project’s  implementation. No less important, membership encouraged the export of labor and  expertise but imported inflation. Accession to the EU permitted Romanians to move  freely to other EU countries in search of higher wages while the cost of labor and  construction within Romania increased by more than 20 percent after 2007.   3.4 Second, Romania experienced a severe financial crisis beginning in late 2008. In  an effort to improve management of public debt, the Ministry of Public Finance decided  that funds for the project would be advanced from the state budget and then reimbursed  from the loan beginning in 2009. Given the government’s financial constraints, the  ministry could not guarantee that it would be able to prefinance sufficient funds for the  project. The World Bank rated this risk as substantial.14 Although ministry staff disagree,  the new arrangement led to delays in the project’s implementation as well as uncertainty  about whether project activities would be funded and when.   3.5 The government also mandated that salaries of public employees be cut by as  much as 75 percent in early 2009.15 Further reductions in salaries were imposed when  the government accepted the terms of a Standby Arrangement for €18.5 billion from the  International Monetary Fund in March 2009. The reduced salaries devastated morale  among the PMUs and compromised their ability to fill the positions of those who left the  PMUs as a result of the salary reductions. This situation exacerbated a related problem,  namely understaffed PMUs that predated the economic crisis.  Safeguards Compliance 3.6 The World Bank initially applied four safeguards:  3.7 Environmental Assessment (Bank Operational Policy 4.01) as it would apply to  the construction works for Components B, C, and D. To implement the policy, the World  Bank reviewed and approved the government’s environmental assessments and  management plans for the three components. In addition, separate environmental plans  were developed and applied to individual construction contracts. The World Bank  monitored adherence to these plans as part of its ongoing supervision responsibilities.  8    Cultural Property (Bank Operational Policy 11.03) because some of the  buildings to be retrofitted to mitigate seismic risk under Component B were  historical monuments or culturally important.   Safety of Dams (Bank Operational Policy 4.37).   Projects in International Waters (Bank Operational Policy 7.50 and GEF  Operational Policy 7.50) for the prevention and remediation of spills of toxic  substances from mine sites under Component D.  3.8 The World Bank’s implementation support mission in mid‐2012 concluded that  “the overall status of [the] environmental program implemented…is considered  satisfactory, and all works were implemented in compliance with the local and [the]  Bank’s environmental safeguards.”16   3.9 During appraisal the government had confirmed that all construction works  would occur on publicly owned land, so it was not deemed necessary to apply the  World Bank’s policy on Involuntary Resettlement (Operational Policy 4.12). During  implementation, however, it became necessary to acquire some privately owned land for  construction works at three sites in early to mid‐2009.   3.10 A project restructuring, in August 2010, triggered operational policy 4.12 to  systematize treatment of any future land acquisition.17 The restructuring paper claimed  that the acquisition had occurred in accordance with Romanian law and consistent with  the World Bank’s operational policy.18 Despite this claim, the acquisition had occurred  without the World Bank’s review or prior knowledge, so some of the policy’s  requirements had not been applied. The policy requires a resettlement plan that has  been disclosed to the public in advance of land acquisition, but no plan had been  prepared or disclosed. The restructuring paper explained how the government had  addressed the resettlement to the land owners’ satisfaction and identified other sites  where the policy might apply.  Financial Management and Procurement 3.11 The project’s financial management was well and timely supervised. The project  was in compliance with the financial covenants included in the legal agreements  between the World Bank and the government. The PMUs had adequate internal  controls, including regular reconciliation of bank accounts and disbursement  summaries. Reports from independent auditors provided clean audit opinions, and no  internal control issues were identified.  3.12 The project’s success with procurement was mixed. There were many complex  contracts successfully consummated but there were also situations in which problems  9   existed with procurement. Several PMUs were understaffed, inadequately staffed for  procurement, and lacked relevant capacity.  3.13 There were also several instances of long delays in procurement due to the need  for multiple internal clearances within ministries and the PMUs’ inability to assess the  technical quality of some proposals for construction works. Other problems included  imprecise or unclear terms of reference in tender documents, with the procurement of a  contractor for the development of the EMIS as the best of several examples. Concerns  about procurement were evident throughout much of the project. The World Bank  identified procurement and contracting as the HRMEP’s “main challenge” in early  2007.19 Due to the slow rate of procurements and disbursements and the World Bank’s  concern about “serious deficiencies” in procurement, the HRMEP was included in the  World Bank’s list of projects at risk.   3.14 In other instances contracts had to be terminated due to missed deadlines, flawed  designs for construction works, poor performance of contracted firms, or because of a  PMU’s inability to resolve differences of opinion with these firms. Examples of the latter  include contracts for the retrofitting of Iasu City Hall (Component B), a pilot study on  landslides (Component C), and for training on monitoring of mine wastes (Component  D).20   3.15 Some site supervisors for construction works were hired after the construction  they were expected to monitor had already begun. One PMU issued contracts with  completion dates after the end of the HRMEP, when no money would have been  available to pay the contracted firms. Another PMU issued contracts to consultants after  they had completed their work, an approach the World Bank forbids.  4. Achievement of the Objectives Objective: reducing the environmental, social, and economic vulnerability to natural disasters and catastrophic mining accidental spills 4.1 The project’s central assumption was that its interventions would reduce the  social, economic, and environmental vulnerabilities to natural disasters. Were these  outcomes achieved and, equally important, were the project’s resources allocated to sites  with “high public benefit,” as the PAD claimed would be the case?21 The sections that  follow address this question, but do so in the context of two fundamental concerns. First,  the project did not have a clear causal theory of what it means to reduce the  vulnerabilities associated with floods, landslides, and earthquakes. Second, none of the  10   PDO‐level indicators included measurable outcomes that depict the magnitude of the  expected reductions in the three vulnerabilities or for the number of people expected to  benefit from the project. Rather than outcomes causally linked to the PDO, the original  indicators and their targets shown in Appendix D reflect outputs and supply‐side  deliverables (e.g., number of buildings retrofitted). Of the eight original targets for  outputs, only three were fully achieved when the project closed. As a result of the two  concerns, assessment of the project’s efficacy is based on the summed achievement of the  project’s interventions.  Reducing Social and Economic Vulnerability through the Establishment of an EMIS and  Catastrophe Risk Insurance  4.2 An effective EMIS that provides information on disaster risk to the end‐user in  a timely way is critically important to reduce social and economic vulnerabilities and  to respond to disasters when they occur. The project’s efforts to create an effective EMIS  have not been fully successful. There is a limited evidence that it has improved  responses in the aftermath of natural disasters (notably floods) or have had positive  long‐term effects by “providing a range of tangible outcomes, including avoided loss of  life, property and livelihood,” as the PAD had forecast.22 A contract for the development  of an EMIS, which was the project’s only effort to strengthen emergency management  related to floods, landslides, and earthquakes, was issued in May 2008.23 The World  Bank had projected that final acceptance of what would become the Sistemul de  Management Informaţional pentru Situaţii de Urgenţă (SMISU) would occur in 2013 –  after the project closed. This optimism was unjustified. After multiple delays, problems  with the software, disagreements with the contractor, and a legal challenge involving  allegations of flawed procurement, SMISU gained final acceptance from the General  Inspectorate for Emergency Situations (GIES) in September 2017.   4.3 The system was described as difficult to operate, user unfriendly, not  particularly helpful during a flood, unduly burdensome in terms of entering data, and  requiring constant updating of information. Among the county inspectorates for  emergency services visited for this review, including three that had experienced  flooding in 2018, there was agreement that SMISU is not contributing to or enhancing  management of emergency responses at the local or county level. As multiple  respondents observed, and which the GIES and the system’s developer agreed, much of  the SMISU‐related hardware is outdated, close to obsolescence, and nearly incapable of  performing its intended functions. The counties’ computer operating system, Microsoft  Vista, is similarly outdated. Microsoft stopped retail sales of Vista in 2010 and stopped  providing bug fixes and security updates in April 2017. These problems do not reflect  flaws in the system’s design but rather a decision not to invest resources to ensure the  system’s continued functional viability after the project closed.    11   4.4 Some training was provided to SMISU’s users in 2011, but no agency, including  GIES, now provides any training on a system that is considerably different than the one  initially created. Furthermore, with the exception of the GIES, which is part of the  Ministry of Internal Affairs, other key ministries only occasionally add or update their  data for SMISU. This is unfortunate. The system was intended to promote information  sharing among ministries. In contrast, GIES is using the system to collect and aggregate  data on the damages that disasters cause.  4.5 In October 2018 GIES conducted a mock exercise, which simulated an earthquake  of 7.5 magnitude in Bucharest. According to the GIES, SMISU was not used during the  exercise, perhaps because of its limitations and because not all the government agencies  involved in the simulation are familiar with the system.  4.6 A catastrophe insurance program was established with the project’s support,  but the program’s low penetration has only a small effect on reducing the social and  economic vulnerabilities associated with the covered perils. A private‐sector Pool  against Natural Catastrophes (PAID) was created in 2008 and issued its first policies in  2010. PAID provides coverage (for residences only) for damages suffered from  earthquakes, floods, and landslides. The insurance provides social as well as economic  benefits by using an insurance instrument to manage the risks that households face.  4.7 The coverage is legally mandated for all residences, but the actual penetration  rate was 19 percent in December 2018.24 Penetration tends to be higher in areas with new  construction and in Bucharest. Local authorities are responsible for enforcement but are  disinclined to act due to the unpopularity of enforcement. There is also a problem of  moral hazard. According to interviews with insurance experts and other stakeholders,  local or county governments, though legally prohibited, often indemnify victims of  natural disasters, including those without PAID insurance, financially or through the  donation of building materials.  4.8 PAID is financially sound and one of the most efficient insurance providers in  Romania.25  Interviews with staff at PAID revealed that the program has about €900  million in reinsurance, a solvency ratio well about the average for insurance companies  in Romania, has never had a year in which payouts exceeded the program’s income, and  its average claim is about €1,000.26   4.9 If homeowners should bear some or even all financial responsibility for their  homes and address that responsibility though insurance, then PAID provides an  inexpensive way to do so. Depending on the type of building materials used, premiums  are either €10 or €20 per year. There is no deductible and damages are covered up to  12   €20,000. As penetration rates increase, PAID can assume much of the financial burden of  disasters while decreasing the government’s fiscal exposure to them.   4.10 This fiscal exposure may lead to a perverse incentive. The World Bank approved  a €400 million Catastrophe Deferred Drawdown Option (Cat DDO) for Romania in 2018.  The Cat DDO is a contingent financing line that provides immediate liquidity to address  shocks related to natural disasters or health‐related emergencies. The government can  use the financing in any way it chooses, including indemnification of those suffering  damages from floods, landslides, or earthquakes.27 There was strong but mixed reaction  to the possible effects of the Cat DDO on PAID. PAID and some Bank staff raised  concerns that the Cat DDO enables the government to indemnify private disaster losses  with the consequence that the incentive for homeowners to insure their own losses  through PAID could be undermined. Other Bank staff correctly noted that if this  incentive is present, then it existed before the introduction of the Cat‐DDO. Moreover,  the fiscal discipline of a government to ensure homeowners have insurance and are not  awaiting government support for rebuilding or reconstruction is rare in any country  regardless of whether a Cat‐DDO is in place. PAID does not provide any coverage for  public buildings so the government bears a substantial financial risk in the event of a  major earthquake. The Cat DDO can mitigate at least some of this risk.  4.11 An earthquake scenario for the 16‐county Vrancea seismic zone was  completed, but its contribution to reducing social and economic vulnerabilities is  uncertain. The scenario was intended to model potential damages to residential,  commercial, industrial, and public buildings from the zone’s maximum probable  earthquake. In addition, the scenario formed the basis for the development of revised  response plans in the event of an earthquake. The World Bank’s implementation and  results report (ICR) claimed that the scenario would be transferred to PAID for its risk  modeling. This transfer did not occur. PAID was informed that transferring a  government‐owned resource for the economic benefit of a private entity is not legally  possible. For the same reason the scenario was not shared with Romania’s academic  experts on earthquakes who could use it for teaching and research.  Reducing Social, Economic, and Environmental Vulnerability by Addressing Earthquake Risk  Reduction   4.12 The project’s retrofitting of public buildings moderately reduced the social,  economic, and environmental vulnerability to damage from earthquakes. Among the  buildings that were retrofitted, not all were essential for Romania’s social functioning, as  the PAD had indicated.  13   4.13 Over the life of the project the number of buildings to be retrofitted changed  frequently. The government had initially identified 84 structures to be retrofitted with  project funds; the project was partially successful in achieving this objective.28 By mid‐ 2011, however, 36 buildings had been withdrawn at the owners’ request for several  reasons or as a result of the PMU’s reprioritization and slow performance. After these  changes the net result was that 48 public structures were supposed to be retrofitted; 44  were eventually retrofitted including eight completed after the project’s closure with  government funding. The 44 included 17 emergency and disaster response facilities, 14  hospitals, 10 educational facilities, and 3 buildings categorized as essential public  buildings. About 23,350 people working in these buildings were protected.   4.14 The World Bank had identified four criteria to rank buildings to be retrofitted:  criticality to response and recovery operations; safety and higher risk for the population;  cost effectiveness or benefit‐cost analysis; and, feasibility and appropriateness of the  retrofit measures. The actual selection process did not consistently apply these criteria.  Buildings to be retrofitted would be, according to the World Bank, “critical public  facilities” that have “a paramount role in the emergency response and preparedness  system and those that are essential for the country’s social functioning.”29 Several  respondents noted in interviews, however, that some buildings were selected on the  basis of political favoritism and thus did not fully adhere to the selection criteria. In  addition, some occupants were unsure why their buildings had been selected for seismic  retrofitting, thus suggesting that their buildings may not have been essential to recovery  and response.  4.15 The headquarters of the GIES in Bucharest (which coordinates postdisaster  emergency response) was one site about which there was no disagreement about its  urgent need for retrofitting. The building is seismically vulnerable and was to be the  core location of the SMISU. The headquarters was not retrofitted before the HRMEP  closed, so the building was dropped from the project.30 Staff at GIES indicated that  retrofitting was expected to begin in 2019 with financing from the National Investment  Company (under the Ministry of Regional Development).  4.16 The project’s approach of covering only structural retrofits but not the costs of  returning buildings to full functionality weakened efforts to retrofit critical public  facilities.31 The government’s preference was to use the loan to finance the retrofitting of  buildings but to use its annual budgetary resources for financing the buildings’ return to  functionality. This separation, the government believed, would allow it to keep the latter  costs under strict control and maximize the use of the loan’s resources for retrofitting.    4.17 The government first signed memoranda of understanding with the buildings’  owners, which were not necessarily the same as the occupants as in the case of hospitals.  14   Only upon completion of the memoranda, according to several respondents, were the  buildings’ owners or occupants informed that they would be responsible for obtaining  the funds to cover the buildings’ return to functionality. The process of obtaining  cofinancing was rarely prompt or efficient. The “extra” funds typically comprised as  much as 50 percent or more of the total costs, and the PMU did not have control over the  cofinancing or its sources.   4.18 The World Bank had initially declared that the loan’s resources could not be used  to retrofit a building unless there was a binding commitment of resources to cover the  functionality‐related costs of construction and equipment. Given the delays and  challenges in obtaining funding for the functionality‐related costs the World Bank  subsequently offered to amend the loan to cover the costs of return to functionality.  Doing so would have eased the ability to follow selection criteria and to target the most  critical buildings but would have reduced the funds available for retrofitting and thus  the number of buildings to be retrofitted. The PMU rejected this option; the number of  buildings retrofitted was deemed to be important in terms of meeting the project’s  targets for Component B. Instead, a compromise was implemented in which the World  Bank and PMU agreed that the loan could be used to finance the functionality‐related  design costs but not their implementation.  4.19 The consequence of not using the project to cover return to functionality was that  the targeting criteria were compromised. Selection of buildings for retrofit was made  substantially because of the availability of financing for the return to functionality.   High‐priority buildings based on the criteria would not be retrofitted unless funds were  also available for the cost of returning them to full functionality, and this was not always  present. The low quality of many functionality‐related designs, which were beyond the  World Bank’s control, also affected the selection process as well as the costs of the  construction.   4.20 Among the original list of 84 public buildings to be retrofitted, the World Bank  had estimated that there were as many as 30 separate owners. To address the likely  complexity associated with multiple owners, the World Bank and the government  agreed to bring the targeted public buildings under the temporary authority of a single  ministry during their retrofitting. This innovative approach had mixed results. On the  one hand, a single ministry (and its PMU for Component B) would be able to manage  the retrofitting. On the other hand, having multiple owners increased the number of  ministries, agencies, and local or county governments with which the PMU needed to  collaborate. The situation also created the possibility that the contracted firms for each of  the two tasks – the retrofitting and the return to functionality – would be managed  separately. In the belief that it would be inefficient to have separate project managers for  each task, the World Bank and the government agreed that the PMU would manage  15   both tasks, thus increasing substantially the PMU’s workload without a commensurate  increase in the size of its staff.  4.21 In several instances, a building’s permanent owners or occupants did not  themselves have sufficient resources for the functionality‐related costs and thus had to  request funds from a ministry or their local governments, several of which had no other  involvement with the project. Other owners were unable to provide all the funding  required for the costs of returning their buildings to full functionality. Near the project’s  closing the World Bank reported that the owners of two buildings requested that  contracts be halted – after the retrofitting had been completed – because they lacked the  money to complete the rehabilitation.32  4.22 The project facilitated and promoted introduction of innovative and cost‐ effective methods for seismic retrofitting through review and revision of the country’s  building codes for construction of new and retrofitting of existing buildings to meet the  EU’s requirements. The project also supported the piloting of the new retrofitting  methods. As the World Bank noted, however, “the implementation of new methods for  seismic retrofitting failed because of the poor performance of consultants and delays in  preparation of the designs falling beyond the project timeframe.”33 The project included  resources to fund professional training in cost‐effective retrofitting methods “as soon as  practical after funding is approved” that would lead to certification that academic  institutions would recognize.34 The firm hired to develop the training materials was  scheduled to deliver them two days before the project closed, but a lengthy, unresolved  dispute between the firm and the PMU meant that neither the training nor a proposed  study tour occurred. This situation thus represented a missed opportunity to enhance  Romania’s capacity, including that in the private sector, to mitigate seismic risks after  the project’s end. The World Bank’s postproject review concluded that “the benefits of  capacity building under this component could not be identified.”  Reducing the Social, Economic, and Environmental Vulnerabilities Associated with Floods  4.23 More than 43,500 people benefited from flood protection measures at 10  locations (versus the 12 locations originally proposed) but not all priority locations  identified during appraisal benefitted from the project.  4.24 The World Bank’s postproject assertion that people covered by protection works  were no longer at risk of damage from floods was overstated; protective measures are  never completely effective.35  4.25 Like the retrofitting of buildings described above, two high priority areas for  flood protection did not benefit from the project. As an illustration, Babadag had been  16   identified as a site with a high vulnerability to floods at appraisal. A design was  developed for the site, but the project did not fund any construction there.    4.26 Fifty‐five large, publicly owned dams had been identified at appraisal as being  unsafe and in need of rehabilitation. Of these the project intended to rehabilitate eight  large dams (plus five small dams). Four large and three small dams were rehabilitated  and provided protection for almost 223,000 people, a notable achievement.  4.27 Upon completion of the rehabilitation of the seven dams each should have been  issued licenses for their full operation. Work on the Dridu dam was finished in 2012, but  the dam had not received final certification as of November 2018 due possibly to  concerns about some unfinished work for which there is no clear solution.  4.28 Six dams were dropped from financing because the loan amount proved  insufficient due to the government’s initial underestimation of costs in feasibility  studies. This situation required a restart of the design process that produced new  estimates leading to a doubling of the costs of the dams on the priority list.36 This  situation highlights the problem of proceeding with the project without valid and  defensible feasibility studies (and parallels a similar situation with the problematic  designs for retrofitting of public buildings noted in section 6.11).  4.29 Designs or feasibility studies were completed for the rehabilitation of six dams,  but then not subsequently used. Several respondents noted that a large dam at high risk  of failure, at Lake Siriu, was more in need of attention than some of the dams that were  rehabilitated. In two instances feasibility studies were deemed to be deficient but neither  dam had been rehabilitated through 2018 despite having been identified as in need of  immediate rehabilitation in 2004. The World Bank had wanted to increase the size of the  loan to permit completion of the rehabilitation but the government declined. It did not  want to incur more debt.   4.30 The pilot studies on landslides were not completed and did not produce any  meaningful benefits or reduce any vulnerabilities. The studies were intended to develop  mathematical models to determine the conditions under which landslides might occur  and a manual on monitoring and interpreting data collected from two pilot sites. The  studies were not completed and no tangible results were produced due to the contracted  firm’s unacceptable performance and the PMU’s poor management.  4.31 Monitoring equipment had been installed at Sinaia, an urban site, and on the  right bank of the Sacele dam. In October 2018, however, there was no ongoing  monitoring at Sinaia. As Sacele, the monitoring continued sporadically due to problems  with the equipment. More important, even when the monitoring is operational, its value  17   is minimal. No public employees at the dam have been trained to analyze the data or to  assess their implications for possible landslides that could damage the dam.   4.32 A draft manual for monitoring landslides was prepared but not submitted to  project staff until one day before the project’s closing. The manual had not been  completed as of late 2018. International training on landslide forecasting was supposed  to be provided to Romanian researchers, but that training did not occur due to the  problems with the contracted firm mentioned above.   Reducing the Social, Economic, and Environmental Vulnerabilities Associated with Mining  Accidents in the Tisza Basin  4.33 The GEF’s global environmental objective was to demonstrate and provide for  replication for the reduction of catastrophic accidental spills of transboundary pollution  loads from mine operations flowing into the Danube and Black Sea Basins. The project’s  primary means to achieve this objective was remediation and hazard prevention  interventions at high‐priority, government‐owned mining sites.   4.34 This was the project’s smallest component, using less than 2.5 percent of the  project’s resources. With these resources the component had several successes. At the  project’s completion six remediated sites (versus three that had been projected) had  ceased to be a significant environmental risks, emissions of contaminated dust were  reduced, surface runoff, and groundwater infiltration had been terminated, and levels of  toxic pollutants from mine spills entering the Danube River and Black Sea had declined.37   4.35 These achievements represent a significant success, but the postproject situation  is not as compelling. At remediated sites where monitoring equipment was placed, some  of it has been damaged or stolen since 2012. The project provided extensive training  intended to build capacity, but the training’s benefits and consequences remain  uncertain. There was no effort to evaluate its success. Finally, one of the component’s  objectives was to promote transboundary cooperation. The project sponsored multiple  international events and meetings, but there does not appear to be any sustained long‐ term transboundary cooperation due to the project according to those interviewed for  this assessment.  Summarizing the Outcomes Achieved  4.36 When the project ended in mid‐2012, the World Bank’s and the government’s  attention to the project’s objectives had diminished. Many public buildings essential to  emergency planning and response and that had been identified as priority candidates  for retrofitting remained in their at‐risk condition. The same situation exists with several  dams. Although much remained to be done, no follow‐up projects were planned at  18   closure. Several ministries had expressed some interest, but they did not pursue this  interest with the Ministry of Finance.38   4.37 In terms of outcomes achieved related to efforts to reduce the vulnerabilities  associated with floods, landslides, and earthquakes, the rating for efficacy is modest. In  accordance with IEG practice, no rating is assigned to the GEF’s global environmental  objective to reduce pollution from accidental mine spills.  5. Efficiency 5.1 The PAD’s postproject economic analysis focused solely on the projected  benefits of investments in the reduction of flood risks and the safety of dams, which  represented 57 percent of the project’s expenditures. The analysis estimated the  average internal rates of return (IRR) for the flood‐control projects to be 19.4 percent,  which was less than the 28.8 percent projected at appraisal. For the investments related  to dam safety, the IRR was estimated to be 22.4 percent versus the 26.5 percent estimated  at appraisal. For the flood‐protection and dam‐safety measures the estimated end‐of‐ project benefit‐cost ratios were 2.15 and 3.60, respectively.39 The analyses did not  estimate the value of human life or explain how monetary values were determined or  assigned for any of the projected costs or benefits.  5.2 Neither the economic analysis at appraisal nor in the ICR considered or justified  economically any of the investments associated with Components A, B, or D. In the case  of the seismic retrofitting, the original selection of buildings was based partially on the  government’s estimates of cost effectiveness or benefit‐cost analysis.40 For component D,  the PAD observed that the project would “institutionalize a consistent risk management  approach to identify cost‐effective risk reduction measures…, so available resources can  be channeled to those measures with the highest benefits.”41   5.3 There were six high‐priority dams for which designs or feasibility studies were  completed at a cost of several hundred thousand dollars but then not turned into  contracts for the designed work. None of these costs were included in the economic  analysis. The analysis prematurely calculated the benefit‐cost ratio for the rehabilitation  of a small dam at Sanmihaiu, but most of the required work had not been completed by  the project’s end (or by late 2018).  5.4 Several numbers used in the ex post economic analysis do not correspond with  the numbers in the preproject social assessment or the actual, contracted costs of  rehabilitation. The World Bank (and the economic analysis included in the ICR)  estimated that there would be nearly 108,000 beneficiaries from the rehabilitation of that  dam. At the project’s closing the PMU estimated that number to be less than 31,000.   19   5.5 To assess the sustainability of the HRMEP’s investments, a preproject social  assessment declared that a baseline survey of the income and employment situation in  the project areas “shall be carried out for all subprojects” at the HRMEP’s beginning,  midpoint, after implementation. None of these surveys were initiated.  5.6 The project’s administrative efficiency in implementing the project cannot be  assessed. Project management costs had been estimated to be $5.21 million including  $3.14 million from the loan, but the four PMUs did not individually track their actual  costs for implementing their components.42   5.7 The rating for efficiency is modest due to the absence of analysis on the costs and  benefits associated with Components A, B, and D and the discrepancies in the data used  in the economic analysis for Component C.  6. Ratings Outcome 6.1 The project’s development objective was relevant to country conditions, to the  government’s strategies at appraisal, and to the World Bank’s CAS in effect when the  project started. Although the project remained relevant to country conditions during its  implementation, the relevance to the World Bank’s and the government’s priorities  diminished considerably soon after the project started (see section 2.6).  6.2 Despite a weak and overly complex project design, the project financed several  outputs that modestly contributed to the reduction of disaster‐related vulnerabilities.  These included the seismic retrofitting of 44 public buildings, flood protection measures  at 10 sites, and the rehabilitation of 7 dams at risk of failure.  6.3 Efficacy was undermined because the project did not consistently target sites  with the greatest vulnerabilities. Measurement was also a challenge. The project did not  include outcome indicators that could causally connect the outputs to the objective of  reduced vulnerability. Critical technical capacity building was not achieved as  evidenced by the lack of application of the EMIS. The project did mitigate risks related to  toxic pollutants from mine spills entering the Danube River and the Black Sea. The latter  was achieved at a much lower cost than had been anticipated. The project also  contributed to the creation of a low‐cost insurance scheme to cover losses due to  Romania’s most common natural disasters. Penetration rates are lower than desired, but  this is not an outcome for which the World Bank bears responsibility.  20   6.4 The project’s efficiency is uncertain due to questions about the validity of the  data used and the World Bank’s decision not to conduct any economic analysis of three  project components.  6.5 Overall, the project’s outcome is rated as moderately unsatisfactory.  Risk to Development Outcome 6.6 The EMIS remains largely unused; it has yet to serve well the purposes for which  it is intended. Furthermore, the lack of follow‐on training on the system, its aging  equipment, and its outdated software imperil the system’s value.  6.7 PAID, the catastrophe risk insurance, covers less than one in five households.  Concern exists about its continued viability in the face of the Cat DDO, which the World  Bank provided in 2018. PAID helps to reduce the government’s contingent liability by  transferring highly concentrated catastrophe risk to the international reinsurance and  capital markets and, in turn, reduces Romania’s economic vulnerabilities. Some Bank  staff argue that the Cat DDO does the opposite; it retains this risk within Romania while  ignoring the willingness of international reinsurance markets to accept the risk.  6.8 The PAD had stated that the project would enhance the government’s  institutional capacity to be better prepared for natural disasters. At appraisal the World  Bank had also predicted that the existing level of scientific and technical expertise in  Romania provided assurance that the project’s benefits would not only be sustained but  further advanced in the future.43 Despite these claims, the World Bank concluded in 2018  that the current policy, legal, institutional environment is exacerbating the losses  associated with natural disasters. The World Bank further noted persistent  underfunding for flood protection and a lack of investment in seismic risk reduction in  the building sector.44 Many of the problems identified in 2004 thus remain. There is also  little evidence that the institutional capacity and knowledge the government gained  during the project has benefitted the private sector’s capacity for emergency  preparedness or response in the event of an earthquake.45  6.9 The risk to development outcome is rated as significant.   Bank Performance Quality at Entry 6.10 Suitable specialists were involved in the project’s preparation, and they were  provided with adequate resources in terms of budget and time. When the project began  its task team leader was based in Washington but soon changed to a well‐respected  Romanian staff member based in Bucharest. This was a positive development in terms of  21   the HRMEP’s day‐to‐day management and fortuitous as well because this team leader  remained with the project until its completion in 2012.  6.11 The World Bank overestimated the project’s readiness for implementation. The  World Bank asserted at appraisal that completed designs were available for the  retrofitting of 23 public buildings. In contrast, the World Bank concluded that only one  incomplete design existed when the project started.46 The cost of the construction works  and the time needed for completion of several tasks was significantly underestimated.  The World Bank projected that all the tasks associated with Component A would be  completed within three and one‐half years, after which time the PMU would cease  operations.47 When the project ended after almost eight years (and after two extensions)  the PMU was still in operation and not all of its tasks had been completed.   6.12 The project’s multihazard approach added complexity, caused project funds to  be spread too thinly across more than 60 project sites, and created a complex  implementation structure. Four PMUs were deemed necessary to match the  organizational responsibilities of the four ministries involved with the project.  6.13 An overly detailed projected budget did not appropriately allocate resources  among the four components. One Bank official deemed the loan’s disbursement  schedule to be “extremely and unusually fragmented.” The actual expenditure for  reducing the risks of mining accidents in the Tisza Basin were about 70 percent lower  than had been projected due to overestimation of the costs and the withdrawal of a high‐ risk site from the project when it was transferred to private ownership.48 The costs for  strengthening emergency management were 35 percent higher than had been projected  due to a miscalculation of the time needed to achieve its objectives and the higher‐than‐ expected costs for completing the EMIS. Reallocating resources was cumbersome, time  consuming, and required cabinet‐level approval as well as four restructurings of the  project.    6.14 The quality at entry is rated as moderately unsatisfactory.  Quality of Supervision 6.15 Over the life of the project the World Bank completed more than 20 supervision  missions to review the status of the project’s implementation and its financial  management and to identify issues that needed the government’s or the PMUs’  attention. The missions typically led to lengthy summary reports on the status of all  project activities. A midterm review was completed in late 2007.  6.16 The reports were comprehensive and candid about the project’s strengths and  weaknesses, especially the latter during the HRMEP’s early and middle years. As  22   already discussed, the project encountered multiple delays, problems with procurement,  understaffing of the PMUs, and situations in which agreed‐criteria for construction  works were not followed. Each of these situations provided opportunities for  supervisory proactivity. That trait was not always apparent. There is limited evidence  that Romania’s membership in the EU caused the World Bank to reconsider the project’s  approaches, its objectives, or the government’s alternative sources of funding.  6.17 Through the project’s first third (or 24 months), less than 4 percent of the loan  had been disbursed (and less than 8 percent at the project’s original midpoint). An  extension of the project’s completion date appeared unavoidable as early as 2006, but the  first of two extensions was not initiated until 2009.49 The first reallocation of resources  did not occur until December 2010 (see section 2.15), but the need for reallocation had  been identified less than six months after the project began. The PMUs were continually  understaffed. The World Bank often informed the government of this concern but was  seemingly unsuccessful in obtaining the desired results.  6.18 The World Bank rated the project’s implementation as “moderately  unsatisfactory” in mid‐2006. In the World Bank’s judgment, a project is at risk when a  rating is less than “moderately satisfactory.”50 Proactive supervision is essential in such  instances. The World Bank’s increased supervision was only partially successful.  Problems with procurement and contract management were persistent, but the World  Bank’s supervision was not completely successful in addressing this problem. Likewise,  the World Bank was not successful in its efforts to ensure effective coordination among  the four PMUs in terms of monitoring and evaluation (M&E) (see section 6.33).   6.19 Once the project ended the World Bank had no further role in ensuring or  overseeing completion of the retrofitting of eight buildings for which work had started  but left unfinished during the project. The same situation existed for several dams and  for the EMIS.   6.20 The Bank’s quality of supervision is rated as moderately unsatisfactory as is the  overall rating for Bank performance.  Borrower Performance Government Performance 6.21 The government strongly supported the project during preparation. The project  became less of a priority as the country moved toward membership in the EU. Evidence  of the transition’s effects was reflected in lack of attention to timely resolution of critical  issues and insufficient funding, support, and supervision by responsible officials as well  23   as diminished interest in Bank financing. These circumstances created problems for the  project’s timely implementation.  6.22  The government agreed to establish a project steering committee with  representatives of the key ministries as a condition of the loan’s effectiveness. It would  oversee the project’s implementation, ensure cooperation among the implementing  agencies, and resolve critical issues that might arise during implementation. The  government missed the deadline for establishing the committee. Once the committee  was established it rarely met in the project’s initial years. When the committee did meet,  it often limited its activities to hearing reports on the project’s implementation rather  than guiding and critiquing implementation.   6.23 The rating for government performance is moderately unsatisfactory.  Implementing Agency Performance 6.24 The key tasks included in the Component A – the EMIS, PAID, and the Vrancea  earthquake scenario – were not naturally related. This meant the staff expertise in one  area, such as catastrophe insurance, would likely be irrelevant to the oversight or  management of tasks related to the EMIS. Furthermore, there were no natural synergies  between the tasks in this component and the construction‐related tasks for retrofitting  buildings or the flood‐protection activities.  6.25 The PMU for Component B had to manage relations with multiple owners of the  public buildings to be retrofitted, explain to these owners the need for cofinancing for  returning the buildings to functionality, and then manage contracts of far greater value  than the World Bank had envisaged. The cost of returning buildings to full functionality  was, on average, about 50 percent more than the cost of retrofitting them.51  Understandably then, the owners or occupants of the buildings were entitled to their  opinions – and often expressed them – about how the PMU should manage the single  contracts that combined retrofitting and functionality. The PMU had insufficient  capacity to manage the dual‐function contracts. As one key respondent concluded,  managing such contracts was “horrible.”   6.26 The PMU for Component C was initially intended to be in the National  Administration Romanian Waters (NARW) (within the Ministry of Environment and  Water Management, which subsequently became the Ministry of Environment and  Forests). Dissatisfaction with the NARW’s lack of performance led the World Bank to  recommend that a PMU be relocated to the ministry, which it was. A PMU was then  created in mid‐2006. The new location did not solve all the problems. Two years later the  World Bank expressed concerns about flaws in the PMU’s procurement and poor  communications with World Bank staff.  24   6.27 The PMU for Component D was also challenged. Less than a year into the project  the World Bank deemed the component to be at risk due to the absence of any  management from the National Agency for Mineral Resources (NAMR). Inadequate  salaries and weak incentives discouraged suitable levels of productivity, but the NAMR  was unresponsive to the World Bank’s request that these issues be addressed.  Furthermore, the World Bank expressed concern about the PMU’s technical expertise  and poor and inadequate supervision of consultants.  6.28 The rating for implementing agency performance is moderately unsatisfactory  and moderately unsatisfactory for borrower performance.  Monitoring and Evaluation Design 6.29 Indicators were insufficient to demonstrate achievement of the project’s intended  outcomes, and the social/economic/environmental language from the PDO was not well  reflected in the selection of indicators.  6.30 The projectʹs M&E system included five outcome indicators for the PDO, two  outcome indicators for the GEF’s global objective, and ten intermediate outcome  indicators. The indicators were intended to monitor the implementation progress of each  component, but they did not suitably measure progress in reducing vulnerabilities to  natural disasters.   6.31 There were incomplete measures for some indicators. The first PDO‐level  indicator addressed the strengthening of institutional and technical capacity for  emergency management and response, but not a reduction in vulnerabilities. The target  was the installation of EMIS software and equipment at 23 sites.52 Providing software  and equipment is not equivalent to increasing capacity.  6.32 The PMU for Component B was assigned responsibility for overall coordination  and reporting, including consolidation of implementation progress reports from the  other three PMUs. The PAD noted that the four PMUs would hire monitoring and  evaluation specialists to conduct periodic reviews of the project’s social development  objectives to ensure that the objectives would be achieved.  Implementation 6.33 The four PMUs collected monitoring data as they were expected to do for each  component, including data on the status of implementation. Although the M&E‐related  efforts of the individual PMUs might have been sufficient, submissions of their  implementation progress reports to the PMU for Component B were often late or  25   inconsistent. The World Bank had recommended the creation of a joint M&E system  overarching the four PMUs. All the participating agencies agreed, but there was no  progress in implementing the system so the idea was dropped.   Use 6.34 The project’s M&E influenced decisions about the reassessment of priority sites  for construction works and the selection of new sites.   6.35 The rating for M&E is modest.   7. Lessons 7.1 Depending on multiple, functionally independent implementing agencies for  multisector projects can increase complexity without providing commensurate  benefits. Responsibility for reducing the identified vulnerabilities was divided among  four PMUs, each of which was in a different agency or ministry. There were few reasons  for collaboration among them. The project’s design was unduly complex and provided  few discernible benefits for the project’s implementation.    7.2 Multisectoral, multihazard efforts to reduce vulnerability to disasters may not  offer synergies or economies of scope in the absence of clear logical links between  activities and incentives for coordination by the institutions responsible for them. The  project was unsuccessful in demonstrating the advantages of these efforts in Romania  and did not achieve efficiencies in implementation that had been expected at appraisal.   Subsequent disaster risk management projects in Romania are targeting one sector at a  time through a series of projects approach.  7.3 In a project designed to mitigate the risk of natural disasters, it is essential that  sites critical for vulnerability reduction are both properly identified and  systematically supported throughout the life of a project. Adjustments may be  necessary, but projects should ensure that selectivity criteria are respected. When criteria  for prioritizing sites are not followed, the result may be a suboptimal allocation of  project funds. The World Bank’s project appraisal stressed that the project would focus  on high‐priority measures and construction works capable of reducing social, economic,  and environmental vulnerabilities. Despite this aim, a portion of the project’s resources  were devoted to sites with lower risks.   7.4 When supporting structural retrofits, financing only the retrofitting and not  the cost of returning buildings to functionality is likely to lead to problems with  implementation. Separating the source of funds for retrofitting buildings from the funds  for the return to functionality was undesirable, especially because the distinction was  26   not clearly communicated upfront in the project appraisal document or to beneficiaries.  The result was that some high priority buildings were not retrofitted because their  owners were unable to cover the cost of return to functionality.  7.5 When there are opportunities to enhance a government’s capacity and to  increase institutional knowledge, these opportunities can usefully be extended to the  private and nonprofit sectors. Although the project had intended to enhance capacity in  the private sector, legal barriers limited the extent to which this occurred.  7.6 Emergency management information systems are most useful when matched  with the needs, capabilities, and technological capacity of intended users.  Development of the EMIS took far longer than had been anticipated, but the end result  has not fulfilled the needs of it intended users at the local or county level.  7.7 Economic analysis of individual construction works, as was the case with the  HRMEP, is insufficient and potentially misleading when the results are extrapolated  to the entire project without including all costs incurred during implementation. Had  these and other costs been included in the economic analysis, the calculated economic  benefits might not have been as large.                                                          2 PAD, p. 5.  3 Ministry of Environment and Water Management, Flood Management in Romania: Present and  Future, no date. Available at https://www.inbo‐ news.org/en/file/262113/download?token=_qdFXrlq  4 World Bank, HRMEP, Identification Mission, December 5‐21, 2001.  5 A tailings dam is used to store byproducts of mining operations. Waste‐dump facilities similarly  contain the toxic wastes of mining operations.  6 The IEG project evaluation methodology makes this clear: “Some PDO statements articulate  objectives (i.e. expected outcomes) but also include components or activities or outputs contributing to  those objectives, usually following statements such as “by means of,” “through,” or “by.” In this case, the  element whose achievement should be assessed is only the expected outcomes. Components, activities, and  outputs should be factored into the results chain analysis – in other words, they may help to demonstrate  the causal (or, at least, plausibly causal) relationship between the project’s interventions and achieved  outcomes.”  7 World Bank, Country Partnership Strategy, FY06‐FY09, May 16, 2006; Country Partnership Strategy  for the Period July 2009‐June 2013, June 12, 2009, p. 33 and Annex C, p. 13.  8 Bank projects must be restructured: (i) when a PDO is modified or there are changes in a  safeguard category (a Level One restructuring) or (ii) when there are any other project  modifications, such as a reallocation of resources, that do not change a project’s PDO (a Level  Two restructuring).  9 PAD, p. 16.  10 Ibid.    27                                                                                                                                                                  11 For example, the World Bank noted that the project would “support the ongoing structural  changes in emergency management in Romania ‐ especially the creation of effective linkages and  coordination between the key institutions involved in disaster management functions, both at the  central and local levels.” PAD, p 11.  12 Implementation Completion and Results Report (ICR) for the HRMEP, Report No. ICR 2384,  December 27, 2012, p. 10.  13 This approach means that there are individual PIUs for different sectors where the progress  against one project is not affected by lack of progress by another – and where the World Bank can  scale up its engagement slowly sector by sector.  14 World Bank, Restructuring Paper on a Proposed Project Restructuring of the HRMEP, Report No.  55569‐RO, August 24, 2010. Soon after the new procedure began the World Bank noted overdue  payments for completed work and nearly a year’s delay in the government’s‐decision making  about the scope, source of financing, and timetable of remaining project activities. World Bank,  Aide Memoire, Implementation Support Mission, May 5‐15, 2009.  15 Relatively high inflation also reduced the purchasing power of the compensation of the PMUs’  staff.  16 World Bank, Aide‐Memoire, Implementation Support Mission, May 21‐31, 2012.  17 World Bank, Restructuring Paper, August 24, 2010.  18 Ibid.  19 World Bank, Aide Memoire, Project Supervision Mission, January 22‐25, 2007.  20 These examples suggest that some consultants and contractors should never have been hired  but context is important here. The project did not always have a wide choice of possible  contractors. Several requests for expressions of interest drew either no responses or only one or  two responses. In at least four instances for Component B the tendering process had to be  repeated for these reasons. Firms that did respond to requests for expressions of interest were  occasionally unqualified. The World Bank also concluded that the PMU for the component had  insufficient capacity to handle its large portfolio of procurement and technical activities.  21 PAD, p. 8.  22 Ibid., p. 21. The PAD also observed that the emergency preparedness measures would reduce  “losses and damage to public and private assets occurring as [a] result of the catastrophic  events…”  23 The PAD described separate tasks for: (a) upgrading emergency communications at the  national, regional, and local levels and (b) development of an EMIS. When the project was  restructured in August 2010 these tasks were combined. The new task was the implementation of  a modernized management information system to integrate data management and voice  communications.  24 PAID website, https://www.paidromania.ro/harta‐pad. There were 1.7 million policies in force  as of December 21, 2018.  25 See The Romanian Journal, “PAID able to pay EUR 900 M in case of major disaster in Romania,”  June 20, 2017. The article noted that the rate of PAID’s total expenses was the lowest of all  insurance companies in Romania in 2016. Available at https://www.romaniajournal.ro/paid‐able‐ to‐pay‐eur‐900‐m‐in‐case‐of‐major‐disaster‐in‐romania/; See also Marius Dan Gavriletea,    28                                                                                                                                                                  “Catastrophe risk management in Romania and Transylvania’ specifics. Issues for national and  local administrations,” Economic Research Ekonomska Istraživanja, 30:1, 761‐776, 2017.  26 Interview with PAID staff, Bucharest, November 1, 2018.  27 The indemnification of private losses is commonly prohibited by law, but money is fungible.  Moreover, several respondents noted that local governments in Romania often use public  resources to indemnify private losses.  28 PAD, p. 52. Prior to appraisal, a government assessment had identified 1,100 schools, 128  university buildings, and 65 hospitals as being at risk of damage due to earthquakes. The 84  structures chosen for retrofitting thus represented only a small fraction of the buildings that  would benefit from retrofitting. PAD, p. 6.  29 Ibid., p. 8.  30 World Bank, Aide Memoire, Implementation Support Mission, October 25‐November 5, 2010.  The GIES building had legal problems of ownership that were not resolved until 2009.  Furthermore, the feasibility study and technical design for the retrofitting had been rejected at  review stage, and this triggered a technical dispute that lasted four years and required redesign.  New designs were available only in 2011, too late for procurement and implementation of the  retrofitting.  31 A World Bank supervision in June 2006 incorrectly declared that the project’s design had  “emphasized the need for beneficiary cofinancing to cover the works not eligible for project  financing.” World Bank, Aide Memoire, Supervision Mission, June 26‐30, 2006.  32 World Bank, Aide Memoire, Implementation Support Mission, November 9‐18, 2011.  33 World Bank, Aide Memoire, Implementation Support Mission, May 21‐31, 2012.  34 PAD, p. 55.  35 ICR for the HRMEP, Report No. ICR 2384, December 27, 2012, p. viii.  36 Designs or feasibility studies were completed for the rehabilitation of six dams, but then not  subsequently used.  37  World Bank, Implementation Status and Results Report, HRMEP, June 26, 2012.  38  This situation and the World Bank’s approach to DRM in Romania changed in 2018. The  World Bank provided a $60 million loan in that year for strengthening DRM in Romania.  Additional loans for DRM will follow. The loans will aim for a multisectoral approach but  recognize that coordination across ministries (or even agencies within a single ministry) is  problematic because of their distinct mandates. Hence the World Bank is using a series‐of‐ projects approach (rather than an approach that combines distinct hazards in a single project)  together with broad policy reforms and advisory services. The loans will rely on individual  project implementation units. This will avoid a situation in which progress in one project might  suffer from lack of progress in another. This approach will also allow the government to increase  its attention to DRM slowly sector by sector. The initial loan’s objective is to enhance the  resilience of critical disaster and emergency response facilities and to strengthen the institutional  capacities in investment planning for disaster risk reduction and climate change adaptation. The  project seeks to improve the seismic safety and disaster resilience of critical disaster and  emergency response buildings through investments in building infrastructure, structural  strengthening, and modernization. The project also seeks to enhance institutional capacity for    29                                                                                                                                                                  risk reduction and to accelerate risk reduction through improved understanding of disaster and  climate risks in Romania.  39 These benefits were calculated as avoided flood damage to assets over the life of the  construction works and were estimated using a loss‐probability function based on data collected  from the project area.  40 The World Bank’s identification mission in December 2001 stated that buildings would be  “retrofitted if proven economically justifiable.”    41 PAD, pp. 8 and 52 for Component B and p. 9 for Component D.  42 With the exception of a procurement specialist, the host agency financed the project  management costs for the PMU for Component C.    43 PAD, pp. 11 and 34.  44 World Bank, From Uneven Growth to Inclusive Development: Romania’s Path to Shared Prosperity,  2018, pp. 55, 61‐62.  45  Romania‐Insider.com, “40 Years after the Great Earthquake of 1977, Bucharest Is Not Prepared  to Withstand a Similar Event,” March 4, 2017. Available at https://www.romania‐insider.com/40‐ years‐after‐the‐great‐earthquake‐of‐1977‐bucharest‐is‐not‐prepared‐to‐withstand‐a‐similar‐event/  46 PAD, p. 52: the project will finance “the review of designs for about 23 objects for which  designs are already completed by international structural engineering consultant.” ICR, p.1:  “Detailed (but incomplete) designs existed only for one building; for all other construction  activities, only feasibility studies had been prepared.”  47 Ibid., p. 74.  48 The PAD had identified Rosia Poiani, the second largest copper mine in Europe, as a high‐risk,  high‐priority site requiring emergency action. The government requested that project‐funded  remediation activities be cancelled when a private investor restarted mining operations and  agreed to spend $50 million on remediation and environmental protection. World Bank, “Mid‐ Term Review Mission,” November 15‐December 7, 2007.  49 Extension of a project’s completion date is “considered a measure of proactivity on the task  team’s side when carried out in an appropriate and timely manner” (italics added). World Bank,  Investment Project Financing Implementation Support Guidance Note, 2013.  50 World Bank, Investment Project Financing Implementation Support Guidance Note, 2013.  51 World Bank, Aide Memoire, Implementation Support Mission, May 21‐31, 2012.   52 The value reported in the ICR was 48 sites. The system did not become fully available for the  counties’ use until early 2018.  30 Appendix A. Basic Data Sheet Hazard Risk Mitigation and Emergency Preparedness (IBRD‐47360l TF‐53472)   Table A.1. Key Project Data Actual or Current Actual as Percent Appraisal Estimate Estimate of Appraisal Financing ($, millions) ($, millions) Estimate Total project costs 203.65 174.83 85.8 Loan amount 150.00 138.45 92.3 Cofinancing (GEF grant) 7.00 5.88 84.0 Cancellation 6.68 Table A.2. Cumulative Estimated and Actual Disbursements Disbursements Fiscal Year Appraisal Estimate Actual Actual as percent of ($, millions) ($, millions) appraisal FY04 0.53 0.1 19% FY05 12.9 2.6 20% FY06 47.42 7.9 17% FY07 89.2 26.3 29% FY08 129.0 55.7 43% FY09 150 87.0 58% FY10 150 102.0 68% FY11 150 117.0 78% FY12 150 138.3 92% Table A.3. Project Dates Event  Original  Actual  Concept review  3/8/2002  3/8/2002  Negotiations  3/15/2004  3/15/2004  Board approval    5/20/2004  Signing    5/26/2004  Effectiveness  7/1/2004  10/20/2004  Closing date  12/31/2009   a 6/30/2012  a The Loan Agreement identified the expected closing date as June 30, 2009.       31     Table A.4. Staff Time and Cost World Bank Budget Only  Staff time  Costa  Stage of Project Cycle  (no. weeks)  ($, thousands)  Lending      FY04  37.20  182.33  Total  37.20  182.33  Supervision or ICR      FY05  23.88    73.68  FY06  31.32  109.12  FY07  46.43  134.68  FY08  41.70  188.22  FY09  29.91  119.50  FY10  32.25  139.28  FY11  26.02    87.31  FY12  13.85    67.78  Total  245.36  919.57  Note: ICR = Implementation Completion and Results Report.  a Including travel and consultant costs.  32 Appendix B. List of Persons Met World Bank staff  Tatiana Proskurakoya    Country Manager, Romania  Christoph Pusch  Practice Manager, Southeast Asia Climate Change  (and the first task team leader for the HRMEP)  Eugene Gurenko      Lead Financial Sector Specialist  Marcel Ionescu‐Heriou    Senior Urban Specialist  Alanna Simpson      Senior Disaster Risk Management Specialist  Elif Ayhan        Senior Disaster Risk Management Specialist  Vica Bogaerts        Senior Disaster Risk Management Specialist  Tafadzwa Dube      Disaster Risk Management Specialist    Public officials  Boni Florinela  Director General, International Financial Relations,  Ministry of Public Finance  Diana Blindu  Head of Division, International Financial Relations,  Ministry of Public Finance  Aura Tudor  Senior Advisor, International Financial Relations,  Ministry of Public Finance  Adelina Caracostea  Ministry of Internal Affairs (and former PMU  member, Component A, HRMEP)  Adrian Radescu      Ministry of Internal Affairs  Daniela Mihaila      Ministry of Internal Affairs  Damian Mihai  Deputy Inspector General, General Inspectorate for  Emergency Services  Petru Hurezanu  Logistic Specialist, General Inspectorate for  Emergency Services  Laura Chiscop  Procurement Expert, General Inspectorate for  Emergency Services  Bulea Virgil  Communication and Information Technology,  General Inspectorate for Emergency Services  Daniel Danaila  Head of National Dispatch, General Inspectorate  for Emergency Services  Dorel Dume  Deputy Adjacent General, Ministry of  Environment, Waters and Forests  33     Gheorghe Tuluc  Deputy Adjacent General, Ministry of  Environment, Waters and Forests  Beatrice Popescu  Ministry of Environment, Waters and Forests (and  former Director, PMU Component C, HRMEP)  Altan Abdulamit  Director, Flood Risk Management and Dam Safety  Directorate, Ministry of Environment, Waters and  Forests  Sorin Randasu  Director for Risk Management, Romanian Waters  Petrisor Mazilu  Romanian Waters  Egreta Bassi  Romanian Waters, Maneciu Dam  Bragos Barbu  Romanian Waters, Maneciu Dam  Gheorghe Bedreaga  Romanian Waters, Maneciu Dam  Roxana Adam  Romanian Waters, Maneciu Dam  Gheorghe Mocanu  Romanian Waters, Dridu Dam  Mariana Negroiu  Romanian Waters, Dridu Dam  Busca Madalin  Chief of Operational Unit, Inspectorate for  Emergency Situations, Teleorman County  Manea Pompiliu  First Deputy Chief, Inspectorate for Emergency  Situations, Teleorman County  Trifu Eugen  Adjunct, Inspectorate for Emergency Situations,  Teleorman County  Marian Zlatescu  Chief of Consolidation Works, Romanian Waters,  Teleorman County  David Valeriu Dan  Deputy Prime Adjutant, Inspectorate for  Emergency Situations, Brasov County  Riciu Cosmin  Deputy Chief, Operational Controls, Inspectorate  for Emergency Situations, Brasov County  Nan Stefan  Chief, Communications and Information  Technology, Inspectorate for Emergency Situations,  Brasov County  Pomirleanu Dorin  Chief Engineer, System of Water Management,  Romanian Waters, Brasov  George Spanu  Chief, Sacele Dam, Brasov County  Adrian Simtea  Chief Inspector, Inspectorate for Emergency  Situations, Covasna County  Borboly Bela‐Claudiu  Temporary Chief, Operational Center, Inspectorate  for Emergency Situations, Covasna County  Adrian Nastuta  Deputy Chief Inspector, Inspectorate for  Emergency Situations, Covasna County  34     Elisei Dumitru  First Deputy of Chief Inspector, Inspectorate for  Emergency Situations, Prahova County  Mascolu Alexandru  Adjunct Chief Inspector, Inspectorate for  Emergency Situations, Prahova County  Chivu Florin  Chief Deputy, Operational Center, Inspectorate for  Emergency Situations, Prahova County  Others  Gabriel Ionita        Task Team Leader, HRMEP  Stela Petrescu        Director, PMU Component B, HRMEP  Beatrice Popescu  Director, PMU Component C, HRMEP (and with  the Ministry of Environment, Waters and Forests  and former at the time of the review)  Anca Baciu        Director, PMU Component D, HRMEP  Radu Vacareanu      Rector, Technical University of Bucharest  Daniel Lungu  Professor, Technical University of Civil  Engineering  Marian Moiceanu      Rector, Ian Mincu University of Architecture  Horia Moldovan      Vice Rector, Ian Mincu University of Architecture  Christina Olga Gociman  Director, Urbanrisk National Research Project, Ian  Mincu University of Architecture  Sorina‐Georgiana Rusu  Head of Communications and Information Office,  Ian Mincu University of Architecture  Alexandru Gavozda  President, Ordinul Arhitectilor din Romania  Mariana Ionescu  International Relations Advisor, Ordinul  Arhitectilor din Romania  Eduard Mircea      Chief Engineer, Spitalul Grigore Alexandre SCU  Marian Rosoi  Director, Financial Control, Spitalul Clinic de  Urgenta Bagdasar‐Arseni  Ana Mares  Director, Nursing, Spitalul Clinic de Urgenta  Bagdasar‐Arseni  Julia Nicola  General Insurance Specialist, National Association of  Insurance and Reinsurance Companies in Romania   Flavius Baias  Dean, Faculty of Law, University of Bucharest  Anca Cont  Operations Director, S&T Romania  Victor Gradinescu  Solution Architect, S&T Romania  Dan Moraru  Software Developer, S&T Romania  George Constantin  Infrastructure Administrator, S&T Romania  Catalin Mititelu  Customer Service Team Lead, S&T Romania  35     Cojocaru Mihai  Team Lead, S&T Romania  Nicoleta Radu  Director General, PAID  Natalia Man  Deputy General Manager, PAID  Daniel McElhenny  National Preparedness Coordinator, U.S. Federal  Emergency Management Agency    36   Appendix C. Borrower Comments Regarding the Report of the Independent Evaluation Group, please have in view that we would ask for the re-evaluation of the ratings, meaning that we support the initial ratings of the project.     Please receive our best regards,     Boni Florinela CUCU General Director International Financial Relations General Directorate Ministry of Public Finance 37   Appendix D. PDO-level Indicators, Targets, and Values Achieved Strengthened institutional and technical capacity for emergency management and emergency response through upgrading communication and information systemsa Original Target, 2004 Revised Target Value, Value Reported, Value during PPAR October 2009 December 2012 mission, 2018 --Modernized --EMIS installed in 23 --EMIS software --System in place at 48 communication and central and local developed and the sites but not available information administration system is ready to be for use at county level management systems institutions involved in used in real mode at 48 until 2018. Practical are designed, procured, emergency sites after final value of the system at and implemented with a management. operational acceptance the county level in daily use, national --Program for in 2013, but see next doubt. coverage, and catastrophe insurance column. --Catastrophe risk sufficiently staffed of dwellings is --Technical work to insurance program --Conceptual and legal operational support drafting the (PAID) is operational, framework for the legislation and but penetration rate is catastrophe financial institutional building for lower than anticipated. risk transfer is the insurance program formulated and was completed. disseminated to key policy makers Increased earthquake risk mitigation with some key, prioritized public facilities retrofitted More than 80 high- Forty high-priority Seismic retrofitting of Seismic retrofitting of priority public facilities public facilities 44 public buildings 44 public buildings are retrofitted to a level retrofitted to protect completed (including 8 completed. Not all that allows for them from collapse in after project closure). these buildings are functioning after an case of a severe About 23,350 people essential for the earthquake of up to 7.5 earthquake. working in the buildings country’s social magnitude.  are protected. functioning. Increased level of protection against floods of population exposed to high risk of recurrent floods --Nine flood mitigation --Eight flood mitigation Construction works for Construction works for schemes are upgraded schemes upgraded or flood protection flood protection or rehabilitated rehabilitated completed at ten sites, completed at ten sites. --Three critical Danube --Two critical Danube including two along the Two hundred meters of River areas are River areas are Danube River. concrete wall at Slanic rehabilitated rehabilitated Protection against collapsed during flood floods provided to over in 2018. Reconstruction 43,500 people. required. Improved dam safety of the selected priority structures Eight large dams and Four large and three Work contracts for Dridu dam not fully five small dams are small dams are increasing the safety of certified as of late 2018. rehabilitated. rehabilitated to increase four large and three Project funded only safety. small dams completed. phase 1 work at Licenses for operation Sanmihaiu, which was at full capacity issued. about 30-40 percent of total work required. Work on phase 2 to begin in 2019. 38   Demonstrate and provide a model for replication for the reduction of the catastrophic accidental spills of transboundary pollution loads from mine operations flowing into the Danube and Black Sea --Gradual reduction in --No spills. --No spills from mines --no spills from mines number and negative --Significantly improved addressed in project. addressed with project impacts of mining safety of at least three --Remediation works at funds. Recurring accidental spills of high risk sites six sites completed. problems with pollutants [from publicly --Management and Sites no longer pose a monitoring equipment. owned mines] into the maintenance at level of significant Spillage accident at Tisza Basin and the best practice and environmental risk. publicly owned Bozanta volume of toxic releases internationally accepted --70 percent target mine in October 2017. from mines into the performance standards achieved. --Guidelines and Danube River. achieved for at least 70 --Seven guidelines for management in place --Improved factors of percent of the inventory tailings dams and waste but effectiveness safety in tailings of mine waste facilities. facilities developed. unknown. facilities and increased Emergency response standards in risk plans completed for awareness and seven types of sites. emergency preparedness Source: PAD Source: World Bank, Source: World Bank, Source: PPAR field Project Paper, October ICR, December 27, 2012. mission, 2018. 26, 2009 a The restructuring of the project in 2010 changed the last few words of the indicator to “…through upgrading the information systems.” 39