HAITI Port-au-Prince Neighborhood Housing Reconstruction Report No. 135543 MARCH 27, 2019 © 2019 International Bank for Reconstruction This work is a product of the staff of The World RIGHTS AND PERMISSIONS and Development / The World Bank Bank with external contributions. The findings, The material in this work is subject to copyright. 1818 H Street NW interpretations, and conclusions expressed in Because The World Bank encourages Washington DC 20433 this work do not necessarily reflect the views of dissemination of its knowledge, this work may be Telephone: 202-473-1000 The World Bank, its Board of Executive reproduced, in whole or in part, for Internet: www.worldbank.org Directors, or the governments they represent. noncommercial purposes as long as full attribution to this work is given. Attribution—Please cite the work as follows: The World Bank does not guarantee the World Bank. 2019. Haiti—Port-au-Prince accuracy of the data included in this work. The Any queries on rights and licenses, including Neighborhood Housing Reconstruction. boundaries, colors, denominations, and other subsidiary rights, should be addressed to Independent Evaluation Group, Project information shown on any map in this work do World Bank Publications, The World Bank Performance Assessment Report 135543. not imply any judgment on the part of The Group, 1818 H Street NW, Washington, DC Washington, DC: World Bank. World Bank concerning the legal status of any 20433, USA; fax: 202-522-2625; e-mail: territory or the endorsement or acceptance of pubrights@worldbank.org. such boundaries.     Report No.: 135543                Project Performance Assessment Report Haiti Port-au-Prince Neighborhood Housing Reconstruction   (TF 99644) March 27, 2019                   Financial, Private Sector, and Sustainable Development  Independent Evaluation Group      ii  Abbreviations and Acronyms  BMPAD    Bureau of Monetization of Development Aid Programs (Bureau de Monétisation  des Programmes d’Aide au Développement)  DRM      disaster risk management  EPPLS      Entreprise Publique de Promotion de Logements Sociaux  IDA      International Development Association  IDP      internally displaced person  IEG      Independent Evaluation Group  IFC      International Finance Corporation  PDO      Project Development Objective  PPAR      Project Performance Assessment Report  PREKAD    Port‐au‐Prince Neighborhood Housing Reconstruction Project  PRODEPUR  Urban Community‐Driven Development Project  NGO      nongovernmental organization  RSCG      rental support cash grant  UCLBP     Building Unit for Public Housing and Buildings ‐ Office of the Prime Minister  (Unité de Construction de Logements et de Bâtiments Publics)      Director‐General, Independent Evaluation  :  Ms. Alison Evans  Director, IEG Financial, Private Sector & Sustainable Development  :  Mr. José Cándido Carbajo Martínez  Manager, IEG Sustainable Development   :  Ms. Midori Makino  Task Manager  :  Mr. Stephen Hutton  iii  Contents Preface .................................................................................................................................................................. v Summary ............................................................................................................................................................. vi Project background and description .................................................................................................... vi What worked, and why? ........................................................................................................................... vi What didn’t work, and why? ................................................................................................................... vii Lessons ......................................................................................................................................................... viii Résumé ................................................................................................................................................................. x Contexte et description du projet .......................................................................................................... x Qu’est ce qui a marché, et pourquoi?.................................................................................................. xi Qu’est ce qui n’a pas marché, et pourquoi? ...................................................................................... xi Leçons ............................................................................................................................................................ xii 1. Project Background and Context ...........................................................................................................1 2. What worked, and Why? ...........................................................................................................................4 Design and Preparation ............................................................................................................................ 4 Implementation and Supervision............................................................................................................5 Results..............................................................................................................................................................8 3. What Didn’t Work, and Why? ............................................................................................................... 12 Design and Preparation ........................................................................................................................... 12 Implementation and Supervision.......................................................................................................... 14 Results............................................................................................................................................................ 15 4. Lessons.......................................................................................................................................................... 20 References ........................................................................................................................................................ 25 Table Table 1.1. World Bank Financing by Component, in millions of US$ ............................................... 4 This report was prepared by Stephen Hutton who assessed the project in July 2018. Joseph Irvins  Denis and Roseline Neree Desauguste provided technical assistance as local consultants. Murielle  Simon provided interpretation. The report was peer reviewed by Sheila Kamunyori and panel  reviewed by April Conelly. Jean‐Jacques Ahouansou and Richard Kraus provided administrative  support.    iv  Figure Figure 1. PREKAD Simplified Theory of Change ......................................................................................3 Appendixes Appendix A: Project ratings ....................................................................................................................... 27 Appendix B: Fiduciary and Safeguards Aspects ................................................................................. 40 Appendix C: Basic Project Information .................................................................................................. 42 Appendix D: PPAR Overview ..................................................................................................................... 44 Appendix E: Methods and Evidence ....................................................................................................... 46 Appendix F: List of Persons Interviewed ............................................................................................... 47     Preface This is a Project Performance Assessment Report (PPAR) by the Independent Evaluation  Group (IEG) of the World Bank Group on the Haiti Port‐au‐Prince Neighborhood  Housing Reconstruction Project (P125805), known as PREKAD. The project was selected  for a PPAR at the request of the Social, Urban, Rural and Resilience Global Practice to  draw lessons from a flagship disaster risk management project, to contribute to IEG’s  Urban Resilience evaluation, and as part IEG’s evaluation of disaster risk management  projects. The project was implemented jointly with additional financing for the Haiti  Urban Community‐Driven Development Project (PRODEPUR), known as PRODEPUR  Habitat. PRODEPUR is not covered in this evaluation since it included a range of  community‐driven development work prior to the 2010 earthquake unrelated to disaster  risk management. However, many of the report findings are also relevant to the  PRODEPUR Habitat Project.  The project was approved by the World Bank Regional Vice President on April 4, 2011  and closed on December 31, 2018, 18 months after the expected closing date. A  significant restructuring was approved by the World Bank Board in October 2012. The  project was financed with US$ 65 million from the Haiti Reconstruction Fund, a financial  intermediary fund where the World Bank is trustee and one of three implementers. The  Haiti Reconstruction Fund was established with contributions from bilateral donors.  This PPAR presents its findings and conclusions based on a review of the World Bank’s  project documentation, combined with a field mission to Haiti carried out in July 2018.  IEG conducted interviews with a range of different stakeholders linked to the program  including government officials, implementing agencies, World Bank staff, other  development partners, and civil society. IEG’s field mission was disrupted by civil  unrest following the announcement of fuel price increases on July 6, 2018 (see Appendix  E).   This report is a pilot effort to reform the structure of the PPAR. The pilot simplifies the  main text by focusing on messages of what worked and what did not, by covering other  issues in main text only if they were significant in this project, and by emphasizing the  learning function of the report rather than project ratings. However, accountability  elements are retained: project ratings and their justification are still present in the  Appendix, and these ratings are still based as in past on the IEG/OPCS harmonized  project evaluation guidelines, based on assessment against project objectives.  Following standard IEG procedure, copies of the draft PPAR was shared with relevant  Government officials for their review and comment, but no comments were received.  vi      Summary Project background and description Haiti is one of the poorest countries worldwide, and it has suffered from a long history of natural  disasters, compounded with high poverty, weak institutions, and political instability. A major  earthquake struck Haiti in January 2010, centered near the capital Port‐au‐Prince.  About 220,000  people were killed and 300,000 wounded. Damage to buildings and infrastructure was estimated  at US$ 7.8 billion, exceeding 100% of the country’s GDP. Over a million people were displaced  and settled in internally displaced persons (IDP) camps. Already weak government capacity was  further overwhelmed with the deaths of 16,000 staff members.  The international community provided financial and technical assistance for emergency  response. A humanitarian response was carried out, but the transition from an initial shelter  approach to recovery faltered, exacerbating an already substantial housing deficit.  The World Bank prepared the Haiti Neighborhood Housing Reconstruction Project (known in  Haiti as PREKAD) in response to requests from the Government of Haiti and the United States  government, who funded the project through the Haitian Reconstruction Facility. Channeling  funds through the Bank offered several advantages, including the ability to build on an existing  Bank‐financed urban community‐driven development project, the Bank’s prior engagements in  Haiti on disaster risk management, and the Bank’s role as the coordinating donor for the urban  sector, including housing.  The original project objective was “to help residents of selected Port‐au‐Prince Neighborhoods  severely affected by the Earthquake return to their communities by supporting them to repair  and/or reconstruct their houses and improving basic community service infrastructure”. The  project development objectives and design were later altered to add and/or return to improved  housing conditions to the statement, accompanied by the addition of a rental cash grant program.  The project was financed with US$ 65 million from the Haitian Reconstruction Fund, and   included support for debris removal and housing repair and reconstruction, the housing rental  cash grant, community infrastructure repair and improvements, and institutional capacity  support and studies.  What worked, and why? The project design and implementation included several successful features. The project  approach was relevant, as there was a critical need for interventions to support durable housing  solutions for displaced people. The project design was realistic given the extreme context, and  wisely included an integrated neighborhood approach combining support for both housing and  neighborhood infrastructure. The project’s implementation approach, combining oversight  through a government agency with on the ground implementation by NGOs, was a realistic and  effective way of delivering results in a challenging environment. Government agencies were  vii    unlikely to have sufficient capacity to directly implement large scale public works in the  aftermath of the earthquake, while NGOs had significant experience and capacity. However, the  direct costs of the implementation model were high, and there were some long‐run tradeoffs  from the NGO model in terms of missing opportunities for building government capacity and  legitimacy. Community outreach efforts were critical for supporting effective implementation.  The project adapted to changing circumstances and priorities to introduce a new mechanism, the  rental support cash grant.  Project restructurings also made substantial progress in addressing  weaknesses in initial project design in a timely manner.  The project achieved several positive results. Rubble clearance carried out by the project was  necessary to enable further reconstruction within the scope of the project. Interviews with project  stakeholders suggest that neighborhood infrastructure works are likely to have induced private  investment in housing and commercial activities in neighborhoods, though there is no  quantitative evidence on the effects or positive spillovers from infrastructure. The rental support  cash grant program assisted in moving people out of displaced persons camps and into  residential housing, though many beneficiaries could not maintain the basic housing standards  after the grant expired. Capacity building for a national housing policy agency contributed to  filling an important institutional gap.  What didn’t work, and why? There were several weaknesses in the project preparation and design. Project preparation was  insufficient, due to the emergency situation, lack of existing data, and the compressed project  preparation period. The initial project design was overly focused on house construction, as  compared to community infrastructure or support for renters. Housing construction proved to  be much more difficult to implement than anticipated. Private and informal self‐reconstruction  proceeded faster than expected. Land issues posed the most significant challenge to  implementation because of the lack of land register or clear title.  There were some shortcomings and limitations in project results.  The project did not measure its  objective directly, relying instead on output measures.  Works produced were sometimes of low  quality due to low capacity in the construction sector. Maintenance of assets constructed under  the project has been weak, largely because of chronic and systemic factors of insufficient funding  for maintenance. Planning and housing studies supported by the project had little impact. The  project is not likely to have made much impact on reducing disaster vulnerability – though this  was not a formal project objective. Activities on repairing existing housing did little to improve  structural resilience. Evidence suggests that the project had only modest spillover effects beyond  its direct construction works. The project was only partially successful in demonstrating viability  of a social housing model because of a heavily subsidized approach that is difficult to replicate.   IEG project ratings are described in Appendix A.    viii  Lessons This assessment offers the following lessons:   In the case of catastrophic disasters or in fragile settings, the need to address  humanitarian needs and disaster recovery may preclude significant impact on disaster  vulnerability reduction. The project was most effective in reducing disaster vulnerability  through housing construction works carried out directly under the project, where  improved structural standards could be monitored and implemented. Yet, those works  were the least effective in supporting the return of the population to their communities;  they concentrated substantial resources in supporting a relatively small number of  households; they were challenging and slow to implement; and they were unable to meet  the urgent housing needs of the displaced population. The public was able to construct  housing at much higher quantities and speed than donor projects – but they did so  without reducing their disaster vulnerability, because of limits in their financial  resources, access to quality materials, and technical knowledge.   International NGOs can be effective project implementers in an emergency context  where government capacity has been weakened. In Haiti, the earthquake further  undermined already weak government capacity. International NGOs implemented  construction works more rapidly than would have been possible in a government project.  They may have technical expertise, community trust, and financial management capacity.  However, the organizations also brought high costs, and missed opportunities for  building government capacity and fostering government legitimacy. In this case, the  benefits outweighed the drawbacks.    Investments in infrastructure can have a larger impact on neighborhood recovery than  those from direct housing reconstruction. In Haiti, qualitative evidence suggested that  infrastructure works especially roads helped to catalyze investment in housing and  businesses. In contrast, direct housing reconstruction was difficult to implement and had  only a moderate effect on neighborhoods, as most housing reconstruction was private  and especially informal self‐reconstruction. There was still a case for an integrated  approach that included some housing support to signal good practice design and  construction.   Disaster preparedness is critical and requires upfront investment in disaster risk  management capacity and in relevant data and analytics, including geospatial data.  The lack of available data in Haiti weakened response and reconstruction capacity in  several ways. A lack of knowledge about housing ownership status contributed to an  initial project response that did not do enough to support renters and landlords. The lack  of an adequate land registry made it difficult to implement works, as it was difficult to  identify legitimate owners. Lack of hazard maps and geotechnical data made it  ix    challenging to site new works. These kinds of data gaps were challenging to fill after the  disaster had struck.   Projects seeking to support durable responses to crises in FCV countries may need a  combination of transitional measures and durable measures targeting vulnerable  households.  The initial project design was focused on durable development support:  housing and infrastructure (as compared to humanitarian or transitional assistance).  During implementation, it was recognized that many IDPs in temporary shelters  constructed as humanitarian support were not sufficiently supported by the project  approach, and a rental grant was added as a transitional measure. The project experience  showed that cash grants for housing rental can be an effective approach for supporting  internally displaced persons to rapidly transition from post‐disaster camps to regular  housing. The use of a rental support cash grant played a major role in allowing camps to  be wound down and closed. However, it did not provide durable housing solutions.  More than half of supported households were unable to sustain themselves in their new  housing. This suggests that such programs must be complemented by other programs  that support economic and social development efforts for displaced households.    Pilot efforts may have limited impact if they are not based on a replicable model.  Under the project, social housing pilots with joint ownership were generally  implemented successfully. But achieving widespread results (for housing provision,  increased density, or housing for the vulnerable) would require a model that could be  scaled up. The pilots applied an almost fully subsidized rent to own model, where  beneficiaries made only modest payments for a single year before gaining title. This  meant that the model was heavily reliant on international donor grant funding.  Consequently, there has been no replication of the model, and planned future multi‐unit  housing in Haiti are limited in scale and are not targeted towards vulnerable households.    José Carbajo Martínez  Director, Financial, Private Sector, and Sustainable Development Independent Evaluation Group    x        Résumé Contexte et description du projet Haïti compte parmi les pays les plus pauvres au monde et depuis longtemps, subit des  catastrophes naturelles, aggravées par une grande pauvreté, des institutions faibles et une  instabilité politique. En janvier 2010, un séisme dévastateur dont l’épicentre fut localisé près de  la capitale, Port‐au‐Prince, frappa le pays.  Près de 220,000 personnes périrent et 300,000 autres  furent blessées. Les dommages causés aux immeubles et infrastructures furent estimés   à 7,8  milliards de dollars US, dépassant les 100% du  PIB du pays. Plus d’un million d’individus  furent déplacés et installés dans des camps de réfugiés. De plus, les capacités du gouvernement,  déjà faibles, furent encore affaiblies par la perte de 16,000 de ses employés.    La communauté internationale fournit une assistance financière et technique dans le cadre des  interventions d’urgence. Une réponse humanitaire fut mise en place. L’approche utilisée dès le  début ‐ installation d’abris temporaires pour aboutir à des solutions plus durables – ne donna  pas les résultats escomptés. Ce qui exacerba encore plus le déficit en matière de logements.   La Banque Mondiale prépara Le Projet de Reconstruction de Logements en Haïti (connu sous le  nom PREKAD) en réponse aux demandes du Gouvernement d’Haïti et de celui des Etats‐Unis  d’Amérique. La Banque Mondiale finança le projet à travers le Mécanisme pour la  Reconstruction d’Haïti. La canalisation des fonds via la banque offrit les avantages suivants: la  possibilité de s’appuyer sur un projet de développement urbain et communautaire déjà financé  par la Banque, de pouvoir bénéficier des engagements déjà pris par la Banque dans le cadre de la  gestion des risques et désastres en Haïti, et du rôle de la Banque en tant que bailleur  coordinateur pour le secteur urbain, y compris les logements.   L’objectif du projet initial était « d’aider les résidents durement frappés par le séisme et vivant  dans les quartiers sélectionnés de Port‐au‐Prince à retourner dans leurs communautés, en les  accompagnants lors de la réparation et/ou de la reconstruction de leurs maisons tout en  améliorant les services de base ». Les objectifs de ce projet furent modifiés afin d’ajouter et/ou de  revenir aux meilleures conditions de logements à travers un programme de subventions en espèces  pour la location de maisons. Le projet fut financé par le Fonds de Reconstruction d’Haïti à  hauteur de $65 millions de dollars US et comprenait un appui pour : l’enlèvement des débris, la  réparation et la construction de logements, l’octroi de subventions pour la location de maisons,  la réparation et l’amélioration des infrastructures communautaires, le renforcement des capacités  institutionnelles ainsi que les études.         xi    Qu’est ce qui a marché, et pourquoi? La conception du projet ainsi que son implémentation comprenaient plusieurs éléments qui  furent un succès. L’approche du projet fut pertinente étant donné qu’il existait un besoin  urgent  pour des interventions relatives à la mise en place de logements durables pour les populations  déplacées. La conception du projet fut réaliste par rapport au contexte difficile dans lequel elle  évoluait et comprenait une approche intégrée de la population tout en appuyant la mise en place  de logements et d’infrastructures. L’approche intégrée du projet qui incluait une supervision  faite par une agence gouvernementale travaillant déjà sur place avec des ONG, permit d’obtenir  des résultats dans un environnement difficile. Il est certain que les agences gouvernementales  n’avaient pas les capacités requises pour mettre en place des travaux à grande échelle suite au  séisme, tandis que les ONG avaient l’expérience ainsi que l’expertise. Cependant, les coûts  directs du modèle mis en place par les ONG étaient élevés et ne prenaient pas en compte des  besoins de renforcement des capacités du gouvernement et sa légitimité. Il était essentiel de  sensibiliser les communautés dans le processus d’implémentation. Le projet dû s’adapter à  l’évolution des changements et priorités et introduisit un nouveau mécanisme : la subvention en  espèces pour la location de logements. Dans un délai raisonnable, le projet fut restructuré, les  faiblesses du projet initial furent prises en compte et des progrès furent  accomplis.  Le projet a obtenu des résultats positifs.  Le déblaiement des débris effectué par le projet fut  nécessaire et permit de reconstruire au sein même du projet. Des interviews faites avec les  parties prenantes ont montré que les travaux d’infrastructure réalisés avec la participation des  membres de la communauté  ont encouragé des investissements privés au niveau des logements  et des activités commerciales bien qu’il n’y ait aucune preuve quantitative pouvant étayer les  retombées positives liées à ces travaux.  Le programme de subventions en espèces en appui à la  location permit de déplacer les gens vivant dans des camps tout en leur offrant des logements  résidentiels. Malheureusement,  beaucoup de ces bénéficiaires ne purent respecter les normes de  base en matière de logements après l’expiration de cette subvention. Cependant, le renforcement  des capacités d’une agence capable de mettre en place une politique nationale de logements  permit de combler ce vide institutionnel.    Qu’est ce qui n’a pas marché, et pourquoi? Il existait plusieurs faiblesses au niveau de la préparation et de la conception du projet :  insuffisance de préparation due à la situation d’urgence, manque de données existantes ainsi que  manque de temps pour accomplir le travail. La conception du projet initial se focalisait surtout  sur la construction de maisons, et non sur des infrastructures communautaires ou sur  un appui  aux locataires. Elle fut difficile à mettre en place par rapport à ce qui avait été prévu. Les  problèmes fonciers posèrent un défi majeur à cause d’un cadastre inexistant ou de la  présentation de titres de propriété non fiables.    Il eut des manquements et limites au niveau des résultats du projet qui n’avait pas  évalué  directement ses objectifs, comptant sur  des mesures extérieures. Les travaux exécutés étaient    xii  parfois de mauvaise qualité à cause des faibles ressources du secteur de la construction.  L’entretien  des installations construites au sein du projet fut faible, en raison des facteurs  chroniques et systémiques relatifs au financement de l’entretien. Les études de planification et de  logements appuyées par le projet eurent peu d’impact. Le projet n’a pas vraiment réduit la  vulnérabilité aux désastres, bien que cet objectif ne fasse partie du projet. Les activités de  réparation des logements existants n’ont pas amélioré la résistance des structures. Il a été  démontré que le projet a eu de faibles retombées en dehors de ses travaux de construction. Le  projet a eu un succès modéré en ce qui a trait à la viabilité d’un modèle de logement social du a  une approche fortement subventionnée et difficile à reproduire.   L’évaluation  IEG du projet est présentée à l’Annexe A.    Leçons Cette évaluation offre les leçons suivantes:    Dans l’éventualité de catastrophes naturelles, l’urgence pour répondre aux besoins  humanitaires et à la reprise des activités peut avoir un impact sur la réduction de la   vulnérabilité. Le  projet a pu réduire la vulnérabilité face aux désastres à travers des  travaux de construction de logements exécutés directement au sein du projet, où des  standards structurels ont pu être monitorés et mis en place. Cependant, ces travaux n’ont  pas incité les populations à réintégrer leurs communautés respectives ; ont concentré des  ressources importantes en appui à un nombre restreint de ménages ;  ont dû faire face à  d’énormes défis et furent lents à implémenter ; et de plus, n’ont pas pu satisfaire les  besoins de logements des populations déplacées. La population a pu construire des  logements en plus grande quantité et beaucoup plus rapidement que ceux exécutés à  travers les projets des bailleurs. Cependant, cela a été fait sans qu’elle ne tienne compte  de la vulnérabilité face aux désastres naturels. Cela est dû à leurs maigres ressources, à  leur manque d’accès aux matériels de qualité et aux connaissances techniques.     Les ONG internationales peuvent être des agences d’implémentation efficaces dans un  contexte d’urgence où les capacités du gouvernement ont été affaiblies. Le séisme subi  par Haïti a affaibli encore plus les capacités du gouvernement. Les ONG internationales  ont mis en place des travaux de construction beaucoup plus rapidement que ceux qui  auraient été réalisés à travers un projet du  gouvernement. Ils avaient l’expertise   technique, la confiance de la population et les capacités en matière de gestion financière.   Cependant, ces organisations ont augmenté les coûts et n’ont pas su renforcer les  capacités du gouvernement et encourager leur légitimité. Cependant et dans ce contexte,   les bénéfices tirés furent supérieurs aux inconvénients.      Les investissements au niveau des infrastructures peuvent avoir un plus grand impact  sur la reprise des activités d’une communauté que ceux provenant de la reconstruction  directe des logements. En Haïti, il a été démontré que les travaux d’infrastructure et  xiii    particulièrement  les routes aident à promouvoir les investissements au niveau des  logements et des affaires.  Par contraste, la reconstruction de logements a été difficile à  implémenter  et a eu un faible impact sur les quartiers étant donné que la plupart des  maisons ont été reconstruites par des privés et de manière informelle. Cependant, on  aurait pu mettre en place une approche intégrée comprenant un appui pour la  construction de logements ce qui aurait permis de montrer les bonnes pratiques à utiliser  au niveau de la construction et du design.       La préparation aux désastres est essentielle et exige des investissements préalables en  matière de gestion des risques de catastrophes et du renforcement des capacités ainsi  qu’en données et analyses fiables, y compris les données géo spatiales.  Le manque de  données fiables a été un handicap pour répondre efficacement aux besoins du secteur de  la reconstruction. Le manque d’informations sur le statut des propriétés nous a empêchés  de soutenir de manière efficace les locataires ainsi que les propriétaires. L’inexistence  d’un cadastre fiable ne nous a pas permis d’exécuter certains travaux car il était difficile  d’identifier les vrais propriétaires. De plus, le manque de cartes permettant d’identifier  les zones de risque et les données géotechniques représenta un défi majeur pour  implémenter de nouveaux sites de travaux de construction. N’ayant pas accès à ces  données, il nous fut extrêmement difficile de faire face à ces défis après que la  catastrophe ait frappé.       Les projets visant à appuyer des réponses durables dans les pays fragiles, affectés par  la violence et les conflits (FCV) devraient  inclure des mesures transitoires ainsi que  des mesures durables ciblant des ménages vulnérables. La conception du projet initial  s’est concentrée sur un appui au développement durable : logement et infrastructure  (comparée à une assistance humanitaire ou à une aide temporaire). Durant la mise en  œuvre, il a été reconnu que plusieurs personnes déplacées (IDP) et installées dans des  abris temporaires construits en tant qu’appui humanitaire, n’ont pas été suffisamment  appuyés au niveau de l’approche du projet. De plus, une subvention pour la  location de  logements a été ajoutée en tant que mesure temporaire. En se basant sur l’expérience du  projet, il a été prouvé que l’octroi de subventions en espèces pour la location de  logements peut être une approche adéquate afin d’aider les personnes déplacées de  passer rapidement des camps post‐désastres à un logement plus stable.   Aussi, cette  subvention joua un rôle important et permit aux camps d’être éliminés. Cependant, cela  n’apporta pas de solutions durables au niveau du logement.  Plus de la moitié des  ménages assistés ne purent subvenir à leurs besoins dans leur nouveau logement. Ce qui  prouve que ce type de programme devrait être appuyé par d’autres programmes  permettant de soutenir les efforts de développement économique et social des ménages  déplacés.    Les programmes pilotes peuvent avoir un impact limité s’ils ne sont pas basés sur des  modèles pouvant être reproduits. Dans le cadre de ce projet, les logements sociaux    xiv  pilotes en copropriétés ont été implémentés avec succès. Cependant, pour pouvoir  obtenir des résultats plus importants, (octroi de logements, accroissement de la densité,  logements pour les plus vulnérables) il faudrait un modèle mieux adapté aux besoins de  la population. Les programmes pilotes ont utilisés pour l’acquisition d’un logement, un  système de location presque qu’entièrement subventionné. En contrepartie, les  bénéficiaires ont versé, durant une année,  des sommes modestes et ont obtenu par la  suite leurs titres de propriété. Ce qui prouve que ce modèle est lourdement tributaire du  financement des bailleurs internationaux. En conséquence, il n’y a pas eu de duplication.  Les travaux de construction de complexe d’habitations se feront sur une petite échelle et  ne cibleront pas les ménages vulnérables.       José Carbajo Martínez  Directeur, Financier, Secteur Privé et  Développement Durable  Groupe d’Evaluation Indépendante  1  1. Project Background and Context 1.1 Haiti is the poorest country in the western hemisphere, and one of the poorest  countries in the world. It has suffered from a long history of natural disasters, compounded  with high poverty, weak institutions, and political instability. At the start of 2010, Haiti  faced many development challenges including weak government capacity, low perceived  government legitimacy, uncontrolled and unplanned urban development, inadequate  housing, pervasive homelessness, rapid population growth, and others.  1.2 An earthquake of magnitude 7.3 struck Haiti on January 12, 2010, with an epicenter  just southwest of Port‐au‐Prince. 220,000 people were killed and 300,000 wounded. Damage  to buildings and infrastructure was estimated at US$ 7.8 billion, exceeding 100% of GDP.1  Over a million people were displaced and settled in internally displaced persons (IDP)  camps, with at their peak roughly 1.5 million people in over 1,500 camps. Government  buildings were destroyed including health and education structures, as well as parliament,  the courts, and 19 of 20 government ministries. Already weak government capacity was  further overwhelmed, with the deaths of 16,000 staff members.  1.3 The international community mobilized to provide financial and technical assistance  for emergency response. An initial humanitarian response was carried out led by the United  Nations, coordinated through an Inter Agency Steering Committee and an associated cluster  system2. Over time, the transition from an initial shelter approach to recovery faltered, as the  cluster system had no mandate for housing recovery or reconstruction, and as humanitarian  shelter approaches and a reconstruction approach were not jointly planned (World Bank  2015). Large scale temporary shelter programs (which supported property owners as it  required land) absorbed a large portion of available international funding support, at the  expense of support for solutions that assisted renters or landlords, and without supporting  permanent solutions. The earthquake had dramatically exacerbated already existing  weaknesses in the housing sector (inadequate housing supply, homelessness, low quality  housing, and others), and a huge deficit emerged for permanent housing to absorb the IDP  population.  1.4 This is the context in which the Haiti Neighborhood Housing Reconstruction Project  (known in Haiti as PREKAD) was prepared. The World Bank Group sought to provide a  comprehensive post‐earthquake response. The Bank Group mobilized US$ 479 million in  new and existing funding during FY10 for earthquake response in Haiti. In the urban sector,  the Bank was already implementing an IDA‐financed urban community‐driven  development program, PRODEPUR. This program already had implementation models  working on the ground, and relationships with communities in some parts of Port‐au‐ Prince, and the Bank was adding additional financing to this program (through additional  financing called PRODEPUR Habitat) to support earthquake reconstruction. The Bank was    2  engaged already on disaster risk management in Haiti, and it became the coordinating  donor for the urban sector and housing. The United States was the largest contributor to the  Haiti Reconstruction Fund (a financial intermediary fund established to support response to  the earthquake), and based on these features of comparative advantage for the Bank, the US  requested that a portion of their contribution be used to support housing reconstruction and  urban upgrading. The Bank then prepared PREKAD as one development partner working  as part of a larger international reconstruction effort, including major support from the  United Nations, European Union, United States Agency for International Development, and  others.  Project design and financing  1.5 The original project objective was “to help residents of selected Port‐au‐Prince  Neighborhoods severely affected by the Earthquake return to their communities by  supporting them to repair and/or reconstruct their houses and improving basic community  service infrastructure”.  1.6 The project was restructured in 2012, adding in a housing rental voucher aimed at  helping people in displaced persons camps leave the camps and return to regular housing.  The situation in internally IDP camps had worsened, especially following the outbreak of a  cholera epidemic and widespread flooding following Hurricane Isaac, and so there was  recognition of greater needs for supporting the majority of occupants in the camps who  were not landowners. The project objectives were revised, “to help residents of selected  Port‐au‐Prince Neighborhoods severely affected by the Earthquake return to their  communities by supporting them to repair and/or reconstruct their houses and/or return to  improved housing conditions and improving basic community service infrastructure” (italics  added). Improved housing conditions was interpreted to mean an improvement to people  from living in rented housing as compared to the displaced persons camp.  1.7 The project included four components:   Component 1 initially supported debris removal, demolition, housing repair, and  housing reconstruction in selected neighborhoods. After project restructuring, the  component also supported cash vouchers for housing to enable residents of  displaced persons camps to return to neighborhoods.   Component 2 supported community service infrastructure repair, improvement, and  extension in selected neighborhoods. This included: reconstruction of roads, along  with repair or construction of other services including walkways, lighting, water  supply, sanitation, and electricity.  3     Component 3 supported development of neighborhood‐level urban restructuring  plans and natural hazard risk maps, preparation of housing studies and strategies,  and capacity building for national government agencies and municipalities.   Component 4 supported project management.  1.8 The project theory of change included multiple pathways and outcomes.  Neighborhood infrastructure would encourage private investment in neighborhoods and  improved services. Housing repair and reconstruction with improve housing. Both of these  would encourage return of residents to neighborhoods. Debris removal was a necessity for  carrying out infrastructure or housing reconstruction, but also could help to stimulate  private investment by opening access. The housing rental support grant encouraged  supported renters in IDP camps to return to neighborhoods, and encouraged landlords to  make some investments in housing. Capacity building and planning studies were not  specifically connected to the neighborhood works.  Figure 1. PREKAD Simplified Theory of Change Source: IEG. 1.9 The project was financed by US$ 65 million from the Haiti Reconstruction Fund, a  multi‐donor trust fund established after the 2010 earthquake.    4  Table 1.1. World Bank Financing by Component, in millions of US$ Component Appraisal Actual cost estimate (2005) (2015) Debris Removal and Housing Repair and 37 59.9 Reconstruction, and housing rental voucher Community Service Infrastructure Repair, 20 Improvement and Extension Institutional Capacity Support and Studies 4 4.6 Project Management 2 Contingencies 2 Total 65 64.9 Source: World Bank 2017a (ICR).  Note that neither the World Bank ICR nor the borrower’s completion report provided a separate breakdown of expenditure for each component. This is because components 1 and 2 were implemented by 6 NGO implementers and were assigned activities in both components 1 and 2 by area, while components 3 and 4 were carried out directly by the project coordination unit. Within component 1, US$ 16.1 million was the actual cost for the rental support voucher program, while US$ 43.7 million was the actual cost for other activities. (BMPAD 2016). 2. What worked, and Why? Design and Preparation 2.1 The project approach met a critical need for interventions to support permanent  solutions for displaced people. Port‐au‐Prince was the economic and political center of  Haiti. The severe earthquake was devastating for the city because of the poor structural  quality of buildings, substantial poverty, and vulnerable topography. The internally  displaced population had been supported in temporary conditions and transitional shelters,  especially in IDP camps, but under poor conditions. A reconstruction response was needed  to allow and encourage people to return to communities.   2.2 The project design included an integrated neighborhood approach combining  both housing support and neighborhood infrastructure. There was a clear comparative  advantage for donor projects to support community assets and infrastructure, where there  were economies of scale, and where a coordinated and professional approach were needed.  The government or private sector would have been unable to provide restoration and  expansion of services at anything like the same scale or pace in the absence of a specific  donor‐financed project. Housing‐only efforts (as carried out by some other donors and by  many NGOs) proved to be less effective. Some projects by other development agencies  sought to carry out greenfields housing construction, as this was easier to implement  because of clear land title. But by building only where it was easy to get land, constructed  5    houses from other donors were not necessarily where people wanted to live (i.e. where  connected to jobs, services, etc.) and sometimes became unoccupied white elephants.   However, including some direct housing reconstruction was worth including to develop  and signal good design practice and construction.   2.3 The project design was realistic given the extreme context. Some stakeholders in  hindsight argued that the project approach and design missed opportunities, either to: a)  promote decentralization in Haiti by encouraging construction and relocation of people out  of Port‐au‐Prince; b) realign or restructure neighborhoods with better urban planning, or c)  reduce neighborhood density and over‐crowding. But this needs to be set against what was  feasible in a post‐earthquake context in which government capacity was already  overstretched. These approaches would involve major changes for citizens. They would  require the mustering of political support, outreach and consultation, and wide‐spread buy‐ in. This was unrealistic in the wake of the earthquake, with a government whose limited  capacity was already overstretched by the level of need, and where the degree of legitimacy  and public trust in government was low.  Implementation and Supervision 2.4 The project’s implementation approach of combining oversight through a  government agency with on the ground implementation by NGOs was a realistic and  effective way of delivering results in a challenging environment. While the formal project  implementing agency was the Bureau of Monetization of Development Aid Programs  (BMPAD) operating under authority of the Ministry of Economy and Finance, the project  works were implemented through six largely international non‐governmental organizations  (NGOS) which then in turn managed the tendering of construction works, mostly to small  local construction firms. This approach was adapted from the existing PRODEPUR, but  expanded to cover additional implementing NGOs.3 The NGO implementation model  offered several important advantages over a typical fully government approach. 2.5 Government agencies lacked the capacity to directly implement large scale public  works in the aftermath of the earthquake. Government capacity had been limited even prior  to the earthquake but was substantially weakened by the destruction and deaths from the  quake (government buildings were destroyed, many government officials were dead or  displaced), even as the demands on government were heightened by the crisis. Most  stakeholders interviewed by IEG argued it would have been unrealistic to expect the  government at the time to have been able to implement the project, or that the NGO model  allowed for much faster implementation than would have been possible from government. 2.6 NGOs had significant experience and capacity. NGOs had prior implementation  experience from donor projects. They had a degree of trust from government, as many NGO  staff were former government officials, and as government was already working with    6  NGOs for implementation of donor support. NGOs had some capacity to carry out financial  management and reporting, and a reputation for transparency. NGOs were able to offer  multidisciplinary teams, with technical expertise (e.g. architects, engineers, sociologists,  etc.). Two of the NGOs were already implementing PRODEPUR for the Bank, and had  experience in working with Bank procedures. The NGOs had, in most cases, experience in  working with the specific local communities covered by the project. This had generated a  degree of trust with the communities which enabled them to operate in environments with  significant insecurity; in many of these communities trust in government was low. Some  NGOs had good linkages and experience with construction sector, with whom all the NGOs  contracted to undertake the works.  2.7 Overall, the NGO implementation model was a key factor behind the broadly  successful implementation of project works. The more successful programs by other donors  also used NGO implementation models. Donors that sought to work directly with  contractors typically encountered greater implementation problems.  2.8 However, there were also some tradeoffs and disadvantages from the NGO model.  There was variation in performance across the NGOs; some were higher capacity than  others, and this showed up in the quality of works and in cost. NGOs that had been more  service providers and lacked construction experience struggled more on implementation  and quality, as well as on timely financial reporting. Late reporting by some NGOs slowed  disbursements by the Bank. Variability in approaches and across NGOs made it difficult to  get uniformity in results or to or to manage expectations. For example, some NGOs built  larger/higher standard housing which was higher cost, so produced fewer units.  2.9 The direct costs of the implementation model were high. Of the nearly US$ 60  million disbursed to the NGOs for implementing components 1 and 2, 25% of these costs  ($15 million) were consumed by operating costs of the NGOs (BMPAD 2016, page 24). This  is in addition to the costs of overall project management for BMPAD in component 4.4  2.10 There were also long‐run tradeoffs from the NGO model. First, implementing the  project through NGOs meant that capacity and experience in project implementation was  not being built within the government. Supporting NGOs risks a form of brain drain, as  higher salaries in NGOs are able to attract the most capable professional staff away from  government ministries. Second, communities often saw the works as being provided by the  NGO, not by the government. This meant that the approach didn’t build community faith in  government as a service provider, which would be important in contributing to the  perceived legitimacy of the government of Haiti.  2.11 Community outreach efforts were critical for supporting effective  implementation. The implementing NGOs reported an initially high degree of suspicion  and reluctance from residents for starting the project. The project and implementing NGOs  7    made major efforts through community meetings to solicit ideas from communities about  redevelopment, and to incorporate these in approaches. This helped to develop buy‐in and  social acceptability in the neighborhoods, without which it would not have been possible to  implement the project, especially in areas facing significant insecurity and violence. In one  neighborhood, gang activity was such that envisioned works were not completed, but  elsewhere the project was successful in carrying out activities despite challenging  circumstances. Community planning models used in the project have the potential for  replication in similar contexts.  2.12 The project was able to adapt to changing circumstances and priorities to  introduce a new mechanism, the rental support cash grant. The international earthquake  response had been quick to support large numbers of transitional shelters and IDP camps,  but slow to provide permanent housing. The hope had been that camps would be  temporary and that people would depart as conditions outside the camps improved. But  large populations remained resident in the camps for a sustained period. Over time, the  situation in the camps worsened. A cholera epidemic broke out in late 2010, eventually  infecting as many as 800,000 throughout Haiti. Hurricane Isaac in 2012 caused widespread  flooding and worsened the conditions for IDPs. Insecurity, violence, and public health risks  were common. Closing the camps and relocating the population became a top government  priority.  2.13 The government (with donor support) began programs of rental support cash grants  (RSCG) in October 2010, with 14,000 families supported in leaving camps through this  mechanism by 2012 (Fitzgerald 2012).5 The government asked the World Bank and other  donors to support this effort, and so in 2012 PREKAD was restructured, shifting resources  out of housing construction and adding a RSCG subcomponent6 similar to those RSCG  projects already in operation, aiming to support the departure of IDPs from camps and to  return to neighborhoods. The effort was also an attempt to benefit renters, who did not  otherwise benefit directly from housing reconstruction and repair efforts. Renting was the  realistic option given the limited resources of IDPs and the lack of access to land. Under  PREKAD, the project rental grant design included the core $500 rental voucher as in other  programs, and an additional $150 grant for transport and family support, along with  livelihood programs provided by the implementing NGOs.  2.14 The RSCG was not intended to provide permanent or other durable housing  solutions but had the limited aim of ending the immediate displacement and helping  families move out of the camps. The limited scope of the rental support grant cash grant  programs should not be seen as a negative. Other programs including the rest of PREKAD  were more effective means of supporting repair and reconstruction of housing,  infrastructure, and economic development in neighborhoods. These programs were more  efficient and effective means of providing livelihood support than were early iterations of    8  the RSCG which tried to bundle this support directly (World Bank 2014). It was not realistic  to see the RSCG program as a means of providing durable housing, given the scale of  displacement and the housing gap.  Results 2.15 Rubble clearance carried out by the project was a basic necessity for enabling  further reconstruction within the scope of the project. After the earthquake, rubble from  destroyed buildings was present throughout Port‐au‐Prince, hampering mobility and all  response and reconstruction efforts. Though most public areas in the PREKAD  neighborhoods had been cleared of rubble by the time the project began (BMPAD 2016),  significant rubble remained on private land.  2.16 It made sense for the project to undertake rubble clearance. Centralized rubble  clearance offered several advantages; economies of scale, efficiency, and a reduced risk of  dumping of waste outside of the designated part of the main PAP dumpsite.7 It was difficult  for the project to develop detailed plans for the rubble clearance activities in advance; for  example, it was hard to set targets or cost estimates upfront as there was no prior experience  or basis for making estimates, and little idea of the quantity of rubble to be removed. The  solution was area‐based contracts with the NGOs, who then contracted small local firms.  2.17 Rubble clearance facilitated implementation of the PREKAD subprojects works, but  likely had little effect on broader reconstruction. The project carried out removal of roughly  2,400 cubic meters of rubble. Some owners of destroyed buildings refused demolition and  the removal of rubble for fear that the plots would be occupied by squatters. Rubble  clearance was largely limited to clearing plots that were about to undertake a reconstruction  subproject, due to fears that otherwise uncontrolled reconstruction might take place on  cleared plots (BMPAD 2016). However, some stakeholders argued that rubble clearance also  offered important psychological benefits for a public traumatized by the scale of the  disaster; removing rubble contributed to a feeling of progress and moving on from the  tragedy.  2.18 Interviews with project stakeholders suggest that neighborhood infrastructure  works are likely to have induced private investment in housing and commercial activities  in neighborhoods. Prior to the project (and prior to the earthquake), basic infrastructure  and services were lacking in the project neighborhoods. Under the project, 288  infrastructure subprojects were carried out that significantly expanded these. Roads were  widened and paved and bridges added, and walkways and stairways were added or  improved, improving mobility. Street lighting was installed, improving safety and allowing  for more night‐time activity. Drainage was improved, communal latrines were constructed,  reportedly leading to improvements in public health.  9    2.19 Qualitative evidence providence evidence that infrastructure investments supported  community development and the return of residents to neighborhoods. There is no  quantitative data on the effects or positive spillovers from infrastructure.  Project  measurement systems tracked only project outputs and did not assess access to services or  effects on investments.8 Stakeholders interviewed by IEG were unanimous in suggesting  that neighborhood infrastructure had been a major driver of private reconstruction and  investment, in formal or informal housing, and in private commercial activities including  schools. They argued that neighborhoods where infrastructure construction took place saw  much faster recovery than other neighborhoods and much greater access to services. A  European Union‐financed program with similar approaches to integrated neighborhood  reconstruction concluded that the approach had led to investments in commercial  development. Other reported benefits included reduced flooding, creation of local markets,  and potentially increases in land and housing values.  These findings are consistent with  international experience on slum upgrading projects9.  2.20 Many stakeholders saw this community infrastructure as the most important and  successful feature of PREKAD. The case for infrastructure works was much stronger than  that for housing construction, as infrastructure was more difficult for communities or land  owners to carry out by themselves. Infrastructure benefits were also much more widely  spread than some other project outputs; housing construction and repairs supported a small  number of beneficiaries with a large benefit, while infrastructure provided benefits to a  larger community. Even implementing housing works within the project were dependent  on infrastructure investment, as it was difficult to convince households to participate in  house repair and reconstruction prior to repair of the communal infrastructure (World Bank  2017).  2.21 In a beneficiary survey carried out by the project jointly for PREKAD and  PRODEPUR‐Habitat, beneficiaries reported satisfaction with the results of the projects  (BMPAD 2016). On average across neighborhoods, 33% of respondents say the results are  very good, 25% good and 34% acceptable. Results were most positive for road construction  works, where 48% say they are satisfied and 19% very satisfied. Focus groups for the  project’s self‐assessment also generated positive feedback.10  2.22 In interviews with IEG, some stakeholders complained that the selection of  neighborhoods led to some neighborhoods receiving significant investments while others  were marginalized11. This raises the possibility that investment induced in these  neighborhoods may not be fully additional, but in part may be at the expense of potential  investment in nearby areas that did not receive project support. Some stakeholders argue  that neighborhood recovery might have been stimulated further if public funds had been  used more explicitly to leverage private investment, including co‐financing with  households, neighborhood groups, NGOs, or the private sector (see also World Bank 2016).    10  Some stakeholders were disappointed that there was no replication or follow‐up beyond the  project; the project effect was largely limited to the neighborhoods covered. However, these  neighborhoods collectively represented a substantial population (75,000 households), and  many other areas were covered by projects from other donors.  2.23 The rental support cash grant program assisted in moving people out of displaced  persons camps and into residential housing, though most beneficiaries could not  maintain the basic housing standards after the grant expired. Under PREKAD, roughly  14,000 households received the rental support cash grants, and moved from IDP camps to  rental housing. Without the program, these households would likely have remained in  hazardous and challenging conditions in IDP camps for a substantially longer period. This  had significant short term benefits in terms of avoided disease and insecurity. Together with  RSCG programs from other donors, these contributed to the closure of IDP camps.  2.24 The program included a number of features designed to ensure that recipients  received improved housing conditions. Payments were made only on condition of a signed  rental agreement, for lodging meeting some basic conditions (electricity, communal latrine  or toilet, and geographic access to basic health and education services) as verified by a site  inspection. Payment for the rent was made directly to the landlord, while the remaining  cash was provided to the household in two installments. The program was successfully  targeted towards the poorest; an evaluation found that grant recipients in general were the  urban poor, earning less than $2 per day, and who were renters before the earthquake (Wolf  Group 2013).  2.25 Proxy data suggests that many beneficiaries did not receive sustained access to  quality housing. Little evidence is available on the specific households receiving rental  grants through PREKAD, but evaluations have been carried out of larger RSCG programs  carried out by the same implementers, in 2013 (Wolf Group 2013) and 2014 (Large N  Analysis 2014). It is likely that the effects of the PREKAD support are substantially similar to  those of the larger program, so it is justifiable to use these results as a proxy.12 Roughly 25‐ 50% of program recipients stayed in their rental accommodation beyond the 1 year period of  the grant, while the remainder moved elsewhere.13 Of those that moved, for up to 59% this  was was because they could no longer afford the rent after the subsidy program ended.14  This meant that the “decent but modest” basic minimum accommodation standards could  not be maintained after the program ended for many recipients.15 However, most were still  likely better off than in the dangerous conditions of the IDP camps.   2.26 The program had some impact on reinforcing the housing sector by encouraging  investments in expanding housing by landlords (typically, adding additional rooms or  services to houses). The 2013 evaluation of the program found that 77% of landlords in a  survey reported that they had made upgrades and investments in their property to meet  program eligibility requirements for the grant (Wolf Group 2013). Landlords also reported  11    that they reinvested about 2/3 of their rental income in immediate upgrades and that they  planned for similar future investments in increasing rental space. The program provided no  technical support or assistance to landlords for undertaking these investments.  2.27 There is some evidence that the program had other short‐term benefits for program  recipients. The program approach allowed the beneficiary to keep any amount of cash lower  than the rental amount that they paid, so long as they did find a rental property that met the  minimum criteria. Survey data from the 2013 evaluation found that cash excess cash was  put to productive uses, reportedly invested towards commerce and micro‐business  investment, payment of school fees, purchase of food, savings, family assistance, or debt  payment (in declining order of frequency in responses).  2.28 Many stakeholders interviewed by IEG raised concerns about forms of program  leakage and perverse incentives, and some NGOs did not want to become involved with the  program because of these concerns. Stakeholders reported that people not resident in camps  would enter the camps in order to qualify for the grant, or that families would sign up to  receive the voucher multiple times from multiple sources, or that families who owned  property would receive the grant by in effect renting housing from themselves. It was not  possible for IEG to validate these or to determine if the scale of these were meaningful in  terms of the overall size of the program. The program did set up control systems and  safeguards that sought to limit access to camp‐residents, and contained an appeals  mechanism to manage disputes.  2.29 The most concerning claim made by stakeholders interviewed by IEG was that the  RSCG programs (from PREKAD and other donor projects implementing the same  government program) had stimulated expansion of informal settlement, especially tenuous  construction in highly vulnerable mountain slopes, or in large uncontrolled urban  development such as in Canaan. Many stakeholders interviewed by IEG raised this concern,  and development partners and Bank staff argued that it was plausible. However, it is  difficult to prove definitively. A 2013 evaluation of the program did not find evidence that  the rental support approach was contributing to development of new informal settlements  (Wolf Group, 2013), but its evaluation approach was not designed to detect this. Some  stakeholders argued in interviews that some of the largest new settlement growth pre‐dated  the rental subsidy program and so could not be attributed to it.  2.30 Some stakeholders raised concerns that the program may have contributed to price  inflation in the rental market. Limited data makes it difficult to assess this, but there is  evidence suggests that rental inflation was not a major problem (World Bank 2014).16   2.31 The program was a successful response to the particular set of circumstances that  existed in Haiti at the time of implementation. Most stakeholders interviewed by IEG  thought it was unlikely that the rental grant system would have a long term impact, but    12  argued convincingly that the context was serious enough that a short‐term emergency  solution was needed at the time. However, future iterations of this mechanism might benefit  from a more gradual phase‐out, to ease reintegration and the sudden effect of grant  withdrawal. They could also do more to track beneficiaries over a longer period and so to  generate better evidence on program effectiveness.  2.32 Capacity building for a national housing policy agency contributed to filling an  important institutional gap. Along with support through other World Bank Interventions, a  national housing agency (the Building Unit for Public Housing and Buildings – UCLBP) was  established. The initial lack of an agency to coordinate housing policy had hampered the  design and implementation of housing sector recovery in the wake of the earthquake  (World Bank 2015). The agency played an important role in the implementation of the rental  support cash grant program, and the resettlement of internally displaced persons. Capacity  building under PREKAD and other projects was critical, as the effective functioning of the  agency (like many others in Haiti) is heavily reliant on resourcing from donor projects.  2.33 The newly created housing agency also developed and expanded Haiti’s first  national housing policy. The policy provided clarity on the roles of institutions and actors  for housing, included a technical strategy for strengthening capacity (e.g. for geotechnical  surveys), a funding strategy for housing, a shift from disaster response to proactive risk  reduction, and efforts to improve sector governance. While there are many challenges in  implementing the policy on the ground in Haiti, the creation of the policy was an important  first step towards improvement management and planning of unplanned urban growth and  housing, which poses a serious threat to Haiti’s development (World Bank 2017b). However,  the policy support in housing did not create an urban planning framework that could have  increased the coherence of recovery projects and guided newly urbanizing areas. Recent  World Bank analytical work has highlighted key elements of what this could include (World  Bank 2017b).  3. What Didn’t Work, and Why? Design and Preparation 3.1 The project appraisal was inadequate, due to the emergency situation, lack of  existing data, and the compressed preparation period. Even prior to the earthquake, little  data was available on housing or urban planning in Haiti. Following the earthquake, the  situation was chaotic, due to the combination of massive destruction, a flood of poorly  coordinated international assistance, and a complicated political situation. There was a lack  of experience of disasters of this magnitude to draw on. The most significant comparators  (the tsunami in Aceh in 2004 and the 2005 Kashmir earthquake) were different in important  ways, meaning that many new approaches had to be developed from scratch.17 The lack of a  13    housing agency to coordinate made it difficult to resolve conflicts between government,  donors, and other stakeholders. Housing reconstruction was difficult to plan, as there was  initially no guidance on which households or types of households should be prioritized, or  how. Collectively, these complicated and slowed project preparation, and led to some faulty  assumptions and design decisions that took time to be corrected. For example, the project  initially assumed that IDPs would want to return to their neighborhood of origin, but  surveys conducted during implementation suggested that people were less concerned than  expected with returning to the same neighborhood as they had lived in prior to the  earthquake. The Bank made an appropriate decision to proceed with project approval  despite these weaknesses given the severe emergency and consistent with the Bank’s  guidance on FCV and crises.  3.2 The initial project design was overly focused on house construction, as compared  to community infrastructure or support for renters. A learning report produced by the  World Bank and other development partners documents this well (World Bank 2015, 2016),  covering the whole shelter and housing response of which PREKAD was a subset.   3.3 The initial project design focused most project resources on direct housing  reconstruction with full subsidy, with only minimal household contributions. Land titling  and registration, and housing finance issues were seen as too difficult to deal with in an  emergency operation.18 Repairing or reconstructing houses would only directly benefit those  families who owned land in existing neighborhoods. Absent property records or effective  land title, there was no data on the extent to which Port‐au‐Prince residents owned or  rented housing. Yet, over time it became apparent that 80% of people who lived in seriously  damaged neighborhoods were renters, so the housing construction approach would miss  most of the target population.  3.4 Housing construction proved to be much more difficult to implement than  anticipated. In particular, difficulties in resolving land title issues led to slow progress, and  project disbursements lagged early on. Housing construction also faced difficult design  disputes e.g. over the appropriate size of houses to be constructed, which led to delays.19  Cost estimates made for housing construction were severe underestimates. Initial estimates  of $3,500 per house estimates were developed hastily in the emergency aftermath, and based  on other country experiences. But the reality was that actual housing costs from donor  projects were $10,000 and higher (actual unit costs for housing produced in PREKAD were  not reported in project documentation). High economy‐wide demand due to the public and  private reconstruction efforts also drove up prices for scarce resources, such as building  materials and trained construction specialists. The under‐estimates meant that the existing  resource envelope could not hope to match the initially projected housing quantity. Other  donor housing projects suffered from similar challenges.    14  3.5 Private construction and in particular informal self reconstruction proceeded much  more quickly than initially expected by the donor community, often funded by remittances  from the Haitian diaspora. The collective housing produced by all donor projects was  dwarfed by the private sector effort. Direct large‐scale public housing efforts were not  needed in order to generate housing units.  3.6 The initial focus on housing was due in part to political pressure. From the  beginning the Bank and many practitioners knew the importance of supporting  infrastructure and integrated approaches, and the Bank insisted on a project design that  included community assets and reconstruction in existing neighborhoods.20 However, the  political pressure from donors and from the Haitian government for a housing construction  focus was very high. Some donors placed heavy emphasis on housing reconstruction and  set their targets to focus on this. This issue went beyond the specific project and was a  sector‐wide strategy issue for donor reconstruction project. However, while there may have  been unrealistic political expectations and a general misperception by the donor  community, the Bank also bears some responsibility. The Bank was the lead agency for the  housing donor working group, and had the potential to influence joint decisions.  3.7 The project made substantial progress through project restructurings to address  these issues in a timely manner. Resources were transferred out of housing  construction/repair and into infrastructure and the RCSG program, and indicator targets  were adjusted accordingly. Initial targets for repairing 8,300 houses were revised  downwards, eventually to 1,162 houses. Housing reconstruction targets were revised from  an initial target 3,700 to a final target of 938. While these reallocations and lowered targets  were the right decision in the context, an unfortunate consequence was that expectations  that had been raised in communities (e.g. that a certain number of houses would be built)  then were not met, leading to disappointment and distrust. In many areas only a small share  of the promised houses were constructed. However, Government officials interviewed by  IEG compared the Bank experience favorably to some other donor reconstruction programs,  some of which were unwilling to reorient and remained focused on housing, which led to  program failures.  Implementation and Supervision 3.8 Land issues posed the most significant challenge to implementation. It was  difficult to identify land that could be built on for housing reconstruction. The project  undertook a major effort to identify land owners, but the lack of documentation on land  ownership and combined with the extreme density of settlement made it hard to find  unoccupied land to build on. The high disaster risk facing much of the city also meant that  they were not appropriate for construction (e.g. due to steep topography or flood risk).  There was little willingness by government to increase urban land supply through public  15    acquisition of unused land. For social housing, consolidating tenure and establishing multi‐ unit was challenging, as land owners were initially reluctant to convert their sole ownership  into joint ownership. It was hard to find packages of land where a larger development could  be constructed. All of these factors served to make it difficult to deliver housing, and added  to implementation delays.  Results 3.9 The project results framework did not properly measure the project objective. The  project objective was about the return of residents to communities, yet the project indicators  measured only the outputs of works produced and number of households benefiting from  them. Though it would not be possible to literally measure residents in communities (no  census was carried out in Haiti between 2003 and 2018), intermediate indicator proxies  might have measured traffic, economic activity, revenue generation, new business creation,  or other data, to give some assurance that project outputs were supporting neighborhood  return. Remote sensing could have been used to compared targeted project neighborhoods  to control groups. Because of this gap, only qualitative data is available on the extent to  which neighborhoods receiving project supported had faster recovery and return of  residents than other neighborhoods.  3.10 Works produced were sometimes of low quality, due to low capacity in the  construction sector. During preparation of the project completion report in 2017, the World  Bank carried out a field analysis of 10% of the completed subprojects (combined between  PREKAD and PRODEPUR Habitat).21 This review identified that many sub‐projects suffered  from poor design and low quality construction.22 A number of the subprojects were not  completed or were never commissioned. Good construction practices were not always  followed. While many road projects were valuable, the World Bank review noted a number  of instances where design choices were questionable.23 These findings (along with those  below on poor maintenance) were not included in the Bank’s completion report for  PREKAD. Interviews with government officials and stakeholders also reiterated concerns  about construction quality. Many of the construction works were created only late in the  project, so major performance problems observed shortly after closure are more likely  driven by poor quality works than by inadequate maintenance.  3.11 The main causes for low quality of works were the chronic issues of low capacity in  the Haitian construction sector. Projects supported by other donors suffered from similar  problems. The project made efforts to support quality; a supervision firm was hired to  oversee works, the national laboratory in the public works ministry carried out sample‐ based reviews of materials quality (e.g. for concrete). But in many cases these measures  were not able to ensure adequate construction quality by contractors, as construction  supervision was relatively weak. Performance was variable by the different implementing    16  NGOs, some of which lacked construction experience. The scale of works made it difficult  for the project implementing agency to provide effective technical oversight. Some  stakeholders suggested that, especially later in the project, time pressure to complete works  meant that some contractors cut corners in order to meet deadlines. In a small number of  cases, stakeholders reported that insecurity in the neighborhoods being worked on meant  that planned work was rushed or not completed and so not implemented according to  planned design standards. Stakeholders also suggested that imposing quality standards was  sometimes unpopular in the neighborhoods; residents saw re‐doing work that failed quality  tests as wasteful of resources.  3.12 Maintenance of assets constructed under the project has been weak, largely  because of chronic and systemic factors. The World Bank’s unpublished 2017 field analysis  found lack of maintenance for 40‐45% of subprojects. Many infrastructure assets were  constructed and operated for a short period of time, but the lack of maintenance budget  meant that they were soon falling into disrepair. For example, none of the sampled  investments for access to treated water were operational in 201724. Housing projects were  better off than other types of works, but 2 of 6 sites covered by the 2017 review had  significant issues, mostly relating to provision of water. The government agency that took  over the social housing facilities after construction reported serious maintenance issues for  electric, water, and sanitation facilities in roughly half of the completed units, largely  stemming from inadequate construction and materials quality. Community organizations  set up in some areas under this project (or the sister project PRODEPUR) and transformed  after the project end did not seem capable of providing adequate maintenance. The project  planned for homeowner associations to be formed for co‐owned social housing units to  collect fees and be responsible for maintenance, but fees were not collected and so the  association was not operational.  3.13 The main cause for poor maintenance is the chronic lack of funds for maintenance  for infrastructure in Haiti. The project clearly assigned institutional responsibilities for  maintenance: core assets were transferred after their completion to relevant utilities (water,  power, etc.) or agencies (social housing) or to the municipality, and those agencies were to  be responsible for maintenance (at least initially). In practice, this was insufficient to ensure  adequate maintenance, yet it is difficult to imagine a model that would be highly successful  given the country context and weak institutional capacity. As the project supported a wide  range of infrastructure assets, the number of assets supported in a particular class were  relatively small, so the project had little leverage with those utilities to encourage support  maintenance of project‐finance assets. And even if it had such leverage, it would make little  sense overall for utilities to prioritize maintaining assets which happened to be produced  under a specific project financed by an influential donor, as compared to the rest of the  network. Addressing maintenance issues in utilities sector would likely require a specific  sectoral intervention (as the Bank has sought to do with inter‐city roads) and would not be  17    possible within the scope of an emergency reconstruction project. However, it may have  been possible to carry out a limited degree of capacity building for maintenance within for  example the municipalities covered by the project, to support road maintenance. Greater  capacity building efforts for supporting maintenance for social housing might have been  feasible. Some stakeholders also suggested that Bank task teams may have lacked the  detailed sectoral expertise in water, power, and sanitation needed to provide appropriate  expert advice on maintenance. Another option suggested was that the project could have  partnered more directly with water and sanitation utilities during implementation, rather  than constructing assets separately through the NGOs and then seeking to transfer them  after completion (BMPAD 2016).  3.14 Planning and housing studies supported under the project appear to have had  little impact. The project supported the development of neighborhood‐level urban  restructuring plans and hazard risk maps, as well as preparation of housing studies and  strategies. Many of these emphasized risk and vulnerability reduction lenses. However, IEG  found little evidence that these were being implemented or are likely to be. Experts  interviewed by IEG complained of a donor culture that focused on development of plans  and studies, disconnected from the reality of the extremely limited government capacity  (especially at sub‐national level) to implement them. Plan use is largely limited to informing  specific donor projects, if they happen to take place in an area covered by a plan. Some  experts contrasted the project approach to those of UNDP, which accompanied hazard  mapping work with intensive training programs for municipalities and civil society  organizations. Hazard maps were also of less value in areas that were already built on, as  preventative resettlement is likely to be unrealistic and risk of re‐encroachment very high  given the severe pressure on land. Informal settlement has grown rapidly, regardless of risk  mapping, as government lacks the capacity to prevent them.  3.15 The project is not likely to have made much impact on reducing disaster  vulnerability – though this was not a formal project objective. Efforts were made to  improve structural resilience in housing directly constructed under the project. Designs for  newly created housing sought to balance building standards, affordability, and feasibility of  construction with local materials and construction capacity. Plans for works were approved  by the government housing agency, and structural designs and building standard were  created under the project reviewed and approved by external engineers (Miamoto) and the  government building agency within the ministry of public works (BTB). Materials used  were reviewed by the national laboratory. The final technical audit of the project concluded  that housing reconstruction and social housing construction activities were conducted  according to para seismic and building code standards (BMPAD 2016). Setting the design  standards at the level where they were generated pushback from government officials, who  raised concerns that the housing designs couldn’t be replicated if they were too expensive  for the Haitian context. However, the 944 housing units produced under the project were    18  small in number compared to total housing reconstruction occurring in the neighborhoods,  so made little difference to aggregate disaster vulnerability.  3.16 Activities on repairing existing housing were not designed to improve structural  resilience. The project emphasis was on basic repairs (plastering and roof repairs), not  retrofits to make buildings structurally safe. This occurred due to resource constraints (the  project had a fixed funding envelope and sought to cover repairs for a large number of  structures), and from the need for repairs to be carried out rapidly so that people could  move back into housing. In many cases, retrofits would not have been realistic; weaknesses  in foundations posed risks to stability that could not be addressed without expensive  demolition and reconstruction. The project adjusted its initial design during  implementation, to have repairs carried out by workers under supervision from the project,  to improve technical quality of works.  3.17 Site visits and stakeholder interviews suggest that the project had only modest  spillover effects beyond the works directly constructed under the project. There were some  efforts to generate these effects. Guidance resources were provided by the project on safe  design standards and materials. The project ran training sessions for masons and building  owners, to explain safer construction techniques.  3.18 Yet, it was common for private and especially self‐construction to not follow these  standards. The IEG mission saw many construction examples in neighborhoods where basic  design features recommended by these standards were not in use (for example, to  strengthen brick wall construction with regular placement of beams), and stakeholders  interviewed by IEG reported that there had been little change in building standards in most  private construction. Owners were constrained primarily by limited financial capacity and  relatively high costs for quality materials, in addition to limited knowledge. There was little  willingness by the public to undertake construction approaches that would mean higher  upfront costs. Guidelines were not widely distributed, and little effort was made to require  production of the quality materials that the guidelines called for (World Bank 2015, 2016).  Stakeholders interviewed by IEG highlighted a lack of awareness by the public on the  importance of materials quality and construction practices in reducing risk, and that  government efforts to promote this through radio had been insufficient. Self‐reconstruction  projects rarely drew on the expertise of the trained masons, which meant their skills were  not applied in supporting construction techniques that would support resilience.  Collectively, these mean that housing remains highly vulnerable to natural disasters, and  another major earthquake would be likely to be devastating.  3.19 What might the project have done differently to try to avoid this? A higher degree of  institutional support for disaster risk management was not needed within the project; the  Bank sought to provide this through other projects, including non‐emergency operations,  and those were better suited to supporting institutional and policy change. It would have  19    been difficult for the project to provide much direct support for self‐construction efforts  given the lack of land title, and so difficulty of verifying that builders being supported had  the legal right to construct. However, greater efforts could have been made to communicate  disaster risk reduction efforts, to regulate the quality of construction inputs, and to promote  practice of safe building practices at the household level (World Bank 2015, 2016). These  would have required a coordinated donor‐supported effort, beyond the scope of a single  project.  3.20 The project was only partially successful in demonstrating a social housing  model, because of approaches that are difficult to replicate. One innovative aspect of the  project was to produce a small number of multi‐unit social housing with joint ownership  and shared grounds and common areas. This was unusual for Haiti, where sole ownership  of land and individual housing was the norm. Multi‐unit housing was seen as desirable as a  way of increasing density and reducing urban sprawl25, but there were expectations that  joint ownership would face challenges including cultural resistance, lower social cohesion in  urban areas, mistrust of state actors and weak land‐tenure systems. Social housing was not  part of the original design or an explicit part of project objectives, but rather was an  opportunity that arose during implementation.  3.21 The project was generally successful in delivering multi‐unit housing pilots.  According to the social housing agency, a total of 167 units were constructed, across  PREKAD and PRODEPUR Habitat. The units were targeted towards poor and vulnerable  households, especially those facing disabilities or single women. The project showed the  potential for social acceptability of multi‐unit housing. Beneficiaries were reportedly  satisfied with the housing, seeing it as a significant improvement over their previous  circumstances. Implementing NGOs reported significant additional interest from  neighborhood residents who would like similar housing – at least under the heavily  subsidized terms of the project. Perhaps most importantly, the project provided some  support for the creation of a co‐ownership law establishing the legal framework under  which future joint housing could be possible. An important caveat is that an issue of  commercial space attached to some units remained unresolved at the time of the IEG  mission, years after completion of housing units.26 Another drawback was that one model of  housing that was constructed layered apartment buildings was unpopular with residents,  and NGOs suggested should not be replicated in Haiti.  3.22 But the model is not easily replicable as a form of social housing for the vulnerable.  The model required intensive (and expensive) outreach work with the community for  sensitization.27 The model required heavy subsidization from grant financing: beneficiaries  were required to make only modest contributions over a year, after which they were  granted ownership of the property.28 Because of this, further replication through this model  would require substantial donor grants, which have not been available in the years since the    20  project. Absent replication, the impact of the social housing is small, due to the limited  number of units produced.  3.23 What other models might be possible? In many countries social housing is provided  by government on a rental basis rather than a rent to own basis. However, housing experts  interviewed by IEG suggested rental models were unlikely to be successful in Haiti, raising  concerns that residents would stop paying rent, but it would be difficult and seen as socially  and politically infeasible to carry out evictions from public housing. Nonetheless, rent to  own models over a much longer period (perhaps 10‐20 years) were suggested as still being  feasible and desirable as compared to the single year transfer model under the project, and  these have been carried out elsewhere in Haiti. These models might be financially more  viable.  3.24 Partial replication of multi‐unit housing is being considered and undertaken in Haiti  – but on a PPP model aimed at middle‐class residents (such as civil servants) who have  reliable income streams. Such a model still faces challenges, as financial institutions are  reluctant to lend even for middle class housing. The model is likely more realistic in terms of  financing construction – but it does not help the most vulnerable. There remains a tension  between these goals, and so challenges in balancing them in future housing policy.  4. Lessons 4.1 In the case of catastrophic disasters or in fragile settings, the need to address  humanitarian needs and disaster recovery may preclude significant impact on disaster  vulnerability reduction.. The project was most effective in reducing disaster vulnerability  through housing construction works carried out directly under the project, where improved  structural standards could be monitored and implemented. Yet, these works were the least  effective in supporting the return of the population to their communities; they concentrated  substantial resources in supporting a relatively small number of households, they were  challenging and slow to implement, and they were unable to meet the urgent housing needs  of the displaced population. The general public was able to construct housing at much  higher quantities and speed than donor projects – but they did so without reducing their  disaster vulnerability, because of limits in their financial resources, access to quality  materials, and technical knowledge.  4.2 International NGOs can be effective project implementers in an emergency  context where government capacity has been weakened. In Haiti, the earthquake further  undermined already weak government capacity. International NGOs were able to  implement construction works more rapidly than would have been possible in a  government project. They may have technical expertise, community trust, and financial  management capacity. However, the organizations also brought high costs, and missed  21    opportunities for building government capacity and fostering government legitimacy. In  this case, the benefits outweighed the drawbacks.   4.3 Investments in infrastructure can have a larger impact on neighborhood recovery  than those from direct housing reconstruction. In Haiti, qualitative evidence suggested that  infrastructure works especially roads helped to catalyze investment in housing and  businesses. In contrast, direct housing reconstruction was difficult to implement and had  only a moderate effect on neighborhoods, as most housing reconstruction was private and  especially informal self‐reconstruction. There was still a case for an integrated approach that  included some housing support to signal good practice design and construction.  4.4 Disaster preparedness is critical and requires upfront investment in disaster risk  management capacity and in relevant data and analytics, including geospatial data. The  lack of available data in Haiti weakened response and reconstruction capacity in several  ways. A lack of knowledge about housing ownership status contributed to an initial project  response that did not do enough to support renters and landlords. The lack of an adequate  land registry made it difficult to implement works, as it was difficult to identify legitimate  owners. Lack of hazard maps and geotechnical data made it challenging to site new works.  These kinds of data gaps were challenging to fill after the disaster had struck.  4.5 Projects seeking to support durable responses to crises in FCV countries may still  need to include transitional measures, and to target durable measures towards vulnerable  households.  The initial project design was focused on durable development support:  housing and infrastructure (as compared to humanitarian or transitional assistance). During  implementation it was recognized that many IDPs in temporary shelters constructed as  humanitarian support were not sufficiently supported by the project approach, and a rental  grant was added as a transitional measure. The project showed that cash grants for housing  rental can be an effective approach for supporting internally displaced persons to rapidly  transition from post‐disaster camps to regular housing. The use of a rental support cash  grant played a major role in allowing for camps to be wound down and closed. However, it  did not provide durable housing solutions, and more than half of supported households  were unable to sustain themselves in their new housing. This suggests that such programs  must be complemented by other programs that support economic and social development  efforts for displaced households.   4.6 Pilot efforts may have limited impact if they are not able to demonstrate a  replicable model. Under the project, social housing pilots with joint ownership were  generally implemented successfully. But achieving widespread results (for housing  provision, increased density, or housing for the vulnerable) would require a model that  could be scaled up. The pilots applied an almost fully subsidized rent to own model, where  beneficiaries made only modest payments for a single year before gaining title. This meant  that the model was heavily reliant on international donor grant funding. Consequently,    22  there has been no replication of the model, and planned future multi‐unit housing in Haiti  are limited in scale and are not targeted towards vulnerable households.                                                          A post disaster needs assessment estimated that 105,000 buildings were destroyed and 208,000 were  1 damaged.  2 The “cluster approach” is a standard part of the United Nations humanitarian response system  adopted in 2005. Clusters are groups of humanitarian organizations, both UN and non‐UN, in each of  the main sectors of humanitarian action, e.g. water, health and logistics. They are designated by the  Inter‐Agency Standing Committee (IASC) and have clear responsibilities for coordination.  3  The 6 NGOs implementing the project were: PADF, IOM, GC, HFH, CECI, and J/P HRO.  4 BMPAD’s project management costs were not separately reported; US$ 4.6 was disbursed to  BMPAD for both project management but also implementation of institutional capacity building and  support studies.  5  As many as 500,000 people were relocated by various RSCG programs by 2014 (World Bank 2014).   In retrospect, it might have been wiser to create a separate component for the rental grant. This  6 would have helped with transparency in tracking the project.   The project developed control systems for rubble removal processes in order to reduce the risk of  7 uncontrolled dumping of rubble. However, the location of the debris transfer remained poorly  documented (World Bank 2017a).  8 The World Bank’s ex post economic assessment was based on output data combined with modeling  and benefit estimates based on other contexts.  For example, estimates of land value increases were  based on benefit transfer from other countries, and so do not reflect the Haitian context or potential  weaknesses in works quality or maintenance.  This was a reasonable approach for an economic  analysis, which is aimed at providing a rough estimate of project economic effects, but does not  constitute quantitative data on impact.  9 See for example Gulyani, S. and Basset, E. “Retreiving the baby from the bathwater: slum upgrading  in Sub‐Saharan Africa”, Environment and Planning C: Government and Policy 2007, vol 25, p.p. 486‐515  10 According to the self‐evaluation report, focus groups reported that road repairs and construction,  the installation of streetlights, the construction of drainage canals and the development of public  spaces have made a significant contribution to improving the access and quality of certain essential  services. This progress has resulted in an improvement in the quality of motorized and pedestrian  traffic; improved access for local residents to certain suppliers of local goods and services; improved  access to the drinking water supply service; improved access to health services; an improvement in  the leisure activities of all the inhabitants of the neighborhoods; an improvement in security at the  level of the different neighborhoods (BMPAD 2016).   No evidence was available on the impact of selection or exclusion criteria within neighborhoods or  11 whether the project created or eliminated differentiations within neghibrhoods.    23                                                                                                                                                                            The 2013 evaluation did not find any significant difference in results for those grantees receiving  12 additional benefits beyond the housing voucher: supplemental grants, micro‐insurance or training,  which were provided by different implementers.   The 2014 evaluation found that 49% of renters moved after the grant expired while 51% stayed in  13 their accommodation. The 2013 evaluation found that 25% of renters had renewed their contracts  after the grant expired, but estimated that due to sampling bias the true result might be up to 40% of  renters.   The 2013 evaluation estimated that 59% of recipients would not have sufficient savings to pay for a  14 second year of rent, and found that lack of ability to pay rent was the main reason why tenants would  not stay in their lodging.  Landlords did not think their tenants would be able to pay a second year’s  rent (58%, vs 13% who thought their tenant would be able to pay). The 2014 study did not specifically  ask about affordability, but it did find that the price of the rental was the most common reason for  moving, as cited by 20% of recipients.   Those that moved also reported slightly more crowded living conditions and slightly higher local  15 criminality after the grant expiry. The 2014 evaluation noted that program recipients found housing  that they believed to be safe and secure as compared to situations in the IDP camps. A minority of  recipients (10%) found their accommodation to be more safe and secure than prior to the earthquake.  The evaluation also found a disconnect between positive findings on socio‐economic well‐being and  economic outlook based on reported survey results, but no significant change as compared to pre‐ earthquake levels as based on objective data.   The concern was that substantially increasing demand and ability to pay for housing into  16 neighborhoods with fixed housing stock and shortages was likely to lead to rental inflation, harming  those not receiving vouchers, and largely benefiting landlords. Data collected by the CCCM/Shelter  Cluster tracked rental payments being made, and did not find evidence that voucher holders were  unable to find housing or that rents were rising above the voucher amount (World Bank 2014).   17 In both prior cases, the disasters affected a part of a larger and still functioning country, whereas  Port‐au‐Prince was the capital and main government center for Haiti. Prior data existed in Kashmir;  in Aceh destruction was geographically limited and the total destruction in that zone allowed for  greenfields solutions.  18 Other initial projects from other donors that sought to engage on housing finance were unable to  make progress. However, as the recovery phase dragged on and direct housing reconstruction  projects proved unable to contribute a substantial portion of need, the need for efforts on housing  finance interventions became more apparent (Hoek‐Smit 2013).  19 Some stakeholders favored larger but more expensive designs, of which not as many could be  produced with available funding. There were variations across the implementing NGOs within the  project, but even larger variations between the project and other NGO construction efforts outside of  the project. This variation contributed to community expectations that could be difficult to meet, and  sometimes made beneficiaries reluctant to commit to accept a project‐suppled house, as they hoped  to get a better deal for a larger house from another source.      24                                                                                                                                                                         20 In contrast, some government efforts and other donor projects supported greenfield housing  construction on urban fringes, where land is easier to acquire, but where there are few connections to  jobs, services, transport, etc.   The data collected did not allow clear separation between PRODEPUR Habitat and PREKAD.  21 PREKAD did include road construction, 1 of 3 water kiosks (according to BMPAD 2016), and others.   The project’s own final technical audit came to a different conclusion, that urban infrastructure  22 reconstruction works were in general of good quality (BMPAD 2016).   The unpublished World Bank review noted that in one area, a 500 m long road was constructed to  23 the only building in the area – a church. In another example, a road was constructed which ended in  a ravine – another development partner had promised to provide a bridge, but it was never  constructed. One road resurfacing had the adverse consequence of increasing flooding in the area  which affects a couple of houses with periodic flooding. One of the road resurfacing projects seem to  have improved road access to a wealthier neighborhood with large houses.  24 One water kiosk contained a reverse osmosis plant which after a short period of time had fallen  into disrepair as the filters needed replacing. On one other site, a water kiosk was completed but  never connected to DINEPA’s water supply system. At another water access installation, the borehole  pump failed and was replaced by a community member with a makeshift pump. Here, it appeared  that the water point was taken into ownership by a community member who subsequently charged  for water. Another water installation was never completed.  25 The government housing policy agency sees multi‐unit housing as something desperately needed  in high population Port‐au‐Prince, as low‐density contributes to sprawl, difficulty in providing  services, and high transport costs. The need for increasing density was flagged by government  housing sector strategies developed under the project.   One of the social housing sites was built as a two‐level structure where the upper level was housing  26 and the lower level was intended to be commercial space. The project intention was that housing  owners would use the commercial space themselves. But a dispute with the municipality over the  commercial spaces has meant that these facilities were still vacant in 2018 even years after  construction.  Some stakeholders interviewed by IEG also questioned this as a design approach: socially vulnerable  people in need of housing support might not need direct commercial space that they use themselves,  and might benefit more from the ability to rent these out to commercial tenants.   Community mobilization efforts played a critical role in developing consent, with active  27 participation of community members and landowners with architects.   The ownership provided is not quite full ownership. The occupant has only a partial ability to sell  28 the property: they can sell it only to someone else who meets the vulnerability criteria and passes a  criminal background check, but the owner and their family can remain in the housing indefinitely  regardless of whether they meet the vulnerability criteria.  25  References Bureau de Monetisation des Programmes d’Aide au Developpement (BMPAD), 2016. “PROJET  NATIONAL DE DÉVELOPPEMENT COMMUNAUTAIRE PARTICIPATIF EN MILIEU  URBAIN‐HABITAT (PRODEPUR‐HABITAT); PROJET DE RECONSTRUCTION DES  QUARTIERS DEFAVORISES DE PORT‐AU‐PRINCE (PREKAD); Rapport Final.” Port‐au‐ Prince  Fitzgerald, Emmet. 2012. “Helping Families, Closing Camps Using Rental Support Cash Grants and  Other Housing Solutions to End Displacement in Camps; A Tool Kit of Best Practice and  Lessons Learned Haiti 2010 – 2012.” IASC Haiti E‐Shelter/CCCM Cluster, Port‐au‐Prince.  Hoek‐Smit, Marja. C. 2013. “Options for Expanding Access to Housing Finance in Haiti”. Discussion  Note. Housing Finance Information Network.  http://www.hofinet.org/documents/doc.aspx?id=2074  Large N Analysis. 2014.  “Second external evaluation of the rental support cash grant applied to  return and relocation programs in Haiti: Final Report” Ontario. Canada.  Sherwood, Angela; Megan Bradley, Lorenza Rossi, Rosalia Gitau, and Bradley Mellicker. 2014.  “SUPPORTING DURABLE SOLUTIONS TO URBAN, POST‐DISASTER DISPLACEMENT:  Challenges and Opportunities in Haiti”. Brookings, IOM, Washington DC.  United Nations. 2015. “Report of the Special Rapporteur on the human rights of internally displaced  persons, Chaloka Beyani. Mission to Haiti.”  UN Habitat. 2013. “Improving the Impact of Rental Subsidies”  Wolf Group. 2013. “External evaluation of the Rental Support Cash Grant Approach Applies to  Return and Relocation Programs in Haiti.”  World Bank. 2012. “Owner‐driven Post‐earthquake Reconstruction in Haiti? Not so fast…”  Presentation to SDN Forum 2012.  ———. 2014. “Rental Support Cash Grant Programs: Operations Manual.” World Bank, Washington  DC.  ———. 2015. “Summary report: What did we learn? The Shelter Response and Housing Recovery in  the First Two Years after the 2010 Haiti Earthquake”. World Bank, Washington DC  ———. 2016. “What did we learn? The Shelter Response and Housing Recovery in the First Two  Years after the 2010 Haiti Earthquake”. World Bank, Washington DC  ———. 2017a. “Implementation Completion and Results Report (TF‐99644) on a Grant from the Haiti  Reconstruction Fund in the Amount of US$65 Million to the Republic of Haiti for a Port‐au‐ Prince Neighborhood Housing Reconstruction Project (PREKAD).” World Bank, Washington  DC.    26  ———. 2017b. “Haitian cities: Actions for Today with an Eye on Tomorrow.” World Bank,  Washington DC.      27  Appendix A: Project ratings ICR* ICR Review* PPAR Outcome  Satisfactory  Moderately Satisfactory  Moderately Satisfactory  Risk to Development  Modest  Substantial  Substantial  Outcome  Bank Performance  Moderately Satisfactory  Moderately Satisfactory  Moderately Satisfactory  Borrower Performance  Moderately Satisfactory  Moderately Satisfactory  Moderately Satisfactory  * The Implementation Completion Report (ICR) is a self-evaluation by the responsible Bank global practice. The ICR Review is an intermediate IEG product that seeks to independently validate the findings of the ICR. Relevance of objectives and design: Objectives: The original Project Development Objective (PDO) was “To help residents of selected Port‐ au‐Prince Neighborhoods severely affected by the Earthquake return to their communities  by supporting them to repair and/or reconstruct their houses and improving basic  community service infrastructure.”    In 2012, the objectives were restructured, the revised Project Development Objective was  “To help residents of selected Port‐au‐Prince Neighborhoods severely affected by the  Earthquake return to their communities by supporting them to repair and/or reconstruct  their houses and/or return to improved housing conditions and improving basic community  service infrastructure.” [Italics added]  The objective change represents a significant material change in design, and as such, this  report conducts a split evaluation.  Following IEG’s evaluation methodology, the mechanisms for achieving the objective (“by  supporting…..”) are mechanisms and are part of project design, and not the objective to be  evaluated against.  Relevance of objectives: The need for Port‐au‐Prince residents to receive support for returning to their  neighborhoods following the earthquake was apparent, with over a million people  displaced and a clear need to support permanent housing solutions (see para 1.2, para 2.1).  The objective to help residents return to communities did not address any outcomes for the  residents or any of the fundamental challenges of the urban sector. However, it was still  relatively ambitious for Haiti given the scale of displacement and the difficulty involved in  the fragile, poor, and low capacity environment.    28  The objectives were broadly in line with the “Neighborhood Return and Housing  Reconstruction Framework” prepared jointly by the government of Haiti and the donor  community’s Haiti Reconstruction Fund (HRF) which set out basic principles of earthquake  reconstruction. The objectives were reasonably consistent with the IDA and IFC Interim  Strategy Note for the Republic of Haiti (CY 2012), which included a framework for  sustainable reconstruction in post‐earthquake Haiti with a focus on upgrading  neighborhoods, housing repair, and transferring services from camps to communities to  encourage people to return.  However, the strategy also had an explicit focus on reducing  vulnerability and increasing resilience, which did not appear in the project objectives.  The objective could have more clearly focused on the goal to be achieved, rather than by the  means through which the goal would be pursued. A highly relevant objective might have  been something like “To ensure that residents of selected Port‐au‐Prince neighborhoods  severely affected by the earthquake achieve sustained safe and resilient housing”.  The objectives as written also were framed in terms of helping residents to return to their  communities, i.e. to encourage people to return to where they came from. This could have  been framed differently, to avoid the implication that displaced residents were not free to  move where they chose, but in practice this issue was semantic, as the actual project design  and approach did not act in this way.  As the goal part of the PDO was the same across both objective statements, the relevance of  objectives is rated the same for both, Substantial.  Relevance of Design: The design approach included positive features. Rubble clearance was necessary for  carrying out housing reconstruction or infrastructure works (para 2.16). An integrated  approach including community infrastructure was a positive design choice, and supported  the objective of helping residents to return by supporting economic development in  neighborhoods (para 2.2). The implementation approach for this also included participatory  approaches by households, neighborhood development committees, community  organizations, municipalities, contractors, government agencies, and other entities (para  2.11). Capacity building for government agencies especially for housing filled an important  institutional gap (para 2.32).   However, the original design approach was overly focused on reconstruction and repair of  housing, which did not directly benefit the large portion of residents who were renters (para  3.2). Studies and plans included in the design were not likely to be used given the weak  capacity of subnational government (para 3.14).  The relevance of the original design is rated Modest.  29    After restructuring, the design reduced the project emphasis on housing reconstruction and  repair. The revised design recognized the need to support renters by introducing support  for a cash grant for renters (para 2.12) to enable them to leave IDP camps and move into  housing. The revised design also increased support for community assets and  infrastructure, which was likely to be effective at encouraging investment and private  reconstruction in neighborhoods (para 2.20).  Both of these additions improved design relevance, by addressing the large portion of the  population who did not own property and supporting them in returning to neighborhoods.  The relevance of the revised design is rated Substantial.  Efficacy: Achievement of original objective and design: “To help residents of selected Port‐au‐Prince  Neighborhoods severely affected by the Earthquake return to their communities by supporting them  to repair and/or reconstruct their houses and improving basic community service infrastructure.”  The project did not measure the return of residents to communities (Para 3.9) beyond  households directly supported through housing reconstruction or repair, and did not  capture the indirect effects of infrastructure subprojects on encouraging return of residents  to neighborhoods. It did however provide data on a number of important output measures.  Combined with qualitative evidence and data from other literature, there is still sufficient  evidence to draw conclusions about achievement of objectives.  Initial targets were available only for some of the project outputs, which in term provided  some contribution towards the project objectives.        30  Table A1: Key output indicators and targets for PREKAD  Activity type  Original target  Final target  Actual delivery  (July 2011)  (February 2015)  (December 2016)  Rubble removal  None provided  1,154 cubic meters  2,504 cubic meters  Housing repair  8,300 houses  1,162 houses  1,134 houses  Housing  3,700 units  938 units  944 units  reconstruction  Infrastructure  None provided  277 subprojects  288 subprojects  subprojects  Source: World Bank 2016. Note: Final targets were set in February 2015, after most project activities had been carried out. Hence, some of them appear to have been set deliberately so that they would be exceeded by final delivery. The project did not achieve its housing targets for reconstruction or repair (Table A1). This  was because housing construction costs were dramatically higher than expected (at least 3  times as high) (para 3.4), because of challenges in implementing housing reconstruction  (para 3.4), and because the project restructuring wisely redirected resources away from  housing and towards infrastructure and rental subsidies (para 3.7). Hence, housing  reconstruction and repair provided only a modest contribution towards supporting return  of residents to neighborhoods.  Qualitative evidence suggested that infrastructure subprojects played a significant role in  encouraging investment in communities (para 2.19), and thus in encouraging return of  residents to neighborhoods. However, quantitative evidence on this is lacking.  A significant  number of subprojects were produced, but the lack of initial targets makes it difficult to  assess performance against expectations (Table A1).  75,000 households live in  neighborhood where at least some works were carried out.  Beneficiaries reported satisfaction with project works (Para 2.21).  Rubble clearance carried out under the project was important largely for enabling other  project activities (para 2.16).  Weak construction quality and inadequate maintenance also threaten the benefits of these  works over time (para 3.10, para 3.12), though not in terms of their narrow effects in  achieving the objective of supporting the return of residents to their neighborhoods.  Capacity building of government agencies was useful, however with benefits beyond the  project objectives, and also helping to enable project implementation (para 2.32). Studies  conducted under the project appeared to have little impact due to the lack of capacity in  local government (para 3.142.24).  31    Achievement of original objectives and design is rated modest, because of the lack of  evidence, and because of the lack of support for renters who made up the majority of the  urban poor.  Achievement of revised objective and design: “To help residents of selected Port‐au‐Prince  Neighborhoods severely affected by the Earthquake return to their communities by supporting them  to repair and/or reconstruct their houses and/or return to improved housing conditions and  improving basic community service infrastructure”  After project restructuring, the original outputs and results remained relevant but in  addition there was the introduction of the rental support cash grant program.  This program saw 14,021 households relocated through grants (as compared to targets of  12,000 and then later 13,900), out of camps and into housing that met basic minimum  standards. This led to achievement of project objective, in terms of moving people out of  unsafe conditions in camps and into safer housing (para 2.23). The project did not  specifically track outcomes for those households receiving grants under the program.  However, based on evaluations of the wider rental grant programs to which the project  contributed, most beneficiaries did not sustain the level of housing, as they could not afford  rental payments after a year once the grant was withdrawn (para 2.25). Those evaluations  also found that the programs encouraged some investments in expanding housing supply  (Para 2.26), and that they provided other short‐term benefits for program recipients (Para  2.27).  These evaluations are useful as a proxy as the underlying rental grant program was  broadly similar in its approach and implementation, and as the evaluations did not find  significant variation in results across the slight differences in implementation approach that  were used (Wolf Group 2013).  The revised design also placed greater emphasis on community infrastructure, which likely  made significant contributions to project objectives. However, it is difficult to determine  how much additional support was provided as initial targets were lacking and reporting  was unclear on actual financing for infrastructure investments.  Achievement under the revised objective and design is rated substantial. Achievements  under the original objective and design remained relevant, and there is reasonable evidence  that the RSCG programs to which the project contributed assisted households to depart  from IDP camps without returning, as seen by the eventual closure of all IDP camps, and  given the absence of other programs directly assisting IDPs to relocate.   Efficiency: It is difficult to measure the cost‐effectiveness of the project. The project did not report on  unit costs for different types of works in a way that would allow comparison to    32  benchmarks, and the initial estimates were based on insufficient data to serve as a fair  target. The BMPAD completion report provides a detailed list of outputs from each  implementing NGO, and a detailed list of disbursements to each NGO, but not a breakdown  of cost between them (BMPAD 2016). The report also does not separate the costs of BMPAD  project management from the costs of capacity building and studies.  As a benchmark: housing costs provided by other donors ranged from $12,000 to $40,000  per unit (Hoek‐Smit 2013). However, PREKAD housing costs per unit were not available, so  conclusions on the cost‐effectiveness of PREKAD implementation are difficult to make.  The project completion report conducted an economic analysis, based on estimates  projecting the value from 5 benefits:   • Cholera avoided due to the return of over 16,000 displaced households (equivalent  to over 75,000 people) in reconstructed/repaired/rental houses.   • Land value appreciation associated with the road and pathway construction, as  well as the construction of small bridges.   • Drainage and other improvements for up to 12,000 beneficiaries.   • Houses repaired, retrofitted and constructed as additional “economic” rent  collected and considered proxies for renters and homeowners living in their houses.   • Construction of 367 latrines in houses (World Bank 2017a)  Based on this, the analysis concluded that project was economically viable with a net  present value (NPV) of US$7.3 million, with an economic rate of return (ERR) of 19%, and a  Present Value of benefit over cost ratio of 1.1. It is plausible that economic benefits flowed  from these 5 categories. The assumptions behind the analysis are not provided in the Bank’s  completion report, and so could not be validated; it also isn’t clear the extent to which  calculations are based on observed data on outcomes (e.g. from reduced disease incidence,  land value changes, rental values, etc.) rather than projections combined with output data.  This makes it difficult to place much emphasis on the estimated economic return. More  importantly, the analysis does not capture concerns about sometimes poor construction  quality or in particular insufficient maintenance, which may reduce the benefits over time as  works become non‐functional.  In terms of administrative efficiency, the project had high costs and significant delays. The  costs of implementing the program (25% of the works components, plus the costs of  BMPAD project management) were high, though these may have been realistic given the  challenging operating environment. A project self‐evaluation reports that consulting firms  would have cost 10% rather than 25% (BMPAD 2016), but those firms may have been unable  33    to operate in the project neighborhoods effectively or to achieve the same results, or to have  provided the same degree of service delivery or community outreach.  The high costs of administering the RSCG program were also flagged in an evaluation (Wolf  Group 2013) as the main barrier to improving the project rate of return, but the main cost  drivers were from the governance checks involved in the program, from conducting on‐site  reviews of rental accommodation, and these checks also were important for ensuring that  rental properties met adequate basic standards. The study estimated a social return on  investment for the overall rental voucher program as $1.8 received per $1 invested.    Efficiency of the project is rated Modest, due largely to the lack of data on unit costs and  lack of confidence in economic returns given construction quality and maintenance  concerns.  Outcome: A split rating is applied. For the original project objectives and design, substantial relevance  of objectives, modest relevance of design, modest efficacy, and modest efficiency lead to an  outcome of unsatisfactory (2 out of 6). For the revised project objectives and design,  substantial relevance of objectives, substantial relevance of design, substantial efficacy, and  modest efficiency lead to an outcome of moderately satisfactory (4 out of 6).  The project’s proactive and early restructuring helped to achieve a positive outcome. 10% of  the project disbursements were made before the project restructuring and redesign, and 90%  of disbursements were made afterwards, so project ratings are weighted are accordingly  (2*0.1 + 4*0.9 = 3.8 which rounds to 4, or Moderately Satisfactory).  Together, these mean the overall Outcome rating is Moderately Satisfactory.  Risk to development outcome: The narrow project objective of return to neighborhoods is not at risk – IDP camps have all  been closed, and the conditions of the housing sector are chronic rather than an emergency  result from the earthquake. However, sustainability of project works faces significant threat,  because of poor quality construction (para 3.10) and inadequate resources for maintenance  (para 3.12). The project cleared assigned responsibilities for maintenance, but it was not  realistic that a multi‐sector emergency reconstruction project would be able to solve chronic  maintenance problems (para 3.13). Little is known about the medium‐term results of those  who received housing vouchers under the project. However, evidence from the broader  RSCG programs suggest that for many beneficiaries, their access to safe and adequate  quality housing was lost after the grant ended, and a large majority were left with  conditions no better off than before the earthquake (para 2.25).    34  Risk to development outcome is rated Substantial.  Bank performance: Quality at entry Bank staff prepared project in extremely difficult circumstances. Bank missions arrived soon  after the earthquake, operating in difficult and dangerous conditions and without  functioning government counterparts. Regular appraisal was impossible. The Bank sought  to bring international experience to bear, though other contexts were different in important  ways (para 3.1). The choice of implementing model through international NGOs was a good  choice given the shortage of government capacity and the challenging environment (para  2.4), though it included tradeoffs and disadvantages such as high cost and limited  government capacity building (para 2.8).  There were a number of weaknesses in preparation and design, leading to some  misdiagnoses, and inaccurate projections and estimates. These included lack of knowledge  about the characteristics and preference of the displaced population, lack of data on housing  and urban planning, lack of data on land ownership, weak forecasting of housing  construction or rubble clearance costs, and insufficient recognition of the feasibility of  private and particularly self‐reconstruction (para 3.1, para 2.16, para 3.3, para 3.4). These  were generally the result of the gaps in pre‐existing knowledge base, the severity of the  earthquake, and the disorganization of the government response, rather than by weak  performance by the Bank (para 3.1). Political pressure from donors and the government also  played a role in the initial excessive focus on housing (para 3.6), but the Bank also had the  ability to influence donor strategy and to resist this pressure.  There were weaknesses in monitoring and evaluation design, with output‐oriented  indicators, some not very meaningful, and which would not be sufficient to measure the  project objective.  Some stakeholders reported an inadequate degree of consultation and involvement with the  municipalities and mayor’s offices; mayors reportedly felt that the model was imposed on  them with little discussion or negotiation. But IEG was not able to validate this finding one  way or the other.  Quality at entry is rated Moderately Unsatisfactory  Quality of supervision The Bank team provided a substantial degree of implementation and advisory support,  which was critical given the general weaknesses in government capacity. Supervision  included 13 full support missions including site visits, as well as regular support and site  35    visits from the in‐country team, often weekly or bi‐weekly. This intensive support is likely  to have made a major difference in achieving the project results. Significant support was  also provided on financial management and procurement, though it was unable to fully  compensate for weaknesses in reporting by the NGOs, but this is not uncommon in a crisis  environment.  During supervision, the Bank worked well and quickly to correct the gaps in appraisal (para  2.12, para 3.7). As the context and knowledge change, the Bank restructured the project,  including changing objectives and indicator targets based on ongoing analysis of the  situation. By restructuring the project early to address the gap in supporting renters (only 18  months into implementation and well before midterm review), the Bank demonstrated  flexibility and proactivity in making early and effective course correction.  The Bank worked effectively with government to develop agreement to create a housing  agency and to create operational guidance for housing construction (para 2.32).  Recognizing the need for housing credit options and the lack of willingness by financial  institutions to invest in housing, the Bank explored credit schemes during supervision.  These did not go very far and were not incorporated into the project. But to make significant  progress on private housing finance would have required major reforms in banking, tax and  tenant law, as well as strengthening the insurance market – which would have been  unrealistic to address as part of this emergency operation.  The Bank developed a toolkit to help with allowing the rental subsidy approach to be  applied and adapted to other contexts (World Bank 2014), and carried out an intensive  learning exercise to draw lessons from the experience of the first two years in Haiti (World  Bank 2015, 2016).  Quality of supervision is rated Satisfactory.  These lead to an overall Bank Performance rating of Moderately satisfactory.  Borrower performance Government performance The disorganization of government in the wake of the earthquake made it difficult for the  government to provide effective leadership. The government was not successful in adopting  a national reconstruction policy containing standards with regard to eligibility for  reconstruction support, the standard size of reconstructed houses, or a unified mechanism  for the delivery of subsidies to home owners for reconstruction (World Bank 2017a). This led  to variation in approaches across donors and across implementing NGOs.    36  The initial lack of a leading agency for reconstruction, the fragmented government  institutional framework, the difficulty in getting government to make decisions, and the lack  of clear rules or consensus on where and how to rebuild made project design and  implementation more difficult (World Bank 2016). However, the Ministry of Public Works,  Transport, and Communications did become the lead agency for many reconstruction and  disaster risk management activities including building safety assessment, debris clearance,  and public infrastructure reconstruction. This Ministry implemented a number of programs  on its own which supported the reconstruction effort, including the assessment of damaged  buildings, awareness raising and communications programs, and others. Ministry programs  created standard practices and de facto policies, which laid the ground for the consolidation  of the 2012 national building code.  Frequent turnover in government officials further contributed to difficulty in getting  government to make decisions, as did limited willingness by government to make public  land available for construction (para 3.8).   Poor communication from government led to unmeetable expectations, particularly in  creating the impression that everyone (even renters) would be able to get a new house from  a donor‐funded project.  The government did work well with the Bank to support establishment of a housing policy  agency, the UCLBP, which played an important role in implementing the RSCG (para 2.33).  Government performance is rated moderately unsatisfactory, but it should be kept in mind  that government was facing extreme disruption and challenges.  Implementing agency performance The project implementing agency was BMPAD which provided overall project management  and implemented capacity building and works, while 6 NGOs directly implemented project  works and activities in the neighborhoods. Overall, this approach was sufficient for results  to be achieved, in a challenging environment (para 2.4). BMPAD was committed to the  project and provided effective project management. Implementers generally worked well in  their assigned neighborhoods, working together with neighborhood development councils  and community reconstruction centers.  However, several weaknesses were observed:   A significant problem in monitoring implementation was the lack of consistency  between the activity reports and the financial reports prepared by the implementing  NGOs. This made it difficult to establish the costs or cost‐effectiveness of individual  activities. This was partially due to the fact that these reports did not have the same  37    deadline (some were monthly, others quarterly) and were managed by two different  departments of BMPAD.    BMPAD had technical engineering and social expertise but lacked expertise in  architecture or urban planning (BMPAD 2016).   BMPAD was concerned that NGO implementers sometimes lacked sufficient skills  or expertise on technical issues, leading to delays in the production of technical  reports and studies. They were also concerned by the high operating costs of the  model. (BMPAD 2016). They noted the challenges of systematic delays in the  submission of technical and financial reports from the implementing NGOs.     The implementing NGOs reported frustration with the lack of guidance from  BMPAD and frequent changes in procedures and orientation to be followed.  (BMPAD 2016). NGOs also noted that heavy turnover in management in BMPAD  made things difficult, as many discussions were then reset as new management had  to be sensitized.   Quality and regularity of reporting was not sufficient early in the project, though it  improved over time.    There were procurement and safeguard delays until after the 2014 midterm review.  Implementing agency performance is rated moderately satisfactory.  Together, and with the moderately satisfactory outcome rating, these lead to a borrower  performance rating of Moderately satisfactory.  Quality of monitoring and evaluation Design: The project’s monitoring and evaluation system was largely limited to tracking of indicators  in the results framework, collected by the implementing NGOs, reported to BMPAD for  aggregation, and then reported in turn to the World Bank as part of supervision. Reporting  was carried out jointly with PRODEPUR Habitat, which was managed jointly – this decision  made sense from an operational perspective, but did have the side‐effect of making it more  difficult to separate messages and findings across the two projects. The monitoring and  evaluation system did also include a series of performance audits, collecting qualitative  information to inform project management. A beneficiary survey was carried out.  BMPAD produced a completion report (BMPAD 2016), and the Bank produced a self‐   38  evaluation Implementation Completion and Results report (World Bank 2017). The system  did not include impact evaluation or formal studies of impact.  The indicator design tracked project outputs, but did not track the actual project objective,  which was framed in terms of the return of residents to neighborhoods (para 3.9). By the  time of project closure, the results framework included 4 PDO indicators and 8 intermediate  indicators.  A number of the output indicators (number of houses reconstructed, number of houses  repaired, households receiving rental grants) were useful core indicators for tracking  delivery, which was important given the complex implementing structure and the challenge  in providing oversight. A positive feature of the housing indicators was their reference to  specific quality standards, though the reporting could have been clearer in how these  standards were verified.  Other indicators tracking overall numbers of people were less useful. An indicator on  number of households benefiting from community‐wide upgrading was not very useful.  This measured the number of people living in an area where some infrastructure works  were carried out; it did not measure anything about the degree to which these people  benefited. Thus, regardless of how well the project performed in that neighborhood, the  indicator result would be the same – only by adding infrastructure for additional  neighborhoods would the indicator be changed.  An indicator (and its gender‐based counterpart) on total project beneficiaries was not very  meaningful, as it aggregated across targeted measures with very significant benefits for an  individual beneficiary (housing), measures with moderate benefits for an individual  beneficiary (voucher), and measures with modest benefits for an individual beneficiary  (being present in an area where community infrastructure was constructed).  A number of important indicators lacked targets until 4 years into the project, most  importantly for community infrastructure works. And the output measure used for  infrastructure (number of subproject contracts) did little to assess the scale or impact of the  works. Targets for housing construction indicators were set based on inadequate  information (para 3.4). Indicators for housing were repeatedly revised downwards, which  was useful for setting expectations, but does mean that project claims of exceeding targets  was not very substantive for accountability purposes.  The M&E design lacked indicators to capture capacity building or institutional work  supported by the project. They also did not cover the quality or sustainability of  infrastructure.  39    Implementation: Data on project outputs was collected and reported regularly by BMPAD.  Performance audits were carried out during implementation, providing qualitative evidence  on problems arising during implementation and recommending solutions. These were used  to make recommendations and to support course corrections.  Beneficiary surveys were carried out jointly for works covered by PREKAD and  PRODEPUR‐Habitat.  However, systematic qualitative assessments of works quality were not carried out until  project closure29, and then data from that assessment was not published in completion  reports.  Utilization: Slow progress on implementing housing works was useful in informing project  restructuring decisions.  Otherwise, the most valuable monitoring evaluation came from  qualitative assessments, rather than from the project results framework.  The Bank also invested significantly in supporting evaluative learning outside the project  scope through two approaches: a major learning report on the housing and response  experience in Haiti, and a handbook developed to help apply the rental voucher program to  other contexts. The 2016 “what have we learned” report and its 2015 summary are  particularly impressive. This work provided a candid and useful assessment of the strategic  problems underpinning the whole response and recovery effort. The manner in which they  were developed – jointly with other development partners – also represents best practice for  generating buy‐in and uptake. The rental voucher toolkit is also valuable and well‐written,  supporting learning and replication by providing a candid assessment of the advantages  and limitations of the program.  Quality of monitoring and evaluation is rated Modest, as the project indicators did not  assess outcomes or demonstrate achievement of project objectives, and this information was  also not gathered by the project through other methods.                                                         29 Site visits were carried out by the project team during implementation.  40  Appendix B: Fiduciary and Safeguards Aspects Financial Management The project suffered from financial management issues during implementation. In  particular, there were delays in submitting financial reports and audit reports to the Bank,  delays in submitting disbursement reports while advances were made without  documentation, and delays in submitting withdrawal applications to document advances  made to the designated accounts. Throughout the life of the project, delays between the  provision of advances and the full accounting of spending prevented accurate readings of  project financial status. The Bank stated that the quality of the audits was acceptable, but  did not formally comment on whether audits were unqualified or if qualifications were  addressed. All suppliers were paid by April 30, 2017 for services provided. All advances to  the designated accounts were fully documented by mid‐May 2017.  Procurement Throughout project implementation, procurement management remained weak due to: (i)  high staff turn‐over and lack of qualified procurement staff; (ii) long delays in the  procurement of works, goods and services; and (iii) contract management characterized by  multiple contract amendments and cost overruns.  Environmental and social safeguards The project was classified as an environmental Category B at appraisal and triggered OP/BP  4.01 Environmental Assessment, OP/BP 4.11 Physical Cultural Resources, and OP/BP 4.12  Involuntary Resettlement (for dwellers living in areas that needed to be reconstructed but  not applicable to IDPs per World Bank Policy). The project was processed under OP 8.00  Rapid Response to Crises and Emergencies, and an Environmental and Social Management  Framework (ESMF) and a Resettlement Policy Framework (RPF) were developed, consulted  and disclosed within the first year of project implementation.  The project funded neighborhood reconstruction activities (which led to some impacts  under OP 4.12) and a number of people were relocated for the period of time while their  houses and neighborhoods were rehabilitated. Affected people received compensation  according to OP 4.12, which covered loss of assets, moving expenses, and economic losses.  A resettlement audit at the end of the project confirmed that the compensation was  provided before the start of works. The resettlement audit noted that the resettlement could  have been handled better, including (i) project‐affected persons to retain the geographical  advantages that they had prior to resettlement (ii) paying compensation for moving  expenses based on the size of the household, rather than on a standard basis. The Bank  41    assigned a Satisfactory rating for social safeguards in its supervision reports, indicating that  the Bank concluded that the resettlement policies had been complied with. The Bank also  emphasized that people receiving rental grants were not covered under the resettlement  policy, as they were displaced by the earthquake, not by the project.  The BMPAD completion report also noted that people with reduced mobility should have  been better considered in the construction of both neighborhood and social housing  construction (BMPAD). The earthquake had left many people with physical disabilities who  needed to be reintegrated and included in society, and construction standards could have  more systematically facilitated access for disabled people.  42  Appendix C: Basic Project Information Project cost: Actual project cost for World Bank financed activities: US$ 64,871,115 vs  appraisal cost of $65,000,000. In effect, all project resources were disbursed, as the scope of  the project was set by the available funding.  There was no Borrower contribution expected or provided.  World Bank Project Financing: Country – Haiti  Project Name – Port‐au‐Prince Neighborhood Housing Reconstruction Project  Project ID – P125805  ICR Date – October 31, 2017  Original Commitment – US$ 65 million  Actual Amount Disbursed/ or Final – US$ 64.9 million  Financial source: Haiti Reconstruction Fund  Environmental Assessment Category – B.  Dates    Expected  Actual  Approval    April 4, 2011  Effectiveness    July 28, 2011  Restructuring    October 11, 2012  February 12, 2015  May 20, 2016  Midterm review  July 15, 2013  June 30 2014  Closing  June 30, 2015  December 31, 2016    The project was restructured three times:   • The first restructuring (Level 1) was on October 11, 2012 when the amount  disbursed equaled to US$4.98 million. The restructuring was initiated in response to  a request from the Government of Haiti to accelerate the return of people to safe  43    neighborhoods by introducing new support mechanisms in the form of Return Cash  Grants. The first restructuring had two objectives: accelerated return of the  population home from camps and increased infrastructure rebuilding.    In relation to the former, the PDO was amended. To accomplish the latter, some of  the funds in Component 3 (Institutional Support and Studies) and 4 (Project  Management), as well as contingencies, were moved to Component 2 (Repair and  Improvement of Community Infrastructure). As a result, Component 2 gained  US$4.6 million. Also, the target value of one key indicator was increased: the number  of displaced households who have returned to neighborhoods upon housing  reconstruction was changed from 12,000 to 16,000. In addition, a new intermediate  indicator was added: Indicator 8: Number of households provided with Return Cash  Grants.   • The second restructuring (Level 2) was on February 12, 2015 when the amount  disbursed was US$49.04 million. It included a further increase in the emphasis on  infrastructure (by re‐allocating funds to Component 2) and an extension of the  project closing date from June 30, 2015 to June 30, 2016.    The extension was due to delayed implementation progress due to the challenge of  working in the post‐earthquake environment and the extremely limited capacity in  the country and by social unrest and tense political circumstances. Target values for  a number of intermediary indicators were adjusted: some were increased, some  reduced, and some defined to replace the “TBD” label.   • The third restructuring (Level 2) was on May 20, 2016 when the amount disbursed  was US$62.86 million. It was needed to extend the project closing date from June 30,  2016 to December 31, 2016. This extension was needed to accommodate delays  caused by the political situation related to the postponed presidential run‐off.  Key Staff Responsible  Sector director/Global Project Task Manager/Leader Practice Senior Director Country Director Appraisal  Sylvie Debomy  Laura Tuck  Alexandre Abrantes  Completion  Jonas Ingemann Parby  Ede Ijjasz‐Vasquez  Anabela Abreu    44  Appendix D: PPAR Overview About this Report The Independent Evaluation Group assesses the programs and activities of the World Bank  for two purposes: first, to ensure the integrity of the Bank’s self‐evaluation process and to  verify that the Bank’s work is producing the expected results, and second, to help develop  improved directions, policies, and procedures through the dissemination of lessons drawn  from experience. As part of this work, IEG annually assesses 20‐25 percent of the Bank’s  lending operations through fieldwork. In selecting operations for assessment, preference is  given to those that are innovative, large, or complex; those that are relevant to upcoming  studies or country evaluations; those for which Executive Directors or Bank management  have requested assessments; and those that are likely to generate important lessons.   To prepare a Project Performance Assessment Report (PPAR), IEG staff examine project files  and other documents; visit the borrowing country to discuss the operation with the  government, and other in‐country stakeholders, and interview Bank staff and other donor  agency staff both at headquarters and in local offices as appropriate, as well as using other  evaluative methods when needed.   Each PPAR is subject to internal IEG peer review, panel review, and management approval.  Once cleared internally, the PPAR is commented on by the responsible Bank country  director. The PPAR is also sent to the borrower for review. IEG incorporates both Bank and  borrower comments as appropriate, and the borrowersʹ comments are attached to the  document that is sent to the Bankʹs Board of Executive Directors. After an assessment report  has been sent to the Board, it is disclosed to the public.  About the IEG Rating System for World Bank Evaluations IEG’s use of multiple evaluation methods offers both rigor and a necessary level of  flexibility to adapt to lending instrument, project design, or sectoral approach. IEG  evaluators all apply the same basic method to arrive at their project ratings. Following is the  definition and rating scale used for each evaluation criterion (additional information is  available on the IEG website: http://ieg.worldbankgroup.org).  Outcome: The extent to which the operation’s major relevant objectives were achieved, or  are expected to be achieved, efficiently. The rating has three dimensions: relevance, efficacy,  and efficiency. Relevance includes relevance of objectives and relevance of design. Relevance  of objectives is the extent to which the project’s objectives are consistent with the country’s  current development priorities and with current Bank country and sectoral assistance  strategies and corporate goals (expressed in Poverty Reduction Strategy Papers, Country  Assistance Strategies, Sector Strategy Papers, Operational Policies). Relevance of design is  45    the extent to which the project’s design is consistent with the stated objectives. Efficacy is the  extent to which the project’s objectives were achieved, or are expected to be achieved, taking  into account their relative importance. Efficiency is the extent to which the project achieved,  or is expected to achieve, a return higher than the opportunity cost of capital and benefits at  least cost compared to alternatives. The efficiency dimension generally is not applied to  adjustment operations. Possible ratings for Outcome: Highly Satisfactory, Satisfactory,  Moderately Satisfactory, Moderately Unsatisfactory, Unsatisfactory, Highly Unsatisfactory.  Risk to Development Outcome: The risk, at the time of evaluation, that development  outcomes (or expected outcomes) will not be maintained (or realized). Possible ratings for  Risk to Development Outcome: High, Significant, Moderate, Low, Not Evaluable.  Bank Performance: The extent to which services provided by the Bank ensured quality at  entry of the operation and supported effective implementation through appropriate  supervision (including ensuring adequate transition arrangements for regular operation of  supported activities after loan/credit closing, toward the achievement of development  outcomes. The rating has two dimensions: quality at entry and quality of supervision.  Possible ratings for Bank Performance: Highly Satisfactory, Satisfactory, Moderately  Satisfactory, Moderately Unsatisfactory, Unsatisfactory, Highly Unsatisfactory.  Borrower Performance: The extent to which the borrower (including the government and  implementing agency or agencies) ensured quality of preparation and implementation, and  complied with covenants and agreements, toward the achievement of development  outcomes. The rating has two dimensions: government performance and implementing  agency(ies) performance. Possible ratings for Borrower Performance: Highly Satisfactory,  Satisfactory, Moderately Satisfactory, Moderately Unsatisfactory, Unsatisfactory, Highly  Unsatisfactory.  46  Appendix E: Methods and Evidence This evaluation is based largely on a) interviews with project stakeholders in Port‐au‐Prince  in July 2018, b) interviews with World Bank staff, and c) review of project documents, and  d) review of reports published by the World Bank or other development partners.  The mission also included interviews with other stakeholders related to a case study for  IEG’s Urban Resilience major evaluation.  Of the planned two week mission, only one week was carried out, due to civil disturbances  following the announcement of fuel price increases, and subsequently the departure of the  mission team. Consequently, not all stakeholders were consulted, nor was a planned  beneficiary survey carried out due to insecurity in the neighborhoods. Important  stakeholders not interviewed included the current management of the executing agency  BMPAD, and the municipalities of the targeted neighborhoods.  Site visits were carried out in Delmas 32, but other planned field work (a survey with  randomly selected commercial operations along roads in project‐affected neighborhoods)  was cancelled because of insecurity.   Stakeholder interviews focused on generating lessons from the program, and on specific  questions around: a) the project implementation model, b) the decision to move away from  housing and towards community infrastructure, and the likely effects of community  infrastructure, c) effects of the project on disaster vulnerability, d) the effects of the cash  rental grant program, and e) effects of the social housing pilots.  Some aspects of the project were not able to be adequately triangulated, and so the report  does not draw significant conclusions on those factors. These include the project’s  community engagement approaches and operating model, and the relationship of the  project with municipalities.  47  Appendix F: List of Persons Interviewed World Bank:  Anabela Abreu, Country Director  Michelle Keane, Country Manager  Pierre Bonneau, Program Lead  Sylvie Debomy, Lead Urban Development Specialist  Jonas Parby, Senior Urban Development Specialist  Roland Bradshaw, Senior Disaster Risk Management Specialist  Ali Alwahti, former Senior Urban Development Specialist  Claudia Soto, Disaster Risk Management Specialist    Government of Haiti:  Carmel Béliard, former PIU Coordinator in BMPAD  Alix Nicolas, former Deputy Director BPMAD  Charles Edouard, Direction Nationale de lʹEau Potable et de lʹAssannissement (DINEPA),  former technical director for PREKAD in BMPAD  Odnell David, UCLBP, Head of Housing Unit  Jacques Bien Aime, UCLBP, Former Project coordinator in BMPAD  Yvon Buisereth, Entreprise Publique de Promotion de Logements Sociaux (EPPLS), Director  General  William Edouard Jn Philippe, EPPLS, Director of Planning  Jean Joseph Pierre, EPPLS, Operations Director  Regine Benoit, EPPLS Technical Officer  Michèle Oriol, Executive Secretary, Comite Interministeriel d’Amenagement du Territoire  Rosemay Guignard, Urban Planner, Comite Interministeriel d’Amenagement du Territoire    Non‐governmental organizations:  Jacquelin Eugene, Project Director, Centre for International Studies and Cooperation (CECI)  Innocent Richard, Deputy Project Director, CECI  Nadi Cherrouk, Pan American Development Foundation (PADF), Country Director  Kerline Rock, PADF, Project Director   Jean Erick Deryce, PADF, Project Director  Margarett Viel Lubin, J/P Haitian Relief Organization (J/P HRO), Country Director  Jeane Roveau Elysee, J/P HRO  Jean Frevel Tham, Habitat for Humanity Haiti, Country Director  Barthelmy Leon, Habitat for Humanity Haiti, Project Director    48  Olivia Caldwell, Affordable Housing Institute (AHI)    Development partners:  Marcia Glenn, USAID  Fabien Sambussy, International Organization of Migration (IOM), Chief of Mission  Adeline Carrier, UNDP, Chief of Resilience unit (and other colleagues)  European Union, Sylvanie Jardinet  49