Document of The World Bank FOR OFFICIAL USE ONLY Report No: ICR00005287 IMPLEMENTATION COMPLETION AND RESULTS REPORT TF0A6379 ON A SMALL GRANT IN THE AMOUNT OF USD (0.38) MILLION TO THE Republic of Costa Rica FOR Costa Rica Integrated System of Household Surveys (P163431) July 28, 2021 Poverty And Equity Global Practice Latin America And Caribbean Region Regional Vice President: Carlos Felipe Jaramillo Country Director: Michel Kerf Regional Director: Robert R. Taliercio Practice Manager: Ximena Vanessa Del Carpio Task Team Leader(s): German Daniel Caruso ICR Main Contributor: Carlos E. Sobrado ABBREVIATIONS AND ACRONYMS ECE Labor Force Survey (Encuesta Continua de Empleo) ECLAC Economic Commission for Latin America and the Caribbean ENAHO National Household Survey (Encuesta Nacional de Hogares) ENDE National Strategy of Statistical Development (Estrategia Nacional de Desarrollo Estadístico) GoCR Government of Costa Rica HSWG Household Survey Working Group IBGE Statistical and Geographical Brazilian Institute (Instituto Brasileiro de Geografia e Estatística) INEC National Statistics and Census Institute (Instituto Nacional de Estadística y Censos) INEGI National Statistics and Geography Institute (Instituto Nacional de Estadística y Geografía) ISHS Integrated System of Household Surveys MIDEPLAN Ministry of National Planning and Economic Policies (Ministerio de Planificación Nacional y Política Económica) MPI Multidimensional Poverty Index NDP National Development Plan OECD Organization for Economic Cooperation and Development PDO Project Development Objective SDG Sustainable Development Goals SEN National Statistical System (Sistema Estadístico Nacional) TTL Task Team Leader TFSCB Trust Fund for Statistical Capacity Building TABLE OF CONTENTS DATA SHEET .......................................................................................................................... 1 I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ....................................................... 4 II. OUTCOME ...................................................................................................................... 8 III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 12 IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 13 V. LESSONS LEARNED AND RECOMMENDATIONS .............................................................. 14 ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ........................................................... 15 ANNEX 2. PROJECT COST BY COMPONENT ........................................................................... 23 ANNEX 3. RECIPIENT, CO-FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS ........ 3 1. INTRODUCCIÓN .............................................................................................................. 1 2. DESCRIPCIÓN DEL PROYECTO .......................................................................................... 3 2.1. OBJETIVOS DEL PROYECTO .............................................................................................. 3 2.2. COMPONENTES .............................................................................................................. 4 2.3. ALCANCE DEL PROYECTO ................................................................................................ 5 3. DISEÑO DEL SIEH ............................................................................................................ 6 3.1. COMPONENTE MUESTREO .............................................................................................. 6 3.2. COMPONENTE TEM�TICO ............................................................................................. 14 3.3. COMPONENTE TI .......................................................................................................... 22 4. CONCLUSIONES ............................................................................................................ 28 5. RECOMENDACIONES ..................................................................................................... 31 ANEXOS............................................................................................................................... 32 ANNEX 4. SUPPORTING DOCUMENTS (IF ANY) ..................................................................... 42 The World Bank Costa Rica Integrated System of Household Surveys (P163431) DATA SHEET BASIC INFORMATION Product Information Project ID Project Name P163431 Costa Rica Integrated System of Household Surveys Country Financing Instrument Costa Rica Investment Project Financing Original EA Category Revised EA Category Not Required (C) Organizations Borrower Implementing Agency Republic of Costa Rica Instituto Nacional de Estadística y Censos Project Development Objective (PDO) Original PDO The objective of the Project is to improve the quality of statistical information provided by INEC by developing an Integrated System of Household Surveys (ISHS). Page 1 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) FINANCING FINANCE_TBL Original Amount (US$) Revised Amount (US$) Actual Disbursed (US$) Donor Financing TF-A6379 385,402 310,851 310,851 Total 385,402 310,851 310,851 Other Financing Borrower/Recipient 1,437,640 1,437,640 1,437,645 Total 1,437,640 1,437,640 1,437,645 Total Project Cost 1,823,042 1,748,491 1,748,496 KEY DATES Approval Effectiveness Original Closing Actual Closing 02-Feb-2018 03-Apr-2018 03-Apr-2020 03-Apr-2020 RESTRUCTURING AND/OR ADDITIONAL FINANCING Date(s) Amount Disbursed (US$M) Key Revisions KEY RATINGS Outcome Bank Performance M&E Quality Satisfactory Satisfactory Substantial RATINGS OF PROJECT PERFORMANCE IN ISRs Actual No. Date ISR Archived DO Rating IP Rating Disbursements (US$M) 01 26-Jul-2018 Satisfactory Satisfactory 0.06 02 03-Apr-2019 Satisfactory Satisfactory 0.16 03 25-Nov-2019 Satisfactory Satisfactory 0.22 Page 2 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) ADM STAFF Role At Approval At ICR Regional Vice President: Jorge Familiar Calderon Carlos Felipe Jaramillo Country Director: Yaye Seynabou Sakho Michel Kerf Director: Carolina Sanchez Robert R. Taliercio Practice Manager: Oscar Calvo-Gonzalez Ximena Vanessa Del Carpio Task Team Leader(s): Leonardo Ramiro Lucchetti German Daniel Caruso ICR Contributing Author: Carlos E. Sobrado Page 3 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES Country Context 1. Costa Rica has shown mixed progress in terms of social gains in recent years. Despite reasonable growth and high spending on social programs, poverty has remained constant since the global economic crisis of 2008. Income inequality has also remained stagnant, but regional disparities are marked, and many social assistance programs are not sufficiently well targeted, with poverty rates being higher in the border areas. 2. Periodic household surveys have been conducted by the government since 1976; these were used to estimate poverty, based on the Cost of Basic Needs Method.1 The welfare aggregate taken from the National Household Survey (Encuesta Nacional de Hogares, ENAHO) is representative of urban and rural areas and the six regions of the country. Costa Rica has also identified the need to calculate additional welfare indicators, such as those used by the Organization for Economic Cooperation and Development (OECD) in its Better Life index. Finally, the Ministry of National Planning and Economic Policy (Ministerio de Planificación Nacional y Política Económica, MIDEPLAN) has also expressed the need for more geographically disaggregated information and flexible sample designs to monitor the National Development Plan (NDP) and evaluate the current regional development gaps. 3. All these requests demanded the inclusion of new topics or the further study of those already researched, while also considering shorter periods of time and greater geographical scope. Addressing a greater demand for information involves an immense challenge for the National Statistics and Census Institute (Instituto Nacional de Estadística y Censos, INEC). To this end, the Census and Surveys Division of INEC aimed to improve the quality of the statistical information through the implementation of an Integrated System of Household Surveys (ISHS). 4. INEC received other Trust Fund for Statistical Capacity Building (TFSCB) grants in the past. The statistical office managed the grant “Support and Implementation of the National Strategy of Statistical Development" (Apoyo e Implementación de la Estrategia Nacional de Desarrollo Estadístico, ENDE) (P107548), for US$180,000. The grant was signed in February 2007 and closed on June 30, 2010. INEC contributed US$103,085 as the national counterpart. 5. Sector and Institutional Context. Since 2010, INEC has been interested in being part of the OECD. In April 2015, the Ministerial Council of the OECD approved the initiation phase of Costa Rica’s adhesion. INEC’s statistical evaluation started with an OECD mission in February 2015. This evaluation has evidenced INEC's vulnerability with respect to its human and financial resources: 50 percent of its data comes from the Central Bank of Costa Rica and two-thirds of its personnel does not have a staff appointment at the institution. In addition, as a result of the increasing demands for information that INEC is currently facing from MIDEPLAN and other institutions, there is a need for a diagnosis and evaluation of INEC's statistical operations to determine the changes and improvements 1Poverty is measured in Costa Rica at household level, using income per capita as welfare aggregate and an absolute poverty line approach. The extreme poverty line is defined by the value of a basic food basket, which is the minimum level of caloric intake required for an individual to subsist. Overall poverty line is defined by a goods basket, which considers other basic resources beyond food. The composition and the price update of both, the basic food basket, and the goods basket, differ from rural and urban zones. Page 4 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) that need to be introduced to comply with the standards of the OECD, which in some cases can entail the partial or integral redesign of INEC’s Statistical Operations. 6. The World Bank ISBS identified at least two elements that needed to be considered to improve INEC’s performance when collecting good quality household survey data. First, INEC required strengthening its limited capacity to address multiple requests operating under scarce resources. These requests include: [i] obtaining additional statistical information under the OECD requirements; [ii] addressing new demands from the Government of Costa Rica (GoCR) arising from the instruction to generate multidimensional poverty and welfare indicators; [iii] supporting the monitoring and evaluation of social programs; [iv] generating the data to update the indicators of the Sustainable Development Goals (SDGs), as requested by MIDEPLAN; [v] producing statistical information at a higher level of geographical disaggregation; [vi] addressing international commitments to generate information about vulnerable populations, such as the indigenous and disabled ones, among others; and [vii] consolidating and improving the process of dissemination of statistics, based on the policy of dissemination of statistical results implemented by INEC and the policy of open data promoted by the GoCR. Second, INEC has an organizational structure that does not allow the institution to attend to all these new demands, creating duplication and inefficiencies while trying to address them. Currently, INEC has separate working units for each survey grouped in two areas: [i] social surveys and [ii] economic surveys. These groups must carry out complete processes independently, generating duplication of activities, low levels of synergy across areas within the same institution, and high operational costs. There was a need to revise the organization and the production processes to increase INEC’s efficiency when collecting household surveys. 7. The World Bank ISBS was designed to contribute to the specific design of more efficient survey processes integrated into the new structure and strengthen the technical skills of INEC's current staff that would be part of the new organization. To this end, the Area of Censuses and Surveys of INEC required statistical capacity building to design and put in place the ISHS by producing: [i] an updated thematic design; [ii] an updated sample design; and [iii] an integrated standardized information technology system for all of the household surveys. This would allow INEC to collect higher quality data and disseminate results more efficiently. 8. Bank’s Rationale for Supporting the Project. At approval, the project was aligned with the new guidelines and strategy of the World Bank's Household Survey Working Group (HSWG), established by the World Bank in 2015 under the Data Council as a forum for reviewing the priorities and standards for survey operations and coordinating household survey activities at the institution. The HSWG's strategy for household surveys, the implementation plan, and the protocol for data collection and quality assurance, confirmed the similarities between INEC's and HSWG's mandates and activities in terms of integration and harmonization. They both coincided in that the survey system should be aimed at: - Tracking and understanding poverty in its many dimensions and its impact on inequality– –there is an interest in Costa Rica to include a more comprehensive poverty measurement, the Multidimensional Poverty Index (MPI), to better measure and monitor poverty. - Introducing more methodological innovation in the household survey data production, using clear standards and best practices in survey methods and tools, with more quality and cost-effective data collection, continually adapting to new country data needs. - Integrating key topics into the household survey (to avoid duplicating efforts). Page 5 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) - Integrating the survey into the National Statistical System (Sistema de Estadística Nacional, SEN) and other data sources to complement it and increase its linkages with these other sources. - Ensuring alignment with the World Bank's Open Data policy by disseminating and maximizing the use of household survey data, ensuring that it is made publicly available in multiple formats. - Building local institutional capacity by promoting the coordination with other countries in the Latin America and Caribbean region. - Promoting international partnerships with key stakeholders in the region such as the Inter-American Development Bank and other national statistical institutes. Project Development Objectives (PDOs) 9. The objective of the project is to improve the quality of statistical information provided by INEC by developing an Integrated System of Household Surveys (ISHS). Key Expected Outcomes and Outcome Indicators 10. The achievement of the Project Development Objectives (PDO) was measured based on the completion of the following four indicators: - PDO Indicator 1: A pilot survey will be completed. - PDO Indicator 2: An integrated thematic and conceptual framework for household surveys will be designed. - PDO Indicator 3: An integrated sample design for household surveys will be established. - PDO Indicator 4: An integrated information technology system will be tested. 11. A total of nine intermediate result indicators for tracking progress towards achieving the project’s development objective were defined. The indicators included proposals, user workshops and study tours: - Proposals: One for each of the PDO indicators (“implementation plan� for the pilot survey). - User workshops: One for sampling design and one for thematic design. - Study tours: One for sampling design, one for thematic design, and one for information technology. Components Component 1. An Integrated Sample Design for Household Surveys 12. This component was expected to allow for the acquisition of a sampling frame for all the household surveys within the ISHS collected by INEC within the next intercensal period.2 This sampling frame considered the accuracy and geographical disaggregation requirements of the different topics considered by the surveys under the ISHS, which entail establishing sample sizes, a sampling selection method, periodicity of the surveys, and weighting 2 The last census data was collected in 2011 and the next round was planned for 2020. Page 6 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) methodology of the different samples in order to link the information in complementary subjects and thus ensure that results from different surveys covering similar topics can be compared. 13. Besides the indicated products, this component envisaged to carry-out internships and consultancies to build capacity on good practices and innovative sample methodologies. The main objective was to improve the estimations by making a more efficient data collection process for all the different systems that intervene in the production of information about individuals and households. It is expected that the project would result in several documents describing the selected size of the sample for designed variables, periodicity of surveys and other topics, etc. Component 2. An Integrated Thematic and Conceptual Framework for Household Surveys 14. This component refers to the development of the platform needed to incorporate the different surveys executed by INEC into the ISHS. This thematic platform would take into consideration current demands of information at the national and international levels, demands required to incorporate the country to the OECD, as well as those needed to measure indicators for the SDGs. 15. This component was expected to carry-out internships and consultancies to strengthen and increase the conceptual knowledge needed to conduct research and analysis on the topics of income and labor, satisfying the new international requirements. In addition, it would facilitate learning about international experiences regarding the articulation of the different topics in an ISHS. It was expected that the project would produce a document including the topics that should be covered in an ISHS, its operationalization in the field questionnaires, the scope of each subject and thematic periodicity, and the limitations in the research of the different topics. Component 3. An Integrated Information Technology System for Household Surveys 16. This component aimed at standardizing all the statistical operations within the ISHS as it relates to survey questions, question’s values, and inconsistencies in the questionnaires. Its main objective was to offer computational solutions to automate surveys and, in this way, offer higher quality statistics in a timely manner. This component also contemplated the development of systems for the dissemination of results and micro data according to the current policy for the dissemination of statistical results from INEC. 17. Internships and consultancies were also implemented under this component with the purpose of training the information technology staff in the analysis of requirements and in the design, development, and implementation of the information technology systems needed within the ISHS. Project Restructuring 18. The project was not restructured, and the closing date was not extended. However, as the project advanced, COVID-19 related quarantines complicated the implementation of the project and in this context, some PDO indicators were not reached. In a context where all the statistical activities had to be suspended (and re-started only later, but through remote work), the implementing unit was unable to establish a final version of the integrated sampling design nor for testing the final technology system. The team requested an extension of the closing date to Page 7 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) reach the PDO, but this request was declined. Thus, in this context, the PDO was partially achieved as COVID-19 prevented the full implementation of some activities which will be finalize when the NSO returns to full capacity. II. OUTCOME Assessment of Achievement of Each Objective/Outcome 19. The PDO was to improve the quality of statistical information provided by the INEC with the development of the Integrated System of Household Surveys (ISHS). The objective was to be achieved by (i) implementing a pilot survey; (ii) designing an integrated thematic and conceptual framework for household surveys; (iii) developing an integrated sample design for household surveys; and (iv) testing an integrated information technology system. Implementing a Pilot Survey 20. The pilot survey, finalized in February 2020, was useful to evaluate the conceptual and operational improvements included in the ISHS base questionnaire. This questionnaire merged both the Labor Force Survey (Encuesta Continua de Empleo, ECE) and the National Household Survey (Encuesta Nacional de Hogares, ENAHO) and would be used as the starting point to be modified according to the survey results. The pilot survey objectives, design, findings, conclusions and recommendations can be found in a very detailed report prepared by INEC: “Encuesta Piloto ENAIH 2020.pdf�. 21. Also, the pilot survey was used to evaluate how difficult it was to complete each interview using direct informants, to estimate the time spent on collecting basic information and added modules, to evaluate the cost of the survey (including the sub-sample of households within each Primary Sampling Unit), and to assess the new cartographic inputs to be used in preparation for the 2020 Population Census. 22. Due to the complexity of the ISHS computer platform design, the traditional IT systems were modified to accommodate the pilot survey. As a result, the new IT systems were not tested with the pilot information (which is reflected in the rating of the IT systems). Still, the pilot tested the main components of the survey making it highly satisfactory. 23. Intermediate Results Indicator 1: An Implementation Plan for the Pilot Survey is Completed. The plan for the pilot survey was completed in October 2019. The questionnaire base for the ISHS was designed and reviewed; it included conceptual and operative improvements in the employment, income, and socioeconomic sections. The new sampling frame for the sample was finished on time as were the updated cartography and operation manuals. The final report can be found at: “Encuesta Piloto ENAIH 2020.pdf�. Designing an Integrated Thematic and Conceptual Framework for Household Surveys 24. The integrated thematic and conceptual framework was delivered in March 2019. The new framework focused on the employment, income, and poverty sections of the household surveys. A full revision of the existing household surveys was undertaken considering new international standards and national requirements. The questionnaire was Page 8 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) modified to include new conceptual and operational requirements; it was tested in the pilot survey. This new questionnaire was key to reduce the duplication of work carried out by other surveys and to improve the quality of the survey. This new questionnaire is a global example of integrated work due to the reduction in time and budget spent by the national statistical office to collect the same information. In this context, the new questionnaire was highly satisfactory. The integrated thematic work was organized in three areas: Income, Employment, and Sociodemographic characteristics. The income and employment reviews included four household surveys: ECE (Encuesta Continua de Empelo); ENAHO (Encuesta Nacional de Hogares); ENIGH (Encuesta Nacional de Ingresos y Gastos de los Hogares); and ENAMEH (Encuesta Nacional de Microempresas de los Hogares). The objective was to apply best practiced definitions and methods to all household surveys, census, and other information integrating data sources, definitions, and methods. The Sociodemographic work included all household surveys and census conducted by INEC. The Income review used recommendations from the National Account System, and the 2011 Camberra Boor (Canberra Book. Handbook on Household Income Statics. Geneva: United Nations). The employment work followed international recommendations with the objective of applying them to the national data needs for public policy and modifying questions on the surveys. The sociodemographic work main objectives were to improve and standardize gender, age, marital status, migration, safety, and ethnic data collected by INEC. The results of the review and its recommendations are presented in the following products: “SIEH Diagnostico de ingresos 2019.docx�; “SIEH Diagnostico Empleo 2019.docx�; and “Diagnóstico, conceptualización, requerimientos y propuesta sociodemográfica.docx�. 25. Intermediate Results Indicator 1: A Proposal for an Integrated Thematic and Conceptual Framework is Completed. The proposal for the integrated thematic and conceptual framework was delivered in March 2019 and included the latest international recommendations and national requirements for the employment, income, and poverty sections of the household surveys. 26. Intermediate Results Indicator 2: Number of User Workshops Around the Thematic Design. The user workshops were key in identifying specific needs and preferences by analysts and data users in general and, more importantly, in evaluating the relative significance of subjects to be included in the surveys and the preferences in frequency and coverage. Two user workshops around the thematic design were delivered: The first was in September 13-20, 2018 with 68 participants. Its objective was to identify the users’ needs from INEC’s household surveys. The second workshop was on April 25, 2019 with 16 participants. It aimed at presenting data users with a first proposal of planned household surveys and census work, taking into consideration the feedback received during the first workshop. Both workshops were successful and helped guide and construct the integrated thematic and conceptual framework for the household surveys. See a detailed report with the description, implementation, evaluation and recommendation on “Informe Proceso de Consulta.pdf�. 27. Intermediate Results Indicator 3: Number of Study Tours Around the Thematic Framework. Two study tours around the thematic design were organized. The objective of the tours was to learn from other statistical institutes about their experience and best used practices during their own design and implementation of similar processes within their organization, including linkages to other surveys to cover all the necessary subjects and to spread the work over time and maximize the collection of data without overwhelming the institutional capacity. The first study tour took place in November 21-24, 2017 and included four INEC staff members visiting the Brazilian Institute of Geography and Statistics (Instituto Brasileiro de Geografia e Estatística, IBGE). The second tour was to the National Statistics Institute of Ecuador in August 12-23, 2019 attended by three INEC staff members. Reports of the two Page 9 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) activities are on: “Temático Informe pasantia Ecuador 20190917.pdf� and “Temático Informe de Pasantía IBGE Nov 2017.pdf�. Developing an Integrated Sample Design for Household Survey 28. The National Statistics Office hired consultants to identify the need to modify the sampling design and allow for more disaggregated results for smaller geographical areas. At the same time, analytical work simulated the sample size and the corresponding cost of obtaining estimates for each cantón (the lowest subnational administrative division of the local government in the form of municipalities)3. The estimated cost was prohibitively high for a sample big enough to produce significant estimates at the cantón level. As a second-best option, a sample design able to provide yearly estimates for clusters of cantones was proposed. Sample sizes were estimated based on the ECE, ENAHO and ENIGH design variables. The simulations were performed using the information from the household surveys. The main indicator for the representativity of the survey was the coefficient of variation (Standard Deviation divided by the mean). The sample size to determine the representativity of the survey was estimated for three standard significance levels: 5%, 10% and 15%. A second exercise was performed to estimate the optimum sampling designs: stratified, conglomerates, and stratified conglomerates (in use today). The results are reported in: “Evaluación y Análisis del Diseño Muestral de la Producción Estadística Actual.docx�. 29. The main indicators for each area (i.e. employment, poverty, etc.) were identified and combined with the level of accuracy and geographic disaggregation. The work required using the results from the “integrated thematic and conceptual framework�. For each major indicator and area, the sample size was estimated. No final sample size was estimated considering all the indicators at the same time. 30. During the implementation of the consultancy, the team recognized that further analysis was essential in order to determine the sample size; for example, a better understanding of the impact of cluster size on estimates precision and operational cost was needed. The pilot survey was designed to better understand these two factors but, due to problems in the field, it was not possible to estimate the cost components. The final product was a report with a proposal for the new sampling strategy delivered in March 2020. The proposal included all the quality checks and requirements set at the beginning of the project. Given the still high cost of the proposal, this outcome is rated as moderately satisfactory. The results are reported in: “Evaluación y Análisis del Diseño Muestral de la Producción Estadística Actual.docx�. 31. Intermediate Results Indicator 1: A Proposal for a Sampling Design is Produced. The proposal for the sample design was delivered in March 2020. The sample size was estimated for each major household survey indicator within the ISHS, ensuring the appropriate precision level and geographic disaggregation. A twenty thousand sample was designed to be repeated every three months. The proposal integrated the new thematic recommendation and defined the frequency and distribution over time and space of the sample. The results are reported in: “Evaluación y Análisis del Diseño Muestral de la Producción Estadística Actual.docx�. 32. Intermediate Results Indicator 2: Number of User Workshops Around the Sampling Design. The user workshop was used to obtain feedback for the sampling design evaluation. Unfortunately, key stakeholders were not able to participate and the scope of the recommendations was limited. To remedy this limitation, two interviews were 3.Costa Rica is divided into seven provinces and each province is divided into “cantones�. There is a total of 82 “cantones� in the entire country. A “canton� is equivalent to a “county� in the USA. Page 10 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) carried out individually with an academic expert from Costa Rica and another from Economic Commission for Latin America and the Caribbean (ECLAC). 33. Intermediate Results Indicator 3: Number of Study Tours Around the Sampling Design. One study tour around the thematic design was organized. The objective of the tour was to learn from other statistical institutes about their experience and best practices on sampling frame design and stratification, sampling design and selection, sampling weighing, and space and time sampling disaggregation design for each major area of interest within the ISHS. The study tour was coordinated with the thematic framework and took place in November 21-24, 2017; it included four INEC staff members visiting IBGE in Brazil. The report is presented in “Muestreo Informe de Pasantía IBGE Nov 2017.pdf�. Testing an Integrated Information Technology System 34. Early on during implementation, it was agreed with the World Bank Task Team Leader to limit the scope of the work on the design of the household surveys’ integrated information technology system. This did not affect the targets established at the beginning of the project. During exchanges with other statistical institutes in the region, the complexity of the task and the need to limit the expectations of the IT component were recognized. Finally, the different components to be part of the information system were laid out in a detail diagram, as were the expected scenarios used for each module and the “front-end� programs were developed. The final product (a proposal for the update of the IT system) was delivered in March 2020. As there has not been enough time to test the new system due to the closure of the public offices for the pandemic, the indicator has been rated as moderately satisfactory. The products are presented in “DiagamaDeFlujoDelSistema.pdf�, “DiagramasClasesSIEH.pdf�; and the compressed file “Casos de Uso.zip� (with diagrams for sampling, cartography, statistical design, data collection, data processing and Management and follow up). 35. Intermediate Results Indicator 1: A Proposal for an Integrated Information Technology System is Developed. The proposal for an integrated information technology system was delivered in July 2019. The proposal comprised a detailed plan for the computing platform to include sampling, cartography, data collection and processing, questionnaire design, frequent questions, and a module to manage and schedule surveys. The products are presented in “DiagamaDeFlujoDelSistema.pdf�, “DiagramasClasesSIEH.pdf�; and the compressed file “Casos de Uso.zip�. 36. Intermediate Results Indicator 2: Number of Study Tours Around the Information Technology. The objective of the tours was to learn from other statistical institutes about their experience and best practices on the design, development, and implementation of information systems. The tours were modified and, instead of INEC staff visiting other institutions, specialists from other institutions were invited to INEC in Costa Rica. Two visits were organized, one in November 12-16, 2018 and a second one in August 26-30, 2019. Both visits included staff from the National Statistics and Geography Institute (Instituto Nacional de Estadística y Geografía, INEGI) in México; 15 INEC staff participated. The reports of each activity are in: “IT Informe del taller de INEGI del 26 al 30 de agosto 2019.pdf� and “IT Informe visita de INEGI del 12 al 16 de noviembre 2018.pdf�. Page 11 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Overall Outcome Rating 37. The project was successful in developing all the planned objectives and outcomes. INEC was able to conceptualize, define and develop the first stages of an integrated household system. Outcomes such as the thematic and conceptual framework advanced to completion while others, such as the integrated sampling frame and information technology system, did not reach their final stages. The pilot survey was fully implemented; but in a context where all the statistical operations were frozen due to COVID-19 and the extension to give more time to the NSO to finish the implementation of the operation was declined, unfortunately, some components, including information technology, were not ready to be tested; others, like the need to evaluate the field costs, were not adequately measured. Despite the issues in these components, the trust fund-ed project’s overall outcome was satisfactory due to the high quality of the pilot and thematic and conceptual framework. Outcome Rating Pilot survey Highly Satisfactory Thematic and Conceptual Framework Highly Satisfactory Sampling frame Moderately Satisfactory Information technology Moderately Satisfactory OVERALL OUTCOME Satisfactory Other Outcomes and Impacts 38. Project implementation helped INEC better understand the need to improve its staff’s abilities and the allocation of resources to implement an ISHS. While the timing and length of the activities were underestimated, INEC took steps to ensure that the overall objective would be achieved outside the project’s timeline. New staff with sampling expertise was hired and international experts for future consultations were identified. Even during the implementation, some of the activities originally budgeted in the project were financed by INEC to be part of their standard work. 39. INEC is planning to finish the work as part of an integrated strategy linked to the new population census. In their own work plans, final stages of the ISHS will be tested in a new pilot survey in 2022 to be fully implemented in 2023. The timing for final implementation is determined by the need to internalize and finish the work started by the project, coordinate with the population census activities, and adjust to the Corona Virus circumstances. III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME 40. The main factor affecting implementation was the underestimation of the work needed to develop a new sampling frame and information technology system. Unfortunately, this was not identified in the preparation of the Page 12 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) project. This limitation was identified in the implementation of the project, but its restructuring was not considered necessary because the Project Development Objectives and the Intermediate Results Indicators did not change. 41. The flexibility to adjust the scope of the outcomes was essential for a productive project implementation and for INEC’s commitment to keep working on the development of the Integrated Household System beyond the projected time frame and using its own resources. 42. In some instances, it was difficult for INEC to assign staff for the administrative tasks necessary for the project. The nature of the project entailed periods of high demand for administrative work and it was not always possible to assign qualified people at the appropriate time. 43. It was difficult for INEC to find competent consultants to assist with the integrated sampling design. 44. Since TFSCBs do not have a M&E component, this made the supervision more complicated for the Bank team. 45. The procurement side of the Bank advised not to interfere in the selection of consultants due to potential reputational issues in case the desired outcome is not achieved with the Bank-recommended consultants. IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME 46. Bank performance is rated Satisfactory. The Bank’s team was able to guide INEC’s staff to finish all the planned activities and adjust the scope and reach of final products to accommodate its own institutional needs. As TFSCBs do not include supervision budget and the TTL of the trust fund was assigned to other countries, the monitoring had become more challenging. The project could have benefited from having supervision budget and having the TTL in charge of the country being the same person in charge of the trust fund in order to take advantage of the missions to the country during its implementation. Even in the absence of supervision budget, the Bank team was able to guide INEC. 47. There have been no compliance issues identified while the project was active. From the government side, the fiscal rule did not allow the country to request an extension on closing date. For the future, grants that do not generate any budgetary consequences should be advised to be excluded from fiscal rules. 48. The work from procurement and financial management specialists was adequate; no problems were identified during implementation. 49. As INEC has a reputation of making statistics comparable and surveys do not change much across time, it is unlikely this reform will be reversed. There is no risk identified on this front. Page 13 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) V. LESSONS LEARNED AND RECOMMENDATIONS 50. There are five lessons learned. Some of them are specific to this project and others are conceivably true for most small Investment Project Financing activities managed by the World Bank. 51. It is important to include as many technical and administrative staff as possible in the project’s proposal stage. The participation of more staff from the implementing agency is central when defining the activities and especially the timeline and scope of the work, as it helps to estimate more accurately how much of the work can be implemented during the project. This is certainly the case when it comes to the description of specific products and outcomes. 52. Flexibility in adjusting to some of the activities is essential to attain the maximum learning benefit. For the Technology Information study tours, it was necessary to switch from “INEC’s staff visiting other statistical Institutes� to “staff from other statistical institutes visiting INEC�. The adjustment proved beneficial and allowed for a much deeper learning for a larger number of INEC’s staff. 53. Allocating staff time for the day to day administrative work in the project’s budget can greatly facilitate its execution and help INEC’s staff focus their work on the technical components. While small projects like this do not justify a fulltime staff for implementation and administrative work, hiring a person part time or even a third of the time is highly recommended. Unless this worker’s salary, or at least part of it comes from the project’s budget, it is always difficult to ensure that appropriate attention is given to the management and administrative work. 54. Changes in World Bank’s management such as the TTL is expected to create some stress and, thus, mitigation actions should be taken in advance. If the TTL changes in the middle of a project, it is important to have budget for supervision and be able to have more missions to help the new TTL better understand the work and facilitate communication with the executing institution. The proposal stage helps to establish a more cohesive relationship between the TTL and the team managing and implementing the project. World Bank management that changes TTL, should plan to assign monitoring budget to the new TTL to have at least two missions per semester to catch up on both the technical and the interpersonal aspects. Still, in this context, the team did a magnanimous effort to do virtual supervision which allowed the project to satisfy its objectives. Also, it is important for management to take into account that the TTL in charge of the operation should be the same TTL that leads the dialogue with the country, otherwise, the Bank team loses an important part of the context where the operation happens. 55. The achievement of the Development Objectives should be promoted even outside the project’s time frame. While the project evaluates the outcomes achieved during the time it is active, the main objective is to ensure the benefits are achieved even months or years after the project has been closed. 56. The outcomes were rated Satisfactory because two PDO indicators were fully accomplished (an integrated thematic and conceptual framework for household surveys will be designed and the implementation of the pilot survey). The other PDO indicators were finished with some limitations (the integrated sample design for household surveys). . Page 14 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS A. RESULTS INDICATORS A.1 PDO Indicators Objective/Outcome: The objective of the project is to improve the quality of statistical information provided by INEC through developing an ISHS. Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion Indicator #1: A pilot survey will Yes/No N N Y Y be completed. 15-Nov-2017 28-Jun-2019 28-Feb-2020 14-Aug-2020 Comments (achievements against targets): The pilot survey, finalized in February 2020, was useful to evaluate the conceptual and operational improvements included in the ISHS base questionnaire. This questionnaire merges both the Labor Force Survey (Encuesta Continua de Empleo, ECE) and the National Household Survey (Encuesta Nacional de Hogares, ENAHO) and will be used as the starting point to be modified according to the survey results. The pilot survey objectives, design, findings, conclusions and recommendations can be found in a very detailed report prepared by INEC: “Encuesta Piloto ENAIH 2020.pdf�. Also, the pilot survey was used to evaluate how difficult it was to complete each interview using direct informants, to estimate the time spent in collecting basic information and added modules, to evaluate the cost of the survey (including the sub-sample of households within each Primary Sampling Unit), and to assess the new cartographic inputs to be used in preparation for the 2020 Population Census. Due to the complexity of the ISHS computer platform design, the traditional IT systems were modified to accommodate the pilot survey. As a result, the new IT systems were not tested with the pilot information (which is reflected in the rating of the IT systems). Still, the pilot tested the main components of Page 15 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) the survey making it highly satisfactory. Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion Indicator #2: An integrated T. & Yes/No N N Y Y C. framework for household surveys will be designed. 15-Nov-2017 28-Jun-2019 28-Feb-2020 14-Aug-2020 Comments (achievements against targets): The integrated thematic and conceptual framework was delivered. The new framework focused on the employment, income, and poverty sections of the household surveys. A full revision of the existing household surveys was undertaken considering new international standards and national requirements. The questionnaire was modified to include new conceptual and operational requirements; it was tested in the pilot survey. This new questionnaire was key to reduce the duplication of work carried out by other surveys and to improve the quality of the survey. This new questionnaire is a global example of integrated work due to the reduction in time and budget spent by the national statistical office to collect the same information. In this context, the new questionnaire was highly satisfactory. The Integrated thematic work was organized in three areas: Income, Employment, and Sociodemographic characteristics. The Income and Employment reviews included four household surveys: ECE (Encuesta Continua de Empelo); ENAHO (Encuesta Nacional de Hogares); ENIGH (Encuesta Nacional de Ingresos y Gastos de los Hogares); and ENAMEH (Encuesta Nacional de Microempresas de los Hogares). The objective was to apply best practiced definitions and methods to all household surveys, census, and other information integrating data sources, definitions, and methods. The Sociodemographic work included all household surveys and census conducted by INEC. The Income review used recommendations from the National Account System, and the 2011 Camberra Boor (Canberra Book. Handbook on Household Income Statics. Geneva: United Nations). The employment work followed international recommendations with the objective of applying them to the national data needs for public policy and modifying questions on the surveys. The sociodemographic work main objectives were to improve and standardize gender, age, marital status, migration, safety, and ethnic data collected by INEC. The results of the review and recommendations are presented in products “SIEH Diagnostico de ingresos 2019.docx�; “SIEH Diagnostico Empleo 2019.docx�; and “Diagnóstico, conceptualización, requerimientos y propuesta sociodemográfica.docx�. Page 16 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion Indicator #3: An integrated Yes/No N N Y Y sample design for household surveys will be established. 15-Nov-2017 28-Jun-2019 28-Feb-2020 14-Aug-2020 Comments (achievements against targets): The National Statistics Office hired consultants to identify the need to modify the sampling design and allow for more disaggregated results for smaller geographical areas. At the same time, analytical work simulated the sample size and the corresponding cost of obtaining estimates for each cantón . The estimated cost was prohibitively high for a sample big enough to produce significant estimates at the cantón level. As a second-best option, a sample design able to provide yearly estimates for clusters of cantones was proposed. Sample sizes were estimated based on the ECE, ENAHO and ENIGH design variables. The simulations were performed using the information from the household surveys. The main indicator was the coefficient of variation (Standard Deviation divided by the mean). The sample size was estimated for three levels: 5%, 10% and 15%. A second exercise was performed to estimate the optimum sampling designs: stratified, conglomerates, and stratified conglomerates (in use today). The results are reported on: “Evaluación y Análisis del Diseño Muestral de la Producción Estadística Actual.docx�. The main indicators for each area (i.e. employment, poverty, etc.) were identified and combined with the level of accuracy and geographic disaggregation. The work required using the results from the “integrated thematic and conceptual framework�. For each major indicator and area, the sample size was estimated. No final sample size was estimated considering all the indicators at the same time. During the implementation of the consultancy, the team recognized that further analysis was essential in order to determine the sample size; for example, a better understanding of the impact of cluster size on estimates precision and operational cost was needed. The pilot survey was designed to better understand these two factors but, due to problems in the field, it was not possible to estimate the cost components. The final product was delivered in March 2020. The results are reported on: “Evaluación y Análisis del Diseño Muestral de la Producción Estadística Actual.docx�. Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion Page 17 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Indicator #4: An integrated Yes/No N N Y Y information technology system will be tested. 15-Nov-2017 28-Jun-2019 28-Feb-2020 14-Aug-2020 Comments (achievements against targets): Early on during implementation, it was agreed with the World Bank Task Team Leader to limit the scope of the work on the design of the household surveys’ integrated information technology system. This did not affect the targets established at the beginning of the project. During exchanges with other statistical institutes in the region, the complexity of the task and the need to limit the expectations of the IT component were recognized. Finally, the different components to be part of the information system were laid out in a detailed diagram, as were the expected scenarios used for each module and the “front-end� programs were developed. The final product (a proposal for the update of the IT system) was delivered in March 2020. As there has not been enough time to test the new system because of the closure of the public offices due to the pandemic, the indicator has been rated as moderately satisfactory. The products are presented in “DiagamaDeFlujoDelSistema.pdf�, “DiagramasClasesSIEH.pdf�; and the compressed file “Casos de Uso.zip� (with diagrams for sampling, cartography, statistical design, data collection, data processing and Management and follow up). Project Restructuring The project was not restructured, and the closing date was not extended. From the start of the project this component presented implementation delays, due in part to its depth and high expectations, to problems finding the appropriate consultant, and to resistance from INEC IT staff. By the time the corresponding consultancy was finalized, it was too late to finish the task. The team requested an extension of the operation to reach the pre-COVID established PDOs, but this request was declined. Then, in this context, the operation reached the PDOs partially achieved as implementation could not be completed. A.2 Intermediate Results Indicators Component: A pilot survey Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion An implementation plan for the Yes/No N N Y Y Page 18 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) pilot survey is completed 15-Nov-2017 28-Jun-2019 13-Dec-2019 14-Aug-2020 Comments (achievements against targets): The plan for the pilot survey was completed in October 2019. The questionnaire base for the SIEH was designed and reviewed; it included conceptual and operative improvements in the employment, income, and socioeconomic sections. The new sampling frame for the sample was finished on time as were the updated cartography and operation manuals. Component: An integrated thematic and conceptual framework for household surveys Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion Number of users workshops Number 0 0 1 1 around the thematic design 15-Nov-2017 28-Jun-2019 13-Dec-2019 14-Aug-2020 Comments (achievements against targets): The user workshops were key in identifying specific needs and preferences by analysts and data users in general and, more importantly, in evaluating the relative significance of subjects to be included in the surveys and the preferences in frequency and coverage. Two user workshops around the thematic design took place: The FIRST was in September 13-20, 2018 with 68 participants. Its objective was to identify the users’ needs from the INEC household surveys. The SECOND workshop was on April 25, 2019 with 16 participants. It aimed at presenting data users with a first proposal of planed household surveys and census work, taking into consideration the feedback received during the first workshop. Both workshops were successful and helped guide and construct the integrated thematic and conceptual framework for the household surveys. Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion Number of study tours around Number 0 0 2 1 Page 19 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) the thematic framework 15-Nov-2017 28-Jun-2019 13-Dec-2019 14-Aug-2020 Comments (achievements against targets): Two study tours around the thematic design were organized. The objective of the tours was to learn from other statistical institutes about their experience and best practices used during their own design and implementation of similar processes within their organization, including linkages to other surveys to cover all the necessary subjects and to spread the work over time and maximize the collection of data without overwhelming the institutional capacity. The FIRST study tour took place in November 21-24, 2017 and included four INEC staff members visiting IBGE in Brazil. The SECOND tour was to the National Statistics Institute of Ecuador in August 12-23, 2019 attended by three INEC staff members. Reports of the two activities are on: “Temático Informe pasantia ecuador 20190917.pdf� and “Temático Informe de Pasantía IBGE Nov 2017.pdf�. Component: An integrated sample design for household survey Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion Number of users workshops Number 0 0 1 1 around the sampling design 15-Nov-2017 28-Jun-2019 13-Dec-2019 14-Aug-2020 Comments (achievements against targets): The user workshop was used to obtain feedback for the sampling design evaluation. Unfortunately, key stakeholders were not able to participate and the scope of the recommendations was limited. To remedy this limitation, two interviews were carried out individually with an academic expert from Costa Rica and another from ECLAC. Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion Number of study tours around Number 0 0 1 1 the sampling design 15-Nov-2017 28-Jun-2019 13-Dec-2019 14-Aug-2020 Page 20 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Comments (achievements against targets): One study tour around the thematic design was organized. The objective of the tour was to learn from other statistical institutes about their experience and best practices on sampling frame design and stratification, sampling design and selection, sampling weighing, and space and time sampling disaggregation design for each major area of interest within the SIEH. The study tour was coordinated with the thematic framework and took place in November 21-24, 2017; it included four INEC staff members visiting IBGE in Brazil. The report is presented on “Muestreo Informe de Pasantía IBGE Nov 2017.pdf�. Component: An integrated information technology system Unit of Formally Revised Actual Achieved at Indicator Name Baseline Original Target Measure Target Completion Number of study tours around Number 0 0 1 1 the information technology 15-Nov-2017 28-Jun-2019 13-Dec-2019 14-Aug-2020 Comments (achievements against targets): The objective of the tours was to learn from other statistical institutes about their experience and best practices on the design, development, and implementation of information systems. The tours were modified and, instead of INEC staff visiting other institutions, specialists from other institutions were invited to INEC in Costa Rica. Two visits were organized, one in November 12-16, 2018 and a second one in August 26-30, 2019. Both visits included staff from the statistical institute of México (INEGI); 15 INEC staff participated. The reports of each activity are on: “IT Informe del taller de INEGI del 26 al 30 de agosto 2019.pdf� and “IT Informe visita de INEGI del 12 al 16 de noviembre 2018 .pdf�. Page 21 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) B. ORGANIZATION OF THE ASSESSMENT OF THE PDO Objective/Outcome 1 1. Implementing a Pilot Survey Outcome Indicators 2. Designing an Integrated Thematic and Conceptual Framework for Household Surveys 1. An Implementation Plan for the Pilot Survey is Completed. 2. A Proposal for an Integrated Thematic and Conceptual Framework Intermediate Results Indicators is Completed. 3. Number of User Workshops Around the Thematic Design. 4. Number of Study Tours Around the Thematic Framework. Key Outputs by Component (linked to the achievement of the Objective/Outcome 1) Objective/Outcome 2 1. Developing an Integrated Sample Design for Household Survey Outcome Indicators 2. Testing an Integrated Information Technology System 1. A Proposal for a Sampling Design is Produced. 2. Number of User Workshops Around the Sampling Design. 3. Number of Study Tours Around the Sampling Design. Intermediate Results Indicators 4. A Proposal for an Integrated Information Technology System is Developed. 5. Number of Study Tours Around the Information Technology. Key Outputs by Component (linked to the achievement of the Objective/Outcome 2) Page 22 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) . ANNEX 2. PROJECT COST BY COMPONENT Amount at Approval Actual at Project Percentage of Approval Components (US$M) Closing (US$M) (US$M) An integrated sample design 170063.00 97137.00 57 for the household surveys An integrated thematic and 33375.00 conceptual framework for 26781.00 80 household surveys An integrated information 181964.00 technology system for 186933.00 103 household surveys Total 385,402.00 310,851.00 81 Page 23 of 62 The World Bank Costa Rica Integrated System of Household Surveys (P163431) ANNEX 3. RECIPIENT, CO-FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS Sistema Integrado de Encuesta a Hogares Informe cierre Fase 1 2018-2020 Elaborado por: Validado por: Aprobado por: Maria Luz Sanarrusia Equipo Técnico SIEH Giselle Arguello Eddy Madrigal Fecha: 03/03/2020 Fecha: 01/08/2020 Fecha: 09/10/2020 iii The World Bank Costa Rica Integrated System of Household Surveys (P163431) Sistema Integrado de Encuesta a Código: Hogares Versión: 1.0 Informe final proyecto SIEH Rige a partir de: 20/01/2020 Página 2 de 45 Tabla de Contenido 1. INTRODUCCIÓN .................................................................................................... 1 2. DESCRIPCIÓN DEL PROYECTO .......................................................................... 4 2.1. OBJETIVOS DEL PROYECTO ............................................................................... 4 2.2. COMPONENTES .................................................................................................... 5 2.3. ALCANCE DEL PROYECTO .................................................................................. 6 3. DISEÑO DEL SIEH ................................................................................................. 8 3.1. COMPONENTE MUESTREO ................................................................................. 8 3.2. COMPONENTE TEM�TICO ................................................................................. 18 3.3. COMPONENTE TI ................................................................................................ 28 4. CONCLUSIONES ................................................................................................. 34 5. RECOMENDACIONES ......................................................................................... 37 �ndice de cuadros Cuadro 1. Escenario A. Tamaños de muestra de viviendas para las variables de diseño SIEH por desagregación y error relativo esperado ........................................................... 13 Cuadro 2. Escenario B. Tamaños de muestra de viviendas para las variables de diseño SIEH por desagregación y error relativo esperado ........................................................... 14 Cuadro 3. Cronograma de actividades del proyecto ......................................................... 39 iv The World Bank Costa Rica Integrated System of Household Surveys (P163431) Símbolos y siglas Aside �rea de Servicios de Información y Divulgación Estadística CEPAL Comisión Económica para América Latina y el Caribe CNPV-2011 Censo Nacional de Población y Vivienda 2011 ECE Encuesta Continua de Empleo ENA Encuesta Nacional Agropecuaria ENAE Encuesta Nacional a Empresas Enaho Encuesta Nacional de Hogares Enaih Piloto Encuesta Nacional Integrada a Hogares Enhopro Encuesta Nacional de Hogares Productores Enameh Encuesta Nacional de Microempresas de los Hogares ENC Encuesta Nacional de Cultura Enigh Encuesta Nacional de Ingresos y Gastos de los Hogares ENUT Encuesta Nacional del Uso del Tiempo IICA Instituto Interamericano de Cooperación para la Agricultura INEC Instituto Nacional de Estadística y Censos LGBTI Lesbianas, Gais, Bisexuales y Transgénero MMV-2000 Marco Muestral de Viviendas 2000 MMV-2011 Marco Muestral de Viviendas 2011 OCDE Organización para la Cooperación y el Desarrollo Económico PRD Proceso de Recolección de Datos SIEH Sistema Integrado de Encuestas a Hogares UPM Unidad Primaria de Muestreo USM Unidad Secundaria de Muestreo v The World Bank Costa Rica Integrated System of Household Surveys (P163431) 1. Introducción El INEC, como ente rector en el país de las estadísticas nacionales y coordinador del Sistema de Estadística Nacional (SEN), es el encargado de proveer los datos estadísticos a nivel nacional para el establecimiento de políticas económicas y sociales. Las estadísticas sociodemográficas proveídas por las encuestas de hogares representan uno de los mayores y más importantes productos de la oferta de información que la institución brinda a nivel país. No en vano, desde 1966 se mantienen los programas de encuestas de hogares, los que han tenido, hasta el presente, una constante evolución en cobertura y especialización. Los programas referidos buscan cumplir objetivos específicos como mantener constantes las estadísticas relacionadas con el empleo, los ingresos y las variables sociodemográficas y demográficas, todas de importancia para establecer políticas y planes que favorezcan el desarrollo del país. Asimismo, entre sus objetivos están servir de fuente de información a instituciones gubernamentales, privadas, académicas, organismos internacionales, investigadores e interesados en temas sobre población y empleo En la actualidad la institución presenta retos para atender las demandas de información estadística, incrementada por los requerimientos de la Organización para la Cooperación y el Desarrollo Económico (OCDE)1, seguimiento y formulación de los indicadores de Objetivos de Desarrollo Sostenible (ODS) y de nuevas demandas del Gobierno de la República, originadas por la solicitud de generar indicadores de pobreza multidimensional y otros de bienestar, así como apoyar en el monitoreo y evaluación de los programas sociales y sus impactos. A esas necesidades se suma la planteada por el Ministerio de Planificación Nacional y Política Económica (Mideplán) de disponer de mayor cantidad de información estadística con desagregación geográfica y los compromisos internacionales para generar información sobre poblaciones que no han sido mayormente visibilizadas desde la estadística, como grupos étnicos, población con discapacidad, género, población LGTBIQ+, entre otros. También han surgido nuevas demandas sectoriales, por lo que desde el 2016 se han desarrollado encuestas especificas en temas como cultura, uso del tiempo, juventud, niñez y adolescencia, discapacidad, entre otros, que plantean un desafío al INEC para atenderlas y dar continuidad a dicha producción estadística. 1 En el año 2014 el país realizó la solicitud formal para ser ´parte de la OCDE. En abril del 2015 la OCDE aceptó iniciar el proceso de revisión del país; en febrero del 2015 inició la revisión estadística que concluye en junio del 2017. 1 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Atender esta demanda mayor de información representa un inmenso desafío para el INEC, dada la necesidad de diseñar encuestas separadas según temática y requerimientos técnicos, operativos y presupuestarios para su implementación. Es a partir de la identificación de estas necesidades de información, que el INEC decide hacer una revisión de su producción estadística de encuesta a hogares y determinar las posibilidades, tanto internas como externas, para atender estas solicitudes y hacer un uso más eficiente de los recursos. Bajo este contexto, el INEC planteó el proyecto denominado Hacia un sistema integrado de encuestas a hogares (SIEH), el cual busca de forma más eficiente mejorar la calidad de la oferta de información estadística suministrada por las encuestas de hogares. Un SIEH es “una estrategia de producción de información acerca de las características demográficas y socioeconómicas de los hogares y las personas, basada en el diseño y ejecución coordinada de un conjunto de encuestas que, siendo diferentes entre sí en cuanto a sus objetivos y alcances, comparten un cierto marco conceptual y metodológico, complementan sus temas de investigación, sincronizan su realización en el tiempo y optimizan el uso de los recursos humanos y financieros�2. La primera etapa de este proyecto se planteó con una duración de 24 meses y un costo de $1,823,042, la ejecución le correspondió al INEC, con la asistencia técnica del Banco Mundial a través del Fondo Fiduciario para la Creación de Capacidad Estadística (TFSCB) por un monto de $385,402. La colaboración del Banco Mundial en esta primera fase permitió generar capacidades en el equipo de trabajo del proyecto por medio de pasantías para conocer las experiencias y buenas prácticas de otras Oficinas de Estadística que han implementado Sistemas Integrados de Encuesta, y de las consultorías recibidas de expertos internacionales en temas de muestreo, tecnologías de información, empleo, ingresos y diseños de sistemas integrados de encuestas a hogares. Este apoyo es fundamental para generar las bases de los que será el Sistema Integrado de Encuestas del INEC. En esta primera etapa se priorizó tres componentes principales: [i] un diseño temático actualizado, [ii] un diseño de muestra actualizado y [iii] un sistema de tecnología de información estandarizado e integrado para todas las encuestas de hogares. El presente documento se expone los principales resultados alcanzados en esta primera etapa para estos tres componentes. 2 CEPAL, 2001. Hacia un Sistema Integrado de Encuestas a Hogares en América Latina. 2 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 2. Descripción del proyecto El proyecto Hacia un sistema integrado de encuestas de hogares del Instituto Nacional de Estadística y Censos de Costa Rica tiene como objetivo mejorar la calidad de la información estadística proporcionada por el INEC mediante el desarrollo de un Sistema Integrado de Encuestas de Hogares (SIEH). La integración de las diferentes encuestas que realiza el INEC dentro de este sistema integrado de encuestas permitirá: • Homogeneidad temática: garantizar una congruencia conceptual y metodológica básica en temas comunes entre diferentes encuestas. • Complementariedad temática: complementar información o incluir temas requeridos o solicitados en las distintas encuestas que integran el SIEH, de acuerdo a su naturaleza y población de análisis. • Eficiencia y oportunidad: compartir recursos y estandarizar procesos comunes como muestreo, cartografía, recolección, y tecnología de la información, lo que permite dar respuesta a los requerimientos de los usuarios de la información de manera eficiente, oportuna, reduciendo costos y optimizando la infraestructura existente. Lo anterior, se llevará a cabo al establecer un diseño de muestra y un marco temático y conceptual integrados entre las encuestas de hogares y el desarrollo de una plataforma tecnología para la gestión, seguimiento y control de calidad de la información que dé soporte al nuevo sistema de encuestas a hogares. Para el desarrollo del proyecto, se conformó un equipo de trabajo interdisciplinario que involucra a profesionales de la institución, quienes, por su experiencia técnica, tuvieron la tarea de formular y desarrollar la metodología de trabajo, con el apoyo de otros institutos de estadísticas y consultores internacionales. 2.1. Objetivos del proyecto El proyecto cuenta con un objetivo general y tres objetivos específicos, los que se derivan del problema de desarrollo, el análisis de la situación actual y el análisis de la situación futura. Estos se presentan seguidamente: Objetivo general Mejorar la calidad de la oferta de información estadística suministrada por las encuestas de hogares del INEC; mediante el diseño y puesta en marcha de un sistema integrado de encuestas de hogares. 3 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Objetivos específicos i. Establecer un diseño muestral integrado para las encuestas de hogares. ii. Definir un marco temático y conceptual integrado para las encuestas de hogares. iii. Desarrollar un sistema informático integrado para las encuestas de hogares. 2.2. Componentes En atención a los objetivos propuestos, el proyecto se estructuró mediante los siguientes componentes: Componente Muestreo: Un diseño de muestra integrado y actualizado para las encuestas de hogares. Este componente analiza los requerimientos de precisión y desagregación geográfica de las principales temáticas investigadas actualmente en las encuestas a hogares y los nuevos requerimientos temáticos para mejorar la producción estadística. Para diseñar la muestra maestra del SIEH se considera los requerimientos de tamaños de muestra según tipo de indicadores, periodicidad, panel de rotación de la muestra, costos operativos, y grado de homogeneidad de los principales indicadores por temática, todo esto permite determinar los tamaños de muestra dentro de la Unidades Primarias de Muestreo. Componente Temático: Un diseño temático actualizado, integrado y articulado de las encuestas de hogares. Este componente considera las demandas actuales de información a nivel nacional e internacional. El diseño del SIEH plantea la integración en una encuesta base, considerando la integración de varias temáticas en una encuesta base estructurada mediante módulos, que permita alternar los diferentes temas de acuerdo con su periodicidad, el alcance geográfico de la información solicitada, y la complementariedad temática de las diferentes encuestas. En este sentido, el SIEH considera la integración de otras encuestas importantes y especiales que realiza el INEC, como la Encuesta Nacional de Ingresos y Gastos, la Encuesta Nacional de Cultura, la Encuesta de Uso del Tiempo, la Encuesta de Mujeres, Niñez y Adolescencia, entre otras. Para las diferentes encuestas se plantea un módulo estandarizado, integrado y armonizado de variables sociodemográficas común a todas estas. 4 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Componente TI: Un sistema integrado de tecnología de la información para la gestión de las encuestas de hogares. Este componente plantea el diseño de una plataforma informática para la integración de las encuestas a hogares que se adapte a las necesidades actuales y futuras de las diferentes encuestas, y que unifique los procesos comunes en las diferentes etapas de las encuestas en sistemas ágiles, flexibles y seguros. De acuerdo a lo anterior, esta plataforma considera la integración de los diferentes procesos de encuestas como son los procesos de muestreo, cartografía, recolección, y procesamiento. Además, se considera el diseño de un diseñador de cuestionarios alimentado por un banco de preguntas estandarizado y armonizado conceptualmente entre las encuestas. 2.3. Alcance del proyecto El alcance del proyecto se establece desde el momento en que se identificó el problema de desarrollo (utilizando la metodología del marco lógico), hasta la conclusión de la prueba piloto para el sistema integrado de encuestas de hogares, lo que se ha denominado primera fase del proyecto. El diseño temático se actualizó según las últimas recomendaciones de los organismos internacionales referentes en cada tema, considerando la experiencia actual de las encuestas, los requerimientos de información de los usuarios de la institución y las particularidades nacionales. A pesar de la amplia gama de temas que investigan las encuestas del INEC, la actualización se centra en las temáticas abarcadas por las encuestas continuas que actualmente desarrolla el instituto: características sociodemográficas, vivienda, mercado laboral e ingresos y pobreza. El componente de Muestreo incluye el análisis de requerimientos temáticos en términos de precisión y desagregación geográfica; y en el componente de Tecnologías de Información comprende el diseño de la plataforma informática para la gestión de encuestas que integra los procesos de muestreo, cartografía, recolección, y procesamiento. En una segunda etapa, la institución proseguirá con la implementación del nuevo Sistema Integrado de Encuestas de Hogares, en tanto se disponga de los recursos financieros necesarios. 5 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 3. Diseño del SIEH En este apartado se describen y resumen las actividades realizadas por cada uno de los componentes del proyecto. Para cada una de las principales actividades se elaboraron documentos que contienen en detalle el trabajo realizado y la propuesta de diseño del SIEH. 3.1. Componente Muestreo Las principales actividades de este componente se centraron en un diagnóstico y evaluación de los diseños de muestras de las actuales encuestas para determinar si cumplen con los requerimientos de precisión de las temáticas consideradas en su diseño, además, determinar los tamaños de muestra considerando los requerimientos de las temáticas actuales y las nuevas. Seguidamente se brinda un mayor detalle de los documentos e investigación realizada: 3.1.1 Evaluación y análisis del diseño muestral de la producción estadística actual Se hizo una evaluación de los diseños muestrales actuales de la Encuesta Continua de Empleo (ECE), Encuesta Nacional de Hogares (Enaho) y la Encuesta Nacional de Ingresos y Gastos de los Hogares (Enigh), dado que estas encuestas producen los principales indicadores de las temáticas que se van a incluir en el SIEH. El objetivo de esta evaluación es determinar si cumplen con los requisitos planteados en el diseño estadístico de cada encuesta. La evaluación se hizo en seis partes, la primera consistió en rediseñar los principales aspectos relacionados a los diseños muestrales de las encuestas a hogares que se analizaron. En la segunda se evaluó los diseños muestrales a través de indicadores como el coeficiente de variación, el efecto del diseño, el coeficiente de correlación intraclase, el tamaño óptimo de los conglomerados y el tamaño de muestra requerido, entre otros. La tercera parte abordó el análisis de la no respuesta de la ECE y la Enaho. El análisis del cálculo y ajuste de los factores de expansión de cada encuesta se abordó en la cuarta parte del análisis. La quinta parte contiene un análisis de la estratificación que se aplicó al marco para las encuestas ECE y Enaho; y el tamaño de muestra dentro de los conglomerados seleccionados en la primera etapa. La última parte del análisis es un estudio de los requerimientos de los usuarios internos, en el cual, se les consultó acerca de los alcances de dichas investigaciones en términos de los niveles de precisión, de la desagregación e inclusive en cuanto a la cobertura temática. Entre los principales resultados, se puede mencionar que los diseños de las encuestas son muy similares, probabilísticos, estratificados con dos etapas de selección, etc. Las diferencias más importantes radican en la periodicidad de las encuestas, trimestral (ECE), anual (Enaho) y quinquenal (Enigh), la cantidad de estratos considerados en el diseño de la muestra y el tamaño de la muestra, tanto en cantidad de las UPM y viviendas seleccionadas. En el diseño de muestra de la ECE se consideró tres variables de diseño: total de ocupados, 6 The World Bank Costa Rica Integrated System of Household Surveys (P163431) total de desocupados, y la tasa de desempleo abierto (TDA); en la Enaho, son el porcentaje de hogares en nivel de pobreza y el ingreso per cápita del hogar neto: y finalmente, la Enigh tiene como variables de diseño, ingreso promedio de los hogares, ingreso por fuente (cuatro fuentes), gasto promedio de los hogares y la clasificación del gasto CCIF (doce clases); sin embargo, se trabajó únicamente con el ingreso promedio de los hogares y el gasto promedio de los hogares. El análisis de resultados señala que, las siete variables de diseño analizadas (tres de la ECE, dos de la Enaho y dos de la Enigh) cumplen con los requerimientos establecidos en el diseño, esto quiere decir que, el nivel de precisión obtenidos para estas variables, medido según sus coeficientes de variación, son inferiores a los esperados según el diseño de muestreo. Al estudiar la serie histórica de las estimaciones con sus respectivos coeficientes de variación, tanto para las variables de diseño de la ECE como de la Enaho, se encuentra que, los cambios en las estimaciones no guardan relación con los cambios en los coeficientes de variación; y por otra parte tampoco se observan comportamientos atípicos, como valores extremos, en la tendencia de los coeficientes de variación. En cuanto a las tasas de respuesta, se evidenció que su caracterización debe ser un punto que tener en consideración en el futuro, no solo del SIEH sino para el INEC. De momento, conocer las verdaderas causas de la no respuesta es un tema complejo, sin embargo, del análisis histórico realizado se evidencia que las tasas de respuesta de la ECE son más altas que las de la Enaho, estando las de la ECE entre 90% y 94%, mientras que la Enaho la máxima obtenida es de 95,2% (2011) y la mínima de 83,3% (2017). En la ECE la principal razón de la no respuesta es el no contacto; por su parte en la Enaho el continuo descenso en la respuesta se relaciona principalmente al rechazo; sin embargo, también se da el problema de no contacto. Del estudio de los ajustes realizados a los factores de expansión, se puede decir que, si bien, en algunos casos al aplicar los ajustes se observan ligeros cambios en la variancia, que podrían considerarse no importantes en magnitud; el análisis brinda áreas de oportunidad para mejorar la precisión de las estimaciones. Además, este estudio se realizó con las variables de diseño, de las cuales se espera mejor precisión; sin embargo, para otras variables el impacto de estos ajustes debe estudiarse. Como parte de este estudio se hicieron cálculos de tamaño de muestra para las actuales variables de diseño ECE, Enaho y Enigh. Estos se tomaron como preliminares y su fin no era dar los tamaños de muestra para el SIEH (esto se aborda en la siguiente sección). En ese estudio, entre otros resultados, se obtuvo que, para dar estimaciones a nivel nacional, con una muestra menor a 14 000 viviendas se lograría tener estimaciones con una precisión menor al 5% para todas las variables excepto para el total de desocupados. Al analizar los coeficientes de correlación intraclase se observa que hay diferencias grandes 7 The World Bank Costa Rica Integrated System of Household Surveys (P163431) en el tamaño óptimo del conglomerado. Inclusive se ven diferencias importantes entre una misma variable y para distintas desagregaciones, así como para distintas razones de costos; esto se debe principalmente a que los niveles de rho son muy distintos para las estimaciones en análisis. Para conocer los requerimientos de los usuarios internos del INEC se realizaron entrevistas con los coordinadores de las siguientes operaciones estadísticas: Encuesta Continua de Empleo (ECE), Encuesta Nacional de Hogares (Enaho), Encuesta Nacional de Ingresos y Gastos de los Hogares (Enigh), Encuesta Nacional de Microempresas de los Hogares (Enameh), Encuestas Especiales (EE) y al �rea de Servicios de Información y Divulgación Estadística (Aside). De esas entrevistas, se extrae que hay consenso que los usuarios siempre esperan el mayor nivel de desagregación posible, hasta cantón o inclusive mayor, además de otras desagregaciones como sexo y grupos de edad. En el caso de la ECE, mencionaron la necesidad de obtener estimaciones mensuales, lo cual es diferente a estimaciones con trimestres móviles centradas en un mes en particular, algunos temas solicitados a profundizar son: educación, discapacidad, etnicidad y religión. Debe haber mayor facilidad para que cada proceso sea capaz de generar sus propios indicadores de calidad. Por ejemplo, actualmente el coeficiente de variación -indicador relacionado a la precisión- solamente lo calcula de manera oficial en el INEC el Proceso de Muestreo. Como producto de esta actividad se elaboró el documento “Evaluación y Análisis del Diseño Muestral de la Producción Estadística Actual (ECE, Enaho y Enigh)�. 3.1.2 Propuesta del diseño muestral del SIEH En un inicio se planteó que a lo largo de los veinticuatro meses del proyecto SIEH, se iba a dar como producto una propuesta del diseño muestral, sin embargo, por las características de las temáticas y que la investigación fue exhaustiva y extensa, se priorizó en las temáticas de empleo e ingresos, por tal motivo, no cumplió con la premisa de entregar un diseño muestral completo para el SIEH. No obstante, se hizo un arduo trabajo en cuanto al cálculo de los tamaños de muestra para los nuevos requerimientos temáticos del SIEH. Precisamente se realizó una segunda actividad en el componente de muestreo centrada en el análisis de los nuevos requerimientos. Para cumplir con este objetivo se presentan los nuevos requerimientos temáticos, las variables de diseño SIEH y las variables de diseño por módulo; también los estadísticos resumen, resultados de tamaños de muestra de viviendas y el cálculo del coeficiente de correlación intraclase, así como el tamaño de muestra dentro de la UPM. Finalmente, se resume las principales recomendaciones de los consultores que han apoyado al componente de muestreo en la investigación de nuevos requerimientos. Este análisis de nuevos requerimientos incluye las actuales variables de diseño, y por solicitud del equipo temático, se adicionó los ocupados por rama de actividad y desocupados por grupo de edad para la temática de empleo; y el total de hogares en 8 The World Bank Costa Rica Integrated System of Household Surveys (P163431) pobreza extrema y el ingreso total del hogar neto para ingresos y pobreza. Los módulos temáticos del SIEH para los cuales se realizó el análisis son: vivienda, migración, educación y etnia. Siendo las viviendas sin servicio sanitario, la población migrante, las personas que no asisten a la educación formal y la autoidentificación étnica las variables de diseño de cada uno de esos módulos, respectivamente. A las variables de diseño SIEH se les aplicó un diagnóstico, el cual se enfoca en: estadísticos resumen generados a partir de la base de datos de la encuesta correspondiente, tamaños de muestra generados a partir de los estadísticos resumen de la encuesta, estadísticos resumen del censo y tamaños de muestra calculados a partir de esos estadísticos. Finalmente se calculó el coeficiente de correlación intraclase (rho) y los tamaños de muestra óptimos dentro de los conglomerados (b*). Por su parte, a las variables de diseño de módulo, se les calculó únicamente el tamaño de muestra de viviendas. A partir de este diagnóstico se determinó que, en general, tal como se concluyó en el informe diagnóstico de las encuestas actuales ECE, Enaho y Enigh; los niveles de precisión del empleo, la pobreza y los ingresos son bastante buenos, únicamente la pobreza extrema presenta coeficientes de variación mayores al 10% por región. Algunos efectos del diseño tienden a ser altos por lo que se debe estudiar su comportamiento, siendo este un indicador de calidad de las encuestas, para evaluar su impacto y si es posible buscar reducirlos. Sin embargo, la generalidad estos resultados indican que los tamaños de muestra con los que se trabaja actualmente en la ECE y en la Enaho, son suficientes para obtener estimaciones con coeficientes de variación inferiores a 10. Quizás se requerirían pequeños ajustes en ciertos niveles de desagregación, para cumplir con los errores estándar relativos deseados para estas 7 variables analizadas. Ahora bien, los nuevos requerimientos planteados para este proyecto SIEH abarcan nuevas variables de diseño (para los módulos que se incluirían), así como mayores niveles de desagregación para las estimaciones (inclusive se evalúa el realizar estimaciones cantonales). Por otra parte, antes de mostrar los resultados de los cálculos de tamaños de muestra, es importante mencionar que en algunas consultorías se conversó acerca de la posibilidad de contar con un tamaño de muestra anual de aproximadamente 80 000 viviendas, por lo que se tendría un total de 20 000 viviendas por trimestre al año. (Escenario A). También se consideró que con la producción actual del INEC en dos de sus encuestas a hogares (13 440 viviendas anualmente en la Enaho y 9 528 viviendas trimestralmente en la ECE), ese número de viviendas anuales sería de 51 552, es decir unas 12 888 viviendas por trimestre al año (Escenario B). Es importante tener esos números en mente, como una base mínima de la producción anual de la institución, a la hora de analizar los siguientes resultados. Con 22 657 viviendas se podría garantizar estimaciones con errores relativos menores o iguales al 15% (desocupados por zona), menores o iguales a 10% (desocupados nacional y TDA por zona y región) y menores al 5% (ocupados nacional, zona y región). 9 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Anualmente con 69 441 viviendas, para las variables de ingresos y pobreza, se podría garantizar errores relativos menores al 5% a nivel nacional, zona y región y menores al 10% por cantón (menores al 15% para el porcentaje de hogares pobres). Cuadro 1. Escenario A. Tamaños de muestra de viviendas para las variables de diseño SIEH por desagregación y error relativo esperado. Con 12 616 viviendas se podría garantizar estimaciones con errores relativos menores o iguales al 15% (desocupado nacional, TDA por región), menores o iguales a 10% (ocupados por región, TDA por zona) y menores al 5% (ocupados y TDA nacional). Anualmente con 53 535 viviendas, para las variables de ingresos y pobreza, se podría garantizar errores relativos menores al 15% (ingreso per cápita por cantón), menores al 10% (hogares en pobreza extrema por región, ingreso total por cantón) y menores 5% (porcentaje de hogares pobres, ingreso per cápita e ingreso total a nivel nacional, zona y región y hogares en pobreza extrema nacional y zona). 10 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Cuadro 2. Escenario B. Tamaños de muestra de viviendas para las variables de diseño SIEH por desagregación y error relativo esperado. El interés de conocer la homogeneidad de las UPM respecto a una característica nace del principio que señala que la homogeneidad tiende a aumentar la variancia de la muestra. Al analizar rho tenemos que cuanto más se acerca este valor a 1 existe más homogeneidad dentro del conglomerado y cuanto más cercano es a - 1/(b-1) existe más heterogeneidad. Valores de rho muy cercanos a cero indican que la distribución de la variable entre las UPM es aleatoria. Los desocupados, ocupados y la TDA presentan valores de rho que oscilan entre 0,015 y 0,058 lo cual es cercano a cero, siendo los desocupados los que presentan valores de rho ligeramente más pequeños (máximo de 0,044). En las variables de pobreza e ingresos, excluyendo la pobreza extrema, se presentan valores de rho entre 0,057 y 0,8. El comportamiento de la pobreza extrema se encuentra en un punto intermedio entre el empleo y las demás variables de ingresos y pobreza, con coeficientes entre 0,017 y 0,226. Podría decirse que, el comportamiento del empleo es más aleatorio, mientras que el de los ingresos y la pobreza tiende a ser más homogéneo, es decir, las viviendas de una misma UPM tienden a ser muy similares en cuanto a sus ingresos y su nivel de pobreza, lo cual tiene un efecto sobre la variancia, tendiendo, teóricamente a aumentarla. 11 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Los cálculos del tamaño óptimo de muestra del conglomerado (b*) indican que de momento no se cuenta con evidencia que sustente que se debe trabajar con un tamaño de muestra (b*) distinto, tanto a nivel nacional versus zona como entre zonas. Sin embargo, se puede aplicar la lógica del consultor Gough, en la cual sugiere tener en cuenta un rango de valores para el tamaño de muestra de la UPM. De acuerdo a los análisis realizados este valor podría estar entre 10 y 15 viviendas. En un escenario donde se elija b=10, se podría alargar más la utilidad del marco de viviendas, al mismo tiempo que se estaría aumentando el tamaño de muestra en la primera etapa de selección, la cual se sabe es la que aporta en mayor magnitud a la variancia de las estimaciones. En un escenario con el mismo tamaño de muestra nacional, utilizar un b=15 podría considerarse cuando resulte más caro preparar una UPM que obtener las entrevistas dentro de la misma. Este tipo de decisiones se verían con mayor claridad si se llega a un acuerdo en cuanto los contenidos y cumplimientos para el llenado de una plantilla de aquellos costos en los que incurren las encuestas que están asociados al tamaño de muestra. Como producto de esta actividad se elaboró el documento “Diseño muestral del SIEH�. 3.1.3 Diseño muestral de la prueba piloto En esta primera fase se realizó una prueba piloto, la cual se denominó Piloto Encuesta Nacional Integrada a Hogares (Enaih), la cual se abordará con mayor detalle en el componente temático, sin embargo, a partir de los objetivos y alcances establecidos en esta prueba, para el componente de muestreo esta actividad comprendió el desarrollo de las siguientes tareas: elaborar el diseño de la muestra; realizar el análisis de los resultados de la prueba y elaborar un informe de resultados. Los objetivos del componente de muestreo fueron: obtener insumos para calcular la razón de costos para la optimización del tamaño de muestra dentro de las UPM, generar los indicadores de problemas de marco para la Enaih, generar los indicadores de problemas de no respuesta para la Enaih y calcular estadísticos resumen para las principales variables de la investigación. En cuanto al primer objetivo, de la plantilla de costos solamente podía aplicarse aquellos rubros relacionados al kilometraje, sin embargo, debido a la logística del operativo de campo se imposibilitó contar con ese dato a nivel de la UPM; por lo que no se pudo realizar el ejercicio relacionado a este objetivo. Sobre el análisis de los objetivos restantes se destacan los siguientes resultados: De las 1440 estructuras que salieron al campo como parte de la muestra, 262 (18%) fueron problemas de marco. Los problemas de marco son considerablemente mayores en los estratos rurales, cercanos al 25%; mientras que eran cercanos al 10% en los estratos medio y bajo. Del total de hogares en la muestra (1 186), 528 fueron clasificados con no respuesta. De estos casos se identificaron 436 hogares con informante no localizado. Hubo un total de 79 rechazos, lo que representa un 5.4% de los hogares en la muestra. La tasa de no respuesta 12 The World Bank Costa Rica Integrated System of Household Surveys (P163431) fue de 45%, los principales diferenciales para este indicador se observan al analizar el estrato Enaih; los hogares de estratos altos tienen una menor tasa de respuesta, y esta tiende a incrementarse en las zonas rurales. Por el diseño muestral de la prueba, no se puede hacer inferencia con los resultados, sin embargo, se calcularon estadísticos como herramientas meramente descriptivas. De estos estadísticos se destaca que, el 48% de las 2 543 personas en la muestra son hombres, y el 52% son mujeres. Esta relación entre el número de hombres y el número de mujeres se mantiene para muchos de los estratos de análisis. El promedio de personas por hogar fue de 3.3. Se identificó 1 982 personas en la muestra con edad para trabajar, pero solamente en 1 545 se obtuvo resultado para la condición laboral, de las cuales 685 estaban ocupados y 114 desocupados. La media de personas ocupadas fue de 0.44. Esta media es considerablemente más baja en los estratos bajo y rural agropecuario (0.40), mientras que es cercana al 0.54 en el estrato alto. La media de personas desocupadas fue de 0.07. El análisis de los estadísticos de variabilidad muestra que las mayores diferencias para estos indicadores se observan al comparar los estratos Enaih. Como producto de esta actividad se elaboró el documento “Análisis de la prueba piloto del SIEH�. En general, en esta primera fase se concluye que en la actualidad los niveles de precisión de los indicadores de ingresos y pobreza son bastante buenos. Considerando tanto el escenario A como el escenario B, no es posible obtener estimaciones cantonales trimestrales, sin embargo, anualmente es posible tener estimaciones a este nivel para algunos indicadores. Los resultados obtenidos indican que para la definición de los tamaños de muestra del SIEH se debe prestar atención a las variables total de desocupados y a los ingresos, tanto el ingreso total como al ingreso per cápita del hogar neto. Finalmente es importante retomar el análisis de costos (llegar a la UPM y hacer la entrevista), al igual que el estudio de viabilidad para la aplicación del insumo cartográfico, derivado de levantamiento pre censal, a las encuestas a hogares. 13 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 3.2. Componente Temático Las principales actividades de este componente se centraron en el diagnóstico de la producción estadística actual, de las recomendaciones internacionales y de los requerimientos de los usuarios, respecto a la información que debería suplir la institución en la actualidad, así como la base conceptual de las operaciones estadísticas. Como resultado de lo anterior se desarrolló la base conceptual para las temáticas sociodemográficas, de vivienda, de mercado laboral y de ingresos y pobreza, además del diseño de los instrumentos de recolección de datos, los cuales fueron evaluados a través de una primera prueba piloto. A continuación, se detallan las principales actividades desarrolladas por este componente: 3.2.1 Evaluación y análisis de la producción estadística actual En esta actividad se realizó una revisión del marco conceptual relacionado a las temáticas sociodemográficas, de vivienda, de mercado laboral y de ingreso y pobreza en el que se basa la producción estadística actual en la institución. El objetivo de esta actividad fue identificar necesidades de actualizar la base conceptual de las operaciones estadísticas según las recomendaciones internacionales más recientes en estas temáticas. Para lo anterior se realizó una revisión bibliográfica tanto de las metodologías institucionales referente a marcos conceptuales, construcción de indicadores, métodos y procedimientos. Entre las operaciones estadísticas se incluyen: La Encuesta Continua de Empleo (ECE), la Encuesta Nacional de Hogares (Enaho), la Encuesta de Ingresos y Gastos (Enigh), así como el Censo de Población y Vivienda. Además, se hizo una revisión de las políticas públicas nacionales para identificar las implicaciones de la medición de estas temáticas sobre estas políticas. La evidencia encontrada se contrastó con la documentación de organismos internacionales referente a la conceptualización y operacionalización para encuestas con estas temáticas. En general para las temáticas analizadas se identificó que la base conceptual y el diseño de los instrumentos de recolección de datos de las diferentes encuestas presentan diferencias entre ellas, ya sea en el concepto utilizado o en la forma en que fue implementado en los cuestionarios. Además de esto, se identificó la necesidad de ajustar la base conceptual y los cuestionarios de las operaciones estadísticas para adaptarlas según las últimas recomendaciones internacionales. Como producto de esta actividad se elaboraron los documentos de diagnóstico de las temáticas sociodemográficas, de vivienda, de mercado laboral, de trabajo infantil e ingresos y pobreza, los cuales detallan para cada temática el análisis realizado. 3.2.2 Identificar requerimientos de información por los usuarios Una de las primeras actividades llevadas a cabo fue, la identificación de requerimientos de 14 The World Bank Costa Rica Integrated System of Household Surveys (P163431) información de los usuarios de la Institución. La consulta a usuarios tuvo el objetivo de conocer las demandas de información de las instituciones gubernamentales, de los investigadores y de los usuarios en general, tanto en aspectos temáticos como requerimientos de diseño, desagregación temática y geográfica, o precisión estadística. Las consultas a usuarios incluyeron talleres con los usuarios pertenecientes al gobierno, instituciones públicas, sector académico y organismos internacionales, además con el fin de abarcar la mayor cantidad de usuarios e identificar adecuadamente sus requerimientos se realizaron consultas vía web para el público en general. El proceso de consulta a usuarios consideró enlistar las instituciones, organismos internacionales y centros de investigación usuarios de las estadísticas del INEC. Posteriormente, los usuarios se clasificaron de acuerdo a las principales temáticas investigadas en las encuestas de hogares y los censos de población y vivienda3. El taller se llevó a cabo por medio de una metodología altamente participativa en la construcción colectiva y consensuada con grupos de personas provenientes de diferentes sectores sobre sus necesidades prioritarias. Para lo anterior se contó con un facilitador, el cual fue neutral, condujo el proceso, y mantuvo enfocado el diálogo entre los participantes para garantizar un resultado óptimo y un clima positivo. Además del taller de consulta a usuarios de la institución, se realizaron talleres individuales debido a la complejidad de algunos temas, ya que requerían de una mayor participación de grupos específicos y de un enfoque específico. Los temas contemplados en estos talleres especializados fueron: discapacidad, etnia y población LGBTI+. Luego de talleres de consulta a usuarios, dentro del marco de los proyectos del Censo Nacional de Población y de Vivienda y el SIEH, se publicó en la página web del INEC la consulta pública sobre necesidades de la información, en donde aquellos interesados en aportar sus requerimientos tenían la oportunidad de completar un cuestionario, asimismo, se fomentó a la participación y divulgación del instrumento de consulta para usuarios claves mediante comunicación directa con estos. Este instrumento se implementó como complemento a la consulta realizada durante el taller a usuarios llevado cabo por la institución. 3 Las temáticas incluidas en el taller fueron: vivienda, migración, género, empleo, servicios, educación e ingresos y pobreza. 15 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Posterior a las consultas, se analizaron las demandas de los usuarios y se clasificaron en cuatro grupos. Primero, los requerimientos que pueden ser atendidos vía encuestas a hogares, Censo o en ambas. El segundo grupo, los requerimientos que no fueron claros en el alcance, la cobertura o tiene limitaciones de definición, así como aquellos que son muy específicos de alguna operación estadística u otra área del INEC, se clasificaron como requerimientos que se van a tener en estudio. El tercer grupo de requerimientos se clasificaron como información disponible, para estos casos se especifica la fuente, periodicidad, y disponibilidad de la información. El último grupo correspondió a las solicitudes que se analizaron y no son viables de realizar por el INEC, pues no le corresponde a la institución generar esa información, o no responden a una política pública que debe atender la institución. De los subtemas planteados se consideró que el 56,5% de ellos podrían ser atendidos vía las encuestas a hogares o el Censo, para el 17,3 % de solicitudes ya se producía información en alguna encuesta a hogares, mientras que se consideró el 13,04% se mantenía en estudio y un 13,04% no es viable. Como producto de esta actividad se elaboró el informe de la consulta a usuarios y los documentos de requerimientos de usuarios sobre el mercado laboral, temáticas sociodemográficas como LGBTI y etnia, también sobre discapacidad, de vivienda y de ingresos y pobreza. 3.2.3 Definición del alcance para cada temática incluida en el SIEH La definición del alcance consideró la especificación de las temáticas que pueden ser abarcadas por las encuestas continuas de SIEH, cuáles pueden ser cubiertos a través de módulos especiales y cuáles deben ser abarcados por medio de encuestas especiales independientes. El objetivo de esta actividad fue identificar la capacidad del SIEH para generar información de las temáticas y la carga que puede ser abarcada por la encuesta base del sistema integrado de encuestas a hogares y la que debe ser cubierta por otras encuestas. Para este desarrollo se consideró la evaluación de la producción estadística actual, con el fin de identificar qué temáticas ya están siendo cubiertas por las encuestas que actualmente forman parte del plan de encuestas; asimismo, la identificación de los requerimientos de información de los usuarios para identificar temáticas que no están siendo cubiertas o, solo de forma parcial. Esta investigación en conjunto con la revisión de la experiencia internacional en el diseño de sistemas integrados de encuestas a hogares, se utilizaron como insumo para evaluar las posibles características del diseño temático del SIEH. Como resultado de lo anterior, se plantearon dos opciones de estructura de SIEH, con las cuales la institución podría abarcar la producción estadística actual y los nuevos requerimientos de información con la periodicidad requerida, así como las restricciones de recursos con los que cuenta la institución. Como primera opción se plantea una única encuesta base que abarque las temáticas 16 The World Bank Costa Rica Integrated System of Household Surveys (P163431) sociodemográficas, de vivienda, educación, mercado de trabajo, de ingresos, pobreza y asistencia social y microempresas, además de estos, se investigarían a través de módulos especiales (no fijos) temáticas como: otras formas de trabajo, trabajo infantil, migración, TIC’s y victimización, entre otros (Diagrama 1). Para la segunda opción, se recomienda que otras temáticas debe abarcarse en encuestas que, aunque forman parte del sistema integrado de encuestas, serían independientes a la encuesta base continua del SIEH, entre las cuales se encuentran la encuesta de ingresos y gastos, encuestas de uso del tiempo, encueta de discapacidad y la encuesta de mujer, niñez y adolescencia, entre otras (Diagrama 2). Diagrama 1 Propuesta de diseño temático de la Encuesta Base del SIEH Diagrama 2 Propuesta de diseño temático del SIEH Aunado a lo anterior, se desarrolló la propuesta conceptual de las temáticas abarcadas en la encuesta base del SIEH. Esta actividad buscó plasmar la propuesta conceptual estandarizada y actualizada para el diseño de las operaciones estadísticas futuras de la Institución. Este trabajo incluyó, sustentado en la evaluación de las operaciones estadísticas y la consulta a usuarios, el desarrollo de conceptos, variables y categorías e indicadores, así como la definición en conjunto con el componente de muestreo, las variables claves para el diseño muestral en las temáticas abarcadas en el proyecto. 17 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Como producto de esta actividad se elaboró la propuesta de los documentos de marco conceptual de las temáticas antes mencionadas: sociodemográficas, de vivienda, de mercado laboral e ingresos y pobreza. 3.2.4 Diseño de propuesta del instrumento de recolección Esta actividad consistió en el diseño de una propuesta de cuestionario para la encuesta base del SIEH. El objetivo de esta actividad fue diseñar módulos de preguntas para el cuestionario de la encuesta base del SIEH para la investigación de las temáticas abarcadas en esta primera etapa del proyecto. La propuesta del cuestionario consideró los requerimientos de los usuarios y las últimas recomendaciones internacionales, con la construcción de este insumo se debe continuar con un proceso de análisis y discusión para valorar su diseño y alcance de indicadores que permiten estimarse. Este diseño considera inicialmente la operacionalización de conceptos por medio de la redacción de preguntas, además de definir la estructura de los módulos del cuestionario preliminar, que permitiera obtener la información necesaria para la construcción de los indicadores de cada una de las temáticas a investigar mencionadas anteriormente. Para lo anterior, se tomó como base los cuestionarios que son aplicados actualmente en las encuestas y se realizaron cambios y ajustes para obtener una propuesta inicial, para luego ser validados con personal clave de la institución. Una vez diseñado el cuestionario es necesario realizar una serie de pruebas para su evaluación, dentro del proyecto se planificó una prueba piloto, por lo cual, en esta actividad se requirió definir el tipo de instrumento para la captura de datos. Primero fue necesario el diseño de un cuestionario modelo en papel que luego fue utilizado como base para el diseño de una versión digital a través de los sistemas de captura de información institucionales. Como resultado se obtuvieron dos modelos de cuestionarios, uno con la versión actual de preguntas temáticas, y el otro con la nueva propuesta; ambos incluyeron módulos sociodemográficos, de vivienda, de trabajo y de ingresos, los cuales se probaron en distinto orden para medir el impacto de introducir un módulo u otro, en concreto, para ver las diferencias entre distintos escenarios. Además, se incluyeron estos cuestionarios en los sistemas de captura de datos para ser implementados en la prueba piloto del SIEH. 3.2.5 Prueba piloto del cuestionario base La prueba piloto abarcó el diseño de la capacitación, de la recolección y del procesamiento de datos, del diseño de resultados de la prueba piloto y, finalmente, de la ejecución de la prueba piloto. A continuación, se describen cada una de estas actividades: a. Diseño de capacitación para la recolección y procesamiento Como parte del diseño temático del SIEH se consideró llevar a cabo una prueba piloto, para lo cual se requirió el diseño de los procesos que involucran su desarrollo como lo son: a capacitación, la recolección de datos, el procesamiento de datos y su análisis. En este 18 The World Bank Costa Rica Integrated System of Household Surveys (P163431) sentido, en conjunto con el proceso de recolección de datos de las encuestas a hogares, se desarrolló el diseño de la capacitación para la prueba piloto del SIEH, el propósito de este diseño fue generar una metodología de capacitación acorde a los estándares instituciones y que permitieran el cumplimiento de los objetivos de esta prueba piloto. Dado los objetivos específicos de esta encuesta piloto y la metodología usada, implicó aplicar dos modelos de cuestionario de manera simultánea en todos los grupos de trabajo, se requirió diseñar una capacitación con características específicas y diferenciadas a las que comúnmente se presentan en las operaciones estadísticas de la institución. Este diseño de capacitación implicó cambios significativos como ampliar el tiempo de capacitación, aumentar la cantidad de prácticas y evaluaciones, detallar de manera concisa las diferencias entre los diferentes modelos de cuestionarios, así como entre los diferentes escenarios en que eran aplicados, entre otros. Como producto de esta actividad se elaboraron los documentos de diseño y manual de la capacitación para la prueba piloto del SIEH. b. Diseño de estrategia de la recolección de datos En conjunto con el proceso de recolección de datos, se diseñó la estrategia para la aplicación de cuestionarios a la muestra seleccionada de la prueba piloto y, así, poder alcanzar los objetivos planteados para esta prueba. En este diseño se evaluó el diseño de los operativos de campo actuales, se consideró las características particulares de esta prueba piloto y las restricciones de recursos para su realización. Dadas estas consideraciones se planteó una estrategia de recolección de datos diferenciada, la cual se detalla en el documento de diseño y resultados de la prueba piloto. Adicionalmente, este proceso requirió del diseño de inconsistencias por medio de los sistemas informáticos, la metodología de entrevista y los aspectos a incluir en los manuales e instructivos a utilizar en esta prueba. El personal disponible para la recolección de datos fue de 12 entrevistadores y 3 choferes, los cuales se distribuyeron en tres grupos de trabajo, cada uno conformado por cuatro entrevistadores y un operador de equipo móvil encargado del vehículo, y personal para la supervisión y control del operativo de campo. La muestra de 120 UPM se distribuyó entre los tres grupos de trabajo, cada UPM la trabajó dos personas de manera diaria con el objetivo de lograr una distribución equitativa de las cargas de trabajo, y por facilidad en el rescate de entrevistas pendientes. De esta actividad resultó como producto una serie de insumos que se incluyeron en el documento de diseño y resultados de la prueba piloto del SIEH. c. Diseño de la estrategia de procesamiento de datos En esta actividad se define la metodología a seguir para procesar los datos resultantes de las actividades de recolección de la prueba piloto, considerando los recursos disponibles y la carga de trabajo que implica esta actividad, y con el objetivo de generar las bases de 19 The World Bank Costa Rica Integrated System of Household Surveys (P163431) datos necesarias para el análisis de información y los resultados de la prueba piloto. Para lo anterior, se identificó el procesamiento básico necesario para cumplir los objetivos de la prueba piloto de manera eficiente, dado que no se contó con sistemas informáticos especializados que facilitara el procesamiento de los datos, lo cual se detalla en el documento de diseño y resultados de la prueba piloto. El procesamiento de los datos inició dos semanas después de iniciado el trabajo de campo y concluyó en diciembre del 2019. Este proceso incluye tres etapas: la codificación, la validación y la creación de variables. De esta actividad resultó una serie de insumos que se incluyeron en el documento sobre diseño y resultados de la prueba piloto del SIEH. d. Diseño de productos estadísticos Esta actividad implica el diseño de los análisis a realizar con la base de datos producto de la prueba piloto y otros insumos generados del proceso de recolección de datos. Este luego permitirá el análisis para obtener resultados que cumplan con los objetivos planteados en esta prueba piloto. En este sentido para cada una de las temáticas analizadas se identifica el tipo de análisis requerido, cuáles deben considerar el cálculo de principales indicadores y las diferencias entre cada modelo de cuestionario, asimismo como la revisión de la evidencia sobre la aplicación de los cuestionarios, con el fin de evaluar el diseño de módulos y preguntas de la propuesta de cuestionario rediseñado. Por otro lado, se definió un plan de análisis para evaluar aspectos del proceso de recolección de datos, el análisis se hace sobre los resultados de entrevista, en especial, sobre el efecto de utilizar informante directo y su complejidad para lograr las entrevistas completas. Además, se incluye el análisis de la calidad de los insumos cartográficos para su uso futuro en los procesos de recolección de datos. De esta actividad resultó como producto una serie de insumos que se incluyeron en el documento de diseño productos estadísticos y resultados de la prueba piloto del SIEH. e. Ejecución de la prueba piloto La ejecución de la prueba piloto abarcó las actividades de capacitación, la ejecución de la recolección de datos y la elaboración de un taller de realimentación posterior a la recolección, todas con base en el diseño realizado previamente de estas actividades. La capacitación tuvo una duración de 2 semanas y fue impartida por el personal del proceso de recolección de datos institucional y el equipo de diseño temático del proyecto a un grupo de 12 entrevistadores, los cuales se encargarían de recolectar los datos en campo. Por su parte, la recolección de datos se llevó a cabo durante un mes completo con el personal de campo que incluyó 12 entrevistadores y 3 choferes, mientras que el equipo de diseño temático del proyecto y proceso de recolección de datos institucional fungió como personal supervisor. 20 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Finalmente, el taller de realimentación fue realizado durante un día una vez finalizado la recolección de datos, con la participación de todos los involucrados en el proceso de recolección de datos. Este taller tuvo como meta permitir un espacio para generar realimentación sobre aspectos cualitativos del trabajo realizado en campo sobre todo de la experiencia en la aplicación de ambos cuestionarios y de la capacitación, esto se logró, mediante un conversatorio en mesas de trabajo del equipo técnico del proyecto con el personal entrevistador. Estas actividades tuvieron como objetivo, no solo obtener las bases de datos de las entrevistas realizadas, además buscaron documentar de manera adecuada toda la experiencia de la realización de la prueba piloto para apoyar el cumplimiento del objetivo de esta misma, así como para mantener los estándares de calidad de los procesos institucionales. De esta actividad resultó una serie de insumos que se incluyeron en el documento de análisis de resultados de la prueba piloto del SIEH, el informe del taller de realimentación y de la evaluación de la capacitación de la prueba piloto del SIEH. 3.2.6 Ajuste a la propuesta de cuestionario Con esta actividad se realiza el cierre de la primera etapa del proyecto del SIEH, la cual consiste en el análisis de los resultados de la prueba piloto. El objetivo de esta actividad es evaluar las mejoras propuestas en el diseño temático e identificar mejoras pendientes. Con los insumos generados a través de la prueba piloto se lleva a cabo el análisis de resultados, el cual incluye la revisión cualitativa de la implementación de las preguntas, el análisis cuantitativo de la base de datos, la generación de indicadores y la revisión de los módulos del cuestionario según la experiencia en campo. Una vez se finalizó la revisión de los resultados obtenidos de la prueba piloto, se identificaron recomendaciones de mejora referente al diseño temático del SIEH, asimismo, se identificó las tareas pendientes para continuar con el proceso de desarrollo del SIEH en la Institución. Como producto de esta actividad se elaboró el documento de resultados de la prueba piloto del SIEH. A pesar de la gran cantidad de temáticas abarcadas por las encuestas a hogares, en la actualidad continúa aumentando las demandas de información que debe suplir la institución para apoyar la creación y seguimiento de política pública. El diseño temático dentro del proyecto del SIEH en su primera etapa se centró en las principales temáticas investigadas por las encuestas a hogares de la institución, y las de mayor relevancia social. El principal producto de esta etapa han sido el desarrollo de la base conceptual de estas temáticas para ser implementado en las diferentes operaciones estadísticas de la institución, así como la propuesta de cuestionario para la encuesta base del sistema integrado de encuestas. Sin embargo, aún queda pendiente más pruebas para garantizar su adecuada implementación en el SIEH. 21 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 3.3. Componente TI Las principales actividades de este componente se centraron en la evaluación de los sistemas informáticos usados actualmente en la producción estadística de las distintas encuestas a hogares, el análisis de experiencias internacionales de otros institutos de la región en el desarrollo de sistemas informáticos de esta naturaleza y finalmente, en la obtención de necesidades de los usuarios internos, para la elaboración del diseño del sistema en apego a los procesos institucionales trazados por la Unidad de Planificación. Como resultado de lo anterior, se elaboró el diseño conceptual y modular del sistema informático que abarca los procesos de muestro, cartografía, diseño, recolección y procesamiento. Posteriormente, se desarrolló una primera versión de prototipo no funcional del sistema, que incluye la mayoría de los módulos conceptualizados en el proceso de diseño. A continuación, se detallan las principales actividades desarrolladas por este componente: 3.3.1 Evaluación y análisis de experiencias internacionales en el desarrollo de sistemas informáticos para encuestas a hogares Esta actividad consistió en la realización de una serie de videoconferencias con otros institutos de Latinoamérica, entre ellos: El Departamento Administrativo Nacional de Estadística (DANE) de Colombia, el INEC de Ecuador, el Instituto Nacional de Estadística (INE) de Venezuela, INE de Chile, el Instituto Nacional de Estadística y Geografía (INEGI) de México. Esto específicamente para conocer sobre sus experiencias en el desarrollo de sistemas informáticos en lo relativo a las encuestas a hogares, ya que, como parte del proyecto, se presentaron importantes desafíos tecnológicos en pro del desarrollo de un sistema informático más versátil y escalable. Para concretar estas asistencias de cooperación, se contó con la cooperación del �rea de Coordinación del Sistema Estadístico Nacional. Una vez calendarizadas, se envió a cada instituto de manera específica los temas de interés (“SIEH Temas de Consulta TI�) para la preparación de la agenda. Finalmente, durante la realización de la videoconferencia se aplicó un cuestionario con preguntas de interés que permitieron ir obteniendo una matriz de resultados comparables de los sistemas, entre los distintos institutos. Como producto de esta actividad se elaboró el informe de los resultados de las experiencias internacionales, el cual detalla el análisis realizado. 22 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 3.3.2 Fase de análisis: Análisis de sistemas actuales, definición de nuevas necesidades y propuesta de diseño Se realizaron evaluaciones a los diferentes sistemas utilizados por el INEC en la actualidad, en las distintas encuestas a hogares, para determinar el grado de automatización alcanzado y la integración entre los distintos sistemas. También, se realizó un levantamiento de nuevos requerimientos para finalmente construir a partir de ello, una propuesta de diseño conceptual y modular de los distintos módulos que debían conformar el sistema. Estas actividades tuvieron como objetivo, conceptualizar los sistemas actuales y a partir de allí, obtener nuevos requerimientos y alcances para el sistema informático. La evaluación de los sistemas actuales se realizó mediante la aplicación de los formularios de consulta (Análisis de los sistemas informáticos “del cliente en estudio�, según criterio informático) y (Análisis de los sistemas informáticos “del cliente en estudio�), por otra parte, la obtención de necesidades se efectuó por medio de actividades de grupos focales donde se seleccionaron personas claves para cada proceso identificado, finalmente con estos resultados se elaboró un diagrama dividido por procesos en el que se plasmó cada uno de los módulos del sistema, así como la interacción entre ellos y el proceso al que pertenecen. Como principales productos de esta actividad, se obtuvieron una lista de necesidades priorizadas y el diagrama de módulos para el SIEH aprobado y socializado por todos los componentes que forman parte del proyecto (Diagrama 3). Estos se encuentran contenidos, en el informe de cierre de la etapa de análisis de TI, el cual detalla el análisis realizado. 23 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Diagrama 3 Módulos que incluir en la plataforma informática del SIEH 3.3.3 Fase de diseño: Diseño de diagramas y elaboración de casos de uso extendidos Con la asesoría del señor Roberto Cortes Morales, se construyó el diseño del sistema por medio de diagramas de casos de uso y casos de uso extendidos usando el formato sugerido por el estándar IEEE830 facilitado por el consultor, para el levantamiento de requerimientos cuando se desarrolla un sistema. Esta actividad se realizó porque, el diseño de un sistema es una etapa necesaria en el ciclo de vida del desarrollo del software, en este caso el objetivo fue obtener un diseño completo guiado en el marco de la asesoría contratada para tal fin. Para obtener el diseño, se trabajó bajo un plan detallado de la consultoría de Cortes para el logro de los objetivos específicos contenidos en los términos de referencia de su contratación, que obedecían a la obtención del diseño del sistema. El plan propuesto presentó seis fases a desarrollar durante los 12 meses de la contratación: 24 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 1. Preparación del equipo informático 2. Elaboración del modelo de negocio 3. Especificación de requerimientos 4. Elaboración de los modelos de diseño 5. Construcción 6. Cierre y recomendaciones Tanto los diagramas de caso de uso, como los casos de uso extendidos, fueron elaborados por la UTSI, consultados y validados por las áreas sustantivas, con contrapartes definidas por la coordinadora del proyecto. Como resultado de esta fase se obtiene como producto todas las necesidades de los usuarios para el sistema plasmadas en casos de uso (diagramas y casos de uso extendidos o escritos). Se realizaron 101 casos de uso en total que especifican el comportamiento que deberá tener el sistema, estos se agruparon por módulos, por lo que el resultado es un documento de los casos de uso detallados o extendidos para cada módulo. En resumen, se obtuvieron 8 documentos de casos de uso que obedecen a los distintos módulos conceptualizados durante la fase de análisis. Los detalles de los resultados de esta fase se plasmaron en el Informe de casos de uso extendidos para los módulos del sistema y también en el Informe final del componente informático. 3.3.4 Sistemas informáticos de la prueba piloto Esta actividad consistió en realizar la implementación del cuestionario rediseñado por el componente temático, sobre la plataforma actual que usa el INEC para atender hoy día las encuestas a hogares y que permite aplicar entrevistas asistidas por dispositivos móviles. Debido a que se requería de un sistema informático de captura para poder realizar la prueba piloto de forma digital, ya que el nuevo sistema estaba en fase de diseño. El objetivo consistió en implementar el cuestionario rediseñado sobre un sistema, garantizar su correcto funcionamiento y finalmente poder proporcionar acceso a los datos recolectados por medio de vistas para el análisis de la información generada en el operativo. Como producto de esta actividad, además de los sistemas y las vistas creadas para consular los resultados, se creó el Informe de la Piloto Encuesta Nacional Integrada a Hogares (Enaih) que detalla las actividades en los sistemas adaptados. 25 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 3.3.6 Programación de prototipo: Definición de framework y lenguajes de programación y FrontEnd (Prototipo no funcional) del sistema Esta actividad consistió en el inicio de la programación de los sistemas. Se realizó un análisis para poder definir el framework y lenguajes de desarrollo, para la programación a partir de mayo 2020, de los distintos módulos que conformarán el Sistema Informático Kapá, de forma paralela se realizó con el consultor Carlos Castillo, la primera versión de prototipo no funcional del sistema, basada en el alcance de los casos de uso resultantes del diseño. La análisis y selección de las herramientas de desarrollo de sistemas informáticos, se hizo para poder iniciar la segunda fase del proyecto con la selección de las mejores herramientas según criterios tecnológicos importantes investigados como tendencias, estabilidad, escalabilidad entre otros. Por otra parte, el desarrollo del FrontEnd (prototipo no funcional) del sistema, se hace como parte de las actividades de programación consideradas, con el fin de materializar en un prototipo usable y visual las funciones que tendrá el futuro sistema. La definición de herramientas se realizó por medio de un análisis en conjunto con el consultor Genaro Alonso, que incluyó: 1. Retomar los resultados de los sistemas actuales y desarrollados por otros institutos, con el fin de tener un parámetro de comparación con respecto a las tendencias tecnológicas. 2. Análisis de las Tendencias de Framework para el desarrollo Web 3. Análisis de Tendencias de Framework para el desarrollo Móvil 4. Comparación de interés en Google Trends sobre las principales herramientas 5. Comparación de otras variables generales entre herramientas Por otra parte, el desarrollo del FrontEnd, involucró un análisis de los requerimientos y casos de uso obtenidos como parte del análisis con usuarios internos del INEC. Durante el desarrollo, participaron contrapartes responsables de cada módulo, establecidos por la coordinación del proyecto, quienes guiaron y aprobaron los productos obtenidos, según el plan de desarrollo considerado para esta contratación. Como resultados de esta actividad, se ha decidido para la programación del sistema, hacer una selección de varias herramientas, basadas en dos plataformas de destino distintas (web y móvil). En el informe, se especifican las herramientas de programación propuestas y sus ventajas, así como; razones solidas por las cuales utilizarlas, implicaciones de su implementación y perfiles requeridos en la unidad informática. En el caso de la contratación del FrontEnd, se obtuvo como resultado dos prototipos que obedecen a las plataformas elegidas (web y móvil). El prototipo web incluye los módulos: 1. Administrador Transversal (que contempla el administrador de Cartografía y administrador de Recolección) 26 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 2. Diseñador de Cuestionarios 3. Validación El prototipo móvil incluye los módulos: 1. Cartográfico de campo 2. Recolección y supervisión Finalmente, para conocer a fondo el análisis, las herramientas y tecnologías seleccionadas y los resultados del FrontEnd, refiérase al informe de Definición de framework y lenguajes de programación y al Informe final del componente informático. 27 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 4. Conclusiones En el diseño del SIEH se consideró los requerimientos de información tanto nacional como internacional, la cantidad de encuestas a integrar, su periodicidad, y los requerimientos en cuanto a precisión, tamaños de muestra y nivel de desagregación geográfico y temático. En cuanto a la indagación de los requerimientos nacionales, se realizaron siete talleres básicos con usuarios especializados, expertos y técnicos de instituciones rectoras de cada temática, los talleres incluyeron la consulta de necesidades en temas como: vivienda, servicios, educación, migración, hogar, familia y género, pobreza, ingresos y empleo. Los resultados de ese proceso de consulta evidenciaron que cerca del 30% de los requerimientos ya es atendido por alguna operación estadística del INEC, el 27% es factible de incorporar en el proyecto SIEH, y el resto de los requerimientos no fueron claros o no es competencia del INEC indagarlos. En cuanto a los requerimientos internacionales, se elaboró un diagnóstico de los principales temas de empleo, ingresos y pobreza, y características sociodemográficas básicas con el fin de identificar las mejoras a incluir, tanto en los marcos conceptuales como en la operacionalización de los conceptos. Se analizó los requerimientos de los organismos internacionales cuyas estadísticas tienen como objetivo principal alimentar sistemas de información para la comparación de los países y las regiones, tanto en los niveles de desarrollo como en diferentes indicadores económicos y sociales. Entre estos organismos se encuentran la Organización para la Cooperación y el Desarrollo Económicos (OECD), la Organización Internacional del Trabajo (ILO), Programa de las Naciones Unidas para el Desarrollo (UNDP), la Comisión Económica para América Latina y el Caribe (CEPAL), Objetivos de Desarrollo Sostenible (ODS) entre otros. El diseño del SIEH considera la integración de las dos principales encuestas que realiza el INEC, la Encuesta Continua de Empleo (ECE) y la Encuesta Nacional de Hogares (ENAHO), en este sentido, se elaboró un primer cuestionario integrando las temáticas investigadas en estas encuestas e incluyendo las mejoras conceptuales según los requerimientos nacionales e internacionales. Este cuestionario base incluye cuatros secciones básicas: sociodemográfica, empleo, ingreso por trabajo y otros ingresos. A este cuestionario base, también se le incluyen módulos con temáticas especiales como viviendas y servicios, tecnologías de la información, trabajo infantil y adolescente, acceso a programas sociales, victimización, entre otros. La inclusión de estos módulos se programa según su periodicidad y diseño del SIEH. 28 The World Bank Costa Rica Integrated System of Household Surveys (P163431) En el diseño estadístico del SIEH, se identificaron las principales encuestas a incluir según la programación plurianual del INEC en los próximos diez años y los módulos a incluir en la encuesta base del SIEH. Para cada encuesta y módulo se definió los principales indicadores a estimar según objetivos y temáticas investigadas, los niveles de precisión estadística requeridos y niveles de desagregación geográfica y temática. Esta información permitió determinar los requerimientos de tamaños de muestra y además hacer la programación en el tiempo de ejecución de encuestas y módulos. Uno de los principales requerimientos de los usuarios es que el nuevo diseño de encuestas pueda brindar información a niveles geográficos menores, por ejemplo, a nivel de cantón. Aunque en el diseño del SIEH se analizó la viabilidad de este requerimiento, se concluye que económicamente no es viable, en su lugar, se están analizando opciones para acumular muestra en varias rondas de encuestas que permita desagregar la información al menos para ciertos grupos de cantones. En el diseño del SIEH se han planteado dos escenarios para el diseño de muestra de la encuesta base del SIEH, el escenario A si requeriría de 80 000 viviendas anuales (20 000 trimestrales) para cumplir con los requerimientos de precisión; el escenario B requiere de 53 535 viviendas anuales, es decir, alrededor de 13 383 viviendas por trimestre para cumplir con los requerimientos de precisión establecidos. Tanto bajo el escenario A como bajo el escenario B, no es posible obtener estimaciones cantonales trimestrales, sin embargo, anualmente es posible acumular muestra para al menos para un grupo de cantones y para los principales indicadores de empleo e ingresos. La decisión de la implementación de uno u otro escenario dependerá de la capacidad financiera del INEC. A finales del 2019, se realizó una encuesta piloto para evaluar las mejoras en las temáticas sociodemográficas, empleo e ingresos; evaluar el efecto del submuestreo en la precisión de las estimaciones, y probar los insumos cartográficos generados a partir de la actualización cartográfica de los censos nacionales programados para el 2021. En esta prueba se evidenció la necesidad de hacer más pruebas para mejorar la operacionalización de conceptos y la redacción de las preguntas; también se evidenció que los tamaños probados de la submuestra de viviendas dentro de las Unidades Primarias de Muestreo no tienen un efecto significativo en la variabilidad de las estimaciones; y que es necesario ajustar los insumos cartográficos para ser utilizados en las encuestas. En cuanto al diseño de la plataforma informática para la gestión de encuestas, se elaboró un análisis de los sistemas actuales donde se evidenció la duplicidad de esfuerzos para atender cuatro encuestas a hogares y varias encuestas especiales, aunque con objetivos diferentes, con grandes similitudes en su operativo y campo de estudio, de allí que, de la mano de una unificación temática, debe darse una unificación de soluciones de software para lograr tener un sistema informático integrado. De acuerdo a las investigaciones realizadas sobre las experiencias internacionales, ningún instituto de la región tiene un sistema integrado para la atención de todos los procesos involucrados en las encuestas a hogares, pero sin duda el INEGI de México es la oficina de 29 The World Bank Costa Rica Integrated System of Household Surveys (P163431) estadística que mayor avance presenta en miras de tener dicho sistema, y por tal razón ha sido un referente en el diseño de la plataforma informática del SIEH. En el diseño de esta plataforma informática, se tomaron en consideración las necesidades actuales y futuras de las encuestas, y las experiencias y buenas prácticas en términos de tecnologías de información de las oficinas de estadísticas que se investigaron. Con esto, se elaboró el diseño de esa plataforma informática con la integración de ocho módulos: Muestreo, Cartografía, editor de cuestionarios, Banco de preguntas, Recolección de Datos, Procesamiento, Codificación automatizada, y un módulo transversal a todos estos para la gestión, monitoreo, y control de todas las etapas de encuestas. Para cada módulo se elaboró una serie de casos de uso para la construcción de la arquitectura del sistema, esta metodología ayudó a aclarar las funcionalidades y el alcance de cada módulo. En esta primera fase fue posible una contratación para la elaboración del FrontEnd de los principales casos de uso del sistema, lo cual permitió validar y ajustar los requerimientos establecidos en distintos diagramas, esto fue muy enriquecedor previo a la programación por el motivo que se logró depurar las necesidades previo a la programación. Las herramientas consideradas para la fase de desarrollo del sistema son las opciones tecnológicamente con mejor rendimiento, escalabilidad y estabilidad para al menos los próximos 10 años subsiguientes, según las tendencias analizadas del mercado, sin embargo; factores internos o externos podrían alterar esta premisa. 30 The World Bank Costa Rica Integrated System of Household Surveys (P163431) 5. Recomendaciones Esta primera fase de dos años del SIEH permitió generar las capacidades en el equipo de trabajo en los tres componentes, sin embargo, se considera que algunas de las consultorías contratadas no estuvieron al nivel esperado, en especial las del componente de Muestreo y de tecnologías de información. La mayor dificultad obedeció por un lado a la poca oferta de consultores que se dio en las expresiones de interés y que, a pesar del gran conocimiento que individualmente tenían en las temáticas en específico, no tenían la suficiente experiencia en el diseño de sistemas integrados de encuestas. Esto se debe porque son pocos los países que han implementado sistemas integrados de encuestas a hogares, en este sentido, quizá sería más útil a futuro considerar en lugar de las consultorías, elaborar convenios con otras oficinas de estadística que han implementado sistemas de encuestas a hogares, para que sean los mismos especialistas y técnicos que los diseñaron, desarrollaron, e implementaron los que transmitan sus conocimientos, experiencias y buenas prácticas a otras oficinas de estadística que van dando los primeros pasos hacia un sistema integrado de encuestas a hogares. Una situación similar se presentó con las pasantías, se debe invertir la metodología y en lugar de que sean uno o dos funcionarios de la oficina de estadística que inicia el diseño de un SIEH que visiten otras oficinas de estadística con experiencia en los temas de interés, se debe elaborar convenios entre institutos de estadística para que sean los especialistas de las oficinas de estadística que visiten y transmitan su conocimiento y experiencia a una mayor cantidad de funcionarios de la oficina de estadística que así lo requiera. Esta situación se evidenció con las visitas de varios funcionarios del INEGI de México al INEC donde sus conocimientos en el diseño, desarrollo e implementación de la plataforma informática que poseen para la gestión de diferentes operaciones estadísticas, lograron llegar a más funcionarios del INEC dando una visión más integral de todos los componentes vinculados dentro del SIEH. Por otro lado, es necesario para colaboraciones futuras, un mejor acompañamiento de los expertos del Banco Mundial en los temas de gestión y trámites administrativos del proyecto. Tanto en la etapa previa a la firma del convenio, en la etapa de ejecución y de cierre del proyecto, no se tuvo claridad sobre procedimientos, llenado de instrumentos, y presentación de documentos, que alargaron y dificultaron las diferentes etapas. 31 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Anexos Cronograma En el cronograma, se definieron de manera específica, las tareas vinculadas con las actividades descritas, lo mismo que los plazos, responsables y recursos necesarios para atender cada una. 32 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Cuadro 3. Cronograma de actividades del proyecto Meses del proyecto Actividades Total días 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Componente 1: Un diseño de muestra integrado para las encuestas de hogares Evaluación y análisis del diseño muestral de la 68 días producción Informe pasantía 1 5 días Diseño muestral de SIEH 150 días Informe pasantía 1 5 días Diseño muestral de la prueba piloto 69 días Evaluación de resultados y elaboración de informe con 65 días propuesta de mejoras al diseño muestral del SIEH Componente 2: Un marco conceptual y temático integrado para las encuestas de hogares Evaluación y análisis de la producción estadística actual 45 días Informe pasantía 1 5 días Identificar requerimientos de información por los 65 días usuarios Informe pasantía 2 5 días Propuesta de temas abarcados por el SIEH 72 días Definición de alcance para cada temática incluida en el 80 días SIEH Diseño del instrumento de recolección 95 días Diseño de capacitación para la recolección y 38 días procesamiento Diseño de estrategia de la recolección de datos 45 días Diseño de la estrategia de procesamiento de datos 35 días Diseño de productos estadísticos 75 días Prueba piloto 110 días Evaluación de resultados y elaboración de informe con 30 días propuesta de mejoras temáticas Componente 3: Un sistema integrado de tecnología de la información para encuestas de hogares Fase de prepraración de la programación informática 270 días Programa informático análisis y diseño 207 días Informe pasantía 1 5 días Programa informático desarrollo de sistemas 138 días Programa informático pruebas e implementación 1 38 días Evaluación de resultados y elaboración de informe con 30 días propuesta de mejoras en los sistemas informáticos Fuente: Elaboración propia. 39 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Lista de documentos de referencia Componente Documentos de referencia Componente Muestreo 1. Informe diagnóstico del diseño muestral las encuestas actuales. 2. Documento de Diseño de Muestra de la Prueba Piloto. 3. Informe de la consulta a usuarios expertos en muestreo. 4. Informe del Componente de Muestreo para la Actividad: Análisis de la prueba piloto del SIEH. 5. Informe del Componente de Muestreo para la Actividad: Diseño muestral del SIEH. Componente temático 1. Diagnóstico de la base conceptual de las estadísticas sobre educación. 2. Diagnóstico de la base conceptual de las estadísticas sobre el mercado laboral. 3. Diagnóstico de la base conceptual de las estadísticas sobre ingresos y pobreza. 4. Diagnóstico de la base conceptual de las estadísticas sociodemográficas. 5. Diagnóstico de la base conceptual de las estadísticas demográficas. 6. Diagnóstico de la base conceptual de las estadísticas sobre trabajo infantil. 7. Diseño de capacitación prueba piloto del SIEH. 8. Diseño de módulos temáticas SIEH. 9. Diseño y resultados de la prueba piloto del SIEH. 10. Diseño de un Banco de Preguntas del SIEH. 11. Informe de la evaluación de la capacitación de la prueba piloto del SIEH. 12. Informe taller de consulta a usuarios del SIEH. 13. Informe taller de realimentación. 14. Marco conceptual de la temática sociodemográfica. 15. Marco conceptual de la temática de vivienda. 16. Marco conceptual de la temática de hogar y familia. 17. Marco conceptual de la temática de ingresos y pobreza. 18. Marco conceptual de la temática de educación. 19. Marco conceptual de la temática de mercado laboral. 20. Requerimientos de información de la temática de educación. 21. Requerimientos de información de la temática de ingresos y pobreza. 22. Requerimientos de información de la temática de mercado laboral. 23. Requerimientos de información de la temática de vivienda. 24. Requerimientos de información de la temática de sociodemográfica. 25. Propuesta para el uso de variables sociodemográficas. 40 The World Bank Costa Rica Integrated System of Household Surveys (P163431) Componente Documentos de referencia Componente de TI 1. Informe de Videoconferencias: Experiencias Internacionales. 2. Informe de cierre de la etapa de análisis de TI. 3. Informe de casos de uso extendidos para los módulos del sistema. 4. Informe de TI sobre la prueba piloto del SIEH. 5. Informe de Definición de framework y lenguajes de programación. 6. Informe final del componente informático. 41 The World Bank Costa Rica Integrated System of Household Surveys (P163431) ANNEX 4. SUPPORTING DOCUMENTS (IF ANY) 42