Document of The World Bank Report No: 27498 IMPLEMENTATION COMPLETION REPORT (TF-22519 CPL-40360 SCL-4036A SCPM-4036S) ON A LOAN IN THE AMOUNT OF US$60 MILLION TO THE REPUBLIC OF TUNISIA FOR A SECOND TRAINING AND EMPLOYMENT PROJECT December 23, 2003 CURRENCY EQUIVALENTS (Exchange Rate Effective ) Currency Unit = Tunisian Dinar US$ 1.0 = 0.96 TND (as of May 6, 1996) US$ 1.0 = 1.24 TND (as of December 10, 2003) FISCAL YEAR January 1 December 31 ABBREVIATIONS AND ACRONYMS ANETI Tunisian employment and self-employment agency (Agence tunisienne de l'emploi et du travail indépendant) ATE Tunisian employment agency (Agence tunisienne de l'emploi) ATFP Tunisian vocational training agency (Agence tunisienne de la formation professionnelle) CAS Country assistance strategy CENAFFIF National center for the training of trainers (Centre national de la formation des formateurs et de l'ingénierie de la formation) CNFCPP National center for in-service training (Centre national de la formation continue et de la promotion professionnelle) EU European Union FIAP Employment and training fund (Fonds d'insertion et d'adaptation professionnelle) GTZ German technical cooperation agency (Deutsche Gesellschaft für Technische Zusammenarbeit) MANFORME Upgrading of vocational training and employment (Mise à niveau de la formation professionnelle et de l'emploi) ME Ministry of employment (Ministère de l'emploi) MET Ministry of education and training (Ministère de l'éducation et de la formation) MVTE Ministry of vocational training and employment (Ministère de la formation professionnelle et de l'emploi) OFPE Office of vocational training and employment (Office de la formation professionnelle et de l'emploi) PMU Project implementation unit (Unité de suivi du projet) PROFANOC National program for in-service training (Programme national de la formation continue) SME Small and medium enterprises STC Sectoral training center (Centre sectoriel de formation) UTICA Tunisian employer's union (Union tunisienne de l'industrie, du commerce et de l'artisanat) Vice President: Christiaan J. Poortman Country Director Theodore O. Ahlers Sector Director David J. Steel (Acting) Sector Manager Regina Maria Bendokat Task Team Leader/Task Manager: Dung-Kim Pham TUNISIA SECOND EMPLOYMENT TRAINING PROJECT CONTENTS Page No. 1. Project Data 1 2. Principal Performance Ratings 1 3. Assessment of Development Objective and Design, and of Quality at Entry 2 4. Achievement of Objective and Outputs 5 5. Major Factors Affecting Implementation and Outcome 8 6. Sustainability 9 7. Bank and Borrower Performance 10 8. Lessons Learned 11 9. Partner Comments 12 10. Additional Information 13 Annex 1. Key Performance Indicators/Log Frame Matrix 14 Annex 2. Project Costs and Financing 16 Annex 3. Economic Costs and Benefits 18 Annex 4. Bank Inputs 19 Annex 5. Ratings for Achievement of Objectives/Outputs of Components 20 Annex 6. Ratings of Bank and Borrower Performance 21 Annex 7. List of Supporting Documents 22 Annex 8. Borrower Report 23 Project ID: P005745 Project Name: TN-2ND EMPL. & TRG. Team Leader: Dung-Kim Pham TL Unit: MNSHD ICR Type: Core ICR Report Date: December 23, 2003 1. Project Data Name: TN-2ND EMPL. & TRG. L/C/TF Number: TF-22519; CPL-40360; SCL-4036A; SCPM-4036S Country/Department: TUNISIA Region: Middle East and North Africa Region Sector/subsector: Vocational training (60%); General industry and trade sector (34%); Central government administration (6%) Theme: Social risk reduction (P); Education for all (P); Education for the knowledge economy (P); Small and medium enterprise support (S) KEY DATES Original Revised/Actual PCD: 12/13/1994 Effective: 01/10/1996 01/10/1996 Appraisal: 02/26/1996 MTR: 12/31/1999 10/02/2000 Approval: 06/13/1996 Closing: 06/30/2002 06/30/2003 Borrower/Implementing Agency: GOVT. OF TUNISIA Other Partners: STAFF Current At Appraisal Vice President: Christiaan J. Poortman Caio Koch-Weser Country Director: Theodore O. Ahlers Daniel Ritchie Sector Manager/Director: Regina Maria Bendokat Roslyn Hees Team Leader at ICR: Dung-Kim Pham Guillermo Hakim ICR Primary Author: Dung-Kim Pham 2. Principal Performance Ratings (HS=Highly Satisfactory, S=Satisfactory, U=Unsatisfactory, HL=Highly Likely, L=Likely, UN=Unlikely, HUN=Highly Unlikely, HU=Highly Unsatisfactory, H=High, SU=Substantial, M=Modest, N=Negligible) Outcome: S Sustainability: L Institutional Development Impact: SU Bank Performance: S Borrower Performance: S QAG (if available) ICR Quality at Entry: S Project at Risk at Any Time: No 3. Assessment of Development Objective and Design, and of Quality at Entry 3.1 Original Objective: The main objective of the project was to support the Government's strategy to modernize training services, with a view to increase the competitiveness of the Tunisian economy. Specifically, it would support the Government in implementing its vocational training reform by (i) developing its capacity to monitor the labor market and to use economic analysis to identify and evaluate alternative training investment opportunities; (ii) gradually replacing existing institution-based training with enterprise-based training, with enterprises participating in program elaboration and actual training delivery; (iii) promoting in-service training for small and medium enterprises (SMEs); and (iv) enhancing labor mobility by developing employment services for workers affected by economic restructuring. Project preparation took place at a time when the Government made the strategic decision to guide the Tunisian economy toward higher growth rates, taking up the challenge of a global economy and the Free Trade Agreement with the European Union in 2007. A national upgrading strategy ("mise à niveau") was adopted and was comprised of two main parts: (i) integrating the Tunisian economy into the global economy and (ii) developing the Tunisian human capital base. The Bank's Country Assistance Strategy (CAS) supported the Government's "mise à niveau" strategy and inscribed the project into its interventions. Within the "mise à niveau" strategy, the reform of the vocational training system, that began in 1993, evolved into the second phase with a program named MANFORME (Upgrading of vocational training and employment). The long-term strategic goal of MANFORME was to develop a partnership with the private sector in order to establish a demand-oriented training system, providing skills and qualifications relevant to the needs of enterprises for their competitiveness, and of individuals for their employability. The Ministry of Vocational Training and Employment (MVTE) played a key role in the strategy behind MANFORME and established a logical framework for MANFORME to have a coherent plan of partnership with different donors, so that all programs/projects complemented support for MANFORME. The project was an integral part of that logical framework. At the time of project preparation, training programs were designed without consideration of private sector needs and without concerns for financial efficiency. Cost-benefit analyses were not undertaken before investing in training capacity and new employment programs; and the MVTE did not have the requisite instruments for resource allocation. Enterprises, themselves, were not in favor of in-service training because they did not understand the elemental link between developing human capacity and improved competitiveness. Furthermore, the existing employment services were inadequate in addressing the needs for retraining and placement of workers affected by economic restructuring. Being an integral part of MANFORME, the project aimed at transforming the above situation. Its objective was ambitious, reflecting the nature of the reform program: MANFORME is a fundamental reform, which necessitates a radical change in the status quo --a demand-oriented system supplanting the current supply-driven one--. Also, it intervened in every strategic axis, from transforming the training method to operating a center and reforming training curricula. The implementation of these axes is complex and will require not only a series of highly synchronized executions of interrelated and interdependent activities but also a long and concerted effort. In addition, the capacity for action by and cooperation among the multiplicity of actors (private and public sector) and the respective modification of their behavior are requisite to implementation. Project objective was therefore difficult to achieve and although the level of risk was elevated, it was attenuated by: (i) MVTE's interest and engagement in a reform program which was quite recent; (ii) the existence of a logical framework to carry out MANFORME; and (iii) Tunisia's significant implementation capacity. - 2 - 3.2 Revised Objective: None 3.3 Original Components: The project is comprised of the following three components: Component A (US$5.1 million) ­ Creation of a Labor Market Information System: would support improved efficiency in the monitoring of training and labor markets. It would finance (i) the development of a labor market information system and an information dissemination system; and (ii) activities to reinforce the capacity of the MVTE in the evaluation of its training and employment programs. Component B (US$12.1 million) ­ Development of Employment Services: would support the response to placement and re-training needs for workers affected by economic restructuring. It would finance: (i) training subprojects under the Employment and Training Fund (FIAP), and (ii) the modernization of employment services. Component C (US$74.3 million) ­ Development of Training Services: was composed of the following three subcomponents: (i) Gradual transformation of institution-based training to enterprise-based training and the expansion of the apprenticeship program. The project would finance the construction/rehabilitation of and the equipment for sectoral training centers (STC), the rehabilitation of apprenticeship offices, and the provision of technical assistance to develop a new STC management model. (ii) Develop training of trainers and elaborate training programs; and (iii) Strengthen in-service training by improving the management of the vocational training tax and financing in-service training subprojects for SMEs under the national program for in-service training, PRONAFOC. The components responded to the specifics of the project objective (see Paragraph 3.1). Components A and B responded to (i) and (iv). Component C was vast and encompassed (ii) and (iii). As such, the major activities were not clearly delineated in Component C. The new STC management model is a central activity and one of the strategic approaches of the reform, yet did not prevail within the component. Lessons learned from previous Bank-financed projects were incorporated into this project. Component A introduced a monitoring and evaluation system that did not exist in prior projects. Component C continued to carry out economic feasibility studies but with reinforced methodology. It also included the development of training programs that were neglected in previous projects. Project activities were executed by the "Observatoire", a direction within the MVTE, and the four agencies under the MVTE: ATE, ATFP, CENAFFIF, and CNFCPP. These four agencies stemmed from the break-up of the former Office of Vocational Training and Employment in 1993. With the exception of the "Observatoire", which was newly established, the agencies' personnel were qualified and had the ability to influence the pace of reform. 3.4 Revised Components: There were two revisions of project activity, in 200, to increase the efficiency of the training system, that did not affect the objective of the project and did not result in restructuring. In Component B, the financing of Instrument F of FIAP was canceled due to low demand. This instrument aimed at retraining and placing laid-off workers affected by economic restructuring; however, the number of the laid-off workers was insignificant and many, approaching the age of retirement, opted for early retirement. In subcomponent "in-service training" of Component C, in-service training instruments were harmonized with the fusion of Instrument C of FIAP (under Component B) and PRONAFOC. It is also useful to indicate that there were three ministerial changes. The third one, in 2002, divided the execution of the project to two ministries, with project activities related to training to the Ministry of Education and Training (MET), and those related to employment to the Ministry of Employment (ME). The split did not materially affect project execution due to: (i) the stability of the Secretary of State - 3 - responsible for vocational training during the three ministerial changes and (ii) the completion of all essential activities related to employment services at the time of the split. In addition, in 2003, the Tunisian employment agency (ATE) mission was expanded to facilitate self-employment and therefore, its name was changed to the Tunisian employment and self-employment agency (ANETI). 3.5 Quality at Entry: Overall, quality at entry is rated satisfactory. However, there are some weaknesses in project design and in the state of readiness for project implementation of the study concerning the new STC management model, deemed important to the project. Consistency with country strategy. The project was included in the Bank's CAS. Furthermore, its objective was consistent with the MVTE's program of reform, the project being an integral part MANFORME. Project design. The design benefited from a number of positive elements. It is based on the results of three studies that analyzed the impact of industrial restructuring on employment and vocational training needs, and developed a strategy for enterprise-based training as well as private-sector participation in training. As a result, a clear knowledge of the system's key problems was gained. Project design also took into account the complementarity of other donors work, notably the EU for aspects tied to the development of the private sector in terms of training assessments, development of private sector training centers, and the GTZ for enterprise-based training. The design also included activities derived from past project experiences, of particular note is the inclusion of a monitoring and evaluation system. Furthermore, to ensure that training responded to market needs, emphasis was placed on private sector partnership. To this end, the project included financing conditions to reinforce the partnership. For the financing of the development of a STC, two criteria must be met: (i) an economic feasibility study justifying the investment, and (ii) a signed training agreement between ATFP and the professional associations and at least one enterprise. The loan instrument, "Sector Investment and Maintenance Loan," was appropriate as the project came to support a sector expenditure program which was endorsed by other donors and benefitted from a well-coordinated program among donors. Nevertheless, project design was overly ambitious in its coverage, in that it included too many facets of training and employment. As a result, it did not deal in great depth with the institutional and structural changes that would be needed to escalate the pace of the reform. A list of indicators was established, some of which are useful; however, there was no clear categorization between measures of output and outcome. Project preparedness for implementation. With the Government firmly engaged, the conditions for effectiveness were fulfilled and the loan became effective in October 1996, within the 90-day limit. Project implementation could have benefited if the preparation work for the study related to the new STC management model were more advanced, given that the model had been planned to be operationalized in 1998. Project risk evaluation. The risks were well identified for the following aspects: (i) the management and coordination of activities; (ii) the tendency to use the training system to absorb dropouts from the general education system; and (iii) a supply-oriented approach to training. In hindsight, two risks could have been identified: (i) the difficulties associated with changes in the mode of operations and work relationships between agencies directly involved in the reform process; and (ii) the "Observatoire's" capacity to undertake studies of a complex scope considering its recent set up. - 4 - 4. Achievement of Objective and Outputs 4.1 Outcome/achievement of objective: As stated in the staff appraisal report, the main objective of the project was to support the Government's reform strategy to modernize training services, with a view to increase the competitiveness of the Tunisian economy. Without precise indicators and in the absence of reliable impact evaluation results, it is impossible to evaluate the project impact on the Tunisian economy. The evaluation concentrated therefore on comparing the training and employment system before and after the project, to determine the modernizing effects on the system, specifically to what extent the system has progressed toward a demand-oriented one, with participation of the private sector. Based on this evaluation, the project outcome is rated satisfactory. The project was helpful in providing a base for the changing in direction of the system. It assisted the MVTE to embark on the new approaches behind the strategic goal of MANFORME. As a result, the landscape of the system has been transformed. Partnership dynamics now exist with the private sector and the importance of the relationship is acknowledged. The private sector is involved in the entire training process, from physical investments to developing training programs and providing training. Twelve training centers, compared to none in 1996, function under a new operating mode, with (i) involvement of the professional organizations in their operations, (ii) increased enterprise-based training, and (iii) greater decision-making and financial autonomy. Enterprise-based training has developed considerably, with student enrolment rate reaching 36 percent in 2002 as opposed to being non-existent in 1996. In addition, training programs have been developed using the competency-based approach, which fostered partnership with the private sector, as the professional organizations and enterprises were involved in analyzing and validating competencies before they could be adapted to training programs. Acknowledging the benefits of upgrading the skills of existing staff, enterprises have become more willing to train their workers, doubling the number of SME beneficiaries of in-service training under the PRONAFOC from 700 to 1,400 enterprises between 1996 and 2002. The project was moderately successful in developing the monitoring and evaluation capacity of the MET/ME. The positive consequences of impact evaluations must however be noted, as the methodology is now better understood and a general knowledge of the approach at the country level is gained. Also, the benefits of the approach are well appreciated. 4.2 Outputs by components: Component A ­ Creation of Labor Market Information System executed by the "Observatoire". The results are rated unsatisfactory. In qualitative terms, the component did not achieve the desired objective. At the end of the project, the MET and the ME did not possess a reliable system to analyze labor market information and to evaluate their training and employment programs. In quantitative terms, the results were moderate. A first phase of a macro-economic model was developed and several studies related to the production of reference materials on employment and training were undertaken; however, these activities encountered delays in their completion. Publication of an employment and training bulletin began in 1997 but was terminated in 2001. The first two rounds of impact evaluation on employment and training programs did not provide reliable results. The third round was cancelled, as agreed with the MVTE. The weak performance of the "Observatoire" derived from several factors: (i) the scope and the complexity of certain studies, covering new areas for which the "Observatoire" did not have the adequate qualifications; and (ii) the lack of leadership for several years. In addition, the Bank neither pro-actively monitored the component nor provided appropriate assistance to the "Observatoire." (See paragraph 7.2). However, the MVTE's initiative to introduce monitoring and evaluation in the system should be noted. In - 5 - fact, Tunisia is one of the few countries within the Middle East and North Africa region that has begun using impact evaluations. Component B ­ Development of Employment Services executed by ATE/ANETI. The results are rated satisfactory, in particular for the modernization of the employment services network. The employment system has been modernized. The project contributed to the development of a network connecting 81 ANETI employment agencies. A web site is accessible for all employers and jobseekers who have internet connections. Demand for the network and web site continues to be strong. Concerning Instrument F of FIAP, in 2001 the Government and the Bank agreed to cancel its financing. Instrument C was transferred to the CNFCPP for execution in 1999. In 2001 it was combined with the in-service training program (PRONAFOC) (see Component C, "In-service training", below). Component C ­ Development of Training Services. The results are rated satisfactory. Pre-Employment Training Construction/Rehabilitation and Equipment executed by ATFP. The project contributed to the renovation of regional apprenticeship offices, the construction of six STCs, and the rehabilitation of 13 others as well as providing them with technical equipment. Investments in civil work and equipment experienced a slight delay due to difficulties encountered at the outset of the project in establishing economic feasibility studies. Total physical capacity will increase to 11,494 students, compared to the initial capacity of 2,884. Each project to develop a center derived from needs expressed by professional organizations and was justified by an economic feasibility study, which validated the needs and defined the required investments. In addition, training agreements were signed with professional federations and enterprises. This procedure ensured the economic relevance of the project. Management Model for Training Centers executed by ATFP. This model is one of the new approaches introduced in the reform strategy. It aims at providing a better response, qualitatively and quantitatively, to client needs and should lead to greater autonomy for the centers. After significant delays in the related study, the model was implemented in late 2001 and provided the following results. At the organizational level, a technical committee was established, with the participation of professional organizations. A steering committee also was created to manage the center's day-to-day operations. The creation of these committees promoted dialogue between the concerned participants and enabled the center to better adapt to enterprise needs. At the operational level, a new way of work programming and planning was used, based on annual and tri-annual work plans with performance indicators and an estimated budget. Centers were granted a certain level of autonomy, notably the use of self-generated revenue and the expanded responsibility of the director to account for all payments, including salaries. Nevertheless, budgeting for the centers has not changed. The centers' resources continued to be allocated on a budgetary basis instead of being performance-based. In light of the complexity of the model, its implementation was first limited to four centers, on a pilot basis. After being fine-tuned, the model was widely extended during the last years of the project: eight centers implemented the model and thirteen others started the process. Thus, a total of 25 centers will operate according to the new management model by 2005. By 2006, in compliance with the objectives of the Tenth Plan, the model is scheduled to be operationalized in 25 additional centers, raising the total number of centers to 50. Development of Training programs and Training of trainers executed by CENAFFIF. The redesign of training programs using the competency-based approach, whereby the professional organizations and enterprises are intricately involved in the process, constitutes another strategic axis of the reform. Using - 6 - this approach, training programs developed were relevant to the private sector needs. A total of 154 training programs were developed, 60 of which were project-funded and covered major economic sectors. More than 100 trainers received training. In addition, a specialized session in the design of training techniques benefited 56 participants. The project also enabled the training of 1,350 apprenticeship counselors and 554 tutors. In quantitative terms, the development of training programs, and the training of trainers and apprenticeship counselors produced satisfactory results. The training of tutors was more moderate, because from the enterprise point of view, the provision of tutors is optional. Tutors were only available to supervise apprentices when they were free from their duties. To ensure quality and to support the development of enterprise-based training, the training of tutors has to be made contingent upon supervising apprentices. In qualitative terms, the effect of this subcomponent on CENAFFIF is significant. CENAFFIF acquired a certain level of proficiency in the competency-based approach and developed the capability to implement this approach in combination with the enterprise-based training mode. The positive effect is also attributed to the Canadian government who provided considerable support in the competency-based approach. There are, however, a few factors that hindered the full achievement of the subcomponent: (i) the novelty and complexity of the competency-based approach; (ii) the added difficulty from having to combine this approach with enterprise-based training; (iii) CENAFFIF's administrative status with disadvantaged pay structure and recruitment policy, as well as its limited number of technical staff; and (iv) the lack of collaboration and synchronization between CENAFFIF and ATFP, the former elaborates the training programs and the latter implements them. In-Service Training executed by CNFCPP. Instrument C of FIAP. Up to the time of its merger with PRONAFOC in 2001, 388 enterprises had benefited from Instrument C. Large enterprises, including public enterprises, were the predominant beneficiaries. PRONAFOC. At the outset of implementation, PRONAFOC produced significant quantitative results. The number of enterprise beneficiaries reached 1,500 in 2001, as compared to 700 in 1996. In 2001, the merging of Instrument C of FIAP and PRONFAOC resulted in a program, which retained the name "PRONAFOC" (Decree dated August 27, 2001). The merging allowed the harmonization of in-service training instruments and strengthened the demand approach. The new PRONAFOC continued to target SMEs but gave priority to those having less than 50 employees, which could only use the vocational training tax marginally because the latter is not mutualized. The new PRONAFOC was implemented in the beginning of 2002 and benefited 1,473 enterprises by the end of 2002. Small and medium enterprises represented 70 percent of the beneficiaries and received 40 percent of the financing. In order to reach the small enterprises, partnership agreements were signed with professional federations and regional representatives of UTICA. The targeting of PRONAFOC still required strengthening as the majority of the regional organizations represented artisans who contribute nominally to the segment of the private sector targeted by the Government "mise à niveau" strategy. The introduction of the new PRONAFOC is fairly recent and evaluation of the program's efficiency could not be complete. It should be noted that there has been a change in culture toward a demand-oriented approach in providing in-service training and in working in partnership with professional federations and enterprises. In addition, the management of PRONAFOC was improved through greater decentralization and the introduction of an evaluation and control system. 4.3 Net Present Value/Economic rate of return: During project appraisal, an economic rate of return was calculated for pre-employment training. The - 7 - analysis compared the costs and benefits of training at the "technician" level (11 years of education and 2 years of training) to the "skilled-worker" level (9 years of education and 2 years of training). The benefits were measured as the net present value of the cumulative earnings differential between the "technician" level and the "skilled-worker" level. With a 30 percent unemployment rate for the age group of less than 25 years old, the rate of return was estimated at 13 percent. An ex-post analysis was confronted with a lack of information. Training costs by level or by sector were not known, for lack of a functioning accounting system. Furthermore, the unreliable results from the impact evaluations heightened the difficulty of the task (see Annex 3). 4.4 Financial rate of return: N.A. 4.5 Institutional development impact: Even though the reform measures were only recently implemented, impact on institutional development is rated substantial. Three factors have become embedded in the process of training. (i) Partnership with the private sector is acknowledged as important and is now systematic in the development and monitoring of training through signed training agreements and through the competency-based approach in training programs. (ii) The economic analysis approach toward investments is recognized and economic feasibility studies are undertaken to assess the opportunity in investing in a training center. (iii) The benefits of monitoring and evaluation are appreciated and the approach of impact evaluation is used to evaluate the training programs and employment services. 5. Major Factors Affecting Implementation and Outcome 5.1 Factors outside the control of government or implementing agency: Factors having a negative influence. (i) The delay in the execution of activities financed by the EU to identify enterprise needs in qualifications and training had a negative fallout on the project's progress. (ii) The relative weakness of certain professional organizations lessened the quality of participation by the private sector in the training process. (iii) The complexity of impact evaluation of training and employment programs as well as the rarity of expertise in this type of work impeded the mission of the "Observatoire". 5.2 Factors generally subject to government control: Factors having a positive influence. Throughout the project, MVTE's commitment combined with strong implementation capacity constituted the key element in achieving the results. Attesting to this fact was the speed of the widespread implementation of reform activities in the last few years of the project. In addition, the stability of the Secretary of State responsible for vocational training, despite ministerial changes, ensured the pursuit of the project original objectives. Two other positive factors were: an adequate counterpart budget, and qualified personnel. Factors that could limit a positive influence. (i) The third ministerial change that split the project's execution between two ministries, the MET and the ME, in 2002. To support project sustainability, it is necessary that the ministries responsible for vocational training and employment continue to work together in order to harmonize policies that favor MANFORME objectives. 5.3 Factors generally subject to implementing agency control: Factors having a positive influence. (i) Project monitoring by the PMU whose role was strengthened to a "management" one. The dynamic organization of project management should be noted. Project activities were executed by the agencies under the MVTE/ME. Overall follow-up and coordination were provided by the PMU, which reported directly to the MVTE/ME. This position gave the PMU the necessary prerogatives to fulfill its role. In order to have constant monitoring of the progress of project activities and - 8 - to facilitate collaboration, there were PMU representatives stationed within the executing agencies. They regularly reported work progress to the PMU. (ii) The prevailing cooperative dialogue between: (a) the PMU and personnel from the executing agencies and (b) the PMU and implementation units of projects financed by other donors, ensuring the coherent implementation of MANFORME. Factors limiting a positive influence. The reform's impact would have been more profound and easier to measure had the four pilot centers implementing the new STC management model benefited from a synchronized combination of the strategic elements of the reform. Factors having a negative influence. (i) The reticence of the executing agencies toward change. (ii) Incomprehension of the new TC management model at the operational level, and the difficulties of finding the personnel capable of fulfilling the functions introduced by the model. 5.4 Costs and financing: At project appraisal, total project costs amounted to US$104 million, including taxes. The Bank loan, US$60 million equivalent, financed 65 percent of project costs, excluding taxes. In 1998, the active portion of the loan was converted to Euros, resulting in two loan subsidiaries: loan 4036S with US$2.3 million and loan 4036A with Euro 51.7 million. At loan closing, disbursements were as follows: (i) US$2.3 million disbursed under Loan 4036S and (ii) Euro 51.4 million under Loan 4036A, with Euro 0.2 million cancelled. Due to fluctuations in exchange rate, the total loan value amounted to approximately US$53 million. The closing date of the project was extended by 12 months, and funds were increased for STC civil works and equipment (by 40 percent and 11 percent of original allocations, respectively). The reason for the extension of the closing date was to allow the implementation of the reform measures which, in 2002, were still fragile. Furthermore, the Bank accepted funds reallocation, taking into account the adherence of the investments with the logical framework of the reform. The percentage of financing for training under the "new" PRONAFOC was increased from 50 percent to 87 percent. This decision lay within the same objective of the discussions between the Bank and the Government to support Tunisia during a period of economic difficulty worldwide. 6. Sustainability 6.1 Rationale for sustainability rating: The sustainability of the project is likely. The project constitutes an integral part of MANFORME, a reform program which benefits from firm commitment of the MVTE and is positioned within the national "mise à niveau" strategy. With the challenges assumed by Government to bring its economy in line with the requirements of the Free Trade Agreement with Europe and with Tunisia's acknowledged implementation capacity, project achievements will continue to consolidate. Furthermore, vocational training and employment were placed among the priorities of the Tenth Plan (2002-2006), given the close tie between these two strategic poles in the upgrading of the Tunisian economy. In terms of institutional policies, actions have been taken to make the changing in direction of the system toward a demand-oriented one irreversible. A series of legal modifications is ongoing to institutionalize the framework of MANFORME, including the mode of operating of a training center and the generalization of enterprise-based training. Revisions in the administrative structure of ATFP and CENAFFIF are also occurring to enable these two key agencies to adjust their mission to the objectives of MANFORME --ATFP in implementing the new STC management model and CENAFFIF in its role of developing and introducing new curricula--. 6.2 Transition arrangement to regular operations: - 9 - There is no need to establish transition modalities because project activities are part of the reform program assumed by the MET and the ME. The daily work of the executing agencies reporting to these two ministries assures the continued execution of the activities. For future evaluation, performance indicators relative to the following aspects could be considered: (i) establishment of a monitoring and evaluation system; (ii) implementation of the new STC management model, as planned in the Tenth Plan; (iii) provisioning of private sector financing; (iv) availability of tutors; and (v) number of trainers qualified to teach the competency-based approach. In order to ensure the institutional coherence of MANFORME, the question of financing is essential. The new STC management model, in part, addresses this question. The "Professional Training and Apprenticeship Fund," which is currently not operational, should be the centerpiece of the system's future financing and should operate based on mechanisms linked to the training center performance. In the long run, the Fund should lead to a diminution of government implication in the financing of training centers. Financing reform of the system would be a subject that the Government could pursue with donors. Should the Bank's Operations Evaluation Department decide to undertake an assessment of the project, it would be opportune to do so in 2007, toward the end of the Tenth Plan, given that the major axes of the reform should have been consolidated in anticipation of the Free Trade Agreement with Europe. 7. Bank and Borrower Performance Bank 7.1 Lending: The Bank's performance during the three phases of project preparation (identification, preparation and appraisal) is considered satisfactory. There are weaknesses in the project design due to the ambitious coverage of the project; nevertheless, the Bank devoted ample efforts in analyzing the issues and challenges of the system. It worked in close collaboration with the MVTE to reach an agreement on the long-term vocational training sector strategy. The Bank also coordinated closely with the EU and GTZ to ensure the complementarity of one another support for the reform program, in particular the links with the private sector and the development of enterprise-based training. On the operational side, the Bank carried out an in-depth assessment of the MVTE structure to determine project management mechanisms that best responded to project needs. This has proved to be beneficial for project implementation. 7.2 Supervision: The Bank's performance during supervision is judged satisfactory. QAG carried out two project supervision evaluations, one in 1997 and another in 1998. Overall results indicated a satisfactory performance. In view of the weak structure and use of the indicators to evaluate project performance, it would have been beneficial if QAG had guided the project team in reformulating the indicators. Keeping in mind the scope of the project and the complexity of the reform, the Bank put forth notable efforts and accomplished its task with diligence. The Bank was able to establish a productive working relationship with its Tunisian partners and to provide high-level technical assistance. There were several meetings with professional organizations and enterprises to discuss the envisioned reforms of the new STC management model. Recognizing that such reforms would be complex, the Bank organized a study trip to Scotland for the Government to study the Scottish model. Without compromising project objectives, the Bank was flexible when it was necessary to harmonize the training and employment instruments, through the merging of Instrument C and PRONAFOC, and the cancellation of Instrument F. In addition, the Bank proved decisive in canceling, in common agreement with the MVTE, the third round of impact evaluations, given the pace of execution and the unsatisfactory results from the first two rounds. The Bank recognizes the complexity of undertaking such evaluations and is - 10 - engaged in providing technical assistance to governments. Presently it is organizing a workshop on impact evaluation methodologies to benefit governments in the Maghreb. The Bank fulfilled its fiduciary responsibilities. Procurement and financial management were reviewed during supervision missions, with a procurement post review in April 2003. Nevertheless, the following three points attenuated the Bank's performance: (i) insufficient assistance to the "Observatoire." The Bank was helpful in including a monitoring and evaluation system in the project but did not provide sufficient technical support to build the capacity of the "Observatoire". This has contributed to the cancellation of the third round of impact evaluations; and (ii) weak application of indicators in monitoring project performance. 7.3 Overall Bank performance: The Bank's overall performance is judged satisfactory. Borrower 7.4 Preparation: The performance of the MVTE is judged satisfactory. The MVTE used a Japanese grant to good advantage to carry out studies that analyzed and identified the key problems in vocational training and in industrial restructuring. It provided a clear vision of its reform strategy that facilitated donor assistance synergy. 7.5 Government implementation performance: Government performance is judged satisfactory. A strong commitment to project objectives characterized the performance. Government carried out a fruitful dialogue with the Bank and collaborated with the Bank during difficult periods of project execution. It was decisive in reinforcing the PMU's role to a "management" one in order to adjust to project needs. It staffed the unit with qualified and motivated personnel. It also allocated an adequate counterpart budget for the project. It should, however, be noted that in spite of its engagement to the reform, Government was moderate, at the outset of the project, in implementing the new STC management model. Concerning the "Observatoire," it did not sustain its support to the mission of the " Observatoire." With the difficulties encountered, the director's position has been vacant since 2001. 7.6 Implementing Agency: The overall performance of the executing agencies is judged satisfactory despite the moderation of their actions in reform activities. The personnel possessed a high level of qualification and were conscious of the challenges of the reform. Progress reports were produced regularly under the direction of the PMU. Overall, procurement and project financial management were carried out satisfactorily. Audits were done annually and reports were unqualified. The reports were transmitted to the Bank with slight delays due to administrative processing. The following factors, however, shade the satisfactory performance: (i) late action in revising/canceling contracts on the studies for which the work was judged unsatisfactory, (ii) time taken to validate the studies, and (iii) weak application of the indicators during project execution. 7.7 Overall Borrower performance: Overall Borrower performance is rated satisfactory. 8. Lessons Learned 1. Government commitment is essential, in particular for reforms of the same scope as those of the project. This engagement leads to other positive aspects, such as the allocation of well-qualified - 11 - personnel for project execution and effective decision-making during difficult moments. 2. The importance of having an overall strategic framework that facilitates planning and organization of donors participation in the reform. However, the dialogue between the different parties (government and donors) must continue beyond the preparation phase of the assistance program to ensure synchronization of interventions during implementation. 3. For projects necessitating organizational and cultural transformation, it is important to allow flexibility during the study and roll-out phases. During these phases, mistakes and innovations must be permitted. 4. In the development of a demand-oriented system, it is necessary to attach equal attention to the development of capacity on the demand side, as the success of the reform depends in large part on the demand side being properly organized, having the ability to express its needs and the capacity to contribute its share. 5. The difficulties associated with the setting up of an observatory are frequently underestimated. Few projects financed by the Bank have succeeded in establishing one that functions satisfactorily. The problems are diverse and include those experienced by the "Observatoire" (see Paragraph 4.2). The following aspects are to be taken into account in the establishment of an observatory: (i) a clearly defined mission and objective, (ii) dynamic leadership to guide its mission, (iii) staffing with capable research personnel, and (iv) sustained support to its mission. 6. Formulate performance indicators in relation to the anticipated results. The indicators are a management tool and should be used to evaluate the progress of the project, throughout implementation. They eventually could be revised according to needs. In certain cases, it is helpful to specify the calculation method of the indicators in order to guarantee their reliability. 9. Partner Comments (a) Borrower/implementing agency: The MET provided seven pages of comments with a Summary section, some of which were used to clarify information in the Bank's report, such as the situation of employment services at the time of project preparation (section 3.1), the MVTE's initiative in establishing a monitoring and evaluation system (section 4.2), and the additional negative factor related to the STC management model (section 5.3). The translated Summary section is reproduced below. All the detailed comments are included at the end of the Borrower's report. The MET considers that the report is globally satisfactory. The risk factors are particularly well analyzed. However, overall appreciation of the project and the reform, in a general manner, is not in coherence with the findings and the analysis of the ICR mission in June 2003 (See Part A of the aide-mémoire of the aforesaid mission). The factors having limited the interest of the report would be: (i) The absence of analysis of the situation before the project or at least at the respective references. This analysis would be to demonstrate the course taken by the reform and the evolution accomplished by the vocational training and employment system. (ii) The insufficiencies in the analysis of the positioning of the project in the context of MANFORME: only the delay due to certain donors is noted. Neither the specific contributions of the World Bank, nor those of the other projects were underscored: analysis, cost-benefit (WB), partnership (AFD), quality (EU). (iii) The "Observatoire" component, probably the most innovative, merits a more detailed study so that - 12 - lessons, useful for the future, are correctly drawn, if one wanted to preserve the pursuit of the process of modernization of vocational training as well as on the links to develop between employment policy and the upgrade of the economy on the one hand; and the policy of education and training on the other. (b) Cofinanciers: None (c) Other partners (NGOs/private sector): None 10. Additional Information None. - 13 - Annex 1. Key Performance Indicators/Log Frame Matrix Outcome / Impact Indicators: 1 Indicator/Matrix Projected in last PSR Actual/Latest Estimate (i) Increase competitiveness of the Tunisian economy. (ii) Vocational training system progressed Partnership with the private sector has toward a demand-oriented system with strenghtened and is now recognized as increased participation of the private sector. important. Professional organizations and enterprises are involved in the operations of the training centers. The enterprised-based mode of training as well as the competency-based approach used in the development of training programs have reinforced the partnership. The whole process of development of a training center under the new STC management model provided the basis for a system oriented toward demand. Output Indicators: 1 Indicator/Matrix Projected in last PSR Actual/Latest Estimate A. Component: Creation of a Labor Market Information System (LMIS) - Publication of an employment and training - Production began in 1997 and stopped in same bulletin. 2001. - Completion of three rounds of impact - Completion of the first two rounds same evalulations of pre-service training, in-service experienced long delays. The results lack trainings, and employment programs. validity due to weaknesses in the methodology. The third round stopped in 2001, upon a common agreement with the MFPE. B. Component: Development of employment services - Reach 5000 beneficiaries at the end of the - Instrument F was stopped in 2001, due to same project lack of demand. - Instrument C benefited 388 enterprises during 1999-2001. In 2001, instrument C merged with PROFANOC. C. Component: Development of training services. - For Bank-financed centers: to reach an - A first evaluation was completed for 8 insertion rate of at least 60% one year after centers by ATFP. 9 months after completion same completion of studies and 70% two years of training, insertion rates were as follows: after. industrial sector 81% (with 73% employed in their field studies) and services 62% (with 44% employees in their field studies). - For loan-financed centers: to achieve a - In 2002, revenues for 4 centers varied from share of self-generated income of at least 15 13% to 42%. Revenue allocation between the same to 20% of their total budget. different revenue types was not calculated. - Achieve at least a 25% enrolment in - 36% in 2002. enterprise-based programs for ATFP's same trainees. - 14 - 1End of project - 15 - Annex 2. Project Costs and Financing Project Cost by Component (in US$ million equivalent) Appraisal Actual/Latest Percentage of Estimate Estimate Appraisal Component US$ million US$ million A. Creation of a labor market information system 5.10 3.01 59 B. Development of employment services 12.10 6.98 57.7 C. Development of training services 74.20 78.41 105.7 Total Baseline Cost 91.40 88.40 Physical Contingencies 5.20 Price Contingencies 7.40 Total Project Costs 104.00 88.40 Total Financing Required 104.00 88.40 Project Costs by Procurement Arrangements (Appraisal Estimate) (US$ million equivalent) 1 Procurement Method Expenditure Category ICB NCB 2 N.B.F. Total Cost Other 1. Works 0.00 22.50 0.00 0.00 22.50 (0.00) (10.10) (0.00) (0.00) (10.10) 2. Goods 18.00 10.00 4.00 2.60 34.60 (15.00) (8.50) (2.00) (0.00) (25.50) 3. Services 0.00 0.00 15.00 14.80 29.80 (0.00) (0.00) (12.00) (0.00) (12.00) 4. PROFANOC & FIAP 0.00 0.00 17.10 0.00 17.10 (0.00) (0.00) (12.40) (0.00) (12.40) 5. Miscellaneous 0.00 0.00 0.00 0.00 0.00 (0.00) (0.00) (0.00) (0.00) (0.00) 6. Miscellaneous 0.00 0.00 0.00 0.00 0.00 (0.00) (0.00) (0.00) (0.00) (0.00) Total 18.00 32.50 36.10 17.40 104.00 (15.00) (18.60) (26.40) (0.00) (60.00) Project Costs by Procurement Arrangements (Actual/Latest Estimate) (US$ million equivalent) 1 Procurement Method Expenditure Category ICB NCB 2 N.B.F. Total Cost Other 1. Works 24.40 0.60 0.00 25.00 () (12.20) (0.30) (0.00) (12.50) 2. Goods 21.10 2.10 2.30 0.00 25.50 (18.90) (1.70) (1.90) (0.00) (22.50) 3. Services 0.00 0.00 10.30 0.00 10.30 (0.00) (0.00) (9.40) (0.00) (9.40) 4. PROFANOC & FIAP 0.00 0.00 12.80 0.00 12.80 - 16 - (0.00) (0.00) (8.50) (0.00) (8.50) 5. Miscellaneous 0.00 0.00 0.00 14.90 14.90 (0.00) (0.00) (0.00) (0.00) (0.00) 6. Miscellaneous 0.00 0.00 0.00 0.00 0.00 (0.00) (0.00) (0.00) (0.00) (0.00) Total 21.10 26.50 26.00 14.90 88.50 (18.90) (13.90) (20.10) (0.00) (52.90) 1/Figures in parenthesis are the amounts to be financed by the Bank Loan. All costs include contingencies. 2/Includes civil works and goods to be procured through national shopping, consulting services, services of contracted staff of the project management office, training, technical assistance services, and incremental operating costs related to (i) managing the project, and (ii) re-lending project funds to local government units. Project Financing by Component (in US$ million equivalent) Percentage of Appraisal Component Appraisal Estimate Actual/Latest Estimate Bank Govt. CoF. Bank Govt. CoF. Bank Govt. CoF. A. Creation of a labor 4.50 1.30 2.30 0.34 0.00 51.1 26.2 market information system B. Development of 9.10 3.70 5.10 1.20 0.00 56.0 32.4 employment services C. Development of training 46.50 38.90 45.50 34.06 0.00 97.8 87.6 services - 17 - Annex 3. Economic Costs and Benefits The economic analysis was undertaken during project appraisal to determine if the benefits associated with investing in training at the "technician" level justified the additional cost, as compared to the "skilled-worker" level. The minimum academic requirement for entering a program of vocational training under the MVTE was to complete 9 years of basic education. After 2 years of training, the student obtained the "skilled-worker" diploma. To obtain the "technician" diploma, a student completed 2 years in training, in addition to 9 years of basic education and 2 years of secondary ecudation. The benefits were measured as the net present value of the cumulative earnings differential between the technicians and the skilled workers. The economic analysis took into account the characteristics of labor market conditions and aimed at an unemployment rate among project beneficiaries not larger than 30%, corresponding to the unemployment rate for the age group of less than 25 years old. It yielded a rate of return of 13%. This section below presents the findings on the impact evaluations undertaken under the project. Under the Study on Employment Strategy, undertaken with the Government, the Bank reviewed the impact evaluations of 2000 on pre-employment training, in-service training and several employment programs, covering the 1996 graduates. The evaluations indicated strong positive impacts on the employability and earnings of participants compared to the control groups. For pre-employment training, the insertion rate was 62% for the participants. Growth of earnings was 55% for students who received training compared to 17% for those who did not. For in-service training, a 100% increase in training expenditures generated a 2.5% increase in value added for the enterprises, with a 3% increase in earnings for the workers. For employment services, taking into consideration all programs, there was a gain of employability of 25%. In one program, the SIVP1 for example, the insertion rate was 68%. In 2002, a second round of impact evaluations was undertaken, covering the 1998 graduates. For pre-employment training, the insertion rate was 84%. There was a gain in earnings of 18% for students receiving training. For in-service training, a 100% increase in training expenditures generated a 8,4% increase in enterprises value added, with a 5,6% increase in earnings. For employment services, there was a large increase in employability in all programs. For example, the SIVP1 program resulted in a 95% insertion rate. These results are generally much more favorable than the international evidence. They should be treated with caution as there are aspects of the methodology used in the Tunisian evaluations that raise questions about the validity of the findings, such as: (i) the size of the samples, (ii) the methods used to draw the control-group samples, (iii) the estimation procedures, (iv) the consideration of potential deadweight, substitution, and displacement effects in the results, and (v) the comparability of data between the two rounds of impact evaluations. - 18 - Annex 4. Bank Inputs (a) Missions: Stage of Project Cycle No. of Persons and Specialty Performance Rating (e.g. 2 Economists, 1 FMS, etc.) Implementation Development Month/Year Count Specialty Progress Objective Identification/Preparation March 1995 4 1 LMS, 1 IS, 1 EE, 1 VTS Appraisal/Negotiation May 1996 6 1 LMS, 1 IS, 1 AO, 2 EE, 1 VTS Supervision March 1997 3 1 LMS, 1 S, 1 IS S HS November 1997 4 1 LMS, 1 S, 1 EE, 1 VTS S S July 1998 3 1 LMS, 1 S, 1 VTS U S December 1998 3 1 SD, 1 LMS, 1 IS U U June 1999 4 1 LMS, 1 IS, 1 S, 1 VTS S S February 2000 5 1 LMS, 1 IS 1, IES, 1 VTS, 1 S S (mid-term review) ITS February 2001 4 1 LMS, 1 IS, 1 VTS, 1 ITS S S November 2001 5 1 SL, 1 LMS, 1 IS, 1 VTS, 1 ITS S S April 2002 5 1 SL, 1 LMS, 1 IS, 1 VTS, 1 ITS S S October 2002 3 1 SL, 1 IS, 1 ITS S S ICR June 2003 2 1 IS, 1 VTS S S World Bank specialists: SD: Sector director S: Statistician IS: Implementation specialist IES: Impact evaluation specialist VTS: Vocational training specialist EE: Education economist LMS: Labor market specialist SL: Sector leader ITS: In-service training specialist (b) Staff: Stage of Project Cycle Actual/Latest Estimate No. Staff weeks US$ ('000) Identification/Preparation - Appraisal/Negotiation - 360.0 /a Supervision - 566.0 ICR - 25.0 Total - 951.0 a/ includes all project preparation phases before supervision - 19 - Annex 5. Ratings for Achievement of Objectives/Outputs of Components (H=High, SU=Substantial, M=Modest, N=Negligible, NA=Not Applicable) Rating Macro policies H SU M N NA Sector Policies H SU M N NA Physical H SU M N NA Financial H SU M N NA Institutional Development H SU M N NA Environmental H SU M N NA Social Poverty Reduction H SU M N NA Gender H SU M N NA Other (Please specify) H SU M N NA Private sector development H SU M N NA Public sector management H SU M N NA Other (Please specify) H SU M N NA - 20 - Annex 6. Ratings of Bank and Borrower Performance (HS=Highly Satisfactory, S=Satisfactory, U=Unsatisfactory, HU=Highly Unsatisfactory) 6.1 Bank performance Rating Lending HS S U HU Supervision HS S U HU Overall HS S U HU 6.2 Borrower performance Rating Preparation HS S U HU Government implementation performance HS S U HU Implementation agency performance HS S U HU Overall HS S U HU - 21 - Annex 7. List of Supporting Documents 1. Staff appraisal report, World Bank report no. 155May 14, 1996 2. Country assistance strategy report, June 25, 1996 3. Mission aide-memoires and supervision reports 4. Employment Strategy Study, World Bank report no. 25456-TUN, June 28, 2003 5. CPPR mission report 6. Borrower progress reports 7. Impact evaluation reports - 22 - Additional Annex 8. Borrower Report A. RAPPORT DE FIN d'EXECUTION DU PROJET FORMATION EMPLOI II 1 Introduction 2 2 Objectif global du projet 2 2.1 Objectif du projet 2 3 Préparation et conception du projet 2 4 Les principaux résultats réalisés par le projet 3 4.1 Présentation globale 3 4.2 Présentation des résultats par objectif spécifique 4 4.2.1 Composante Observatoire National de l'Emploi et des Qualifications (ONEQ) : 4 4.2.2 Composante ATE : 4 4.2.3 Composante ATFP : 5 4.2.4 Composante CENAFFIF : 8 4.2.5 Composante CNFCPP : 9 5 Enseignements et perspectives 10 5.1 Performance des agences d'exécution au niveau de la préparation et de la mise en oeuvre10 5.2 Au niveau de la mise en oeuvre 10 5.3 Au niveau des résultats du projet 11 - 23 - 1 Introduction Le Gouvernement de la Tunisie a obtenu un prêt de la Banque Mondiale de 60 millions de dollars pour le financement du projet Formation Emploi II. Ce projet, partie intégrante du programme MANFORME, venait en appui à la consolidation de la réforme institutionnelle du dispositif de la formation professionnelle et de l'emploi entreprise par la Tunisie dès le début des années 90. Tels que décrits par le rapport d'évaluation (Rapport N° 155515-TUN établi par la Banque Mondiale pour l'évaluation des composantes du projet ­ mai 1996) les objectifs du projet consistaient à : - Soutenir la stratégie du Gouvernement visant à moderniser les services de formation, dans le but d'accroître la compétitivité de l'économie tunisienne ; - Apporter une contribution et un soutien financier aux efforts du Gouvernement en vue d'adapter la formation et les services de l'emploi pour mieux répondre aux besoins des entreprises et des individus et améliorer la productivité et la mobilité de la main d'oeuvre. Au démarrage des activités du projet un atelier de planification a permis la description des objectifs du projet, de ses résultats et de ses activités en utilisant le format de la planification par objectifs (Plan d'opération du projet formation emploi II ­ septembre 1996). Ce travail a abouti au cadre logique suivant: (Il s'agit d'une réécriture permettant une mise en cohérence globale du programme MANFORME à travers un cadre logique commun à tous les projets entrepris par le MFPE) 2 Objectif global du projet La qualité, l'efficacité et le dimensionnement du système de formation professionnelle et de l'emploi sont renforcés pour répondre aux besoins en compétences du système productif 2.1 Objectif du projet Les services de formation et de l'emploi sont adaptés aux besoins des individus et des entreprises Pour atteindre cet objectif, 5 objectifs spécifiques ont étés définis ; il s'agit de : Objectif spécifique 1 : Un observatoire de l'emploi et de la formation professionnelle est opérationnel au sein du MFPE, Objectif spécifique 2 : Un programme de placement et de reconversion des travailleurs affectés par la restructuration économique est mis en oeuvre, Objectif spécifique 3 : L'efficacité est la pertinence de la formation initiale sont améliorées notamment par son redéploiement vers l'entreprise, Objectif spécifique 4 : La formation des formateurs et l'élaboration des programmes de formation sont développés, Objectif spécifique 5 : La formation continue est développée. 3 Préparation et conception du projet La préparation du projet s `est prolongée sur plusieurs mois et a pu profité des réflexions engagées par le MFPE pour mettre en oeuvre la réforme institutionnelle du dispositif. Le Ministère a adopté, pour ces réflexions, une démarche basée sur la concertation avec les partenaires sociaux et les départements ministériels concernés par les aspects relatifs au développement des ressources humaines. - 24 - Par ailleurs des travaux de grande envergure ont été lancés dans le but d'apporter un éclairage sur les préoccupations majeures de la société tunisienne dans le domaine de l'emploi et de la formation professionnelle. Ces réflexions ont abouti à la conception de différents projets qui_ ont été regroupés vers la fin de l'année 1996, dans le programme MAN FORME. Ce programme constitue le cadre de référence de tous les projets engagés par le MFPE et l'instrument assurant la cohérence de l'ensemble des projets. Plus particulièrement il a y lieu de citer : - Les études du don japonais : la Tunisie a obtenu en 1993 un don japonais, administré par la Banque Mondiale, pour mener une étude sur l'impact du Programme d'Ajustement Structurel (PAS) sur l'emploi et les besoins des entreprises en qualifications. Cette étude a été réparties en un ensemble de 4 études qui ont touché l'ensemble des questions relatives aux problématiques de l'emploi, du rôle du système de la formation professionnelle, du système d'information et de suivi des indicateurs du marché de l'emploi, etc. - L'étude stratégique n° 11 : à la veille de la préparation du 9ème plan, le Gouvernement a lancé une série d'études stratégiques touchant tous les domaines de l'activité économique et sociale du pays. Ces études avaient pour objectif d'éclairer les décideurs sur les politiques à entreprendre dans tous les secteurs pour assurer un développement harmonieux du pays. Le MFPE, en concertation avec les Ministères de l'Education et de l'Enseignement Supérieur, a conduit l'étude stratégique n° 11 relative à la question de préparation des ressources humaines. - Les missions de la Banque Mondiale 94 ­ 96 : à partir de 1994, le MFPE a reçu plusieurs missions de la Banque Mondiale dans le but de préparer un projet qui serait financé par la Banque dans les secteurs de la Formation Professionnelle et de l'Emploi. 4 Les principaux résultats réalisés par le projet 4.1 Présentation globale Il est difficile de présenter tous les résultats du projet en déconnection des autres composantes du programme MANFORME. Toutefois, le projet Formation ­ Emploi II s'est distingué par une contribution majeure au niveau de certains aspects innovants d'une importance capitale. On retient plus particulièrement les points suivants : - La mise en place d'un observatoire national de l'emploi et des qualifications qui, malgré toutes les difficultés qui ont entouré son lancement, a contribué à la création d'une réelle capacité d'analyse et d'évaluation d'impact des programmes de formation et d'emploi aussi bien au sein de l'administration que dans le secteur des cabinets et bureaux d'études tunisiens, - L'élaboration d'un nouveau modèle de gestion des centres de formation qui est en passe d'être implanté dans la totalité des centres. Un premier lot de 25 centres ont déjà établi leur plan d'opération individualisé pour la période 2003 ­ 2005 en vue d'accomplir toutes les étapes leur permettant l'implantation globale de ce modèle. - L'introduction de la méthodologie d'évaluation coût/bénéfice au niveau des investissements dans la création ou la restructuration des centres. Cet aspect innovant autant par son caractère d'approche économique des investissements dans le domaine de la Formation Professionnelle que par la méthodologie de calcul du taux de rendement a été également une contribution du projet formation emploi II, - La contribution au développement, au sein du dispositif national de la formation professionnelle d'une capacité de production de programmes de formation et de formation des formateurs orientés vers la satisfaction des besoins des entreprises en compétences, et par conséquent d'une ingénierie pédagogique - 25 - adaptée au pilotage de la formation par la demande, - Le soutien à la mise en place d'un système entièrement informatisé sur les offres et les demandes d'emploi gérées par l'ATE, - Une contribution très significative à l'augmentation de la capacité d'accueil de l'ATFP, - La contribution au financement et à la révision des instruments de promotion de la formation continue au profit des petites et moyennes entreprises (PRONAFOC et FIAP C). 4.2 Présentation des résultats par objectif spécifique 4.2.1 Composante Observatoire National de l'Emploi et des Qualifications (ONEQ) : Le projet a permis la création d'un observatoire de l'emploi et des qualifications comme instrument de suivi et de pilotage des différents programmes de formation et d'emploi. La réorganisation des départements au sein du Gouvernement en septembre 2002 a réparti les services relevant de la Direction Générale de l'ONEQ sur le Ministère de l'Education et de la Formation et celui de l'Emploi comme suit : - Tous les services qui s'occupent de la carte de la formation professionnelle, de l'évaluation et du suivi des programmes de formation initiale et continue sont rattachés au MEF, - Les autres services en charge de l'évaluation et du suivi des programmes d'emploi, du modèle macro-économique, du dictionnaire,... sont rattachés au ME. Les outils développés restent largement partageables (résultats des études d'évaluation d'impact, le dictionnaire des métiers, le modèle macroéconomique,...). Malgré un démarrage difficile, beaucoup d'activités ont été menées dans ce cadre ayant abouti à des résultats très encourageants. Il y a lieu de citer notamment les études d'évaluation d'impact des programmes de formation initiale et continue et des programmes d'emploi. Ces études, 6 au total par vague de trois relatives aux programmes mis en oeuvre en 1996 et en 1998, constituent une approche rationnelle pour l'évaluation et le pilotage des politiques introduites par le Gouvernement dans les secteurs de la formation professionnelle et de l'emploi. Sur le plan quantitatif, 9 études étaient programmées (trois vagues), 6 seulement ont pu être menées et achevées. Les résultats enregistrés concernent surtout l'acquisition d'un savoir faire méthodologique de conduite de ce type d'études aussi bien par le personnel des services administratifs concernés que par ceux des bureaux d'études tunisiens qui n'avaient aucune expérience dans ce domaine. Il y a lieu de rappeler que ce genre d'étude est entièrement nouveau même à l'échelle internationale et il n'existe pas encore d'approches ni de méthodes unanimement admises. Ainsi, de nombreux enseignements d'une importance capitale peuvent être tirés de cette expérience. On peut citer dans cet ordre : - La confirmation de la nécessité d'avoir un système de suivi et d'évaluation d'impact des programmes de formation initiale et continue et ce afin d'assurer un pilotage par la demande, - L'importance de disposer d'un système de prévision permettant de prévoir les changements et d'entreprendre les actions correctives à temps, - L'instauration du principe d'évaluation coût/bénéfice comme moyen de rationalisation des investissements et de comparaison de différentes solutions alternatives,... 4.2.2 Composante ATE : - 26 - L'ATE, dont le nom vient d'être changé en ANETI (Agence Tunisienne de l'Emploi et du Travail Indépendant), a réalisé avec la contribution du projet, des résultats très remarquables dans le domaine de l'informatisation et la modernisation des services de l'emploi. C'est ainsi qu'un système entièrement informatisé permet à tous les usagers des services des bureaux de l'emploi, entreprises et individus, de faire des recherches multicritères sur les aspects qui les intéressent. Ainsi les services principaux suivants sont gratuitement disponibles au niveau des bureaux de l'emploi et accessibles par Internet : - Consultation des offres d'emploi, - Consultation des demandes d'emploi, - Consultation des informations concernant les programmes de formation et d'emploi, - Possibilité d'inscription d'offres ou de demandes d'emploi à distance,... 4.2.3 Composante ATFP : 4.2.3.1 Le nouveau modèle d'organisation et de fonctionnement des centres de formation : Sur la base d'une étude qui a mobilisé un grand nombre des cadres du Ministère, de l'ATFP et du CENAFFIF, un modèle de gestion des centres de formation a été élaboré. Ce modèle accorde une grande importante à l'élargissement de la marge d'autonomie du centre sur les bases des orientations fondamentales de la stratégie MANFORME : - Le renforcement du partenariat avec les milieux productifs pour une meilleure réactivité aux besoins des entreprises en compétences. Dans ce cadre le modèle prévoit notamment la création d'un conseil d'établissement avec des prérogatives plus étendues que celles du conseil consultatif, - La formation avec l'entreprise selon les modes de l'alternance et de l'apprentissage et en adoptant des programmes élaborés selon l'approche par compétences, - L'organisation du centre sur la base d'unités fonctionnelles en rapport avec l'approche processus selon une démarche qualité. Le changement fondamental étant le passage d'une logique de fonctionnement axé sur la gestion de moyens alloués (logique de moyens) à une logique de gestion par les résultats (logique de résultats). Ce concept a été résumé par la notion de redevebalité qui signifie l'obligation qu'à le centre d'informer, d'expliquer et de justifier, à sa tutelle et à la profession, de la manière dont il s'est acquitté de sa responsabilité et de la façon avec laquelle il a utilisé les moyens qui lui ont été fournis. Il lui est également demandé de préciser les mesures entreprises ou à entreprendre pour corriger les éventuels écarts avec les prévisions sur les plans qualitatifs et quantitatifs. Au niveau opérationnel ce modèle a été testé dans quatre centres pilotes et a fait l'objet d'une évaluation (Rapport de l'atelier d'audit et de consolidation nouveau modèle des centres, 10 ­ 12 septembre 2002) qui a montré le bon (mais très variable d'un centre à l'autre) niveau d'assimilation de l'approche de gestion introduite par la nouvelle organisation et a mis l'accent sur les étapes qui restent à accomplir pour la consolider et la rendre irréversible. Il est à signaler que cette expérimentation a déjà été étendue à 5 nouveaux centres sectoriels (les centres cofinancés avec l'Agence Française de Développement) et dans la même logique dans 3 CFA cofinancés avec l'UE. Dans un souci d'uniformisation des modes de gestion et de rentabilisation des investissements effectués, le développement de ces nouveaux modèles s'est fait en concertation entre les différents projets selon le même cadre de référence. Le Xème Plan a prévu l'implantation de ce nouveau modèle dans au moins 50 centres et a fait de cette action l'axe majeur de développement de la qualité de la formation. Un projet global a été développé et individualisé par centre, dans une première étape, pour 25 centres intégrant à la fois les aspects - 27 - organisationnels du nouveau modèle et les aspects pédagogiques centrés sur les axes stratégiques du développement retenus par le Xème Plan. Ainsi et après validation par les structures professionnelles concernées, un projet d'établissement par centre aura été élaboré et adopté dans le cadre d'un contrat d'objectif liant solidairement le centre et la profession à l'ATFP pour la période 2003 ­ 2005. Par ailleurs, le modèle a prévu le passage à un nouveau mode de financement consistant à valoriser la notion d'allocation de ressources financières, entendue comme contrepartie d'une prestation de service de formation initiale et ce par opposition à la notion de subvention. Un lien devra être établit entre résultats/performances et ressources accordées au centre dans un contexte global défini par la démarche qualité en cours d'implantation dans le dispositif. Ce volet constituera l'une des composantes du nouveau projet proposé à la Banque. 4.2.3.2 Contribution à la création d'une capacité d'accueil additionnelle : La planification initiale prévoyait la restructuration de 10 CSF et la création de 3 nouveaux. Le projet a permis de restructurer 13 CSF et d'en créer 6 nouveaux. Globalement, les effectifs apprenants en formation ont nettement évolué durant la période 1998 ­ 2002 aussi bien en mode résidentiel (+ 126 %) que pour le mode de formation en entreprise (+190 %), le tableau suivant résume cette situation pour tous les centres de l'ATFP : Tableau 1 : Evolution globale des effectifs apprenants pour la période 1998 ­ 2002 Année Nombre total Nombre Taux formation apprenants apprenants en en entreprise entreprise 1998 Statistique ATFP mois 14126 4106 29 % de décembre 1998 2002 Statistique ATFP mois de 33061 11923 32 % novembre 2002 Evolution 1998 ­ 2002 18935 7817 3 % % croissance des effectifs 126 % 190 % Pour mieux situer la contribution du projet les tableaux suivants détaillent l'évolution des effectifs apprenants pour les centres restructurés ou créés dans le cadre du projet : Tableau 2 : Evolution des effectifs apprenants pour la période 1998 ­ 2002 pour les centres restructurés par le projet - 28 - 1998 2002 Evolution Effectif Effectif % F. Effectif Effectif % F. effectif apprenants apprenants entreprise apprenants apprenants entrepris 1998 - en en e 2002 entreprise entreprise H. Mannouba 663 57 8.6 % 680 191 28.1 17 H. Sfax 420 114 27.1 % 671 261 38.9 251 T. Bir Kassaa 259 0 0.0 % 325 140 43.1 66 T. Ksar Helal 62 0 0.0 % 342 149 43.6 280 Bonneterie Bembla 185 95 51.4 % 323 172 53.3 138 Electronique Den Den 357 40 11.2 % 1083 193 17.8 726 Electronique Sousse 323 0 0.0 % 1064 339 31.9 741 Cuir. Mégrine 238 26 10.9 % 391 209 53.5 153 Bois Monastir 56 41 72.2 % 265 0 0.0 209 Plasturgie Sousse* 184 0 0.0 % 144 109 75.7 - 40 Bâtiment Ben Arous* 405 123 30.4 % 516 125 24.2 111 Bâtiment et Forage 349 61 17.5 % 412 28 6.8 63 Gabes* Mécanique Auto Ariana* 162 16 9.9 % 197 102 51.8 35 Total 3663 832 22.7 % 6413 2018 31.5 2750 Il y a lieu de signaler que la restructuration de certains de ces centres n'est pas encore achevée. C'est le cas pour les centres marqués par le symbole (*) dans le tableau ci-dessus. Ils ne commenceront à tirer profit progressivement des investissements réalisés qu'à partir de la rentrée de septembre 2003. Il est attendu une augmentation des effectifs et une amélioration sensible du taux de formation avec l'entreprise. Tableau 3 : Effectifs apprenants des centres créés par le projet CSF Effectif Effectif Capacité Capacité Date entrée en apprenant apprenants prévue /a potentielle pour fonctionnement s en entreprise un taux d'alternance de 70 % /b Habillement Ras 537 97 840 1142 Décembre 2001 Tabia Tunis Habillement 705 86 840 1142 Octobre 2001 Monastir Cuir et chaussure 195 0 560 760 Février 2002 Tazarka Hôtellerie 0 0 560 760 Septembre 2003 Hammamet. Bonneterie Bir El 0 0 600 816 Septembre 2003 Kassa Mécatronique Borj 0 0 1740 2366 Septembre 2003 Cedria Total 1437 183 5140 6986 /a Cette capacité a été définie dans les études d'opportunités en tenant compte d'un taux d'alternance de 25 % /b Les chiffres de cette colonne sont obtenus en ramenant ceux de la colonne précédente au résidentiel en les divisant par 1.25 puis en les multipliant par 1.7 pour tenir compte d'un taux d'alternance de 70% Tableau 4 : Contribution du projet formation emploi II en termes de capacité - 29 - CSF Capacité Capacité Capacité initiale additionnelle /a totale Centres nouveaux Habillement Ras Tabia Tunis 840 840 Habillement Monastir 840 840 Cuir et chaussure Tazarka 560 560 Hôtellerie Hammamet. 560 560 Bonneterie Bir El Kassa 600 600 Mécatronique Borj Cedria 1740 1740 Total 5140 5140 Restructuration des centres H. Mannouba 480 300 780 T. Bir Kassaa 154 200 354 Bonneterie Bembla 160 200 360 T. Ksar Helal 160 200 360 H. Sfax 280 200 480 Cuir. Mégrine 160 240 400 Electronique Den Den 320 200 520 Electronique Sousse 240 400 640 Bois Monastir 90 330 420 Bâtiment Ben Arous 280 280 560 Bâtiment et Forage Gabes 160 280 440 Plasturgie Sousse 240 280 520 Mécanique Auto Ariana 160 360 520 Total 2884 3470 6354 /a Cette capacité a été définie dans les études d'opportunités en tenant compte d'un taux d'alternance de 25 % La création des centres étant toujours une action plus longue à mettre en oeuvre, les retombées des investissements ont commencé à apparaître à partir de la fin de 2000 mais le régime de croisière ne sera atteint que vers la fin de 2004. Les 6 centres nouvellement créés auront permis la création d'une capacité additionnelle de 5140 postes de formation avec un taux d'alternance de 25 %. Au total entre création et restructuration le projet a contribué à la création d'une capacité additionnelle de 8610 postes pour un financement global de près de 75 millions de DT y compris la contribution de l'état. Le passage en équivalent résidentiel donnerait, en divisant la capacité indiquée par 1.25, environ 7175 postes formation. Cette capacité permet l'accueil de flux variant selon le taux d'alternance que les centres atteindront. Ainsi le coût de création d'un poste de formation peut être calculé de plusieurs manières. On peut poser comme coût unitaire celui d'un poste résidentiel qui doit être une valeur fixe déterminée en divisant le coût global des projets par la capacité additionnelle que les investissements autorisent en considérant un fonctionnement exclusivement en mode résidentiel. Cette valeur est purement fictive et ne correspond pas au fonctionnement souhaité du centre. On peut également passer en flux en considérant que le flux des apprenants est en moyenne égale à la moitié de la capacité (durée de la formation de deux années). Ceci n'est qu'une approximation puisque actuellement les formation de BTP et BTS durent deux ans, alors que les formations de CAP ont une durée variable d'une ou de deux années. Mais pour les prochaines années et avec la normalisation des formations de niveau CAP, la durée standard pour ce niveau de formation est entrain de passer d'une année à deux années. Dans ces conditions le coût de création d'un poste résidentiel pour le projet Formation ­ Empli II serait de 8700 DT par poste créé. En terme de flux cette valeur est multipliée par deux , soit 17400 DT. Le coût d'un poste réel de formation devient une variable qui dépend du taux de l'alternance. En terme de flux le coût d'accueil d'un apprenant est 17400 / (1+taux de l'alternance). - 30 - En ce qui concerne l'extension de l'alternance, l'évolution simultanée du nombre d'apprenants en mode résidentiel et en alternance fait apparaître une augmentation d'environ 3% du taux de la formation en alternance. L'analyse des ces chiffres montre une évolution spectaculaire du nombre d'apprenants en alternance de 4106 à 11932 soit une augmentation relative de 190 %, mais qui s'est traduite par un quasi maintien des proportions. Les statistiques du mois d'avril 2003 montrent par contre une nette évolution puisque cette proportion se situe aux environs de 42 %. Ce taux est passé à environ 49% de la formation normalisée en septembre 2003. Au niveau des indicateurs de l'amélioration des performances des centres de l'ATFP, en se référant au rapport de l'étude d'évaluation d'impact de la formation initiale (Rapport final de l'étude d'évaluation d'impact de la formation professionnelle initiale pour les sortant de 1998, mars 2003) , on peut présenter les constats suivants : - Le délais moyen de la 1ère insertion, pour les diplômés 98, est de 9.7 mois. Ce délais diffère selon le mode de formation. Il est de 7.5 mois pour l'alternance contre 10.3 mois pour une formation résidentielle. Pour l'apprentissage, ce délais est de 5.4 mois, - Une comparaison des taux d'insertion pour les diplômés 96 et 98 montre une amélioration de ce taux qui est passé pour toute la période d'étude (30 mois) de 62% à 78%. Le tableau suivant extrait de l'étude d'évaluation d'impact pour les sortants de 98 résume l'insertion des diplômés et la comparaison par rapport à la population témoin La population témoin est un groupe d'individus ayant les même caractéristiques sociologique et de niveau scolaire que l'échantillon étudié mais sans avoir bénéficié de la formation en question.. Délais Diplômés 96 Diplômés 98 considéré CFP Apprentis Témoins Témoins CFP Apprentis Témoins Témoins (mois) CFP apprentis CFP apprentis 0 à 6 27 70 23 28 39 53 23 24 6 à 12 47 77 35 41 54 73 32 28 12 à 24 60 83 49 53 72 86 56 39 24 à 30 62 84 50 54 78 87 68 50 Compte tenu de l'effet différé de l'investissement dans le domaine de la formation, ces résultats sont plutôt à comptabiliser sur le VIIIème Plan. 4.2.4 Composante CENAFFIF : Globalement le CENAFFIF a réalisé des progrès notables dans le domaine de l'ingénierie de formation et de la maîtrise du processus d'élaboration des programmes. Les multiples actions qu'il a engagées dans ce domaine ont contribué à lui conférer l'acquisition des compétences nécessitées par ses missions. Le projet a également directement contribué à la formation du personnel du CENAFFIF et plus généralement à la diffusion de la culture de l'ingénierie de formation en Tunisie et ce à travers le financement de deux cycles de formation relatifs respectivement à l'analyse du contexte et à l'ingénierie de formation. Il est à rappeler qu'au démarrage du projet, le CENAFFIF ne maîtrisait pas encore les méthodologies et les techniques d'élaboration de programmes. Un projet pilote entrepris avec la coopération canadienne (PRICAT-Compétences) a initié les cadres du CENAFFIF à cette approche, le projet formation emploi II a permis d'entreprendre la production des programmes à plus grande échelle et d'augmenter le nombre de méthodologues Méthodologues : spécialistes de l'élaboration des programmes de formation. maîtrisant cette approche. Plus spécifiquement le projet a permis l'atteinte des résultats suivants : 4.2.4.1 Formation de formateurs et personnels de formation Tableau 4 : Actions de formation des personnels de formation - 31 - Bénéficiaires de la formation Nombre de bénéficiaires Nombre moyen de jour formation par bénéficiaire Cadres du dispositif 68 50 Formateurs 350 96 Conseillers d'apprentissage 1320 5 Tuteurs 554 3 Soit un total de 2292 bénéficiaires pour 44262 personnes jours formation équivalent à une moyenne de 19 jours formation par bénéficiaire. Pendant la période, 1997 ­ 2002, et tous projets confondus, le CENAFFIF a réalisé des actions de formation pour 9928 bénéficiaires pour un total de 333 529 personnes jours formation. Ainsi le projet a contribué à hauteur de 13 % en personnes jours dans la formation des personnels de formation. 4.2.4.2 Elaboration des programmes de formation : Le CENAFFIF a élaboré globalement, à la date d'élaboration de ce rapport, 161 programmes de formation dont 62 l'ont été avec l'appui financier du projet représentant 38 % de la production globale. Ayant assuré une large couverture des filières de formation dispensées par des programmes élaborés selon l'approche par compétences, le CENAFFIF aura ainsi franchi un pas décisif sur la voie de la normalisation de la formation professionnelle en Tunisie et contribue par la même, à jeter les bases d'implantation de la démarche qualité dans le secteur. 4.2.5 Composante CNFCPP : Le projet a contribué largement au développement de la formation continue orientée vers les PME et ce selon les axes suivants : - Une contribution au financement du PRONAFOC et du FIAP C pour un montant d'environ 13 MDT; - Un appui à la réflexion sur les moyens de simplifier les procédures de la ristourne de la taxe de la formation professionnelle, - Un appui financier pour l'acquisition d'équipements et de logiciels informatiques pour améliorer la gestion des instruments de financement de la formation continue et la décentralisation des opérations d'instruction des dossiers, - La réforme des procédures de gestion des instruments de formation continue. Cette réforme a été concrétisée notamment par l'unification du PRONAFOC et du FIAP-C en un seul instrument et l'alignement de la prise en charge des frais de la formation continue sur les barèmes de la ristourne sur la TFP. Parmi les acquis des nouvelles procédures, on peut citer la prise en charge des frais de diagnostic et d'élaboration de plans de formation qui consacre le principe de pilotage de la formation continue par la demande des entreprises et de l'approche client. 5 Enseignements et perspectives 5.1 Performance des agences d'exécution au niveau de la préparation et de la mise en oeuvre Le projet a été préparé par les instances centrales du Ministère avec une approche participative qui a impliqué : - Au niveau central du MFPE, la Direction Générale de la Prospective, de la Planification et de la Programmation (DG3P) Cette structure était au moment de la préparation du projet un groupe d'études de la prospective et de la planification et de la programmation rattaché au cabinet du Ministre e la Formation Professionnelle et de l'Emploi. En 2000, cette fonction a été promue en Direction Générale. , la Direction - 32 - Générale de la Formation Professionnelle et la Direction Générale de l'Emploi et de l'Emigration ; - Au niveau des agences d'exécution, les structures sous tutelle du MFPE : ATFP, ATE, CENAFFIF et CNFCPP. Des contacts avec des fédérations professionnelles ont préfiguré l'approche partenariale qui a été développée plus tard et consolidée avec le projet financé par l'AFD. La préparation du projet a été une occasion pour approfondir la réflexion sur les orientations à retenir pour le IXème Plan et les choix qui en découlent. Globalement le projet a été conçu comme une partie d'un programme de soutien à une réforme structurelle des secteurs de la formation professionnelle et de l'emploi. En complémentarité avec les autres projets, il a constitué la stratégie du MFPE pour la mise à niveau de ces secteurs en réponse aux défis induits par les choix politique, économique et sociologique qu'imposait l'adhésion à la zone de libre échange et l'ouverture à l'économie mondiale. L'approche retenue consistait à tirer les leçons des précédentes expériences, de s'appuyer sur des études spécifiques et de s'informer sur les modèles internationaux les plus performants. Tous les cadres impliqués dans les instances décisionnelles du dispositifs ont ainsi été conviés à participer à des voyages d'études pour prendre connaissance des systèmes jugés à l'avant garde au niveau mondial. La Banque a joué un rôle important et très positif dans la préparation du projet. Son implication et le niveau d'experts engagé durant la période de préparation du projet a aidé le Ministère à mieux cibler les différentes composantes de la réforme. On peut signaler également la volonté manifestée par la Banque de coordonner avec les autres bailleurs de fonds pour favoriser l'optimisation des moyens. 5.2 Au niveau de la mise en oeuvre Compte tenu du manque d'expérience, à la date du démarrage du projet, dans la mise en oeuvre de projets de cette envergure au sein du MFPE, l'une des premières activités soumise à l'approbation de la Banque a été la formation de l'équipe de l'Unité de Suivi du Projet (USP) et les responsables des différents activités. Cet effort s'est prolongé tout au long du projet, c'est ainsi que plusieurs actions de formation en management des projets ont été organisées à l'intention des personnels concernés. Plus particulièrement, une action financée par le projet a permis la formation de plus de 40 cadres du MFPE et des structures sous tutelle aux techniques de management des projets selon le standard international du PMI. La mise en oeuvre a été également caractérisée par un suivi minutieux des différentes activités en liens avec les objectifs et les résultats du projet. La coordination et la concertation entre la Banque et les organismes d'exécution ont permis le dépassement des rares difficultés qui sont apparues durant les six années de mise en oeuvre du projet. Les difficultés les plus importantes ont touché la composante Observatoire. On peut les attribuer à un changement fréquent des premiers responsables de cette structure, à la jeunesse de son équipe et à l'absence de solutions alternatives pour remédier à la faiblesse des bureaux d'études impliqués. Toutefois, cette expérience a fourni un enseignement majeur qui concerne la nécessité d'acquérir les compétences dans le domaine d'évaluation d'impact afin de disposer d'un instrument de suivi et d' évaluation des politiques mises en oeuvre dans ce domaine. Par ailleurs, l'existence d'une unité de suivi a facilité la mise en oeuvre du projet. Le rôle de cette unité a évolué avec l'avancement de l'exécution du projet pour s'engager d'avantage dans le management des différentes composantes. Toutefois, les structures ont assumé entièrement la responsabilité au niveau des demandes de décaissement qui ne sont communiquées à l'USP qu'à titre d'information. Cette situation a fait que la situation financière du projet a toujours été constituée avec un retard dû aux délais de transmission des documents de décaissements. Il aurait été plus judicieux d'imaginer un circuit qui ferait de l'USP un passage obligé aux ordre de paiement garantissant ainsi la saisie de l'information en temps réel. - 33 - Cependant il est à signaler qu'aucune anomalie n'a été relevée durant toute la durée du projet comme l'attestent les différents rapports d'audit du projet et le taux d'utilisation des fonds qui ont atteint quasiment 100%. 5.3 Au niveau des résultats du projet Ayant été le premier à être identifié, le projet Formation ­ Emploi II a contribué à conception d'une stratégie de développement des secteurs de la formation professionnelle et de l'emploi et un ensemble d'activités traduisant la politique du Gouvernement dans ces domaines en actions concrètes. L'évaluation du projet ne peut être, pour l'instant, que partielle et tronquée et ce pour les deux raisons suivantes : - Les objectifs du projet sont du type stratégique. ils visent des changements progressifs qui se construisent dans la durée. L'impact de ces changements est de type différé non mesurable immédiatement à la fin du projet, - Les effets qualitatifs observables de la réforme du dispositif de la formation professionnelle et de l'emploi sont la résultante de tous les projets engagés durant la dernière décennie. Ces effets, tout en étant imputables au projet Formation ­ Emploi II, sont également dus aux autres projets. L'essentiel n'est pas de déterminer avec précision la part qui revient à chaque projet dans la réalisation de l'objectif global de MANFORME, autant que d'oeuvrer pour en assurer la pérennité. Ceci étant et en plus des résultats mentionnés dans le chapitre principaux résultats du projet, il convient d'insister sur les contributions majeures du projet qui sont : - L'introduction du concept d'évaluation coût/bénéfice pour les investissements dans le domaine de la formation professionnelle. Cette innovation, le Ministère l'a incluse dans sa démarche au delà des projets financés par la Banque et entends la généraliser à tout type d'investissement dans le champ des ses activités, - L'initiation d'une démarche d'évaluation d'impact comme instrument de pilotage des programmes de formation et d'emploi par la demande des secteurs économiques. La méthodologie qui est encore au stade de finalisation, après les premières expérimentations, que les autorités tunisiennes considèrent comme concluantes mais perfectibles, dotera le pays d'un outil puissant d'évaluation et d'aide à la décision notamment lorsqu'il s'agit de choisir entre plusieurs solutions alternatives, - La contribution à l'évolution de la pensée sur le rôle des investissements immatériels (ingénierie de formation, modèle de gestion des centres, réforme du système de la formation continue,...). Globalement, les structures en charge du projet et la Banque ont contribué à la réussite du projet. Une comparaison de l'état de la formation professionnelle au démarrage du projet et son état actuel démontre la transformation positive qu'a subi ce dispositif. Cette évolution qui a été accompagnée au niveau central par des mesures institutionnelles appropriées atteste de l'atteinte des objectifs fixés pour le projet. Les Ministère de l'Education et de la Formation se fixe aujourd'hui des objectifs de stabilisation et de pérennisation des acquis de la réforme. Dans ce cadre, le MEF s'est fixé pour le Xème Plan des objectifs qui traduisent cette orientation. Ainsi sur le plan institutionnel, le MEF a déjà entrepris la révision du cadre juridique permettant l'harmonisation de la réglementation avec les orientations et les choix en matière d'autonomisation des centres. En vue de l'adapter au contexte d'autonomisation des centres et de redevabilité de leur gestion, le système de financement de la formation professionnelle doit faire l'objet d'une réforme globale. Cette réforme visera l'allocation optimale et équitable des ressources mobilisables entre la formation initiale (fonctionnement des centres et coût en entreprises), la formation continue par les opérateurs publics, la FC par les opérateurs - 34 - privés et le financement des investissements publics et privés de création ou de restructuration de centres. Les réflexions sont, par ailleurs très avancées sur l'axe de la poursuite de la réforme des mécanismes de financement de la FC. Globalement, un système cohérent de financement de la FP définissant le schéma de fonctionnement du Fonds de la FP et de l'Apprentissage est perçu, au stade actuel de la mise en oeuvre du programme MANFORME, comme le mécanisme-clé de la pérennisation des acquis de la mise à niveau. B. OBSERVATIONS DE L'EMPRUNTEUR Globalement, le MEF partage l'évaluation du projet faite par la Banque tout en présentant dans ce qui suit des éléments permettant de nuancer et de préciser certaines appréciations. Afin d'en faciliter la lectures, ces éléments sont présentées dans le même ordre que celui des rubriques du rapport de la Banque auxquelles ils se rapportent respectivement. 9.1. Observations concernant les données du projet Sans objet 9.2. Observations concernant le classement selon les principaux critères Sans objet 9.3. Observations concernant l'évaluation du choix des objectifs, de la conception du projet et de l'état de préparation lors du démarrage 9.3.1. Objectifs originaux Le rapport fait mention du programme MANFORME, or il faut préciser que le projet Formation Emploi II a précédé MANFORME puisque son identification s'est faite dans le cadre de la restructuration industrielle du pays (période 1992 ­ 1995) et dans le prolongement du Programme d'Ajustement Structurel (PAS). Ce n'est que plus tard, lors de la planification d'exécution détaillée des activités (Sousse 1996) que le projet a été intégré, grâce au cadre logique global, à MANFORME adopté début 1996 par le Gouvernement tunisien en tant que stratégie nationale de mise à niveau de la formation professionnelle. Il faudrait également signaler, au niveau de la conjoncture interne au dispositif, les conditions particulières au moment de la préparation du projet qui se caractérisaient par l'adoption d'une réforme institutionnelle avec notamment la création de quatre nouvelles agences qui devraient changer totalement d'approches au niveau de leur fonctionnement et de leur gestion tout en assurant la continuité de la gestion du dispositif. Il y avait donc un risque de voir de jeunes structures en phase d'implantation exécuter un projet aussi important. Mais ce risque était bien identifié par le Ministère qui comptait précisément sur le projet pour approfondir et consolider le premier train de réformes engagées en 1993. Il est mentionné dans le rapport, qu'avant le projet, il y avait absence de services d'emploi pour les travailleurs affectés par la restructuration économique, or les instruments C et F du FIAP existaient déjà et avaient pour objectifs : - En ce qui concerne l'instrument C, d'aider les travailleurs menacés de perdre leurs emplois, par des programmes de formation continue mettant à jour leur qualification et augmentant leur chance de les garder, - Et pour l'instrument F de traiter les travailleurs licenciés, par des formations recyclage visant leur réintégration dans de nouveaux postes. Le projet n'a fourni qu'une partie du financement de ces instruments, on peut citer également, outre l'apport du budget de l'Etat, le FADES et l'UE; mais il mobilisait des moyens permettant une assistance visant à pallier les faiblesses inhérentes à leur fonctionnement et notamment leur faible taux d'intervention. - 35 - Depuis août 2001, l'instrument C a été intégré dans le PRONAFOC dans le cadre d'une réforme qui a consisté à unifier les deux instruments et à les soumettre à un pilotage par la demande des entreprises en formation continue. Ce pilotage devant assurer la qualité de la formation ainsi qu'un meilleur ciblage des petites entreprises. Le rapport de la Banque a insisté, à juste titre, sur le niveau d'engagement du Gouvernement au programme de réformes. Il est utile de rappeler que cet engagement s'est manifesté notamment au niveau de la préparation du projet. Tous les aspects novateurs du projet relatifs à l'approfondissement de la réforme ont été introduits à l'initiative du MFPE, la Banque ayant joué un rôle important d'accompagnement. Témoin de cette entente l'absence dans l'accord conclu avec la Banque de toute condition de type structurel ou d'engagement d'ordre politique particulier. A l'évidence, comme l'affirme le rapport, le projet est très complexe et ambitieux, mais n'est il pas plus important de savoir si l'ambition de MANFORME était ou non à la mesure du pari engagé par le pays sur la mise à niveau de son industrie dans le contexte engendré par son adhésion à la zone de libre échange ? La question se pose en effet avec acquitté d'autant que le niveau de la formation professionnelle se présentait alors comme étant particulièrement préoccupant (cf. rapport de la Banque Mondiale sur le secteur privé). 9.3.2. Objectifs révisés Sans objet 9.3.3. Composantes originales L'analyse croisée des objectifs et des composantes du projet (premier paragraphe page 4 du rapport) méritent un complément. En effet, il est à rappeler que le projet, dans son ensemble, a été structuré autour du concept de «redéploiement du dispositif de la formation professionnelle et de l'emploi vers l'entreprise ». Il visait ainsi à faire passer le système d'une logique d'offre vers une logique axée sur la satisfaction de la demande économique. Cette construction mettait la formation initiale, la formation continue et les services de l'emploi au service des opérateurs économiques. L'équilibre devait être atteint par une réponse adéquate et appropriée des structures en charge de la formation professionnelle aux besoins en qualifications intermédiaires des secteurs économiques. L'observatoire, à travers tous ses instruments devait être à la fois le « capteur » qui renseigne sur l'identification qualitative et quantitative des besoins et l'instrument de mesure de la pertinence et de l'efficacité des politiques mises en oeuvres pour y faire face par la formation initiale, la formation continue et les programmes d'emploi. Ainsi défini, l'Observatoire se présentait comme l' outil de pilotage par la demande de la formation et des programmes d'emploi et la carte de la formation professionnelle comme un outil de planification stratégique. 9.3.4. Composantes révisées Sans objet 9.3.5. Qualité initiale Il est affirmé dans le rapport que le projet a abordé les problèmes d'une manière fragmentée. Ce jugement mérite d'être nuancé, en effet le projet est constitué de plusieurs composantes mais elles sont étroitement liées entre elles. Il suffit pour s'en convaincre de revoir son architecture décrite et schématisée par son cadre logique et celui plus global de MANFORME. Par ailleurs et afin de donner à la réforme l'assise solide dont elle avait besoin, le MFPE a pris les mesures institutionnelles suivantes : - 36 - - La création d'un Observatoire National de l'Emploi et des Qualification qui est une composante du projet mais également un instrument d'évaluation de la politique du Gouvernement en matière des ressources humaines. Il devait développer un ensemble d'outils de suivi tels que le modèle macroéconomique, les études d'évaluation d'impact, l'enquête entreprise.... et sur le système d'information sur l'emploi pour renseigner le décideur sur la pertinence des politiques qu'il a engagées et sur l'efficience des programmes entrepris. Son statut de Direction Générale, depuis 2000, devait servir de transition vers un mécanisme de gestion partenariale. Ce choix a été confirmé par les recommandations du séminaire international sur l'Observatoire que Le Ministère a organisé, en juin 1999, en collaboration avec la Banque, - L'établissement de conventions de partenariat avec toutes les fédérations professionnelles et la création de comités de suivi du partenariat présidés par les professionnels, - La création au sein du MFPE d'une Direction des Relations avec les Entreprises, - La création du conseil supérieur de la Formation Professionnelle et de l'Emploi et le dispositif des commissions permanentes qui en émanent, - Le développement d'un modèle de gestion des centres de formation appelé à transformer radicalement le mode de gestion des centres. Toutes ces mesures attestent de la volonté du MFPE de conduire, dans la cohérence un programme de réforme qui s'appuie sur un nombre important d'activités complexes, à l'aide de nombreux projets impliquant de nombreux intervenants. Sa cohérence est sous-tendue par « un cadre logique » minutieusement élaboré pour définir la nature des liens devant exister entre ces activités, ces projets et ces intervenants de manière à ce qu'ils convergent selon un arbre d'objectifs prévu à cet effet. Parallèlement, il apparaît aujourd'hui nécessaire de faire évoluer d'avantage le cadre juridique pour consolider les acquis de la réforme et entamer une seconde phase qui doit mettre le dispositif sur les rails de la qualité. Ce travail est déjà lancé, à titre indicatif on peut citer i) la révision de la loi relative à la création du CENAFFIF qui sera adoptée avant la fin de l'année 2003. Elle permettra le changement de son statut et l'ajustement de ses missions en rapport avec les nouvelles exigences de la généralisation de l'approche par compétence ; ii) le décret relatif à l'organisation de la formation dans les centres de l'ATFP qui est dans la phase finale pour sa publication ; iii) un deuxième décret relatif à l'organisation administrative et financière des centres qui est en cours d'achèvement au MEF; iv) par ailleurs, la loi d'orientation de la formation professionnelle fera l'objet d'une révision en profondeur au cours de 2004. 9.4. Observations concernant la réalisation du projet 9.4.1. Evaluation de l'impact du projet ­ réalisation des objectifs Il est vrai que lors de la conception du projet, l'accent a été mis plus sur les indicateurs de résultats que sur les indicateurs d'impact. Il s'agit là d'un choix et non d'une défaillance, car l'impact d'un tel projet sur l'économie est : - de type différé donc non mesurable immédiatement à l'achèvement du projet, - et la méthodologie, de mesure de cet impact n'est même pas disponible à l'échelle internationale. Les experts en étaient parfaitement conscients et ont considéré cette activité au sein de l'Observatoire comme un investissement du projet en vue de mettre au point une méthodologie susceptible de produire des résultats fiables en matière d'analyse d'impact des politiques de formation et d'emploi. Les résultats obtenus relatifs aux diplômés des promotions 96 et 98 ont la fiabilité que permet une expérience à ses débuts. Leur importance réside plus dans les enseignements méthodologiques visés pour perfectionner le dispositif et en améliorer la qualité des résultats que dans leur fiabilité actuelle. C'est la raison pour laquelle l'équipe du projet a opté en 2001 pour un arrêt provisoire de l'activité en question, avec l'intention de tirer correctement les enseignements des deux premiers passages et d'apporter sur leur base, - 37 - les ajustements appropriés à la méthodologie avant de lancer la 3ème enquête qui devait porter sur la promotion 2000. Mais, quand bien même ces ajustements auraient été effectués et les résultats de la 3ème enquête auraient été plus fiables auraient-ils pour autant permis une analyse d'impact du projet sur l'économie? Telle est la question de fond que pose ce paragraphe. Les sortants en septembre 2000, soit trois ans après l'entrée en vigueur du projet, n'appartenaient pas encore aux flux de sortie de diplômés imputables au projet. Il fallait attendre dans le meilleur des cas les sortants de 2004-2005 pour commencer à mesurer effectivement cet' impact.. La présente évaluation aurait pu entreprendre une enquête légère de nature à suppléer à l'insuffisance de l'information disponible sur l'impact du projet. Cette enquête aurait pu couvrir par exemple les secteurs du textile, du cuir et de l'électronique qui ont été les premiers à bénéficier des activités du projet. Par ailleurs, il est à signaler que les outils d'évaluation d'impact sont considérés dans ce projet comme outils stratégiques de pilotage de la formation par la demande. Leur développement/perfectionnement reste incontournable pour l'ajustement des politiques de formation. C'est là une orientation forte pour un projet futur sur laquelle le Ministère de l'Education et de la Formation insiste beaucoup. L'effort qui a été consenti sera poursuivi et de nouvelles vagues d'études d'évaluation d'impact relatives aux programmes de formation initiale et de formation continue seront menées. Enfin le rapport a omis d'évaluer toutes les composantes de l'Observatoire. Ainsi le modèle macroéconomique qui est l'instrument d'analyse macroéconomique et dont la première phase de développement est très satisfaisante et l'enquête entreprise qui n'a pas été réalisée n'ont fait l'objet d'aucun commentaire. 4.2. Réalisation du projet Composante A : Création d'un système d'information du marché du travail Le Ministère de l'Education et de la Formation estime qu'il faudrait atténuer le jugement négatif porté sur cette composante notamment en ce qui concerne l'aspect suivi et évaluation d'impact des programmes de formation initiale et continue. En effet l'initiation d'une approche d'évaluation d'impact est un indicateur de l'engagement du Ministère à instaurer les principes de la gestion par les résultats. L'étude sur la stratégie de l'emploi menée par la Banque en collaboration avec le Gouvernement tunisien a souligné le fait que la Tunisie est le premier pays de la région MENA a initier un tel système. Afin de consolider cette orientation il y a lieu de citer, en parallèle avec les facteurs négatifs, les principaux acquis suivants : - Les différentes vagues d'études d'évaluation d'impact ont été menées par des bureaux d'études tunisiens, parfois en collaboration avec des bureaux étrangers, sous la conduite de cadres tunisiens. Cette option, nonobstant les difficultés qu'elle a rencontrées, a permis la constitution au niveau national d'une expertise en mesure de conduire correctement ce type d'investigation à l'avenir, - L'instauration d'un débat scientifique autour des méthodologies d'évaluation d'impact aussi bien au niveau interne (entre cadres est spécialistes du dispositif) qu'au niveau externe avec des universitaires, des experts des bureaux d'études et des experts de la Banque lors de leur passage pour les diverses missions de supervision du projet, - La création du premier noyau de la carte de la formation professionnelle, - Le suivi par les centres de formation de leurs diplômés. Composante C : Développement des services de formation Le MEF partage cette évaluation tout en précisant les deux points suivants : - 38 - - Il est vrai que l'activité concernant le développement du modèle a été réalisée avec un décalage important par rapport aux premières prévisions. Mais le bilan est plutôt positif puisque le temps pris pour l'établissement du modèle a permis de recentrer son objectif et de faire participer un nombre élevé de cadres des structures et du Ministère aux activités de sa mise au point, ce qui constitue un acquis, quoique non mesurable, mais très important, - En ce qui concerne l'analyses ex-post les remarques avancées précédemment restent valables et notamment la question de la nécessité de mener une enquête spécifique. Les sections 4.3 à 4.5 sans objet 9.5. Observations concernant les principaux facteurs influant sur l'exécution du projet 9.5.1. Facteurs étrangers au contrôle des agences d'exécution Sans objet 9.5.2. Facteurs généralement assujettis au contrôle du Gouvernement Le rapport insiste sur le rôle du MEF pour maintenir des relations avec le Ministère de l'Emploi et les autres Ministère en charge d'une partie de l'offre de formation initiale (Agriculture, Tourisme). Cette préoccupation est prise en compte par le MEF qui anime en réalité tout un réseau de formation professionnelle faisant intervenir les Ministères ainsi que les professionnels concernés. Témoin de cette démarche, la mobilisation par le MEF des investissements pour le développement des dispositifs de formation de l'AVFA AVA : Agence, relevant du Ministère de l'Agriculture et de l'Environnement, en charge des centres de formation agricole et de l'ONTT ONTT : Agence, relevant du Ministère du Commerce , du Tourisme et de l'Artisanat, en charge des centres de formation dans le secteur touristique. . 9.5.3. Facteurs sous contrôle des agences d'exécution Concernant ce que le rapport note comme saupoudrage des activités stratégiques, il y a lieu, pour lever tout équivoque, de rappeler que le modèle n'est pas à classer au même titre que l'alternance, l'approche par compétence, la gestion par les résultats. Ces élément constituent plutôt des composantes du modèle qui est précisément le montage permettant cette combinaison synchronisée entre elles. Au niveau des facteurs ayant une influence négative il faut noter que les difficultés liés à l'implantation du modèle relèvent beaucoup plus d'un manque de compréhension au niveau opérationnel et de difficultés matérielles pour mettre à la disposition des centres des ressources humaines capables de remplir les fonctions introduites par le modèle. Au niveau décisionnel, l'engagement est irréversible et le Xème Plan a prévu l'implantation généralisée du modèle comme orientation garante de la pérennisation de la réforme. Le projet qualité sert actuellement de cadre général d'accompagnement de cette généralisation en assurant la conformité des services à un référentiel qualité. Quant aux activités de suivi, le MEF et l'ATFP oeuvrent pour faire de ce volet une préoccupation permanente des centres de formation qui doivent être les premiers à s'inquiéter de leurs résultats. Au niveau du Ministère, le projet Controlling est en train de jeter les bases d'un système de suivi et de contrôle de réalisation des objectifs du secteur. 9.5.4. Coût et financement Les opérations de décaissements se sont prolongées jusqu'au 31 octobre comme prévu par l'accord de prêt. Grâce à une bonne coordination entre les services de la Banque et de l'emprunteur et notamment les ajustements des montants alloués aux différentes composantes, la quasi-totalité du prêt a été décaissée. 9.6. Observations concernant la pérennité du projet La question de la pérennité du projet n'a pas fait l'objet d'une analyse approfondie. La consolidation des acquis de la réforme est présentée dans le dernier aide-mémoire de la Banque comme un impératif majeur - 39 - pour la pérennisation. La prise en compte de cet élément devrait conduire à s'interroger sur la pertinence d'une éventuelle intervention de la Banque dans le cadre d'un nouveau projet. Dans le même ordre d'idée, le Ministère note toutefois la convergence de ses points de vue avec ceux de la Banque en ce qui concerne la nécessité d'étudier en profondeur la question de la réforme du système de financement de la formation professionnelle comme élément déterminant dan la pérennisation de la réforme. 9.7. Observation sur la performance de la BIRD et de l'emprunteur 9.7.1. Préparation Sans objet 9.7.2. Supervision Il n'est pas tout a fait vrai que la Banque était à l'origine de la décision d'arrêter la troisième vague d'études d'évaluation d `impact. Cette décision a été prise d'un commun accord entre la Banque et le MFPE. En ce qui concerne le niveau de concertation avec les autres bailleurs de fonds, cette affirmation est excessive et gagnerait à être revue. En effet et comme signalé précédemment, le projet Formation Emploi II a été le premier à être identifié et donc jusqu'au milieu de l'année 1995, il n'y avait pas d'autre bailleur de fonds en négociation avec le Ministère. Dès que les autres projets ont atteint un stade de préparation permettant un échange entre bailleurs de fonds, le MFPE a pris l'initiative d'organiser, dès que l'occasion s'était présentée, des rencontres entre représentants des différents prêteurs. En témoigne la présence de représentants de l'UE et de l'AFD dans la planification du projet (Sousse 1996) et celle de la Banque Mondiale dans la planification des projets financés par l'UE et AFD. CONCLUSION Le Ministère de l'Education et de la Formation considère que le rapport est satisfaisant dans l'ensemble. Les facteurs de risque sont particulièrement bien analysés. Toutefois, l'appréciation globale du projet et de la réforme d'une manière générale est en rupture avec les constats et l'analyse de la mission de fin d'exécution de juin 2003 (cf. la partie A de l'aide mémoire de la dite mission). Les facteurs ayant limité l'intérêt du rapport seraient : - L'absence d'analyse de la situation avant projet ou au moins à des références s'y rapportant. Cette analyse serait de nature à montrer le chemin parcouru par la réforme et l'évolution que les dispositifs de la formation professionnelle et de l'emploi ont accomplie, - L'insuffisances dans l'analyse de positionnement du projet dans le contexte de MANFORME : seul le retard dû à certains bailleurs de fonds est signalé. Ni les apports spécifiques du projet Banque Mondiale, ni ceux des autres projets ne sont soulignés : analyse, coût/bénéfice (BM), partenariat (AFD), Démarche qualité (UE),... - La composante observatoire, probablement la plus novatrice, mérite une étude plus détaillée afin que des enseignements, utiles pour l'avenir, soient correctement tirés si nous tenons à préserver la poursuite de la modernisation de la formation professionnelle ainsi que sur les liens à développer entre la politique d'emploi et de mise à niveau de l'économie d'une part et la politique d'éducation formation d'autre part. - 40 - - 41 -