FOR OFFICIAL USE ONLY    Report No: PAD3046     INTERNATIONAL BANK FOR RECONSTRUCTION AND DEVELOPMENT   PROJECT APPRAISAL DOCUMENT  ON A  PROPOSED LOAN  IN THE AMOUNT OF EUR 43.80 MILLION  (US$50 MILLION EQUIVALENT)  TO THE  REPUBLIC OF SERBIA  FOR AN  ENABLING DIGITAL GOVERNANCE PROJECT  April 3, 2019    Governance Global Practice  Europe and Central Asia Region                                 document  is  being  made  publicly  available  prior  to  Board  consideration.  This  does  not  imply  a  This  presumed  outcome.  This  document  may  be  updated  following  Board  consideration  and  the  updated  document will be made publicly available in accordance with the Bank’s policy on Access to Information.  CURRENCY EQUIVALENTS     (Exchange Rate Effective February 28, 2019)    Currency Unit =   Euros (EUR)  EUR 0.88 =  US$1  US$1.142 =   EUR 1      FISCAL YEAR  January 1 – December 31      ABBREVIATIONS AND ACRONYMS    API  Application Programming Interface  BPR  Business Process Re‐engineering   CERT  Computer Emergency Response Team  CFU  Central Fiduciary Unit  CPF  Country Partnership Framework  DDMS  Data and Document Management System  DRDC  Disaster Recovery Data Center  DFID  U.K. Department for International Development  EDGe  Enabling Digital Governance  EMP  Environmental Management Plan  ESMF  Environmental and Social Management Framework  EU  European Union  G2B  Government‐to‐Business  G2C  Government‐to‐Citizens  G2G  Government‐to‐Government  GDP  Gross Domestic Product  GDPR  General Data Protection Regulation  GOS  Government of Serbia  GRS  Grievance Redress Service  GSB  Government Service Bus  HR  Human Resources  ICT  Information and Communication Technology  IDF  Institutional Development Fund  IFC  International Finance Corporation  IFI  International Financial Institution  IFR  Interim Financial Report  IMF  International Monetary Fund  IoP  Interoperability Platform  M&E  Monitoring and Evaluation  MOF  Ministry of Finance  MPALSG  Ministry of Public Administration and Local Self‐Government  MTTT  Ministry of Trade, Tourism, and Telecommunications   NBS  National Bank of Serbia  NOC  Network Operations Center  ODRA  Open Data Readiness Assessment   OITeG  Office for Information Technologies and e‐Government  O&M  Operations and Maintenance  PIU  Project Implementation Unit  PDO  Project Development Objective  POM  Project Operations Manual  REMP  Real Estate Management Project  RPF  Resettlement Policy Framework  SCD  Systematic Country Diagnostic  SOC  Security Operations Center  TA  Technical Assistance  TAMP  Tax Administration Modernization Project  ToR  Terms of Reference  UNDP  United Nations Development Programme    WB  World Bank    Regional Vice President: Cyril E Muller  Country Director: Linda Van Gelder  Senior Global Practice Director: Deborah L. Wetzel  Practice Manager: Roberto Adrian Senderowitsch  Task Team Leader(s): Carolina Rendon, Srdjan Svircev, Svetlana Vukanovic    The World Bank Enabling Digital Governance Project (P164824)   TABLE OF CONTENTS    DATASHEET ............................................................................................................................. 1  I.  STRATEGIC CONTEXT ........................................................................................................ 6  ................................................................................................................................ 6  A. Country Context  B. Sectoral and Institutional Context .................................................................................................... 7  C. Relevance to Higher Level Objectives ............................................................................................. 11  II.  PROJECT DESCRIPTION ................................................................................................... 12  A. Project Development Objective ..................................................................................................... 12  B. Project Components ....................................................................................................................... 13  C. Project Beneficiaries ....................................................................................................................... 20  D. Results Chain .................................................................................................................................. 20  E. Rationale for Bank Involvement and Role of Partners ................................................................... 21  F. Lessons Learned and Reflected in the Project Design .................................................................... 22  III.  IMPLEMENTATION ARRANGEMENTS .............................................................................. 23  A. Institutional and Implementation Arrangements .......................................................................... 23  ......................................................................... 24  B. Results Monitoring and Evaluation Arrangements  C. Sustainability ................................................................................................................................... 25  IV.  PROJECT APPRAISAL SUMMARY ..................................................................................... 26  A. Technical, Economic, and Financial Analysis (if applicable) ........................................................... 26  .......................................................................................................................................... 29  B. Fiduciary  C. Safeguards ...................................................................................................................................... 30  V.  KEY RISKS ....................................................................................................................... 33  ..................................................................... 35  VI.  RESULTS FRAMEWORK AND MONITORING  ANNEX 1: Implementation Arrangements and Support Plan ........................................... 40  ANNEX 2: Detailed Project Description ........................................................................... 45  ANNEX 3: List of Pending Secondary Legislation ............................................................. 54        The World Bank Enabling Digital Governance Project (P164824) LIST OF FIGURES Figure 1 ‐ Climate Co‐Benefits, in US$, 2019‐2028 ..................................................................................... 18  Figure 2 ‐ Project Results Chain .................................................................................................................. 21  Figure 3 ‐ Net Economic Benefits from the EDGe Project, in US$ .............................................................. 28  Figure 1.1 ‐ Institutional and Implementation Arrangements .................................................................... 41  Figure 1.2 ‐ Organizational structure of the OITeG..................................................................................... 42  Figure 2.1 ‐ Sequencing of Project Activities .............................................................................................. 45  Figure 2.2 ‐ Schematic Presentation of the Project .................................................................................... 46  Figure 2.3 ‐ Schematic Relationship Between Data Center and Disaster Recovery Data Center ............... 48  LIST OF BOXES  Box 1. ‐ IFC Collaboration on e‐Permitting for Serbia ................................................................................. 12  Box 2 ‐ Process of Digitalization and Prioritization Criteria ........................................................................ 16  Box 2.1. ‐ Computer Emergency Response Team (CERT) ........................................................................... 50  LIST OF TABLES  Table 3.1. ‐ List of Bylaws ............................................................................................................................ 54        The World Bank Enabling Digital Governance Project (P164824)        DATASHEET    BASIC INFORMATION    BASIC INFO TABLE  Country(ies)  Project Name  Serbia  Enabling Digital Governance Project  Project ID  Financing Instrument  Environmental Assessment Category  Investment Project  P164824  B‐Partial Assessment  Financing    Financing & Implementation Modalities  [  ] Multiphase Programmatic Approach (MPA)  [  ] Contingent Emergency Response Component  (CERC)  [  ] Series of Projects (SOP)  [  ] Fragile State(s)  [  ] Disbursement‐linked Indicators (DLIs)  [  ] Small State(s)  [  ] Financial Intermediaries (FI)  [  ] Fragile within a non‐fragile Country  [  ] Project‐Based Guarantee  [  ] Conflict   [  ] Deferred Drawdown  [  ] Responding to Natural or Man‐made Disaster  [  ] Alternate Procurement Arrangements (APA)    Expected Approval Date  Expected Closing Date  24‐Apr‐2019  30‐Jun‐2024  Bank/IFC Collaboration     No    Proposed Development Objective(s)    To improve access, quality, and efficiency of selected administrative e‐Government services.    Components      Component Name   Cost (US$, millions)  Page 1 of 57 The World Bank Enabling Digital Governance Project (P164824)   Foundations for Digital Service Delivery     26.70    Transforming Services for Citizens, Businesses, and Government     22.60    Digital Skills Development, Institutional Strengthening and Change Management      5.70    Organizations    Borrower:    Republic of Serbia   Implementing Agency:   Office for Information Technologies and Electronic Goverment     PROJECT FINANCING DATA (US$, Millions)   SUMMARY   ‐NewFin1 Total Project Cost  55.00  Total Financing  55.00  of which IBRD/IDA   50.00  Financing Gap  0.00      DETAILS   ‐NewFinEnh1 World Bank Group Financing       International Bank for Reconstruction and Development (IBRD)  50.00  Non‐World Bank Group Financing       Counterpart Funding  5.00            Borrower/Recipient  5.00      Expected Disbursements (in US$, Millions)    WB Fiscal Year            2019  2020  2021  2022  2023  2024  Annual             0.00     3.64     5.25     8.88    13.73    18.50  Cumulative             0.00     3.64     8.89    17.76    31.50    50.00        Page 2 of 57 The World Bank Enabling Digital Governance Project (P164824) INSTITUTIONAL DATA    Practice Area (Lead)  Contributing Practice Areas  Governance  Digital Development, Transport    Climate Change and Disaster Screening  This operation has been screened for short and long‐term climate change and disaster risks    Gender Tag  Does the project plan to undertake any of the following?  a. Analysis to identify Project‐relevant gaps between males and females, especially in light of  No  country gaps identified through SCD and CPF  b. Specific action(s) to address the gender gaps identified in (a) and/or to improve women or  Yes  men's empowerment  c. Include Indicators in results framework to monitor outcomes from actions identified in (b)  Yes     SYSTEMATIC OPERATIONS RISK‐RATING TOOL (SORT)    Risk Category  Rating    1. Political and Governance   Substantial    2. Macroeconomic   Moderate    3. Sector Strategies and Policies   Substantial    4. Technical Design of Project or Program   Substantial    5. Institutional Capacity for Implementation and Sustainability   Substantial    6. Fiduciary   Substantial    7. Environment and Social   Low    8. Stakeholders   Moderate    9. Other       10. Overall   Substantial      Page 3 of 57 The World Bank Enabling Digital Governance Project (P164824) COMPLIANCE    Policy  Does the project depart from the CPF in content or in other significant respects?  [  ] Yes      [✓] No    Does the project require any waivers of Bank policies?   [  ] Yes      [✓] No     Safeguard Policies Triggered by the Project  Yes  No    Environmental Assessment OP/BP 4.01  ✔     Performance Standards for Private Sector Activities OP/BP 4.03    ✔   Natural Habitats OP/BP 4.04    ✔   Forests OP/BP 4.36    ✔   Pest Management OP 4.09    ✔   Physical Cultural Resources OP/BP 4.11    ✔   Indigenous Peoples OP/BP 4.10    ✔   Involuntary Resettlement OP/BP 4.12  ✔     Safety of Dams OP/BP 4.37    ✔   Projects on International Waterways OP/BP 7.50    ✔   Projects in Disputed Areas OP/BP 7.60    ✔     Legal Covenants      Sections and Description  Loan Agreement. Article 4.01. The Additional Event of Suspension consists of the following, namely that the Project  Implementing Entity’s Legislation has been amended, suspended, abrogated, repealed or waived so as to affect  materially and adversely the ability of the Project Implementing Entity (OITeG) to perform any of its obligations  under the Project.         Sections and Description  Schedule 2 of the Loan Agreement. Section I. Part C. Safeguards. Borrower through OITeG to ensure project  implementation in accordance with the Project's Safeguard Instruments.         Sections and Description  Page 4 of 57 The World Bank Enabling Digital Governance Project (P164824) Schedule 2 of the Loan Agreement. Section I. Part A.2. Unless otherwise agreed with the Bank, not later than one  (1) month after the Effective Date, the Borrower shall establish and thereafter maintain throughout Project  implementation a Project Steering Committee with responsibilities, composition and functions as set forth in the  Project Operations Manual.         Conditions    Type  Description  Disbursement  Retroactive Financing. Schedule 2. Section III. Part B. No withdrawal shall be made for  payments made prior to the Signature Date, except that withdrawals up to an aggregate  amount not to exceed Euro 4,000,000 may be made for payments made on or after March  11, 2019 for Eligible Expenditures.                     Page 5 of 57 The World Bank Enabling Digital Governance Project (P164824) I. STRATEGIC CONTEXT    A. Country Context  1. Following years of recession and slow growth, the Serbian economy expanded by 1.8 percent,  on  average,  over  the  previous  three  years  (2015–2017),  while  a  stronger  growth  of  3.5  percent  was  estimated  for  2018.  Over  the  previous  three  years,  growth  started  to  recover  on  the  back  of  higher  investment  (average  annual  growth  of  8.3  percent)  and  strong  growth  of  exports  (up  10.7  percent  annually in real terms). Consumption recovered as well, but at a slower pace (at 1 percent annually in real  terms).  Growth  of  the  industry  and  services  sectors  contributed  most  to  the  overall  growth  of  the  economy over the previous three years, while agriculture had a negative contribution to growth in 2015  and 2017. For 2018, growth was broad‐based with all three major sectors growing faster than last year.  As  a  result,  the  growth  in  2018  reached  4.2  percent.  The  medium‐term  growth  projections  depend  crucially on deeper and timelier structural reforms and progress with European Union (EU) accession.  2. The Government of Serbia (GOS) has implemented a successful fiscal adjustment but economic  vulnerabilities remain. In 2014, the GOS adopted an ambitious fiscal consolidation and structural reform  program supported by the International Monetary Fund (IMF) and the World Bank.  In the short term,  the program focused on the control of aggregate wage and pension expenditures, improvements in tax  administration,  and  reductions  in  subsidies  to  state  owned  enterprises.  The  implementation  of  these  measures led to the reduction of budget deficits in 2015–2016 and budget surplus of 1.2 percent of gross  domestic product (GDP) in 2017 and 0.5 percent of GDP in 2018, underpinned by strong revenue collection  and lower than planned public spending ensuing, among others, from the interest payment savings and  under‐execution  of  public  investment.  As  a  result  of  prudent  fiscal  policies,  public  debt  continues  to  decline and stood at 54.3 percent of GDP (at the end of December 2018), and is expected to continue  declining during 2019, albeit at a slower pace. However, the country remains vulnerable to spillovers from  regional  developments  and  market  volatility,  thus  ensuring  fiscal  sustainability  and  supporting  private  sector development, growth, and formal employment are important for Serbia’s economic performance  in the long term.  3. Over this same period, the prospects for accession to the EU provided an impetus for a broad  spectrum of reforms. In November 2007, Serbia initiated a Stabilization and Association Agreement with  the EU. In 2012, it was granted an EU candidate status. Since the formal start of the accession negotiations  in  2014,  progress  has  evolved  largely  following  its  predicted  trajectory.  As  of  December  2018,  Serbia  opened 16 out of 35 chapters of the EU’s Acquis Communautaire, of which two are provisionally closed.  4. Major climate risks and natural hazards are likely to affect Serbia's sustainable development.  Extreme temperature rises may lead to severe water shortages and increased instances of heat waves.  Serbia has already experienced an increased frequency of droughts; according to government estimates  these have caused damages of over EUR3.5 billion since 2000. An increase in the frequency of flooding  poses significant additional risks. In 2014, massive floods across Southeast Europe left over 50  people  dead  (in  Serbia  alone)  and  resulted  in  damages  of  over  EUR1.5  billion.  As  a  signatory  to  the  Paris  Page 6 of 57 The World Bank Enabling Digital Governance Project (P164824) Agreement Serbia is fully committed to international efforts to avoid dangerous climate change.1 In its  Intended Nationally Determined Contribution to the United Nations Framework Convention on Climate  Change, the country pledged to reduce greenhouse gas emissions by 9.8% by 2030, compared to base‐ year 1990 emissions.  B. Sectoral and Institutional Context  5. The EU accession path has provided strong motivation to advance the transformation of the  Serbian public sector. The GOS has prioritized the use of electronic government (e‐Government) tools to  improve public service delivery.  As part of transforming the Serbian public sector into a more modern,  efficient, and citizen‐centric administration, the GOS has introduced performance‐oriented measures and  is  promoting  the  use  of  information  technologies  in  public  service  delivery.  The  most  recent  EU  assessment  on  Serbia  recognizes  that  creating  a  more  user‐oriented  administration  remains  a  key  government priority .2  6. International and regional experience shows the benefits of simplifying processes, increasing  efficiency,  and lowering  cost for infrastructure  and maintenance of information and communication  technology (ICT) systems for improved public service delivery. Governments such as Denmark, Estonia,  Finland, the Netherlands, Singapore, India, and Uruguay are moving to ICT solutions with tangible results  including reductions in ICT costs (through automatized data exchange), increased productivity, improved  accountability and transparency, and improvements in service delivery. The benefits of such reforms are  significant from both the governance and economic perspectives. For example, over the last decade, many  countries  have  reduced  the  time  and  cost  for  accessing  services  between  25  percent  and  50  percent,  resulting in improved Doing Business rankings, along with increased private investment and job creation.3  7. In 2015, Serbia approved Strategy on Development of Electronic Government in Serbia for 2015‐ 2018 (e‐Government Strategy), and a follow‐up strategy is being developed for the next three years. In  2014, an assessment conducted by the EU on the status of e‐Government concluded that Serbia is among  the countries that have placed stronger emphasis on advancing e‐Government. Serbia has implemented  several activities for the development of telecommunications, expansion of broadband connectivity, the  enhancement  of  e‐Government  and  the  development  of  an  Agency  for  Information  Society.  Unfortunately, most of these efforts have been fragmented, uncoordinated and only partially funded. To  steer the reform process and to oversee the implementation of all the government strategies, the GOS  created the Office of Information Technologies and e‐Government (OITeG) under the Prime Minister’s  Office in 2017.  1 Adopted on December 12, 2015 at the twenty‐first session of the Conference of Parties to the United Nations Framework  Convention on Climate Change and ratified by Serbia on July 25, 2017.  2 Serbia 2018 Report, European Commission – April 17, 2018 (https://ec.europa.eu/neighbourhood‐ enlargement/sites/near/files/20180417‐serbia‐report.pdf).  3 Mckinsey Global Institute, Digital Finance for All, Powering Inclusive Growth in Emerging Economies – September 2016  (https://www.mckinsey.com/~/media/McKinsey/Featured%20Insights/Employment%20and%20Growth/How%20digital%20fina nce%20could%20boost%20growth%20in%20emerging%20economies/MGI‐Digital‐Finance‐For‐All‐Executive‐summary‐ September‐2016.ashx) Page 7 of 57 The World Bank Enabling Digital Governance Project (P164824) 8. The OITeG‘s mandate is to expand the use of ICT in Serbia and to foster the digitalization of  public  sector  services  to  improve  quality,  efficiency,  innovation,  competitiveness,  and  growth.  The  OITeG is the main agency tasked with the implementation of the e‐Government Strategy and its Action  Plan.  However,  the  policy  and  regulatory  functions  in  matters  of  digitalization  and  e‐Government  are  shared  between  the  Ministry  of  Public  Administration  and  Local  Self‐Government  (MPALSG)  and  the  Ministry  of  Trade,  Tourism  and  Telecommunications  (MTTT).  The  OITeG  requires  strengthening  to  implement and advance the GOS e‐Government agenda.  9. Under the leadership of the OITeG and MPALSG, a new three‐year strategy for advancement of  the  e‐Government  agenda  for  the  period  2019–2021  is  expected  to  be  adopted  by  mid‐2019.4  The  strategy will build on lessons learned and assess the impact of the implementation of the previous strategy  while articulating new priorities for advancing e‐Government. Through the technical leadership provided  by the OITeG, the GOS is better equipped to implement and monitor the new strategy. The OITeG will  address  key  challenges  affecting  the  rollout  of  e‐Government  including  by  simplifying  complex  institutional  arrangements,  overlapping  mandates,  uncoordinated  initiatives  and  fragmentation  in  the  implementation  of  priorities  as  well  as  limitations  in  terms  of  infrastructure,  capacity  and  coverage.  Government‐wide strategic coordination has advanced through the creation of the Coordination Council  for  e‐Government  where  priority  projects  to  improve  digital  infrastructure  and  advance  e‐services  are  discussed. Stronger leadership of the agenda is emerging with the establishment of the OITeG, which is  mandated to operationalize activities and projects that correspond to strategic plans for e‐Government.  Moreover,  the  development  of  the  new  strategy  has  been  informed  by  preparatory  activities  for  the  proposed project; as such, the strategy anticipates the Project as a key instrument for its implementation.  10. Serbia  could  benefit  from  improved  access  to  better  quality  and  more  efficient  e‐services.  Access to e‐Government services is limited. Moreover, e‐services, when provided, are poor in terms of  quality,  reliability,  and  attention  to  service  standards.  Many  registries  and  information  data  bases  are  fragmented, making e‐services inefficient and imposing additional burden in terms of time and cost to  citizens and  businesses when  engaging with  the Government. For  example, access  to services barriers  include  requiring  a  different  mode  of  identification  in  each  portal;  quality  of  service  barriers  include  limited degrees of security in transactions; and effectiveness barriers include officials requiring physical  evidence (paper slip with a stamp from the corresponding institution) from citizens using e‐payment as  systems are not yet interconnected.  Foundational Challenges  11. Serbia  faces  several  challenges  in  advancing  its  e‐Governance  agenda.  Foundational  infrastructure  is  not  in  place,  regulatory  frameworks  are  weak  and  online  services  that  are  currently  available are the result of sectoral initiatives and not part of a coherent and coordinated reform strategy.  Furthermore,  the  institutional  arrangements  and  public  sector  capabilities  are  not  conducive  to  coordinated action for digitalization of services.  12. The primary legislation for e‐Government has been adopted, however the operationalization of  these laws is lagging.  The Law on e‐Government was adopted in April 2018 and the Law on Electronic  Document, Electronic Identification, and Trusted Services in E‐Commerce, was adopted in October 2017.  4 The process is supported by the EU Delegation in Serbia.  Page 8 of 57 The World Bank Enabling Digital Governance Project (P164824) Some of the important bylaws, necessary for full operationalization of the primary legislation, are yet to  be  enacted  (for  example,  regulations  on  data  storage  and  management)  or  harmonized  to  new  EU  standards. Although the existing secondary legislation is sufficient to anchor the first phase of the Project,  the Project will provide technical assistance (TA) for the development of the missing regulation that will  enable the implementation of the following phases. A detailed regulatory gap analysis was conducted as  part of the Project design to identify vacuums in primary and secondary legislation as well as to provide a  roadmap for required TA under the Project and is presented in Annex 3. The GOS acknowledges that the  lack of an appropriate regulatory framework hinders further development of e‐services and digitalization  limiting economic development and growth. Having a clearer regulatory framework will also contribute  to unleashing the potential of the private sector.  13. The necessary cross‐cutting foundations to support the digitalization of services are missing. A  Government e‐portal, a Government Service Bus (GSB) digital signatures, and e‐payment of administrative  fees all exist as stand‐alone efforts.5 However, there is a need for establishing interoperability standards,  procedures, and other enabling foundations for the expansion of digital services. While online services  exist for both businesses (such as construction e‐licensing services) and citizens (such as the open data  portal, e‐birth certificate, and the e‐enrollment for preschool), the selection of these e‐services has often  been done without consideration of service demands by users. Likewise, digitalization was done without  a  common  methodology  limiting  the  opportunity  for  scalability  and  replicability  to  other  services.  Furthermore, since reforms have been designed and conducted in isolation, though citizens can access  some e‐services  through the service portal, the back end of  the service processing and delivery is not  interconnected to all necessary registries, and therefore still conducted manually, through paper‐based  and outdated processes. For instance, users of the e‐birth certificate registration reported that they must  wait 12 days to receive the  birth  certificate compared  to receiving the  certificate immediately, if  they  provide hard‐copy documents required for the registration.   14. Efforts to introduce the use of electronic services in Serbia are currently under way, including  digital  signatures,  e‐payment  of  administrative  fees,  e‐Government  Portal,  Government  Interoperability Platform (Government Services Bus), government data center, and open data portal.6  However,  the  expansion  of  e‐service  delivery  to  citizens,  businesses,  and  government  requires  much  greater  investment  in  the  interoperability  of  existing  systems  and  implementation  of  cybersecurity  protocols  and  infrastructure.7  Currently  there  are  over  180  registries  in  use  by  various  government  departments and ministries that operate in silos and hinder data exchange. Information and data collected  electronically is not used to improve service delivery but as a backup to the paper files or reference. Lack  of clarity in mandates to collect data results in inefficiencies and inconsistencies and undermines effective  service delivery. Although efforts have been made to try to address these issues through, for example,  the creation of a Central Registry for Mandatory Social Insurance (CROSO is the acronym in Serbian) to  ease  data  exchange  between  the  Tax  Office,  Pension  Insurance  Fund,  Health  Insurance  Fund,  and  the  Social Contributions Fund, actual improvements have been modest.  5 This is the core of the interoperability platform (IoP). For an explanation of the government/enterprise service bus concept  see: https://www.gartner.com/doc/1405237/enterprise‐service‐bus‐definition.  6 https://www.euprava.gov.rs/en  7 The Parliament has adopted a new Law on Protection of Personal Data which is fully compliant with the General Data  Protection Regulation (GDPR).  Page 9 of 57 The World Bank Enabling Digital Governance Project (P164824) Service Transformation Challenges  15. The GOS aims to use e‐Government tools to improve administrative service delivery and build  trust  in  citizens  and  businesses.  Existing  processes  for  accessing  administrative  services  are  slow,  outdated, and prone to corruption. While citizens can access some e‐services through the GOS e‐Portal,  the back end of service processing and delivery continues to be conducted manually, business processes  remain  paper‐based,  and  are  based  on  procedures  in  place  for  decades.  The  GOS  spends  significant  financial resources on paper, printing, and the storage of physical documents, including the construction  and  maintenance  of  registries  and  warehouses.  Furthermore,  outdated  regulations,  limited  flow  of  information, and a bureaucratic ‘paper‐based culture’, result in public officials unnecessarily requesting  physical copies of documents for various administrative purposes. This results in the inability to cross‐ reference and use and reuse information already in the hands of the Public Administration. Almost no  institution manages and stores files according to appropriate e‐Government legislation. The GOS needs  to implement tools to handle and manage documentation through a Data and Document Management  System (DDMS), which includes an office administration management system and an e‐archiving solution.  16. The modernization of service delivery and the provision of on‐line services can increase trust  and  transparency  between  citizens  and  the  Government,  as  well  as  improve  the  efficiency,  effectiveness,  quality,  and  accessibility  of  government  services.  This  would  require  simplifying  procedures  and  eliminating  redundancies.  Several  e‐services  portals  already  exist,  offering  various  services to citizens and businesses. These portals are at present not interconnected and provide different  levels of service to users. As the portals are managed by different entities, each may require a different  mode  of  identification  and  offer  different  degrees  of  security  in  their  transactions.  A  consolidated  e‐ Government Portal has the potential to lower transaction costs significantly for all users (Government,  citizens,  and  businesses).  The  integration  of  registries  and  the  improvement  of  an  interoperability  platform  can  also  provide  efficiency  to  critical  government‐to‐government  (G2G)  transactions  such  as  human  resource  (HR)  management,  financial  management,  and  other  administrative  back‐office  functions.  17. Piloted e‐services have yielded modest results. Citizen‐focused e‐services initiatives such as the  issuing  of  e‐birth  certificate  and  the  establishment  of  an  e‐licensing  platform  for  construction  permits  have had limited outcomes but are popular and seem to have increased demand for more e‐Government  services.  For  citizens  and  businesses,  an  increase  in  the  provision  of  e‐services  results  in  increased  transparency and reduced time and cost of obtaining information and accessing administrative services.  Initial services under consideration by the GOS for digitalization include: for citizens (a) registration for  social benefits, (b) property transfer tax, and (c) registration with the National Employment Service; and,  for businesses (i) value added tax return, (ii) amendments to company registration, and (iii) document  submission for import and export.  Service and User Capacity Challenges  18. Citizens and public sector workers lack necessary digital skills to access, use, and benefit from  e‐services  and  part  of  the  population  is  currently  digitally  excluded.  Without  adequate  training  and  capacity building, the digital divide will only deepen. It is estimated that within 20 years, 90 percent of all  Page 10 of 57 The World Bank Enabling Digital Governance Project (P164824) public  sector  jobs  will  require  a  certain  degree  of  digital  skills.8  Provision  of  effective  digital  skills  is  essential to ensure that the public workforce is prepared for future technological change, and training for  newly required skills should have an equal focus on women and men.  19. Government employees need to be trained to be able to incorporate the use of ICT into their  work. Given limited digital skills in the public sector, the Project will implement change management and  institutional capacity building activities, taking into consideration the equal opportunity provided for men  and women. The training program for newly required skills will include employees in local self‐government  (where targeted services are delivered at the sub‐national level). In addition, digital literacy engagement  activities will be implemented to enable the uptake of e‐Government services.  20. Building  on  the  Government’s  commitment  to  advance  the  e‐Government  agenda,  the  proposed operation supports activities designed to strengthen public sector institutions and establish  the foundations for sustained improvements in the access to and quality of e‐Government services to  enhance productivity, competitiveness, and job creation. For the GOS, e‐Government is one of the main  facilitators driving improvements in the quality, efficiency, and cost effectiveness of services provided to  its citizens and businesses and to other branches of the Government. The GOS acknowledges that previous  strategies  were  short  on  implementation.  The  potential  for  success  for  Enabling  Digital  Governance  (EDGe)  is  significantly  increased  with  strong  political  and  technical  leadership  provided  by  the  Prime  Minister  and  with  establishment  of  the  OITeG,  mandated  to  set  up  the  foundations,  to  address  the  implementation gap, and to materialize Digital Serbia.   C. Relevance to Higher Level Objectives  21. The proposed World Bank support is aligned with the key themes of the Country Partnership  Framework (CPF) for the period FY16–FY20.9 The proposed operation is designed to contribute to the  country’s  top  cross‐sector  priority  of  supporting  job  creation  and  growth  by  making  services  more  efficient.  Likewise,  this  proposed  project  is  linked  to  the  first  of  the  CPF’s  two  focus  areas,  namely  Economic  Governance  and  the  Role  of  the  State,  specifically  Objective  1b,  More  Effective  Public  Administration & Service Delivery. The Project also advances the World Bank’s twin goals by focusing on  strengthening the management and delivery of services to citizens, including the ones living in lagging  regions in Serbia. The Project is also linked to the CPF’s second priority area: Private Sector Growth and  Economic  Inclusion,  particularly  to  the  Objective  2a,  Contribute  to  priority  business  climate  improvements.  22. EDGe complements broader World Bank Group engagement in public sector governance as well  as in strengthening the private sector and enabling growth and job creation in Serbia. Existing World  Bank  support  includes  a  Program  for  Results  on  Modernization  and  Optimization  of  the  Public  Administration  (P155172,  closing  in  February  2020);  and  a  forthcoming  project  supporting  Tax  Administration Modernization (TAMP, P163673), as well as a range of trust‐funded TA. The latter includes  efforts at strengthening public investment management, corporate financial reporting, as well as judicial  sector improvements. Improvements in the business environment are furthermore supported through  8 Digital Skills and Inclusion (2017) See https://www.gov.uk/government/publications/uk‐digital‐strategy/2‐digital‐skills‐and‐ inclusion‐giving‐everyone‐access‐to‐the‐digital‐skills‐they‐need.  9 Report No. 94687‐YF and discussed by the Board of Executive Directors in June 2015.  Page 11 of 57 The World Bank Enabling Digital Governance Project (P164824) lending operations, such as Competitiveness and Jobs Project (P152104) and an expected Public Sector  Efficiency and Growth Development Policy Operation (P164575), which is at an early stage of preparation.  As noted earlier, the GOS has identified e‐Government as a strategic development priority for the country.  Working on different aspects of public sector and private sector interfaces, these programs, projects, and  TA  activities  are  aimed  at  enabling  stronger  growth  and  at  helping  Serbia  develop  a  more  efficient,  effective, and service‐oriented public sector. EDGe is also aligned with an ongoing International Finance  Corporation (IFC) advisory project that focuses on digitalization of the process of issuing business services  and permits.   Box 1. ‐ IFC Collaboration on e‐Permitting for Serbia  The IFC is working in cooperation with the OITeG, the Public Policy Secretariat, and the MTTT, to identify key  permits that need to be streamlined and simplified to improve the business environment in Serbia. Through the  e‐Permitting Project, the IFC will implement a horizontal system which enables the integration and digitalization  of permitting processes; from the online notification or application for a permit, to tracking of the application  status. The e‐Permitting Project will only cover government‐to‐business (G2B) permits.  Out  of  approximately  2,500  permits  identified,  100  will  be  selected  to  be  digitalized  in  2019  and  2020.  The  prioritization of permits to be digitalized will take place in April 2019, an initial 30 permits will be digitalized in  2019 and the remaining 70 will be digitalized in 2020. Lessons from this project will be utilized in the EDGe and  likewise, EDGe will contribute to the sustainability of the IFC initiative. 23. The  proposed  project  design  reflects  experience  and  benefits  from  other  digital  governance  projects financed by the World Bank. The Project benefited from lessons learned from previous projects  implemented  in  Serbia  and  in  Europe  and  Central  Asia;  (ECA),  including  the  Serbia  Institutional  Development  Fund  (IDF)  e‐Government  Project  from  2010  and  Open  Data  Grant  from  2017,  Moldova  Governance  e‐Transformation and  Modernizing  Government Services Projects, and the Albania Citizen  Centered Service Delivery Project. In addition, the project is fully aligned with the World Bank‐financed  TAMP and will build on the TAMP initiative to improve document management and the e‐archive in Tax  Administration.  The  Project  will  work  closely  with  TAMP  to  ensure  synergies in  the  areas  of  record  management modernization and consolidation of registries owned by the Serbian Tax Administration.  24. The  Project  therefore  supports  broader  World  Bank  Group  engagement  in  public  sector  governance. The Government has declared digitalization and expansion of e‐Governance as one of the  key priorities which would enhance transparency and the ease of doing business, reduce costs for citizens  and businesses, and therefore contribute to stronger economic development and growth. The GOS has  highlighted that ICT infrastructure is as important as road or railway infrastructure, and that digitalization  is the most important tool for increased access, quality, and efficiency of services resulting in reduction of  bureaucracy and a shift to a citizen‐focused Government.   II. PROJECT DESCRIPTION A. Project Development Objective  PDO Statement  25. To improve access, quality, and efficiency of selected administrative e‐Government services.  PDO Level Indicators  Page 12 of 57 The World Bank Enabling Digital Governance Project (P164824) 26. Successful achievement of the PDO above will be measured with the following outcome level  indicators:  (a) Access  to  e‐services.  (i)  Number  of  citizens  and  businesses  accessing  e‐services,  disaggregated  by  gender  and  size  of  business  and  (ii)  Number  of  services  digitalized  and  available online targeted at businesses and citizens.  (b) Quality  of  e‐services.  Average  increase  in  user  satisfaction  with  the  selected  e‐services  provided, disaggregated by gender and size of businesses.  (c) Efficiency of e‐services. Amount of time (days/hours) it takes for citizens and businesses to  obtain selected digitalized e‐services.  B. Project Components  27. The proposed EDGe Project is designed as an institutional reform project to support the GOS  and  OITeG  in  improving  access,  quality,  and  efficiency  of  selected  e‐Government  administrative  services. The Project is designed using an Investment Project Financing (IPF) approach organized around  three  separate  but  interlinked  components.  Some  activities  require  phasing  while  others  can  be  implemented in parallel.   Foundations  for  Digital  Service  Delivery  ‐  Ensuring  the  foundations  for  e‐Government  advancement  are  in  place,  including  the  regulatory  environment,  implementation  of  the  interoperability platform, cybersecurity, and resilience.   Transforming  Services  for  Citizens,  Businesses,  and  Government  ‐  Comprising  the  stocktaking  of  public  services  followed  by  data  and  document  management,  business  process  reengineering  (BPR),  and  digitalization  of  selected  services  based  on  objective  criteria  including  citizens/business  demand,  time/money  savings,  improvements  in  transparency and accountability, reductions in gender gap, tackling the digital divide (urban  vs. rural, gender, education, access, cost, etc.), and volume and level of complexity.   Digital  Skills  Development,  Institutional  Strengthening  and  Change  Management  ‐  Supporting change management activities in the public administration to implement the e‐ Government agenda, strengthen the OITeG’s convening and advocacy capacities to lead e‐ Government  reforms,  and  tackling  resistance.  This  component  will  also  support  project  management.  28. Project  sequencing  and  early  results.  The  Project  has  been  designed  to  provide  a  logical  sequencing between components, from creating the digital foundations to transforming digital services  and to enhancing digital skills. Given the mutual interdependencies between the various subcomponents,  activities have been sequenced in an incremental and modular way that will enable the three components  to proceed largely in parallel, as per Figure 2.1 in Annex 2. The administrative service inventory will serve  as  the  blueprint  for  classifying  services  into  categories  based  on  their  readiness  for  digitalization  and  underlying infrastructure needs. For example, those that are in high demand but are simpler to digitalize  will constitute a set of ‘quick wins,’ which will be prioritized during the Project implementation. On the  Page 13 of 57 The World Bank Enabling Digital Governance Project (P164824) infrastructure foundations side, the improvement of the interoperability platform and establishment of  the meta‐registers will proceed on a modular basis, focusing in the first year on the immediate needs of  the ‘quick wins’, while activities to operationalize the Disaster Recovery Data Center (DRDC) can proceed  independently from the rest of activities. The infrastructure will be expanded incrementally so that it can  accommodate  newly  digitalized  services  in  subsequent  years.  Support  for  digital  skills,  change  management, and capacity building, as well as regulatory framework development, will be implemented  from the start and will be supported throughout the life of the Project.  29. Component 1 ‐ Foundations for Digital Service Delivery: The objective of this component is to  establish  the  necessary  cross‐cutting  foundations  to  support  the  use  of  ICT  in  the  provision  of  public  services  to  citizens  and  businesses,  including  standards,  procedures,  and  digital  infrastructure.  This  component is structured around four subcomponents:   Subcomponent  1.1  –  Implementation  of  the  Interoperability  Platform.  The  Project  will  finance the implementation of the Interoperability Platform (IoP) as an integrated tool for  the safe and secure exchange of data between government entities. Under the IoP, different  government entities will be able to request the necessary data and electronic documents  from others for the delivery of services to citizens and businesses. This subcomponent will  finance, inter alia: (i) the conceptualization and design of the interoperability framework; (ii)  the  development  and  implementation  of  the  IoP;  (iii)  the  design  and  development  of  e‐ Trusted  services;  and  (iv)  the  development  of  a  platform  for  enabling  mobile  access  to  government services. It is expected that with the advancement of IoP, the Project will enable  the  creation  of  additional  e‐services  to  citizens  and  business.  Inputs  required  under  the  Subcomponent  1.1,  Implementation  of  the  Interoperability  Platform,  are  TA  and  ICT  investments (software and hardware).   Subcomponent  1.2  –  Establishment  of  the  Government  Meta‐Register.  The  Project  will  support the consolidation and interoperability of the most important public registries into  one Meta‐Register, including the Tax, Customs, Citizens, Addresses, Cadaster, and Business  registries  as  agreed  with  the  GOS.  This  will  be  done  through:  (i)  the  consolidation  of  key  registries, and (ii) the carrying out of activities required to support the interoperability of the  most important public registries into one Meta‐Register. The main criteria for prioritization  of  interventions  related  to  registers  will  include  frequency  of  reuse  by  other  registers,  frequency  of  use  by  users,  and  security  and  vulnerability.  The  expected  result  from  this  subcomponent is the establishment of the Meta‐Register aligned with the central IoP. Inputs  required  under  the  Subcomponent  1.2,  Establishment  of  the  Government  Meta‐Register,  are TA and ICT investments (software and hardware).   Subcomponent 1.3 – Implementation of the Disaster Recovery Data Center. The Project  will support the establishment of the Disaster Recovery Data Center (DRDC), through the  provision of critical equipment to ensure the safety of all information stored and maintained  in the Government’s registries to ensure resilience of government business operations. The  DRDC  will  enhance  Serbia’s  disaster  risk  preparedness  and  address  existing  climate  vulnerabilities  as  there  is  currently  limited  back‐up  service  and  thus  the  existing  data  infrastructure is vulnerable to extreme events and natural disaster. This subcomponent will  support a redundancy system and will finance, inter alia: (i) the acquisition of equipment for  Page 14 of 57 The World Bank Enabling Digital Governance Project (P164824) the  DRDC;  and  (ii)  the  carrying  out  of  feasibility  studies,  cost  estimations  and  technical  specifications, and the acquisition of connectivity equipment and systems. Inputs required  under  the  Subcomponent  1.3, Implementation of the Disaster Recovery Data Center, will  primarily be ICT investments (software and hardware) and TA.   Subcomponent  1.4  –  Strengthening  Cybersecurity,  Data  protection,  and  Regulatory  Environment.  The  Project  will  support  activities  aimed  at  ensuring  compliance  with  the  General Data Protection Regulation (GDPR) and Data Protection Law and the drafting and  implementation of required e‐government bylaws and secondary regulations (cybersecurity,  meta‐register,  and  data  management,  among  others).  This  subcomponent  will  finance  activities,  including,  inter  alia:  (i)  elaboration  of  e‐government  bylaws  and  secondary  regulations;  (ii)  the  drafting  of  a  cybersecurity  rulebook;10  (iii)  establishment  of  a  cybersecurity  and  data  protection  department  (Computer  Emergency  Response  Team  (CERT);  and  (iv)  the  establishment  of  a  cybersecurity  laboratory  and  training  center,  including the Security Operations Center (SOC) and the Network Operations Center (NOC).  Implementation  of  the  subcomponent  should  fully  institutionalize  cybersecurity  and  data  protection mechanisms within the overall e‐Government framework and, as such, increase  safety and security of operation and users. Inputs required under the Subcomponent 1.4,  Strengthening Cybersecurity, Data protection, and Regulatory Environment, are TA and ICT  investments (software and hardware).  30. Component 2 ‐ Transforming Services for Citizens, Businesses, and Government: The objective  of  this  component  is  to  improve  back‐office  processes  to  reduce  administrative  burdens  and  increase  efficiency  of  service  delivery.  This  will  be  done  through  reengineering,  digitalization,  and  piloting  of  selected  administrative  e‐services.  While  the  GOS  is  committed  to  take  forward  reforms  in  all  administrative  services,  the  Project  itself  will  finance  “as‐is”  maps  for  a  minimum  of  150  services,  a  minimum of 50 “to‐be” maps, and the digitalization of a minimum of 30 services that have considerable  impact on citizens trust, transparency, and accountability. The digitalization of these services is meant to  have  a  demonstration  effect.  In  addition,  activities  under  this  component  will  generate  know‐how  (through learning‐by‐doing) for the GOS to be able to digitalize further administrative services outside the  scope of this project. This component is structured around four subcomponents:   Subcomponent  2.1  ‐  Data  and  Document  Management.  The  Project  will  finance  the  establishment  of  methodologies,  procedures,  and  guidelines  for  the  collection,  storage,  management,  and  use  of  data  and  electronic  documents,  including,  inter  alia:  the  implementation of the Data and Document Management System (DDMS) to enable the GOS  to make more informed decisions by increasing its data analytics capabilities. Inputs required  under  the  Subcomponent  2.1,  Data  and  Document  Management,  are  TA  and  ICT  investments.   Subcomponent  2.2  ‐  Administrative  Service  Inventory.  The  Project  will  support  the  development of a comprehensive administrative service catalogue for services to citizens  and businesses, including, inter alia, the preparation of the administrative service inventory.  10 At the minimum, the Rulebook should define mandatory measures, procedures, and standards compliant to the GDPR and  cybersecurity which will constitute an obligatory requirement to access and interact with the e‐Government system.  Page 15 of 57 The World Bank Enabling Digital Governance Project (P164824) The inventory will be the base to select key services to be reengineered and digitalized under  the Project. This will include listing of all existing services currently provided to citizens and  businesses. From the inventory and based on the agreed prioritization criteria, the Project  will  identify  which  of  the  services  are  eligible  for  business  process  reengineering  and  digitalization. Inputs under this subcomponent will consist of TA.    Subcomponent  2.3  ‐  Business  Process  Reengineering.  The  Project  will  finance  the  preparation  of  a  minimum  of  150  “as‐is”  process  maps  from  the  administrative  service  inventory, including,  inter alia, the development of a methodology for their prioritization,  and the elaboration of “to‐be” process maps for a minimum of 50 prioritized services. The  criteria for selecting these is provided in Box 2 and includes consideration for addressing the  gender gap and digital divide. These maps will serve as a base for BPR, automatization, and  the elimination of redundant procedures. These ‘to be’ process maps will serve as a base for  digitalization  of  selected  administrative  services.  Inputs  under  the  subcomponent  will  consist of TA.   Subcomponent  2.4  ‐  Digitalization  of  Pilot  Services.  The  Project  will  finance  the  digitalization  and  piloting  of  a  minimum  of  30  selected  online  services  to  be  offered  to  citizens,  businesses,  and  government  through  the  GOS  e‐Portal  (euprava.gov.rs)  and  the  mobile  applications  based  on  specifications  and  requirements  established  in  an  e‐Portal  rulebook and by using predefined application programming interfaces (APIs). Box 2 presents  the prioritization criteria for digitalization of selected services. This subcomponent will also  finance TA for the Help Desk to provide support to users and collect feedback on digitalized  services. Inputs required under the subcomponent are TA and ICT investments.  Box 2 ‐ Process of Digitalization and Prioritization Criteria   Administrative Service  Service Digitalization "As‐Is" Maps 150 "To‐Be" Maps 50  Inventory  30 Prioritization criteria for the selection of the 50 “to‐be” maps:  (a) The existence of necessary back‐end infrastructure as well as defined and functioning business processes (back‐ office readiness)   (b) Existence of the legal and regulatory framework  (c) Existence of the sectoral leadership and political will  Prioritization criteria for the digitalization of the 30 selected administrative services:  (a) Citizen and business demand–preference will be given to government‐to‐citizens (G2C) and G2B, over G2G services  (other than those provided by the IoP)  (b) Time and/or money savings  (c) Improvements in accountability and transparency  (d) Volume and level of complexity  (e) Services which contribute to reducing the gender gap and digital divide  (f) Other factors such as EU compliance and support of other donors  The remaining “to‐be” maps will be the starting point for further digitalization of administrative services by the GOS.  Page 16 of 57 The World Bank Enabling Digital Governance Project (P164824) 31. Component  3  –  Digital  Skills  Development,  Institutional  Strengthening  and  Change  Management: The objective of this component is to strengthen the capacities of citizens, businesses, and  the government to achieve project results. This will be done through three subcomponents:   Subcomponent 3.1 ‐ Strengthening Digital Skills and Knowledge Sharing. The Project will  finance  carrying  out  of  training  for  public  servants  to  improve  ICT  skills  and  carry  out  outreach  campaigns  to  promote  the  uptake  of  digital  services,  including,  inter  alia,  the  elaboration of an ICT and HR strategy and its associated action plan. The strategy and action  plan  expected  to  be carried out in  the first year of  Project implementation will include a  training  plan  and  criteria  for  minimum  digital  competences.  Inputs  required  under  the  subcomponent are TA and training.   Subcomponent  3.2  ‐  Change  Management,  Communication,  and  Citizen  Feedback.  The  Project  will  finance  the  design  of  a  change  management  strategy,  action  plan  and  communication strategy and the development and deployment of citizen engagement tools  to  collect  and  respond  to  citizen  feedback  and  measure  citizen  satisfaction.  A  change  management  strategy  and  action  plan  will  be  developed  during  the  first  year  of  Project  implementation, thereafter the Project will support implementation to facilitate stakeholder  buy‐in.  Citizen  engagement  will  be  utilized  through  passive  and  active  measures.  Passive  measures will be implemented directly at the e‐Portal where users will be encouraged to  provide  their  feedback  on  the  e‐services  provided,  while  the  active  measures  will  be  implemented  through  targeted  workshops,  specially  designed  surveys,  the  e‐Portal  Help  Desk,  and  a  feedback  loop  on  improvements.  Given  the  multisectoral  nature  of  e‐ Government  and  the  proposed  project  activities,  special  attention  will  be  given  to  inter‐ institutional  communication  and  coordination.  Inputs  required  under  the  subcomponent  will include TA and training and investments in ICT (citizen engagement tools).   Subcomponent 3.3 ‐ Project Management.  The Project will finance the establishment and  operation of a Project Implementation Unit (PIU) at the OITeG and provision of technical  assistance to support implementation of Project related activities. These TA activities refer  to activities identified during the life of the Project that are consistent with the PDO and  those  required  to  ensure  compliance  with  World  Bank  safeguards  requirements.  Inputs  required for the implementation of this subcomponent include TA, training, operating costs,  and equipment for the PIU.  32. Climate  co‐benefits.  EDGe  is  expected  to  have  positive  climate  change  co‐benefits  that  will  materialize through the following: (i) reduced consumption of fossil fuel related to citizens and businesses  commuting to the administrative service points and/or receiving the services through traditional channels;  and (ii) reduced consumption of paper, which is a result of digitalization of public services. The estimates  are  based  on  the  assumed  trajectory  of  reduction  in  the  share  of  public  services  delivered  through  traditional  channels  (such  as  phone  and  paper  mail)  versus  those  delivered  on‐line.  Fuel  consumption  savings were calculated assuming that each transaction behind public service delivery will take on average  0.25 visits, that average distance for each visit is 1.5 km, and that average fuel consumption per visit is  0.07 liter/km. Finally, taking the current price of fuel in Serbia of US$1.4 per liter, the aggregate savings  from  the  reduction  in  fuel  consumption  is  estimated  at  US$9.03  million  over  the  10‐year  period.  In  addition,  savings  from  reduced  consumption  in  paper  is  estimated  at  US$1.3  million,  based  on  the  Page 17 of 57 The World Bank Enabling Digital Governance Project (P164824) assumption that each transaction would take 1 sheet of paper and that each paper ream, which currently  costs  US$2.85  contains  500  sheets  of  paper.  Figure  1  below  shows  the  aggregate  climate  co‐benefits  distributed across the entire investment horizon of the 10‐year period.  Figure 1 ‐ Climate Co‐Benefits, in US$, 2019‐2028  2,500,000 2,000,000 1,500,000 1,000,000 500,000 0 2019 2020 2021 2022 2023 2024 2025 2026 2027 2028 Fuel savings Paper use reduction   Source: The WB team calculation    33. Additional  significant  co‐benefits  can  be  attributed  to  the  reduction  and  elimination  of  unnecessary steps in many government services. The IoP, which supports internal G2G transactions, will  eliminate the need for citizens/businesses to personally obtain a specific document from a government  agency  which  simply  serves  as  an  input  for  services  delivered  by  another  government  agency.  Furthermore, the project will also finance DRDC, which will lead to additional climate co‐benefits in the  form  of:  (i)  reduced  energy  consumption  through  the  consolidation  of  multiple  data  centers  into  the  government’s main data  center and  the DRDC, and  (ii) resilience of government operations to  natural  disasters by ensuring business continuity thanks to the DRDC.   34. Consolidation of many existing outdated and energy‐inefficient data centers into two primary  data centers that operate in tandem (the government’s already existing main data center and the DRDC  financed under the project) will result in a significant reduction in energy consumption. The DRDC will  follow  modern  standard  guidelines  for  green  data  center  design  and  will  significantly  reduce  the  total  number  of  government  data  centers  in  operation,  thus  overall  leading  to  a  reduction  in  the  energy  requirements  for  power  and  cooling  of  the  data  center  equipment,  and  overall  reduce  the  aggregate  greenhouse gas emissions of all the government data centers.   35. The creation of the DRDC will enable the uninterrupted operation of government services even  in the face of an emergency or disaster that would render the main data center inoperable and would  help the government more rapidly respond to and recover from the emergency. The DRDC will therefore  make the whole government data infrastructure more climate resilient in addition to being generally more  Page 18 of 57 The World Bank Enabling Digital Governance Project (P164824) resilient  to  all  forms  of  disasters,  both  natural  and  man‐made,  and  will  also  facilitate  the  continued  provision of services to citizens in times of disasters, particularly those living in high risk areas prone to  climate‐related disasters.  36. Citizen  engagement.  Citizen  engagement  will  be  facilitated  through  questionnaires  directly  launched from the e‐Portal and available during the entire Project lifecycle, through the Help Desk that  will  be  established  within  the  Project,  and  through  targeted  workshops  and  surveys  that  are  part  of  comprehensive Change Management efforts embedded in the Project design. The questionnaire in the  portal is seen as a passive measure where response will depend on citizens’ willingness to participate and  provide data. This feedback channel will be complemented by periodic targeted surveys and workshops  to obtain in‐depth understanding of citizen, business, and employee satisfaction with e‐services. This will  facilitate citizen engagement by enabling independent and wide‐reaching feedback. All these inputs will  feed into annual citizen engagement reports. These results will be used to assess both the efficiency and  quality of provided e‐services and will help to gauge overall performance of the administrative services  and establish course correction. The survey’s results will be disaggregated by gender, age, location of the  person, and size and location of the business, which will allow for better understanding of differences  between the different groups. The results from the annual survey will be publicly available at the OITeG  website and will incorporate information on level of satisfaction taken since the previous survey. Citizens  will  also  be  able  to  post  questions  and  suggestions  on  the  website  or  through  the  Help  Desk  and  will  receive  answers  to  their  queries  through  a  variety  of  means.  Piloting  of  e‐services  will  allow  for  the  collection of citizen and business feedback to facilitate uptake.  37. Gender.  The  Project  is  gender  informed.  Gender  considerations  have  been  discussed  during  project  preparation  and  design,  in  terms  of  (a)  the  local  circumstances  that  may  affect  the  different  participation of men and women in the Project; (b) the contribution that men and women each could  make to achieving the Project's objectives; (c) the ways in which the Project might be disadvantageous to  one gender relative to the other; (d) the ways in which selection of services for digitalization will support  reductions in the gender gap; and (e) the Project's proposed mechanisms for monitoring the different  impacts  of  the  Project  on  men  and  women.  The  Project  will  also  work  to  ensure  appropriate  representation of women in various working groups and committees established under the Project such  as in developing the “to‐be” maps. During the implementation, the Project will analyze project‐relevant  gaps between men and women, especially considering country gaps identified through the Systematic  Country Diagnostic (SCD) and CPF which relate to activities that are seen to have scope to affect gender  differences. The following issues are considered relevant and every effort will be made to incorporate  adequate gender focus when implementing these activities:  (a) Training of Government personnel on the use of the new digital technology: that a concerted  effort is made to include women employees and provide them with opportunities to lead in  the new digital technologies where possible  (b) Outreach  campaigns  to  end  users  will  have  elements  to  specifically  target  different  end  users: women, youth, and senior citizens  (c) The  use  of  examples,  testing  of  technologies,  and  similar  activities  will  be  given  due  consideration  to  ensure  that  women  can  relate  equally  to  these  technologies  and  that  Page 19 of 57 The World Bank Enabling Digital Governance Project (P164824) adequate  representation  of  women,  youth,  and  senior  citizens  is  in  the  sample  and  pilot  groups when used to test new technologies  (d) Establishing facilitation services in the form of a call center at the Help Desk and government  branch offices where potential users without remote access or adequate skills will be trained  and assisted in requesting digital services.  C. Project Beneficiaries    38. Direct beneficiaries of the Project will be the citizens and business enterprises of Serbia. Users  of  public  services  including  women  and  small  and  medium  business  firms  will  benefit  from  increased  access to services, better information, and the possibility of providing feedback which in turn, will result  in more responsive policy making and service delivery.  39. Other beneficiaries include public officials, line Ministries, and other State entities.  They will  benefit from improved tools and platforms as well as from capacity building activities necessary to operate  them. This will empower them to carry out their functions in a more effective and transparent manner.  40. At the center of reform, the OITeG will be the direct beneficiary of the Project. It will benefit in  terms of enhanced technical and institutional capacity supported by an effective change management  strategy.  D. Results Chain  41. The expected results and impact of the Project range from the short to long term. The Project  Results Chain is presented in Figure 2 below. The first phase of the Project focuses on key e‐Government  enablers which will unlock the potential gains for citizens and businesses as well as the Government. The  establishment  of  an  IoP  and  meta‐register  would  allow  the  Government  to  integrate  its  databases,  allowing data exchange, use, and reuse. This will in turn, benefit citizens and businesses because they will  not be repeatedly asked to provide information or key documents if these are already stored in another  public sector entity (the so‐called ‘once only principle’).11 This can deliver significant savings to both the  users  and  service  providers:  time  savings  (no  need  to  visit  multiple  agencies)  and  cost  savings  (the  administrative cost of delivering an e‐service is lower than the same service delivered on paper/in person).  By reengineering services, time and cost to obtain services will decrease through (i) reduction of necessary  documentation  (data  can  be  immediately  transferred  from  the  relevant  registry);  (ii)  reduction  of  approvals and streamlining of back‐office processes (using IT, automation of some processes, and building  external  connections  to  e‐payment  services,  among  others);  and  (iii)  limiting  the  number  of  visits  to  service providers, and thus reducing the time and cost of travel. This ultimately enhances government  accountability and anti‐corruption efforts by reducing face‐to‐face interactions and discretion.    11 The project will support the application of good international practice e‐Government principles, such as those of the EU e‐ Government Action Plan: Digital by default, Cross‐border by default, Once only principle, Interoperability by default, Openness  and transparency, Inclusiveness and accessibility, and Trustworthiness and security.   Page 20 of 57 The World Bank Enabling Digital Governance Project (P164824) Figure 2 ‐ Project Results Chain  42. Expected long term results include the overall improvement in government effectiveness and  the investment climate. Digitalization of selected administrative services will increase efficiency of the  public  sector  and  has  the  potential  to  greatly  reduce  the  time  to  process  and  obtain  administrative  services, increasing efficiency and transparency. This would reduce the overall burden of doing business  for investors and therefore encourage expansion of business activities. Thus, the Project will potentially  contribute  to  more  investment  and  the  creation  of  new  jobs  in  the  country.  Further,  e‐services  can  eliminate person‐to‐person interaction which can reduce petty corruption and informal payments.  E. Rationale for Bank Involvement and Role of Partners    43. Successful digital governance in Serbia requires delivering on a mix of foundational and frontier  technologies. The World Bank has considerable experience in leveraging digital technology for improving  service  delivery  in  both  middle‐income  and  low‐income  countries.  The  World  Bank  also  can  convene  regional and worldwide expertise to advance Serbia’s e‐Government and digital agenda. The World Bank  has demonstrable experience in similar projects globally (Argentina, Uruguay, India [Madhya Pradesh],  and Kazakhstan) and in the region, including Albania and Moldova, which can be used for peer‐to‐peer  Page 21 of 57 The World Bank Enabling Digital Governance Project (P164824) learning.  In  Serbia,  the  World  Bank  is  active  in  supporting  digital  transformation  through  a  series  of  projects.  Through  the  Open  Data  Action  Plan  in  Serbia  Project  (P162123,  a  small  Recipient‐Executed  Grant), the World Bank is supporting implementation of recommendations from the Open Data Readiness  Assessment (ODRA) aiming to facilitate growth of an open data ecosystem that would catalyze a broader  digital  transformation of  the  country.  The  main finding from 2015 ODRA,  produced by United Nations  Development Programme (UNDP) and funded by the World Bank, is that Serbia is ready and is moving  towards establishing its national open data initiative. Serbia is a member of the global Open Government  Partnership and is currently executing its first National Action Plan, with a focus on transparency and civic  engagement.  44. The World Bank has also supported a series of ICT‐related projects in Serbia.  The Serbia ‐ Real  Estate  Management  Project  (REMP,  P147050,  closing  in  December  2020),  is  a  US$44  million  lending  operation approved in 2015 which aims to improve efficiency, transparency, accessibility, and reliability  of  Serbia’s  real  property  management  systems.  The  key  results  of  this  project  include  electronic  submission of a request to complete the record of sale/purchase of property and electronic access by  citizens and business to the land registry. This resulted in a reduction of time needed to complete the  record  of  sale/purchase  of  property  from  48  to  13  days.  The  REMP  supported  establishment  of  an  electronic exchange of information which was one of the major inputs for the e‐licensing platform for  construction  permits.  Further,  the  Strengthening  Institutional  Capacity  for  e‐Government  Project  (P120273,  an  IDF  grant  closed  in  2013)  from  2010,  provided  strategic  guidance  on  institutional  strengthening  and  capacity  building  support  to  the  Ministry  of  Telecommunications  and  Information  Society  for  implementation  of,  at  that  time,  the  recently  adopted  e‐Government  Strategy.  Lastly,  the  TAMP  (P163673)  aims  to  improve  document  management  and  e‐archiving  in  Tax  Administration.  The  Project will work closely with TAMP to ensure synergies in the areas of record management modernization  and consolidation of registries owned by the Serbian Tax Administration.  45. Donor engagement continues to be important and the World Bank has designed its support in  close collaboration with UNDP, the EU, and with the U.K. Department for International Development  (DFID). UNDP and DFID are supporting a Digital Transformation Project whose aims are closely aligned  with the World Bank’s funding. The World Bank’s TA, through the Open Data Action Plan Project, is being  coordinated  with  UNDP’s  technical  support.  The  EU  is  supporting  the  development  of  a  new  e‐ Government  Strategy for the period 2019–2021 and planned results under the Project are adequately  reflected in the design of the strategy. An institutional arrangement, proposed by the EU and MPALSG as  part of the new strategy, has been designed to bring together the donor partners and Government to  periodically monitor progress against the objectives of the e‐Government Strategy.  F. Lessons Learned and Reflected in the Project Design    46. The design of the EDGe Project was informed by previous World Bank experiences globally as  well as in working with the GOS in support of the digital agenda.  The following lessons learned have  been specifically considered as critical:   Need for strong top‐level Government commitment. There is strong political support and  commitment for advancement of the e‐Government agenda. The Prime Minister of the GOS  has been a vocal supporter of digitalization of the Government both in her former role as  Minister  of  Public  Administration  and  currently  as  Prime  Minister.  In  her  inauguration  Page 22 of 57 The World Bank Enabling Digital Governance Project (P164824) speech (June 2017) and since,  the Prime  Minister  has stressed  the importance of further  digitalization as a means for economic development and job creation. In August 2017, the  Government  established  the  OITeG  signaling  its  serious  commitment  to  advance  the  e‐ Government agenda. In February 2018 the Government established a Coordination Council  for  e‐Government  chaired  by  the  Prime  Minister  and  with  membership  from  across  and  outside the Government to ensure strong and continuing support for the agenda.   Need  for  collaboration  among  Government  stakeholders  and  donors.  The  World  Bank  team  has  engaged  with  key  stakeholders,  both  national  and  international,  in  project  preparation  and  design.  This  has  resulted  in  avoiding  duplication  and  redundancies  and  ensured that project proceeds would be used for critical improvements needed to support  digitalization of services and implementation of e‐Government priorities. Given that the e‐ Government  agenda  is  a  governmentwide  policy  reform  that  will  affect  functioning  and  service delivery across various sectors, and to ensure that all bottlenecks in implementation  are  identified  on  time  and  addressed  properly,  the  Project  will  establish  a  Steering  Committee. The Steering Committee will be chaired by the Prime Minister with participation  of the Minister of Finance and Director of the OITeG and representatives of the following  ministries:  MTTT,  Ministry  of  Justice,  MPALSG,  and  Ministry  of  Interior.  This  high‐level  committee  will  ensure  support  from  the  most  relevant  line  ministries  with  the  main  objective of unblocking bottlenecks to enable Project implementation.   Strong cooperation with international partners is also critical. The Project design benefited  from  important  diagnostic  work  provided  by  international  partners.  In  collaboration  with  UNDP, the OITeG has commissioned a series of analytical reports which were used to inform  project design. Given that the OITeG has had limited exposure to working with international  donors,  UNDP,  through  the  Digital  Transformation  Project,  has  provided  support  for  the  early establishment of the PIU.   Change  Management  needs  to  be  part  of  the  core  design  and  facilitate  the  successful  implementation of a new way of doing business. Change management, which will support  reform  processes  and  a  major  shift  in  service  delivery  through  e‐services,  will  require  significant investments, in terms of both money and time. The OITeG as the principal client  and implementer of the Project, understands that they must manage this process but that  expertise for change management is best found from outside the public sector.  III. IMPLEMENTATION ARRANGEMENTS  A. Institutional and Implementation Arrangements  47. Project  implementation  will  build  on  already  established  institutional  arrangements  for  e‐ Government reform. Implementation arrangements reflect the importance and engagement of various  agencies and stakeholder engagement, critical for project success. The relationship between the various  levels of implementation and coordination mechanisms is schematically illustrated in Figure 1.1 in Annex  1, where a detailed description of the roles of each governance body is presented.  Page 23 of 57 The World Bank Enabling Digital Governance Project (P164824) 48. The Coordination Council for e‐Government, established by the GOS in February 2018, is the  Government’s highest coordination body for the e‐Government agenda.  While it will not officially be  part  of  the  project,  it  serves  as  the  national  body  providing  strategic  direction  and  ensuring  cross‐ government coordination of the broader e‐Government agenda. The Project will therefore benefit from  the strategic directions set by this national body. The Coordination Council will not be responsible for any  operational decisions related to the Project implementation and is limited to an advisory role at a very  high level.  49. The Project will establish an interagency Steering Committee and an OITeG‐led Management  Committee,  two  bodies  which  will  be  tasked  to  oversee  and  support  implementation  of  the  Project  activities.  The  Steering  Committee’s  primary  function  is  to  help  overcome  administrative  hurdles  and  bottlenecks  in  the  Project  implementation.  It  will  meet  quarterly  or  as  needed  to  assess  progress,  achievement of results, to provide necessary guidance, and high‐level traction as needed. It will be chaired  by the Prime Minister with participation of the Minister of Finance and the Director of the OITeG and  representatives of the following ministries that are central to the rollout of e‐Government: MTTT, Ministry  of Justice, MPALSG, Ministry of Interior, and other relevant line ministries, as required.  50. The  Management  Committee  established  in  the  OITeG  will  oversee  the  working  groups  that  may be required for facilitating the digitalization of services. It will be chaired by the Director of the  OITeG  and  will  convene  monthly  to  discuss  progress  with  Project  activities,  identify  necessary  actions  leading to the digitalization of services and approve operating plans. The OITeG and Ministry of Finance  (MoF) are core members  of the Management Committee which will later  be expanded to include line  ministries and other agencies whose services are going to be digitalized. The Management Committee will  pay  special  attention  to  the  implementation  and  results  from  the  change  management  activities.  The  Management Committee will also identify project bottlenecks which have an impact on implementation  of activities and report to the Steering Committee for intervention, as necessary.  51. The PIU in the OITeG will be responsible for the day‐to‐day implementation of project activities.  The Director of the OITeG will serve as the Project Director. The Project Director will oversee work of the  PIU  that  will  be  led  by  a  Project  Manager.  The  Project  Director  will  serve  as  a  focal  point  for  the  communication with the World Bank on Project related issues. He will be supported by a PIU, responsible  for the day‐to‐day implementation, fiduciary management in collaboration with the Central Fiduciary Unit  (CFU) placed in the MOF, project monitoring and evaluation (M&E), supporting compliance with the World  Bank Safeguard Policies as well as implementing the Project specific Grievance Redress Mechanism. The  Project Director will approve project related reports that will be submitted to the World Bank.  B. Results Monitoring and Evaluation Arrangements  52. A Results Framework with project‐specific indicators and actionable monitoring arrangements  has been agreed with key counterparts. This will support progress monitoring and result‐oriented project  implementation. The OITeG, with support of the M&E expert who will be part of the PIU, will develop a  system  for  M&E  of  the  target  outcomes  and  outputs.  The  M&E  system  will  support  the  successful  implementation of the Project by maintaining records on implementation and generating the following  performance reports: mid‐year progress reports will be furnished to the World Bank not later than one  month  after  the  end  of  each  semester,  focusing  on  results‐based  accountability  and  accomplishments  against  performance  expectations.  Progress  reports  will  be  prepared  by  the  PIU,  presented  to  the  Page 24 of 57 The World Bank Enabling Digital Governance Project (P164824) Management Committee for comments and approved by the Project Director and thereafter forwarded  to the World Bank and the MoF before implementation support missions to guide the discussion of key  issues affecting project implementation.  53. The Project will be subject to regular implementation support missions conducted by the World  Bank.  The  progress  assessed  during  these  missions  will  be  reported  by  the  World  Bank  team  to  its  management  through  Implementation  Status  and  Results  Reports  which  will  include  a  review  of  key  implementation issues and performance indicators. In the third year of project implementation, a detailed  midterm review will be conducted. Given the comprehensive nature of these reforms, there are many  areas that the Project will likely tackle but which cannot be predicted in advance. The Results Framework  may  need  to  be  revisited  and  updated  during  the  midterm  review.  At  completion  of  the  Project,  an  Implementation Completion and Results Report will be prepared.  C. Sustainability  54. Key  relevant  stakeholders  under  the  general  direction  of  the  Prime  Minister  of  Serbia  are  aligned in their support to the e‐Government reform agenda. Relevant legislation has been adopted and  credible strategies are being developed, and an appropriate institutional framework is already in place to  support the implementation of a digital governance program. In addition, the follow up e‐Government  Strategy  (under  elaboration  and  forthcoming  in  mid‐2019)  incorporates  the  Project  as  one  of  its  key  instruments for implementation.  55. The GOS has demonstrated commitment to taking e‐Government reforms forward by making a  financial contribution from the state budget to the Project. The GOS is providing co‐financing of US$5  million  in  support  of  all  activities  under  the  Project.  This  is  a  positive  sign  of  the  Government’s  commitment  to  implementing  e‐Government  reforms  and  EDGe  Project  activities.  The  OITeG  is  responsible  for  leading  reforms,  and  its  capabilities  to  do  so  have  been  strengthened  with  core  staff  already in place.  56. Change management strategies supported by the Project are expected to deepen ownership of  reforms  within  and  across  institutions  and  among  citizens  and  business.  Change  management  approaches,  including  communications,  consultations,  and  stakeholders’  workshops  will  seek  to  build  commitment among all those involved in the change process.  57. The  GOS,  through  the  OITeG,  has  also  shown  commitment  to  this  project  by  actively  participating  in  its  preparation.  Project  preparation  missions  benefited  significantly  from  informative  discussions with the OITeG, MOF, MTTT, MPALSG, and other stakeholders. Key development partners on  this agenda (that is, UNDP, EU, and DFID) are fully onboard with the proposed project and are actively  supporting the OITeG by building their capacity to design and implement the e‐transformation agenda  and the Project. The institutional arrangements proposed under the Project have been agreed with all key  stakeholders with the objective to support the implementation of the Project and coordinate what can  often  be  difficult  reforms.  All  of  these  are  strong  indications  of  the  GOS  commitment  to  achieving  sustainable project impact.    Page 25 of 57 The World Bank Enabling Digital Governance Project (P164824) IV. PROJECT APPRAISAL SUMMARY    A. Technical, Economic, and Financial Analysis (if applicable)  58. On supporting digital government in Serbia, the proposed project moves beyond digitization12  to  digitalization13  to  improve  public  sector  service  delivery  and  therefore  increase  efficiency,  transparency, accountability, and government responsiveness. This in turn, will reduce the cost of doing  business  for  both  investors  and  citizens  thus  stimulating  economic  activity.  Evidence  shows  that  e‐ Government has a decidedly positive impact on development indicators, including economic measures,  innovation,  and  governance.  In  addition,  governments  can  unlock  significant  value  by  better  interconnecting  and  transforming  their  digital  data  into  openly  accessible  digital  assets  that  can  help  improve government operations and stimulate the economy. 59. An  economic  analysis  of  the  Project  considers  direct  benefits  and  costs  associated  with  the  changes  in  economic  welfare  arising  from  the  Project.  The  reforms  proposed  under  the  Project  are  expected  to  generate  significant  economic  benefits,  mainly  in  the  form  of  additional  efficiency  gains.  However,  quantifying  many  of  these  benefits  depends  on  the  availability  and  reliability  of  data.  This  analysis provides estimates of benefits and costs using data obtained from the OITeG as well as from the  Statistical Office of the Republic of Serbia and the IMF World Economic Outlook database.  60. The  Project  will  generate  significant  development  benefits  to  both  citizens  and  the  Government.  Citizens  are  expected  to  benefit  from  improved  efficiency  of  public  services  delivery  achieved through their optimization and modernization. The Project is intended to lay the foundations for  improved service delivery by reengineering of a wide range of public services to simplify their delivery, as  a first step. In the next phase, these services will be digitalized (that is, their service delivery will shift from  traditional  delivery  through  paper  and  in‐person  interactions  to  an  online  platform)  which  will  bring  additional efficiency gains. Benefits accruing to Serbian citizens from completion of these processes will  include  reduced  costs  through  significant  cutback  in  terms  of  time  required  to  be  served  by  different  administrative bodies.  61. Benefits  to  the  Government  include  sizeable  reduction  of  operating  costs  achieved  through  various  project  interventions.  The  Project  will  enable  a  safer,  more  secure,  and  standardized  data  exchange between public institutions through establishment of an IoP which will be integrated with the  GOS e‐Portal. In addition, the Project will create a Meta‐Register which will compile various databases  held across various public institutions and provide for their consistency and reliability to enable better  service  delivery.  Also,  a  DDMS  will  be  introduced  providing  for  substantial  printing  and  storage  cost  reduction and facilitating more efficient, paperless operations that will avoid accumulation of excessive  document backlogs in the future.    12 Digitization is defined as the ‘technical process of converting analog information into digital form’ – Gartner IT Glossary.  13 Digitalization is the use of digital technologies to change a business model and provide new revenue and value‐producing  opportunities – Gartner IT Glossary.  Page 26 of 57 The World Bank Enabling Digital Governance Project (P164824) 62. The detailed rationale for estimation of all categories of economic benefits is outlined below:   Improved operational efficiency of public sector institutions. Improvement in operational  efficiency of the public sector will be achieved through reduction of costs associated with  back‐office operations of public institutions involved in the Project. Total benefits realized  within this category include gradual reduction of IT costs (as a result from utilization of the  IoP) and reduction of operating costs (mostly printing, purchase of paper, and archiving).  The  assumed  trajectory  of  cost  reduction  will  follow  the  implementation  plan  of  related  project activities and is such that a 2 percent overall decrease will accrue in Year 3 of project  implementation, 5 percent in Year 4, 7.5 percent in Year 5, and 10 percent from Year 6 until  the last year of the project horizon (that is, 2028). The sum of generated savings (that is,  benefits) is expected to be at the level of US$11.6 million over the 10‐year period.   Service  delivery  optimization  of  G2C  services.  Digitalization  of  G2C  services  will  bring  significant cost reduction to both the Government and citizens. These benefits are calculated  based  on  the  change  of  mix  in  the  delivery  mechanism  within  this  service  category.  The  current  number  of  transactions  assumed  based  on  similar  studies,14  and  adjusted  for  differences in scope amounts to approximately 28 service‐related transactions per citizen 15,  while the government cost of service delivery is considered as a Purchasing Power Parity  (PPP)‐adjusted figure from examples in other countries. The cost of face‐to‐face delivery of  G2C  service  is  now  estimated  to  be  US$0.57  per  transaction  for  the  Government  and  US$0.93 per transaction for the citizens based on an assumed 0.5 hours of time required for  the  transaction  and  US$540  average  net  monthly  wage.  The  cost  of  service  delivery  per  transaction for other traditional channels (for example, phone and mail) is assumed to be  US$0.45  for  both  the  Government  and  the  citizens.  Finally,  the  cost  of  online  services  is  estimated  based  on  the  proportion  to  the  traditional  channels  seen  in  other  countries— US$0.23  per  transaction  for  the  Government  and  US$0.15  for  the  citizens.  The  share  of  transactions done online is expected to move from the current estimated level of 5 percent  to 25 percent over the course of project implementation. This change of service delivery mix  considers  both  the:  (i)  envisaged  broadening  of  the  number  of  services  delivered  on‐line  (that is, up to additional 36 services), and (ii) projected increase in the number of users of  online  services  (that  is,  from  1.27  million  to  2  million  people).  No  changes  to  the  costs  incurred  or  the  total  number  of  transactions  are  assumed.  Total  estimated  economic  benefits that will accrue as a result of project implementation are US$258 million over a 10‐ year period life.   Service  delivery  optimization  for  G2B  services.  The  benefits  from  digitalization  of  G2B  services will also be realized by investing in technological developments which will enable  transfer  of  a  portion  of  transactions  related  to  these  services  from  the  traditional  to  the  online  delivery  mechanism.  The  current  assumed  cost  of  service  delivery  per  transaction  14 Deloitte. 2017. “Australia’s Digital Pulse: Policy Priorities to Fuel Australia’s Digital Workforce Boom” available at :  https://www2.deloitte.com/content/dam/Deloitte/au/Documents/Economics/deloitte‐au‐economics‐australias‐digital‐pulse‐ 2017‐010617.pdf.  15 By referring to transactions rather than services, various parts of a service to be performed online are accounted for, which  brings benefits to the involved parties (that is, the Government on one side and citizens and businesses on the other) for  example, through cost reduction realized by more efficient use of time.   Page 27 of 57 The World Bank Enabling Digital Governance Project (P164824) accruing to both the Government and businesses is the same as for the G2C services. The  total  estimated  number  of  transactions  related  to  G2B  services  is  estimated  through  the  number  of  businesses  in  Serbia  and  average  of  40  transactions  per  business  to  be  approximately 10 million per year. Current assumed service mix of 70 percent face‐to‐face  delivery,  15  percent  of  ‘other  traditional  channels’  delivery,  and  15  percent  of  online  transactions is assumed to shift to the benefit of online transactions. The assumed increase  will be gradually achieved, and it is expected to be at 20 percent in Year 4, 25 percent in Year  5, and finally 30 percent in Year 6. Again, the number of transactions and associated costs  are  assumed  to  remain  stationary.  Total  estimated  benefits  through  digitalization  of  G2B  services  over  project  duration  are  US$9  million.  It  is  important  to  note  that  this  amount  captures only direct cost savings from time reduction in obtaining service. However, due to  quantification  issues,  the  estimate  does  not  entail  indirect  benefits  realized  through  increased productivity and overall performance boost due to digitalization of G2B services.  63. As a result of the above quantifiable elements, the economic net present value of the project  amounts to US$157.6 million at a 5 percent discount rate with an economic internal rate of return of  89.5 percent. Benefits and costs are estimated for the period from year 1 of project implementation until  2028 (that is, from 2019 until 2028), spanning a 10‐year investment horizon including five years of project  implementation.  The  horizon  of  10  years  is  usually  seen  in  similar  projects  in  the  sector.  In  this  case,  increasing the number of years to include in the analysis would add to the efficiency of the Project given  introduction  of  additional  e‐Government  services  and  enabling  additional  services  to  be  added  in  the  future will bring more benefits, although including certain reinvestment costs. Estimated economic costs  include cost of investment (the amount of the loan, counterpart financing, and associated fees), staff time  expense for project implementation and incremental operations and maintenance (O&M) cost accruing  as a result of project implementation (that is, hardware and software maintenance due to expansion of  IoP and introduction of DDMS and DRDC). Figure 3 below shows net economic benefits over the 10‐year  period.  Figure 3 ‐ Net Economic Benefits from the EDGe Project, in US$  70,000,000 60,000,000 50,000,000 40,000,000 30,000,000 20,000,000 10,000,000 0 ‐10,000,000 Source: The WB team calculation  Page 28 of 57 The World Bank Enabling Digital Governance Project (P164824) B. Fiduciary  (i) Financial Management  64. The  Project  will  follow  traditional  financial  management  arrangements.  The  CFU,  within  the  MOF,  will  oversee  fiduciary  responsibilities  for  the  Project,  while  a  PIU  within  the  OITeG  will  remain  responsible  for  technical  and  operational  aspects  of  implementation.  The  Project  Operations  Manual  (POM)  will  detail  implementation  arrangements,  including  the  division  of  responsibilities  between  the  OITeG and the CFU. The CFU is intended to act as the Procurement and Financial Management Unit under  the  overall  implementation  arrangements  and  provide  such  support  and  service  to  the  OITeG  as  the  primary implementing entity.  65. The borrower will provide annual audited project financial statements to the World Bank within  six months of the end of each fiscal year and at the closing of the Project. The audit will be conducted  by a private audit firm acceptable to the World Bank and in line with agreed terms of reference (ToR). The  ToR was agreed between the GOS and the World Bank and attached to the Minutes of Negotiation and  the POM.  66. The borrower will submit a full set of unaudited interim financial reports (IFRs) consolidated for  all components for each calendar quarter throughout the life of the Project which will be due 45 days  after the end of each quarter. The format of the IFRs was agreed between the GOS and World Bank and  attached to the Minutes of Negotiations and the POM. Acceptable accounting software will be used for  project  accounting  and  reporting,  including  principal  financial  reports  being  quarterly  IFRs  and  annual  project financial statements.  67. Internal controls and procedures to be used by the Project are described in the POM. The POM  should, from a financial management aspect, detail procedures and processes with regard to planning and  budgeting,  accounting,  financial  reporting,  internal  controls,  flow  of  funds  and  external  audit  for  the  Project.  It  should  also  describe  roles  and  responsibilities  and  communication  channels  and  modes  between the OITeG and the CFU. This will minimize risk of an error, safeguard project assets, and ensure  use of funds for intended purposes. Application of the controls and procedures will be verified by the  World Bank’s supervision.  68. The Designated Account in foreign currency for administering the Project funds will be opened  in the National Bank of Serbia (NBS) and will be managed by the OITeG, while the CFU will process the  payments in scope of their fiduciary role. The control environment in the NBS is considered acceptable.  Disbursement based on the Statement of Expenditure will be applied, with Advances being the primary  disbursement method; however, Direct Payments and Reimbursement are also allowed.  69. Retroactive financing of up to EUR4 million for eligible expenditures incurred on or after March  11, 2019 will be provided under the Project.       Page 29 of 57 The World Bank Enabling Digital Governance Project (P164824) (ii) Procurement  70. Procurement under the Project will be subject to the World Bank’s Procurement Framework.  All procurement will be conducted through the procedures as specified in the World Bank’s Procurement  Regulations  for  IPF  Borrowers  ‐  Procurement  in  Investment  Project  Financing  Goods,  Works,  Non‐ Consulting and Consulting Services, July 2016 (revised November 2017 and August 2018) (Procurement  Regulations). The Project will also be subject to the World Bank’s Anti‐Corruption Guidelines, dated July  1, 2016.  71. The  Project  will  use  the  services  of  the  CFU  within  the  MOF  for  procurement  and  financial  management and will be complemented by technical staff in the OITeG, who will assist in the technical  aspects  of  the  Project  implementation.  The  CFU  comprises  the  following  staff:  CFU  Director,  Head  of  Operations, Financial Management Specialist, and Procurement Specialist. The cost of CFU consultants  will  be  paid  against  operating  costs  as  it  is  shared  by  projects  supported  by  the  CFU  by  rotation  on  a  quarterly basis.  72. Currently,  the  CFU  is  responsible  for  financial  management  and  procurement  for  two  investment  projects.  These  include  Inclusive  Early  Childhood  Education  and  Care  Project  and  State‐ Owned Financial Institutions Reform Project and a donor‐funded project: Serbia Technical Assistance for  Reform of Corporate Financial Reporting. Meanwhile, there are four projects under preparation which are  planned  to  be  supported  by  the  CFU:  Tax  Administration  Modernization  Project  (TAMP),  the  Western  Balkans  Trade  and  Transport  Facilitation  Project,  the  EDGe  Project),  and  the  Competitive  Agriculture  Project. This situation warrants selection of additional staff, that is, Procurement Specialist and Financial  Management Specialist to avoid bottlenecks during project implementation. Due to this potential capacity  constraint at the CFU, the limited experience and exposure of the OITeG in implementing World Bank‐ financed projects, and the potential coordination challenges between the CFU and the OITeG bring the  procurement risk rating to ‘Substantial.’ The Project Procurement Strategy for Development and the initial  Procurement Plan of the project were prepared by the CFU and OITeG.   C. Safeguards  (i) Environmental Safeguards  73. The  Project  is  rated  environmental  Category  B  according  to  Operational  Policy  OP/BP  4.01.  Although most of the activities to be funded under the Project are environmentally neutral, the Project  will fund the activities related to ICT equipment installation in the DRDC, which is to be constructed in  parallel  with  the  Project  but  using  the  government  budget.  Therefore,  the  DRDC  is  considered  as  an  associated  facility  according  to  World  Bank  Operational  Policies.  No  category  A‐type  subprojects  nor  Category A‐type activities are planned to be implemented within the Project.  74. The environmental risks and issues related to the Project‐funded activities are low.  They may  include  material  management  and  management  of  small  quantities  of  construction  waste  during  ICT  equipment  installation,  which  could  be  successfully  managed  and  mitigated  by  application  of  good  engineering practice.  Page 30 of 57 The World Bank Enabling Digital Governance Project (P164824) 75. The OITeG has no previous experience in implementing World Bank‐funded projects and needs  to be supplemented to carry out implementation of the Project. To successfully implement and monitor  the Project related activities which may pose environmental risks, and to manage their impacts, the OITeG  will  during  the  Project  implementation,  engage  a  part‐time  environmental  expert.  The  environmental  expert will be responsible for the following: (i) completion of an Environmental Checklists and preparation  of generic and site‐specific Environmental Management Plans (EMPs), as relevant; (ii) incorporation of  Final  EMPs,  after  the  World  Bank's  approval,  into  respective  tender  documents;  (iii)  monitoring  and  reporting  on  compliance  with  Environmental  Checklists  and  site‐specific  EMPs;  and  (iv)  semi‐annual  reporting to the World Bank on compliance with EMPs and an Environmental and Social Management  Framework (ESMF).  76. The ESMF, including a generic EMP and sample Environmental Checklist, was prepared by the  Borrower,  and  disclosed  in‐country  on  February  1,  2019.16  It  stipulates  that  site‐specific  EMPs  and  Environmental Checklist will be prepared during project implementation for each specific facility where  civil  works  are  to  be  undertaken  by  the  Project  and  will  become  part  of  the  bidding  documents  and  resulting civil works contracts. The final ESMF was submitted to the World Bank, approved on February  14, 2019, and disclosed on the World Bank website on February 22, 2019.  (ii) Social Safeguards  77. Due diligence on social aspects in addition to environmental aspects will need to comply with  the  World  Bank  safeguards  policies.  The  Project  will  finance  activities  related  to  installation  of  ICT  equipment  in  the  new  DRDC  building  to  be  constructed  using  the  state  budget,  and  this  building  will  therefore be considered as an associated facility.  78. Social  risks  are  low  and  can  be  mitigated.  This  project  has  the  scope  to  make  positive  social  impacts as the digitalization of governance procedures has the potential to significantly ease burden on a  wide  range  of  project  beneficiaries,  both  men  and  women.  The  primary  activity  that  has  safeguard  implications is the provision of ICT equipment to the DRDC. While the center itself is not financed directly  by the World Bank, it is considered an associated facility, as the land acquisition and the construction of  the  center  will  be  done  in  parallel  with  the  Project  but  using  government  funds.  Apart  from  land  acquisition,  the  ESMF  provides  for  social  screening  to  identify  and  address  both  positive  and  negative  potential social impacts for all project activities.  79. Involuntary resettlement. The acquisition of land for the DRDC will need to apply the standards  of OP 4.12. The Project has hence developed a Resettlement Policy Framework (RPF) and the detailed  location and design of this Center is in the city of Kragujevac. Once the details are known, there will be a  screening  done  in  accordance  with  the  RPF,  and  if  private  assets/resources  are  affected  then  a  Resettlement Plan will be developed and implemented according to OP 4.12. The RPF was approved by  the World Bank on January 7, 2019 and disclosed in‐country on February 1, 2019 and on the World Bank  website on February 22, 2019.  16 The ESMF report was published at the OITeG website on February 1 (https://www.ite.gov.rs/vest/3066/javne‐konsultacije‐ .php) and call for consultation was published in the newspaper with national coverage ‘Vecernje Novosti’.  Page 31 of 57 The World Bank Enabling Digital Governance Project (P164824) (iii) Other Safeguards  80. No other safeguards policies have been triggered.  81. Grievance  Redress  Mechanisms  Communities  and  individuals  who  believe  that  they  are  adversely affected by a World Bank (WB) supported project may submit complaints to existing project‐ level grievance redress mechanisms or the WB’s Grievance Redress Service (GRS). The GRS ensures that  complaints  received  are  promptly  reviewed  to  address  project‐related  concerns.  Project  affected  communities and individuals may submit their complaint to the WB’s independent Inspection Panel which  determines whether harm occurred, or could occur, as a result of WB non‐compliance with its policies  and procedures. Complaints may be submitted at any time after concerns have been brought directly to  the  World  Bank's  attention,  and  Bank  Management  has  been  given  an  opportunity  to  respond.  For  information on how to submit complaints to the World Bank’s corporate Grievance Redress Service (GRS),  please visit http://www.worldbank.org/en/projects‐operations/products‐and‐services/grievance‐redress‐ service. For information on how to submit complaints to the World Bank Inspection Panel, please visit  www.inspectionpanel.org.      Page 32 of 57 The World Bank Enabling Digital Governance Project (P164824) V. KEY RISKS  82. The  overall  risk  rating  for  the  proposed  project  is  Substantial  due  to  political  economy  and  governance,  sector  strategies  and  policies,  technical  design,  institutional  capacity  and  sustainability,  and  fiduciary  risks  which  require  significant  attention  during  the  preparation  and  implementation  stages. Technical risks to project implementation are related to low capacities of the OITeG to manage  complex and multi‐year projects, which is being mitigated with the creation of the PIU which will provide  the necessary expertise. Given that the OITeG has been functioning for less than two years, the OITeG  requires a strong PIU which will support project implementation.  83. Political and governance risks are Substantial given that possible changes in the composition of  the  GOS  could  have  an  impact  on  the  pace  of  implementation.  The  Project  is  a  high  priority  for  the  current Prime Minister and the GOS. However, changes in government composition could result in shifts  in  these  priorities  and  affect  the  pace  of  implementation.  The  fact  that  many  of  these  reforms  are  motivated  by  the  goal  of  EU  accession,  indicate  ownership  across  the  board  for  these  reforms  which  mitigates this risk. The Project also includes a specific focus on change management and communication  strategies to continuously build ownership for change processes.  84. Sector strategies, policies and technical design risks related to policy and implementation are  Substantial. While the MPALSG is responsible for preparation and adoption of the strategy and its Action  Plan,  the  implementation  rests  with  the  OITeG.  These  overlapping  mandates  could  have  a  negative  impact. The project will foster the position of the OITeG as the main implementer of the e‐Government  Strategy and centralized policy integrator, responsible for management of all implementation aspects.  85. Implementation capacity risks to project implementation are related to the OITeG being a new  agency and the need for coordinating a wide set of actors in Government. Given that the OITeG has been  functioning for less than two years, it has yet to establish required capacities to manage complex and  multiyear  projects  and  to  effectively  coordinate  across  the  Government.  This  was  mitigated  with  the  creation of the PIU which will provide the necessary expertise to support project implementation and by  the establishment of Steering and Management Committees to support project implementation.  86. With respect to sustainability, reforms supported by the Project, particularly change in business  processes, could face pushback from the employees in public sector. While the senior management of  the OITeG and the GOS in general, understands the necessity to change business processes it is not evident  that the same understanding exists among other layers of public sector. The digitalization of services is a  major  shift  in  business  culture.  Effective  and  timely  internal  communication  is  key  to  preventing  and  overcoming  pushback  to  reforms  among  public  servants.  As  such,  the  Project  will  support  significant  change management interventions. This will include consultations and stakeholder workshops that are  expected  to  contribute  to  building  commitment  and  understanding  of  all  staff  involved  in  the  change  process.  87. Procurement  of  ICT  for  the  DRDC  may  pose  a  significant  fiduciary  risk  to  the  Project.  With  respect to procurement process, this risk is largely mitigated by the fact that the Project will follow World  Bank principles, rules, and procedures to ensure competitive procurement. On the other hand, there is a  timing risk. The Serbian budget operates in annual cycles without options to move unutilized funds from  Page 33 of 57 The World Bank Enabling Digital Governance Project (P164824) one fiscal year to another, and even though funds for the DRDC have been committed by the GOS, only  an initial EUR 12 million have been included in the FY19 State Budget. This will need close monitoring  during implementation to ensure that the DRDC is ready for the installation of the equipment that will be  purchased under the Project.     . Page 34 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) VI. RESULTS FRAMEWORK AND MONITORING         Results Framework  COUNTRY: Serbia   Enabling Digital Governance Project   Project Development Objectives(s)  To improve access, quality, and efficiency of selected administrative e‐Government services.    Project Development Objective Indicators    RESULT_FRAME_TBL_PDO        Indicator Name  DLI  Baseline  End Target  Access to e‐Services   Number of citizens and businesss accessing e‐services    1,270,000.00  2,000,000.00  disagreggated by gender and size of businesses (Number)   Access to e‐Services   Number of services digitalized and available online targetted at    4.00  30.00  businesses and citizens (Number)   Quality of e‐Services   Average increase in user satisfaction with selected e‐services  provided disagregated by gender and size of businesses (Citizens    0.00  50.00  Engagement) (Percentage)   Efficiency of e‐Services   Amount of time it takes for citizens and businesses to obtain    To be determined in the first year of implementation  Depending on the administrative service selected.  selected digitalized services (Text)     Page 35 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) PDO Table SPACE    Intermediate Results Indicators by Components    RESULT_FRAME_TBL_IO        Indicator Name  DLI  Baseline  End Target  1. Foundations for Digital Service Delivery   Number of entities connnected to the Interoperability Platform    8.00  18.00  (Number)   Establishment of GOS Meta Register (Yes/No)     No  Yes  2.Transforming Services for Citizens, Business and Government   Development of an Administrative Service Inventory (Yes/No)     No  Yes  Number of "to be" process maps generated for selected services    5.00  50.00  (Number)   Number of services available online through the e‐Gov Portal    0.00  30.00  (Number)   3. Digital Skills Development, Change Management and Institutional Strengthening   Number of Citizen Satisfaction Surveys completed (Number)     0.00  3.00  Number of Government Officials trained in digital literacy    0.00  10.00  (Number (Thousand))     IO Table SPACE    UL Table SPACE    Monitoring & Evaluation Plan: PDO Indicators  Methodology for Data  Responsibility for Data  Indicator Name  Definition/Description  Frequency  Datasource  Collection  Collection  Number of citizens and businesss  This indicator will measure  Annual  Government  Data will be collected  OITeG  accessing e‐services disagreggated by  the number of citizens and    e‐Portal and  by the OITeG and    Page 36 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) gender and size of businesses  businesss that are able to  National  National Statistical  access online services.   Statistical  Office  The indicator will be  Office    disagreggated by gender    and size of businesses  This indicator will measure  Data will be obtained  Number of services digitalized and  the number of services  Government  Annual  through the  OITeG  available online targetted at businesses  digitilized and available  e‐Portal    Government e‐Portal    and citizens  through the Government e‐     Portal  An initial survey will be  This indicator measures the  conducted during Y1 of  Average increase in user satisfaction with  increase in level of  Survey  the project to  selected e‐services provided disagregated  satisfaction with the  Annual  results  OITeG  determine the baseline  by gender and size of businesses (Citizens  provision selected e‐services    .    Annual surveys will be  Engagement)  and available through the    conducted following Y1  Government e‐Portal    This indicator measures the  efficiency of delivery of  Surveys, process maps  Government  Amount of time it takes for citizens and  services, measured by  and monitoring and  Annual  e‐Portal and  OITeG  businesses to obtain selected digitalized  savings in time experienced  evaluation framework    surveys    services  by citizens and businesses in  of the Project    obtaining selected digitilized      services  ME PDO Table SPACE    Monitoring & Evaluation Plan: Intermediate Results Indicators  Methodology for Data  Responsibility for Data  Indicator Name  Definition/Description  Frequency  Datasource  Collection  Collection  Number of entities connnected to the  This indicator refers to the  Annual  IoP and  Information collected  OITeG  Interoperability Platform  number of Government    Project  by IoP    Page 37 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) agencies connected to the  progress    Interoperability Platform  reports  (IoP)    This indicator measures the  Data provided by  Progress  consolidation of the most  Bi‐annual  biannual progress  OITeG  Establishment of GOS Meta Register  reports  important registries into a    reports      Meta Register.    This indicator measures the  development of an  inventory of administrative  Progress  Development of an Administrative Service  Annual  Progress reports  OITeG  services that will form the  Report  Inventory        basis for decisions on    business process  reengineering  This indicator measures the  Annual  amount of "to‐be" maps  Progress  Progress reports and  Number of "to be" process maps  starting on  OITeG  elaborated to serve as a  Report  supervision mission  generated for selected services  Y2    basis for BPR and future        digitalization.  This indicator will measure  Progress  the number of services that  Biannual  Reports and  Number of services available online  can be accessed online  staring in  Progress reports.  OITeG  supervision  through the e‐Gov Portal  through the Government e‐ Y3      missions  Portal by citizens and      businesses.  Progress  This indicator will measure  Information available  Annual  Reports and  Number of Citizen Satisfaction Surveys  citizen satisfaction with  through citizen  OITeG  starting Y3  supervision  completed  reengineered and digitilized  feedback      missions  services      Number of Government Officials trained  This indicator measures the  Annual  Progress  Progress reports and  OITeG  in digital literacy  capacity building    Reports  supervision missions    Page 38 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) component of the project        ME IO Table SPACE              Page 39 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) ANNEX 1: Implementation Arrangements and Support Plan  COUNTRY: Serbia  Enabling Digital Governance Project  1. Project implementation arrangements are designed to ensure the highest level of ownership  and  political  commitment  and  to  facilitate  the  successful  implementation  of  the  Project.  The  implementation arrangements  capitalize on already  established GOS  coordination mechanisms for the  strategic advancement of the e‐Government agenda, and they reflect the coordination engagement of  various agencies and stakeholders involved in the implementation of project activities. The Coordination  Council for e‐Government, established by the GOS in February 2018, will serve as a strategic adviser to  the  Project  to  support  the  integration  to  the  broader  e‐Government  agenda  and  will  be  consulted  as  needed. The Project will establish Steering and Management Committees to oversee the Project, support  the  smooth  implementation  of  activities  and  ensure  the  appropriate  participation  of  line  ministries  required for the implementation of project activities. The Steering Committee’s primary function is to help  overcome administrative hurdles and bottlenecks in the Project implementation. It will meet quarterly or  as  needed  to  assess  progress,  achievement  of  results,  to  provide  necessary  guidance,  and  high‐level  traction as needed. It will be chaired by the Prime Minister with participation of the Minister of Finance  and Director of the OITeG and representatives of the following ministries: MTTT; Justice; MPALSG, and  other  relevant  line  ministries  as  required.  The  Management  Committee  established  in  the  OITeG  will  oversee the Technical Working Groups that may be required for the digitalization of services. It will be  chaired by the Director of the OITeG and will convene monthly to discuss progress with project activities,  identify  necessary  steps  leading  to  the  digitalization  of  services,  and  approve  operating  plans.  Representatives  from  the  MoF  and  relevant  line  ministries  and  other  government  agencies  which  are  affected  by  the  Project  will  participate  at  the  Management  Committee  meetings.  Figure  1.1  (below)  provides an overview and responsibilities in line with the Project Implementation Arrangements.      Page 40 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) Figure 1.1 ‐ Institutional and Implementation Arrangements  Page 41 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) 2. The PIU and OITeG will be responsible for the day‐to‐day implementation of project activities  and the CFU will provide fiduciary support.  The OITeG will also be responsible for project coordination  and  management.  The  OITeG  organizational  structure  ensures  the  institution  possesses  the  required  structures and capacities to manage the Project. The organizational structure of the OITeG is presented  in Figure 1.2 below.  Figure 1.2 ‐ Organizational structure of the OITeG  OITeG Director OITeG Deputy  EDGe PIU Director Sector for  Development of  Sector for  Sector for  Legal, HR,  Sector for IT  Information  Standardization  Information  Financial and  Infrastructure Technologies and  and Certification Security Admin Sector e‐Government   3. The OITeG Director will serve as Project Director. The Project Director will oversee the work of  the PIU. The Project Director will serve as a focal point for communication with the World Bank on the  Project related issues. The Project Director will approve project reports that will be submitted to the World  Bank.  4. The Steering Committee will meet quarterly to assess progress, achievement of project results,  and to provide necessary guidance and high‐level traction as needed. The Steering Committee will be  chaired by the Prime Minister with participation of the Minister of Finance and Director of the OITeG and  representatives of the following ministries: MTTT, Ministry of Justice, MPALSG, Ministry of Interior, and  other relevant line ministries as required. The Steering Committee’s primary function is to help overcome  administrative hurdles and bottlenecks in the Project implementation. The Prime Minister can convene  the Steering Committee meeting at any time based or on a request from the Management Committee.  5. The  Management  Committee  established  in  the  OITeG  will  oversee  the  Technical  Working  Groups that may be established to support the digitalization of services. The Management Committee  will be chaired by the Director of the OITeG and will convene monthly to discuss progress with project  activities, identify necessary steps leading to the digitalization of services and approve operating plans.  Representatives from the MoF and relevant line  ministries and  other government agencies, which are  affected  by  the  Project  will  participate  at  the  Management  Committee  meetings.  The  Management  Committee will pay special attention to the implementation and results from the change management  activities.  The  Management  Committee  will  also  identify  project  bottlenecks  which  have  an  impact  implementation of project activities and report to the Steering Committee for intervention as necessary.  Page 42 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) 6. The Coordination Council for e‐Government, established by the GOS in February 2018, will serve  as a strategic adviser to the Project and will support integration to the broader e‐Government agenda  and will be consulted as needed. The Coordination Council will not be responsible for any operational  decision related to the Project implementation and is limited to an advisory role.  7. To support implementation of project activities, Technical Working Groups can be established  by the Director of the OITeG and at the request of the PIU. The role of these working groups is to provide  hands‐on  support  to  the  Project  implementation  and  assist  in  preparation  of  ToRs,  functional  specifications, and other technical documents required for procurement of goods and services under the  Project.  Working  groups  will  be  established  on  a  needs  basis  with  limited  duration  and  will  include  representatives  from  other  line  ministries  or  government  institutions  included  in  the  Project  implementation.  Each  working  group  will  have  a  Chair  who  will  be  responsible  for  reporting  on  the  progress to the Project Director.  8. The Project will finance hiring of designated staff that will serve as the PIU for the Project as  well as staff needed to strengthen the CFU within the MoF. The CFU will be responsible for procurement  and financial management under the Project, while the PIU will assume a technical role. The PIU will be  based in the OITeG and will report directly to the OITeG Director. The PIU staff will be responsible for  preparing budgets, Procurement Plans, ToRs, and technical specifications for bidding documents and bid  evaluation  reports,  supervision  and  contracts  management  under  the  Project,  and  preparation  of  disbursement  and  regular  financial  progress  reports.  The  PIU  will  also  be  responsible  for  supporting  compliance with the World Bank Safeguard Policies and requirements, including the GRM. The PIU will  also  ensure  coordination  with  the  CFU,  relevant  ministries,  donors,  international  financial  institutions  (IFIs),  and  other  beneficiaries  of  the  project’s  support.  The  PIU  will  also  be  responsible  for  ensuring  coordination  between  all  project  stakeholders,  development  of  training  programs  and  workshops  and  mentoring‐designated  OITeG  employees,  regular  communication  with  other  donors  and  IFIs,  ensuring  that  World  Bank  procedures  are  followed  according  to  the  World  Bank  policies  and  the  Project  Loan  Agreement and Disbursement Letter, and day‐to‐day communication with the CFU related to fiduciary  issues  on  the  Project.  The  Project  will  finance  hiring  of  consultants  for  the  PIU  and  will  also  cover  incremental operating costs, including office supplies, reasonable commercial banking charges and fees,  vehicle  O&M,  communication  and  insurance  costs,  O&M  of  office  equipment,  administration  costs,  utilities, travel, per diem, and remuneration of locally contracted employees (but excluding the salaries of  the  Borrower’s  civil  service’s  officials),  and  other  related  expenditures  as  may  be  agreed  upon  by  the  World Bank, none of which would have been incurred in the absence of the Project.  9. The PIU will have the following staff: (a) the PIU Head/Project Manager — who will manage the  PIU and report to the OITeG Director; (b) ICT experts that will act as Technical Program Coordinators— each  associate  will  be  in  charge  of  managing  specific  project  activities;  (c)  M&E  expert;  (d)  Project  Management Assistant who will be in charge of internal communications and coordination with the  CFU;  (d)  GDPR  expert;  (e)  cybersecurity  expert;  and  (f)  other  consultants  (for  example,  change  management, communication, HR, and so on).  The PIU is already established and currently consists of  the Project Manager and one ICT expert. In addition, safeguard specialists will be hired to oversee the  implementation of the RPF and ESMF and support the implementation of the GRM. Several experts have  been already hired by UNDP through the Digital Transformation Project, to ensure they are fully familiar  with  the  Project  design  and  are  up  to  speed  once  the  Project  is  effective.  These  professionals  will  coordinate  implementation  of  various  ICT  and  e‐Government  programs  with  ministries  and  State  Page 43 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) Enterprises and will eventually become the drivers of a broader e‐Transformation agenda. They will also  have  a  role  in  preparing  workshops  and  training  as  well  as  in  mentoring  the  OITeG’s  permanent  employees.  Implementation Support Plans  10. An Implementation Support Plan has been designed to mitigate specific Project implementation  risks, taking into account the political economy context, as well as the risks and challenges identified  under lessons learned. The key features of the implementation strategy are addressed below.  11. Technical and Change Management Support: The World Bank team has provided the OITeG with  technical advice on specific design elements and the overall approach to change management. The World  Bank  team  will  provide  regular  support  on  change  management,  including  advice  on  strategic  communication, stakeholder engagement, and sequencing of reforms. The World Bank team will liaise  closely with the Project’s PIU to ensure that change management is mainstreamed in all project activities.  The above will be done in close collaboration with other donors, including DFID, EU, and UNDP.  12. Results Monitoring: Regular implementation support missions, and on‐the‐ground World Bank  team support, will assist the OITeG in tracking progress toward the achievement of the intended project  results. This regular mission and continuous monitoring on the ground will allow for periodic adjustments  in project design and reform strategies required to support the achievement of project objectives. This  will ensure that outputs translate into real impact and improved access and efficiency in the delivery of e‐ services to businesses and citizens.  13. Procurement:  During  project  implementation,  the  World  Bank’s  Procurement  Specialist  will  provide  regular  supervision,  in  line  with  the  Procurement  Guidelines.  Procurement  implementation  support by the World Bank will include providing training to the CFU and the PIU staff, providing detailed  guidance  on  the  World  Bank’s  Procurement  Regulations,  reviewing  procurement  documents  and  providing  timely  feedback,  and  monitoring  procurement  progress  against  the  Procurement  Plan.  In  addition, post reviews will be conducted for selected contracts. Contract deliverables will be physically  inspected, as appropriate and feasible.  14. Financial  Management:  The  World  Bank  will  conduct  financial  management  implementation  support  missions  within  a  year  of  project  effectiveness  and  at  appropriate  intervals.  In  addition,  the  regular  IFRs  and  annual  project  audit  reports  will  be  reviewed  and  approved  by  the  World  Bank.  As  required,  a  World  Bank‐accredited  Financial  Management  Specialist  will  assist  in  the  implementation  support and supervision process.  15. Project leadership and supervision arrangements. There is strong leadership in the OITeG with  whom the World Bank has developed a strong partnership. The World Bank will maintain continuity and  a regular dialogue with Government counterparts on all relevant operational, technical, and policy issues  through a strong regional‐based team including two task team leaders based in Belgrade and one based  in the region. This will allow for continued supervision and monitoring of project progress. In addition,  there will be at least two formal implementation support missions per year.    Page 44 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) ANNEX 2: Detailed Project Description  1. The proposed EDGe Project is designed as an institutional reform project to support the GOS  and OITeG in improving access, quality, and efficiency of selected e‐Government services.  Sequencing  of project activities is presented in Figure 2.1.  (a) Foundations  for  Digital  Service  Delivery  –  ensuring  the  foundations  for  e‐Government  advancement are in place, including the regulatory framework, implementation of the IoP,  cybersecurity, and resilience.   (b) Transforming  Services  for  Citizens,  Businesses,  and  Government  –  comprising  the  stocktaking  of  public  services  followed  by  data  and  document  management,  BPR,  and  digitalization  of  selected  services  based  on  objective  criteria  including  (a)  citizen  and  business  demand;  (b)  time/money  savings,  (c)  improvements  in  transparency  and  accountability, (d) reduction in  gender gap, (e) tackling the digital divide (urban vs. rural,  gender, education, access, costs, among others), and (f) volume and level of complexity.  (c) Digital  Skills  Development,  Institutional  Strengthening  and  Change  Management  –  supporting change management activities in the Public Administration to implement the e‐ Government agenda, strengthening the OITeG’s convening and advocacy capacities to lead  e‐Government  reforms,  and  tackling  resistance  to  the  adoption  of  e‐Government.  This  component will also support overall project management.  Figure 2.1 ‐ Sequencing of Project Activities    2. The Project focuses on ensuring the implementation of enabling foundations as the precursor  to improve data management and support reengineering and digitalization of selected administrative  services. The transformation of selected administrative services will go alongside the implementation of  change  management  and  institutional  strengthening  activities  to  adopt  new  work  processes  and  procedures.  Awareness  campaigns  and  communications  strategies  to  advocate  the  benefits  of  the  reforms, overcome resistance, and build capabilities to implement change will also be taken forward. In  Page 45 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) terms of sequencing of activities, the Project has been designed to provide a logical sequencing between  components, from creating the digital foundations to transforming digital services, to enhancing digital  skills. Given  the  mutual  interdependencies  between  the  various  subcomponents,  activities  have  been  sequenced in an incremental and modular way that will enable the three components to proceed largely  in  parallel  as  per  Figure  2.1  above.  The  relationship  between  the  components  and  subcomponents  is  presented in the Figure 2.2.  Figure 2.2 ‐ Schematic Presentation of the Project    3. Component 1: Foundations for Digital Service Delivery (US$26.7 million).  The objective of this  component  is  to  establish  the  necessary  cross‐cutting  foundations  to  support  the  use  of  ICT  in  the  provision  of  public  services  to  citizens  and  business,  including  standards,  procedures,  and  digital  infrastructure. This component is structured around four subcomponents.   (a) Subcomponent  1.1  –  Implementation  of  the  Interoperability  Platform.  (US$7.5  million).  Article 9 of the Law on e‐Government defines the IoP as the Government Service Bus (GSB)  and stipulates that the law needs to be implemented within 12 months. The IoP platform,  which will be integrated with the Government e‐Portal, will provide for safe, secure, and  standardized electronic exchange of information and documents between public institutions  Page 46 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) through the implementation of e‐Trusted services solution. e‐Trusted services is a concept  used  to  describe  a  set  of  solutions  that  should  ensure  the  performance,  reliability,  and  security of using government services by all users—citizens, business, or government. The  activities under this subcomponent will enable the OITeG to become a provider of common  value‐added services. Under the IoP, different government entities will be able to access and  use data and electronic documents from across the Government in support of better service  delivery.  This  subcomponent  will  finance  (i)  the  conceptualization  and  design  of  the  interoperability  framework,  (ii)  the  development  and  implementation  of  the  IoP,  (iii)  the  design and development of e‐Trusted services; and (iv) the development of a platform for  enabling mobile access to government services. It is expected that, with the advancement  of  the  IoP,  the  Project  will  enable  the  creation  of  additional  e‐services  to  citizens  and  business.  (b) Subcomponent  1.2  –  Establishment  of  the  Government  Meta‐Register  (US$1.7  million).  The  collection  of  data  and  creation  of  registries  in  Serbia  is  supported  by  multiple  regulations. There is no single act that regulates the electronic format for data collection,  lays  out  minimum  technical  requirement  for  an  electronic  platform,  and  identifies  the  protocols and infrastructure needed for exchange. While most of the existing registries are  available  in  electronic  form  they  are  not  adjusted  to  allow  for  automatic  exchange  and  therefore cannot serve as a base for the provision of e‐services. This problem will largely be  resolved by the creation of a Meta‐Register, a database which will pull data from a range of  existing registries and which  ensures  that data is of good quality, easily comparable, and  with  highest  levels  of  data  protection.  Article  13  of  the  Law  on  e‐Government  (Official  Gazette, No. 27/2018) introduces the Meta‐Register as the primary registry with metadata  on all official registries and other data. The deadline for establishment of the Meta‐Register  is August 5, 2019. Following the adoption of the Law, the GOS adopted a decree regulating  all aspects related to establishment of Meta‐Register on December 28, 2018.  The activities under this subcomponent will support the consolidation and interoperability  of the most important public registries into one Meta‐Register (including the Tax, Customs,  Citizens,  Addresses,  Cadaster,  and  Business  registries  among  others).  This  will  be  done  through the following activities: (i) consolidation of key registries and (ii) activities required  to  support  the  interoperability  of  the  most  important  public  registries  into  one  Meta‐ Register.  The  main  criteria  for  prioritization  of  interventions  related  to  registers  will  be  guided by the following: (i) frequency of reuse by other registers, (ii) frequency of usage by  users, and (iii) security and vulnerability, among others.  (c) Subcomponent  1.3  –  Implementation  of  the  Disaster  Recovery  Data  Center  (US$13.65  million). Currently there is insufficient backup services, data storage, nor multilayer security  controls  to  ensure  safety  of  all  the  data  and  information  the  Government  stores  and  maintains in its registries. Recognizing the need for backup systems, the GOS declared the  establishment of a DRDC as a project of national importance in its decision of July 6, 2018.  The DRDC will be established in the city of Kragujevac and the building and facilities will be  financed and implemented by the GOS with technical support from UNDP during 2019 and  Page 47 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) 2020.17  The  establishment  of  the  DRDC  should  enable  the  OITeG  to  provide  business  continuity in case of unexpected circumstances, even in a case of total loss of the Primary  Data Center. The DRDC will enhance Serbia’s disaster risk preparedness and address existing  climate vulnerabilities as there is currently limited back‐up service and thus the existing data  infrastructure is vulnerable to extreme events and natural disaster. The main purpose of the  DRDC is to: (i) safeguard data according to defined data retention policies, (ii) manage data  retention  policies,  (iii)  have  ‘restore’  capabilities,  and  (iv)  ensure  minimal  recovery  time.  Moreover, the DRDC should have the backup of critical services hosted in the Primary Data  Center  (please  see  Figure  2.3  below).  To  ensure  an  appropriate  level  of  security,  a  cybersecurity  system  (described  under  Subcomponent  1.4)  must  be  comprehensive  and  must continuously monitor all communication links and activities around data centers. This  subcomponent will finance the equipment necessary for enabling real‐time communication  between the Primary Data Center and the DRDC. To ensure this, the equipment in the DRDC  site needs to comply with the same capacity standards as the equipment at the Primary Data  Center location.  Figure 2.3 ‐ Schematic Relationship Between Data Center and Disaster Recovery Data Center    This subcomponent will support the DRDC and finance the provision of critical equipment to  ensure the safety of all information the GOS stores and maintains in its registries and ensure  resilience of government business operations. Hence, this subcomponent will support the  establishment  of  a  redundancy  system  consisting  of:  (i)  equipment  for  the  DRDC  and  (ii)  17 UNDP—Serbia Digital Transformation Project—financed by DFID.  Page 48 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) elaboration  of  feasibility  studies,  cost  estimations,  and  technical  specifications,  and  the  procurement of connectivity equipment and systems.   (d) Subcomponent  1.4  –  Strengthening  Cybersecurity,  Data  Protection,  and  Regulatory  Environment  (US$3.85  million).  As  part  of  the  Project  preparation,  a  gap  analysis  of  the  regulatory and legislative framework for e‐Government was conducted.18 Over the past few  years,  the  GOS  has  adopted  several  important  laws  related  to  the  advancement  of  e‐ Government.19  However,  bylaws  and  regulations  required  for  full  implementation  of  the  laws, need to be further enacted, updated, and harmonized to reflect current priorities and  fill  legal  vacuums,  adopt  missing  strategies,  and  elaborate  rulebooks.  Among  others,  strategies that need to be updated include the Strategy for Development of e‐Government  in  the  Republic  of  Serbia  for  period  2019–2021  and  the  Strategy  for  Development  of  the  Information Society in the Republic of Serbia until 2020. Strengthening security and privacy  is key to ensuring the development of e‐Government services and increasing their adoption,  uptake, and continuity. The concepts of cybersecurity and data protection are embedded in  the  IoP  and  DRDC  as  well  as  within  regulations  regarding  data  access,  use  and  reuse,  management,  and  storage.  Furthermore,  to  support  continuous  strengthening  of  cybersecurity, a Cybersecurity Lab and training center will be established. Within the lab, a  variety of cyber‐attacks will be simulated, enabling the users to identify threats and respond  to a wide range of attack scenarios. The training center shall also conduct security awareness  trainings for employees of public institutions.  4. This subcomponent will finance activities to ensure the (i) elaboration of required e‐Government  bylaws and secondary regulations; (ii) compliance with the EU and national GDPR regulations, including  the GDPR and cybersecurity rulebook;20 (iii) establishing a Cybersecurity and Data Protection Department  (CERT); and (iv) establishment of a Cybersecurity Lab and training center, including the SOC and the NOC.  Implementation  of  the  subcomponent  should  fully  institutionalize  cybersecurity  and  data  protection  mechanisms  within  the  overall  e‐Government  framework  and  as  such,  increase  safety  and  security  of  operation and users.            18 The Digital Transformation Project, financed by the DFID and GOS and implemented by UNDP, a consultant has been hired to  perform detailed gap analysis of the laws and bylaws related to the advancement of e‐Government agenda. Annex 3 provides a  list of missing legislation.  19 (a) Law on e‐Government (Official Gazette of the Republic of Serbia, No 27/18); (b) Law on Cybersecurity (Official Gazette of  the Republic of Serbia, No 6/16 and 94/17) which is in accordance with EU GDPR and Directive 2016/1148 of the EU Parliament;  (c) Law on Electronic Document, Electronic Identification and Trust Services in the e‐Commerce (Official Gazette of the Republic  of Serbia, No 94/17); (d) Law on Personal Data Protection (Official Gazette of the Republic of Serbia, No 97/08, 104/09 – other  law, 68/12 – CC decision and 107/12); (e) Law on e‐Commerce (Official Gazette of the Republic of Serbia, No 41/09 and 95/13);  and (f) Law on Electronic Communications (Official Gazette of the Republic of Serbia, No 44/10, 60/13 –CC decision and 62/14).  20 At the minimum, the Rulebook should define mandatory measures, procedures, and standards compliant with the GDPR and  cybersecurity which will constitute an obligatory requirement to access and interact with the e‐Government system.  Page 49 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) Box 2.1. ‐ Computer Emergency Response Team (CERT)  The  CERT,  within  the  OITeG  will  be  established  during  2019.  The  CERT  should  have  the  capacity  to  monitor,  manage, and audit the information security management system (cybersecurity) and data protection (GDPR). The  CERT  will  oversee  the  monitoring  of  all  activities  and  follow  all  events  to  differentiate  normal  behavior  from  malicious behavior, where all malicious activities must be prevented and treated according to IT security best  practices.  To this end, at least the following units within the CERT should be established (a) SOC responsible for monitoring,  assessing, and defending government information systems (websites, applications, databases, data centers, and  network).  The  SOC  will  provide  tools  for  handling  any  threatening  IT  incident  (identification,  analysis,  investigation, and reporting). The SOC will also provide tools for security monitoring of applications to identify a  possible cyber‐attack or intrusion (event) and to determine if it is a genuine malicious threat (incident) and if it  could affect business or lead to data leakage and (b) the NOC shall monitor communications in terms of network  quality to indicate anomalies caused by malfunction or by malicious activities. The NOC is a central location from  which the OITeG network administrators will manage, control, and monitor networking activities connected to  data centers. The NOC will serve as the first step in providing cybersecurity on a networking level.  5. Component  2:  Transforming  Services  for  Citizens,  Businesses,  and  Government  (US$22.6  million). The objective of this component is to improve back‐office processes to reduce administrative  burdens and increase efficiency of service delivery. This will be done through reengineering, digitalization,  and piloting of selected administrative e‐services. While the GOS is committed to take forward reforms in  all administrative services, the Project itself will finance “as‐is” maps for a minimum of 150 services, a  minimum of 50 “to‐be” maps and the digitalization of a minimum of 30 services that have considerable  impact on citizens trust, transparency, and accountability. The digitalization of these services is meant to  have  a  demonstration  effect.  In  addition,  activities  under  this  component  will  generate  know‐how  (through learning‐by‐doing) for the GOS to be able to digitalize further administrative services outside the  scope of this project. This component is structured around four subcomponents:  6. Subcomponent  2.1  –  Data  and  Document  Management.  (US$  9.35  million).  The  GOS  spends  significant financial resources on paper, printing, and the storage of physical documents, including the  construction and maintenance of registries and warehouses. Furthermore, outdated regulations, weak  IoPs, and a bureaucratic ‘paper‐based culture’, result in public officials unnecessarily requesting physical  copies of documents for various administrative processes. This results in the inability to cross‐reference  and use and reuse information already in the hands of the Public Administration. There are document  management systems implemented in public institutions as support for office operations, and Article 4 of  the Law on e‐Government describes the possibility to transition to electronic office registries. However,  almost no institution manages and stores official files according to appropriate e‐Government legislation  and most official files still exist exclusively in paper form. Furthermore, almost every administrative service  performed  in  the  Public  Administration  includes  the  production  of  documentation  and/or  paperwork,  making it critical for the GOS to transition from a paper‐based administration to an e‐document, e‐filing,  and e‐sharing culture. The GOS needs to implement tools to handle and manage documentation through  a  DDMS,  office  administration  management  system,  and  e‐archiving  solution.  Activities  under  this  subcomponent will support: (i) the establishment of methodologies, procedures, and guidelines for the  collection, storage, management, and use of data and (ii) the implementation of an integrated DDMS to  enable more efficient decision making by the GOS.  Page 50 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) 7. Subcomponent  2.2  ‐  Administrative  Service  Inventory  (US$0.75  million).  One  of  the  OITeG’s  main priorities is to provide more reliable e‐Government services for citizens and business. The first step  in this process is through simplification—by decreasing the number of procedures, transactions, and rules  governing  administrative  services.  A  prerequisite  for  simplifying  procedures  is  to  develop  an  Administrative  Service  Inventory,  that  is  a  catalogue  of  administrative  services  for  citizens  and  businesses.21  The  activities  under  this  subcomponent  will  support:  (i)  the  development  of  a  comprehensive administrative service catalogue for services to citizens and businesses, the Administrative  Service Inventory, and (ii) the development of prioritization criteria to identify which of the services are  eligible for business process reengineering and digitalization.   8. Subcomponent 2.3 ‐ Business Process Reengineering (US$7.5 million). Simplification of services  can  be  accomplished  in  two  complementary  ways:  (i)  simplifying  procedures  using  an  integrated  ICT  system and/or decreasing the number of procedures and rules governing administrative services and, (ii)  eliminating the redundant procedures. Implementation of these measures will reduce transaction costs,  decreasing the overall cost of obtaining services, and doing business, and will consequently strengthen  the  private  sector.  The  activities  under  this  subcomponent  will  support  preparation  of  process  maps  through a prioritization exercise, which will serve as a base for digitalization of selected administrative  services. This will include comprehensive analysis and process mapping which will result in development  of a minimum  of 150 “as‐is” process maps from the Administrative Service Inventory and a minimum of  50 ‘to‐be maps. These maps will serve as a base for business process reengineering, automatization, and  elimination of redundant procedures as well as for digitalization of services.   9. Subcomponent 2.4 ‐ Digitalization of Pilot Services (US$5 million).  Based on the “to‐be” maps  created  under  Subcomponent  2.3,  this  subcomponent  will  support  digitalization  and  piloting  of  a  minimum of 30 selected administrative e‐services and mobile apps through the GOS e‐Government portal.  These will be based on specifications and requirements established in the Government e‐Portal rulebook  and by using predefined APIs. Under this subcomponent the Project will support the implementation of  digital services using the “to‐be” process maps and utilizing the IoP supported under Component 1. This  subcomponent will also finance TA for the Help Desk to provide support to users and collect feedback on  digitalized services. In addition, this subcomponent will support preparation of the rulebook for the GOS  e‐Government portal.22  10. Component 3: Digital Skills Development, Institutional Strengthening, and Change Management  (US$5.7 million). The objective of this component is to strengthen the capabilities of citizens, businesses,  and the Government to reap the benefits of digitalization, through the following three subcomponents:   Subcomponent 3.1 ‐ Strengthening Digital Skills and Knowledge Sharing (US$1.8 million).  Promoting  digital  skills  is  critical  in  addressing  the  current  digital  divide  in  Serbia  and  for  ensuring full participation in a digital society. It is necessary to strengthen skills to ensure  citizens become ‘digital citizens’ defined as those that can access, use, and benefit from e‐ 21 Administrative Service Inventory will also serve as an input to the information system that will establish a Point of Single  Contact (Directive 126/2006/123/EC).  22 Which will define, inter alia, requirements for the establishment and the manner of work of the e‐Portal, requirements  related to the determination of domain, accuracy, and completeness of the web presentation content, visual identity of the  services of online services, functionality, accessibility, language and letter, graphical solution, design, usefulness, availability,  security, maintenance, updating, and other issues related to the e‐service development.  Page 51 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) services and job opportunities that accrue from using ICT. Serbia, like many other countries  has significant human capacity challenges when it comes to government digitalization. Key  challenges include: (i) a shortage of ICT skills in government entities; (ii) limited capacity to  attract  and  retain  qualified  ICT  staff  in  the  public  sector;  and  (iii)  mistrust  and  limited  understanding of the potential benefits of e‐Government to improve service delivery. This  subcomponent will support the identification of specific skills that need to be developed for  advancing  the  e‐Government  agenda,  including  through  building  core  skills  within  the  Government as well as through outsourcing. An HR strategy23 and curriculum for building  these  skills  will  be  developed  during  the  first  year  of  project  implementation  and  will  be  targeted  at  key  stakeholders.  Among  other  initiatives,  training  programs  for  government  officials and citizens, online courses, media campaigns, and a cascade model of training will  be developed. The MTTT and OITeG have an overall responsibility for defining the ICT and  HR strategy and the ICT curriculum which will be implemented by the National Academy for  Public Service.   Subcomponent 3.2 ‐ Change Management, Communication, and Citizen Feedback (US$1.4  million).  Implementing  public  sector  management  reforms  can  be  complex  and  difficult.  Lessons learned from the implementation of such reforms indicate that addressing change  management is a key success factor. Adaptive challenges should be considered alongside  technical challenges when identifying obstacles to the implementation of a reform program.  Using a problem‐solving approach, this subcomponent will support: (i) change management,  which would include development of a change management strategy and action plan; (ii)  awareness campaigns, targeted training programs, and citizen engagement activities; and  (iii) deployment of passive and active citizen engagement tools to collect and respond to  citizen feedback and measure citizen satisfaction.  The change management strategy and action plan will be centrally managed by the PIU  and OITeG and will include the preparation of a risk assessment to identify potential areas  of  resistance  and  reform  champions  in  order  to  prioritize  interventions  and  develop  a  targeted change management plan. The subcomponent will also support: (a) development  and  implementation  of  a  comprehensive  stakeholder  communication  strategy,  including  internal and external communication with citizens, local governmental authorities, as well  as  TV  campaigns,  development  of  educational  applications,  etc.;  (b)  development  and  implementation of targeted workshops and training programs for stakeholders at various  levels  from  leadership  to  end  users  and  feedback  collection;  and  (c)  development  and  deployment  of  citizen  engagement  tools,  such  as  survey  at  the  e‐Portal  (passive)  and  targeted surveys and workshops (active), within the OITeG to collect feedback and measure  citizen  satisfaction  with  e‐services  and  the  e‐Portal.  These  tools  will  provide  for  users  to  suggest recommendations for further improvements.   Subcomponent 3.3 ‐ Project Management (US$2.5 million). Recognizing that the proposed  institutional changes will occur in an environment of constrained capacity, the Project will    Page 52 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) dedicate  resources  to  strengthen  coordination  and  reform  management.  Project  management mechanisms will include but not be limited to:   (a) Coordination Council for e‐Government;   (b) Steering Committee;  (c) Management Committee;  (d) Technical Working Groups comprising of relevant stakeholders and to be established  as necessary;   (e) Leadership  by  OITeG  to  manage  and  implement  advancement  of  e‐Government  reforms;   (f) PIU within the OITeG, to be financed by the Project to manage the implementation of  activities and build capacities within the OITeG, and  (g) CFU, to be partially financed by the Project on a rolling basis.  This  subcomponent  will  also  finance  the  provision  of  specialized  TA  for  strengthening  interinstitutional  coordination  and  the  implementation  of  project‐related  activities  identified during the life of the Project that are consistent with the PDOs and those required  to ensure compliance with Safeguards requirements.          Page 53 of 57 The World Bank Enabling Digital Governance in Serbia (P164824)   ANNEX 3: List of Pending Secondary Legislation  1. To support preparation of the EDGe Project, UNDP has in partnership with the World Bank and  OITeG, commissioned a gap analysis of the regulatory framework related to the advancement of the e‐ Government agenda in Serbia. The table below present a list of currently missing bylaws, required for full  implementation  of  the  following  three  (3)  laws:  1)  Law  on  e‐Government,  2)  Law  on  e‐Document,  e‐ Identification and Trusted Services in e‐Commerce, and 3) Law on Cyber Security. The Project intends to  support  the  completion  of  the  bylaws  listed  in  the  below  table,  which  are  currently  delayed  and/or  pending adoption.  Table 3.1. ‐ List of Bylaws  Responsible    Description of the Bylaw  Legal Ground  Deadline  institution  1  Manner of the insight in the  Article 11,  MPALSG  October 14,  registers/databases, manner of the  Paragraph 9 of the  2018  acquiring, processing, and  Law on e‐ submitting/delivering the data that  Government  could be found in the electronic  registers/databases that are needed  for the purposes of administrative  procedure  2  Detailed conditions, measures and  Article 12 Paragraph  Ministry of  October 14,  manner of the authorization for  4 of the Law on e‐ Justice and  2018  transfer of the data and electronic  Government  Office of the  documents outside the Republic of  Council for  Serbia  National  Security and  Secret  Document  Protection    3  Manner of providing the payment  Article 22 Paragraph  GOS  October 14,  services (acceptance of the payment  6 of the Law on e‐ 2018  instruments, money transfer and other  Government  payment services) pursuant to the law  that regulates payment services in  relation to the paying the taxes and for  the e‐Government services through  the e‐Government Portal   4  Conditions concerning the  Article 29 Paragraph  GOS  October 14,  maintenance and development of the  5 of Law on e‐ 2018  state center for management and  Government  storage of the data   Page 54 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) Responsible    Description of the Bylaw  Legal Ground  Deadline  institution  5  Type of e‐trusted services that state  Article 37 Paragraph  GOS   Not  body could provide, manner of  2 of the   determined   providing of such service, and detailed  Law on e‐Document,  determination of the procedure for  e‐Identification and  providing of such trust services   Trust Services in e‐ Commerce  6  Conditions concerning the procedure  Article 48 Paragraph  MTTT  October 27,  related to the validation of the  4 of the Law on e‐ 2018  qualified e‐signature and qualified e‐ Document, e‐ (12 months  seal  Identification and  from the day  Trust Services in e‐ of the law  Commerce  entering in  force)  7  Detailed conditions related the  Article 49,  MTTT  October 27,  provision of the service of qualified  Paragraph 2 of the  2018  validation of e‐signatures and e‐seals   Law on e‐Document,   (12 months  e‐Identification and  from the day  Trust Services in e‐ of the law  Commerce  entering in  force)  8  Detailed conditions related to the  Article 52 Paragraph  MTTT  October 27,  qualified electronic time stamps   2 Law on e‐ 2018  Document, e‐ (12 months  Identification and  from the day  Trust Services in e‐ of the law  Commerce  entering in  force)  9  Detailed conditions concerning the  Article 55 Paragraph  MTTT  April 27, 2019  qualified electronic delivery and the  7 of the Law on e‐ content of the certificate of reception  Document, e‐ of the electronic message by provider  Identification and  of service and certificate on delivery of  Trust Services in e‐ electronic message to the recipient   Commerce  10  Detailed conditions concerning the  Article 22 Paragraph  GOS upon  August 5,  check of compromising  6 of the Law on  proposal of  2016  electromagnetic radiation and manner  Cyber Security  the Ministry  of the risk assessment from the leaking  of Defense  of the data through compromising  electromagnetic radiation  11  Technical conditions for  Article 23 Paragraph  GOS upon  August 5,  cryptographical algorithms,  3 of the Law on  proposal of  2016  parameters, protocols, and  Cyber Security  the Ministry  information goods in the field of  of Defense  Page 55 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) Responsible    Description of the Bylaw  Legal Ground  Deadline  institution  crypto protection that are used in  Republic of Serbia in cryptographic  products for the purposes of  protection of secrecy, integrity,  authenticity, that is, data integrity  12  Conditions concerning the  Article 24,  GOS upon  August 5,  cryptographical products which are  Paragraph 2 of the  proposal of  2016  used for transfer and keeping of the  Law on Cyber  the Ministry  data which are determined as secret  Security  of Defense  13  Content of the request for issuing of  Article 25 Paragraph  GOS upon  August 5,  the authorization for cryptographic  10 of the Law on  proposal of  2016  product, manner of issuing of the  Cyber Security  the Ministry  authorization and content of the  of Defense  register of issued cryptographic  products  14  Manner of running of the register of  Article 27 Paragraph  GOS upon  August 5,  crypto products, crypto material, rules  4 of the Law on  proposal of  2016  and regulations, and entities that  Cyber Security  the Ministry  performs the crypto protection  of Defense  activities  15  Criteria concerning the identification  Article 5 Paragraph 3  GOS  May 21, 2019  of the critical infrastructure and  of the Law on  manner of reporting  Critical  Infrastructure   16  Methodology, manner of drafting, and  Article 8 Paragraph 3  Ministry of  May 21, 2019  content of the Critical Infrastructure  of the Law on  Interior  Operators Security Plan for risk  Critical  management   Infrastructure   17  Manner and program for the exam  Article 9 Paragraph 7  Ministry of  May 21,2019  related to the focal point officer   of the Law on  Interior  Critical  Infrastructure   18  Determination of the information that  Article 21 Paragraph  Data  August 21,  could be presented in standardized  9 of the Law on  Protection  2019  icons in electronic form and procedure  Personal Data  Commissioner   related to the determination of such  Protection  icons  19  Form and manner of notification of the  Article 52 Paragraph  Data  August 21,  personal data breach notification  9  Protection  2019  Commissioner  20  Form and manner of the running of  Article 56 Paragraph  Data  August 21,  the register of data protection officers   12  Protection  2019  Commissioner  Page 56 of 57 The World Bank Enabling Digital Governance in Serbia (P164824) Responsible    Description of the Bylaw  Legal Ground  Deadline  institution  21  Criteria for accreditation of the  Article 78 Paragraph  Data  August 21,  certification body for issuance of the  1 Point 18 and  Protection  2019  data protection requirements  Article 62 Paragraph  Commissioner  compliance certificate   3   22  Criteria for certification (issuance of  Article 78 Paragraph  Data  August 21,  the data protection requirements  1 Point 16  Protection  2019  compliance certificate)  Commissioner  23  Form and manner of the register  Article 78 Paragraph  Data  August 21,  related to the data controllers/data  4  Protection  2019  processors that breached the  Commissioner  provisions of the law   24  Form on the complaint related to the  Article 78 Paragraph  Data  August 21,  personal data breach  5  Protection  2019  Commissioner         Page 57 of 57